大数据实战 DevOps/结论

2014 年 7 月，欧盟委员会概述了关于大数据的新战略，支持向数据驱动的欧盟经济的加速过渡。根据 IDC1 进行的“全球大数据技术和服务，2012-2015 年预测”，预计大数据服务将在全球以 40% 的年增长率增长，约为整个 ICT 市场增长的七倍。e-skills UK 和 SAS 进行的关于“大数据分析：对劳动力和技能需求的评估，2012-2017 年”2 的另一项最新研究预测，仅在英国，大数据专家的数量将在未来五年内增长 240%。DICE 是对社会对开发大数据应用程序的日益增长的需求的回应。

如今，大多数组织都面临着巨大的市场压力，其支持的 ICT 部门正在努力加快应用程序和服务的交付，同时保持生产和运营的稳定性。一方面，ICT 运营商缺乏对应用程序内部结构的了解，包括系统架构和架构组件背后的设计决策。另一方面，开发团队不了解运营细节，包括基础设施及其限制和优势。这些问题对于大数据系统来说甚至更加严重。近年来，对使用数据密集型技术（如 Hadoop/MapReduce、NoSQL 和流处理）的兴趣迅速增长。这些技术在许多应用领域都很重要，从预测分析到环境监测，再到电子政务和智慧城市。然而，此类应用程序的上市时间和拥有成本相当高。我们认为，虽然通常被认为是专家的利基方法，但模型驱动方法有可能自动化多种开发活动，从而帮助缩短上市时间。此外，可以使用自动化工具利用运营数据，向开发提供反馈，以加速开发活动。

在这种情况下，DevOps 实践解决了开发和运营之间常见的隔离问题。DevOps 的主要目标是通过消除孤岛并整合“开发”和“运营”活动来实现更好、更持续的应用程序交付生命周期，使人员共享相同的目标，并与支持此类交互的自动化工具和服务紧密合作。DICE 旨在将模型驱动方法融入 DevOps 运动，以促进信息从开发流向运营，并使运营监控和异常检测功能能够促进信息从运营流向开发。此外，DICE 在 DevOps 的背景下提供了以下原则