我梦寐以求的物联网/第 5 章：物联网和大数据
物联网（IoT）是未来互联网不可分割的一部分，它可以让物理和虚拟事物与对象、动物或人交互，并接收唯一的标识符。它还具有自配置功能，能够在不需要交互的情况下通过互联网网络传输数据。[1] 物联网已经发展了几十年，但直到 1999 年才被命名。例如，第一个互联网设备是卡内基梅隆大学在 1980 年代初的自动售货机。程序员可以连接到互联网上的自动售货机，检查自动售货机的状态，并确定他们是否想去自动售货机拿冷饮。[1] 如今，物联网应用于许多可以造福人类的系统，包括机器对机器系统、云系统、人机系统和大数据系统。“大数据”是一个流行词，用于描述如今许多企业积累的海量结构化和非结构化数据，这些数据难以用传统的数据库和软件技术进行处理和管理。[2] 大数据很重要，它有可能帮助企业做出更快、更明智的决策，同时也能改善企业运营。[3] 大数据应用的一个简单例子：零售商可以跟踪用户网站点击，以识别有助于改进活动、定价和产品库存的行为趋势。
关于商业、工业和其他应用，物联网和大数据是两个不同的主题。物联网指的是连接到互联网的设备世界，这是收集、存储和管理大量数据的途径。大数据的讨论还包括对这些信息的分析，以产生有用的结果。简而言之，大数据是关于数据本身，物联网是关于数据、设备和连接性。[4]
物联网包含三个主要组件：事物（或资产）本身、连接它们的通信网络以及利用从事物流入和流出数据的计算系统。使用这种结构，资产可以相互通信，并根据流经网络的数据分析结果来优化它们之间的活动。[4] 另一方面，大数据则与数据创建、存储、检索和分析相关，这些数据的规模在以下方面非常显著：[5][6][7]
体积
除了其固有的价值和潜力，大量结构化和非结构化数据的数量在很大程度上决定了它是否可以被认为是大数据。IBM 在 2014 年估计，大多数美国公司至少存储了 100 太字节的数据。[7]
多样性
大数据不仅仅来自一个行业的单一格式。从医疗保健到社交媒体，数据类型和格式的多样性与体积一样令人望而生畏。
速度
这指的是生成和分析大数据的速度，以满足需求。
真实性
捕获的数据质量可能差异很大。分析的准确性取决于源数据的真实性。IBM 在 2014 年估计，数据质量差每年给美国经济造成 3.1 万亿美元的损失。[7]
可变性
这指的是数据有时表现出的不一致性，从而阻碍了有效处理和管理数据的过程。
复杂性
我们生成的大量数据需要进行链接、连接和关联，以保持一定程度的有用性。复杂性指的是大数据的那些使这项任务更难的属性。
尽管存在这些挑战，物联网和大数据仍然可以用于改善运营。它有助于确定数据是在哪里生成和收集的，涵盖了广泛的垂直市场，包括但不限于农业、电力、林业、水处理以及几乎所有类型的制造设施。物联网和大数据可以潜在地实施，以改进预测性健康监测，减少停机时间，降低报废率，提高质量，提高产量，改善安全性，简化劳动力，并实现制造和其他相关垂直行业运营的大规模定制。这些运营改进将最佳地导致更好的产品、更高的产量和更低的成本。
大数据操作因系统而异，但它们本质上都是捕获和存储传入的数据，这些数据将在以后进行分析，以获得见解，改进运营或做出发现。这种数据处理基于三个主要步骤：数据摄取、存储和分析。这些数据使用 Hadoop、MapReduce 等新技术进行管理。随着数据的不断增加，特别是随着物联网通过更多可连接的设备改变环境，这些工具变得越来越必要。当这种情况发生时，需要引入更好、更快的处理技术，以允许分析所有这些信息。
根据 TCS 2013 年全球趋势研究，供应计划和产品质量方面的改进为制造业带来了大数据最大的益处。大数据为制造业提供了透明度基础设施，能够揭示不确定性，例如不一致的组件性能和可用性。预测性制造作为一种适用于接近零停机时间和透明度的可行方法，需要大量数据和先进的预测工具，以将数据系统地处理成有用的信息。预测性制造的概念框架从数据采集开始，在数据采集过程中会获取各种类型的感官数据，包括声学、振动、压力、电流、电压和控制器数据。除历史数据外，大量感官数据构成了制造业中的大数据。生成的大数据作为预测工具和预防性策略的输入。
大数据应用的第二大流行领域是硬件、传感器和信息安全公司管理的物联网连接设备。这些设备位于客户环境中，它们会向“家”发送有关设备使用、健康状况或安全性的信息。
例如，存储制造商 NetApp 使用 Pentaho 软件来收集和整理来自其客户站点部署的超过 250,000 台 NetApp 设备的消息。然后，这些非结构化机器数据会被结构化，放入 Hadoop，并被 NetApp 用于分析。[8]
大型企业通常拥有复杂的信息安全架构，以及安全供应商，它们正在寻找更有效的方式来存储 PB 级别的事件或机器数据。在过去，这些公司会将这些信息存储在关系型数据库中。这些传统系统在性能和成本方面往往无法很好地扩展。前面提到的 Hadoop 是存储此类机器数据的更好选择。
1. 大数据可以提供前所未有的对更多数据的准确访问。 在其他情况下，非结构化数据会被认为是无价值的，但在大数据中，它可以被收集和分析。它提供了发现以前隐藏的数据相关性和模式的机会。这意味着组织可以访问更准确的信息。
2. 大数据可以帮助提供新产品和服务。 大数据分析最有趣的用途是为客户创造新产品和服务。许多公司已在大数据分析的基础上，对其工业产品进行了重大投资，以创建新的服务模式。
3. 企业有可能变得更加敏捷，并做出更好的决策。 大数据不仅仅是存储 PB 级或 EB 级数据的过程。它还关乎通过对这些数据的分析和解读，在适当的时间做出更好的决策并采取行动。
4. 它有可能创造成本节约。 Hadoop 和基于云的分析等大数据技术可以提供可观的成本优势。传统的关系型数据库管理系统的缺点是，为了处理如此大量的数据，它们的扩展成本极其高昂。然而，Hadoop 被设计为一个可扩展的架构，可以经济高效地存储公司所有数据以供日后使用。
1. 大数据需要增加安全检查点的数量。 随着比以往更多的数据存储在更多地方，以及在更多地方之间移动，黑客入侵这些数据的途径也大大增加。
2. 预先管理和分析意味着短期内缺乏敏捷性。 事务、电子邮件、分析等数据存储在多个平台上。但如果数据没有得到适当的评估、组织和存储，关键信息可能难以或无法使用。因此，创建基础设施和管理数据以充分利用它需要更多时间。
3. 只有少数人拥有正确使用大数据工具的必要技能。 大数据代表了一个快速发展的技术领域。然而，它通常不在大多数大学教授的课程中，而是以反应性的形式学习。这使得找到合适的人才变得更加重要。
大数据的核心是数据，简单明了，而物联网则是关于数据、设备和连接。[6] 物联网和大数据正在重塑人与信息之间的关系。许多新的硬件和软件技术已被开发出来，用于将现场传感器信息从过程的最边缘收集起来，以分布式或集中式方式收集这些信息，并通过数据库和历史记录器对其进行管理。这些数据收集任务中的每一项都变得更加自动化，这消除了与手动读取和数据输入相关的延迟和错误因素。改进和自动化数据收集、集中和管理，使最终用户能够充分利用可视化和分析软件，使其运营更加高效。
- ↑ a b Rouse, M. (June 2014). "Internet of Things (IoT)". IoT Agenda. TechTarget. Retrieved 4 June 2016.
- ↑ "Big data". Wikipedia. Wikimedia Foundation. Retrieved 4 June 2016.
- ↑ Beal, V. (25 May 2011). "big data". Webopedia. QuinStreet, Inc. Retrieved 4 June 2016.
- ↑ a b "IoT and Big Data Combine Forces" (PDF). Advantech. 2013. p. 11. Retrieved 4 June 2016.
- ↑ "Internet of Things (IoT): What it is and why it matters". SAS Institute, Inc. Retrieved 4 June 2016.
- ↑ a b Dull, T. (2014 年 12 月 11 日). "大数据和物联网：同一枚硬币的两面？". SmartDataCollective. Industry Dive, Inc. 检索于 2016 年 6 月 4 日.
- ↑ a b c "大数据的四个 V". IBM, Inc. 2014. 检索于 2016 年 6 月 4 日.
- ↑ Henry, D. (2013 年 3 月 6 日). "使用 Hadoop 和设备数据分析改善客户支持". Pentaho 博客. Pentaho Corporation. 检索于 2016 年 6 月 4 日.