为您的物联网系统选择合适的数据库的4个步骤

为物联网解决方案选择正确的数据库平台是一项艰巨的任务。首先，物联网解决方案可以跨地理区域分布。与集中式的基于云的解决方案相反，更多的解决方案正在采用边缘雾计算和云计算的组合。因此，您的数据库平台必须为您提供在边缘处理数据以及在边缘服务器和云之间进行同步的灵活性。

其次，根据您的物联网使用情况，您需要的数据库功能可能包括实时数据流、数据过滤和聚合、接近零延迟的读取操作、即时分析、高可用性、地理分布、模式灵活性等等。本文介绍了为物联网解决方案选择正确的数据库平台的四个步骤:

步骤1 确定解决方案的数据需求

物联网解决方案依赖于从联网设备中收集和处理数据，做出智能决策，如触发通知或动作，计算实时分析，从历史数据中收集模式，等等。

为了便于讨论，在通用的物联网解决方案中，可以在整个企业中安装传感器和执行器。成千上万的传感器和执行器与一台edge服务器相连。物联网解决方案不断从所有传感器收集数据，做出实时决策来控制传感器和执行器，向系统监视器发出异常活动警报，并为最终用户提供分析的历史视图。

在决定使用哪些服务和与之配套的数据库之前，有必要清楚地了解如何使用数据以及在何处使用数据。一些问题可以帮助理解和优先考虑你的数据需求:

• 哪些数据处理和决策被委托给边缘服务器?
• 云解决方案是部署在一个地区，还是分散在多个地区?
• 从设备到边缘服务器和从边缘服务器到中央服务器传输的数据量是多少?估计的峰值容量是多少?
• 物联网解决方案是否控制设备或致动器?如果是，它们需要实时响应吗?
• 从历史数据中获得的业务洞察力是什么?

步骤2 将解决方案分解为独立的软件服务

在此步骤中，您将设计执行独立的特定任务的软件服务或组件。

当将前面描述的样例物联网解决方案分解为独立的服务时，可以得到图2所示的设计。物联网解决方案本身是地理分布的，其中一些组件部署在边缘网络，其余组件在一个集中位置。

现在让我们将架构分解为服务，并分析它们的职责和数据需求:

数据摄取

目的:收集和存储设备日志和消息。

数据库需求:支持高速写操作，因为数据可能以突发的方式到达，确保数据在不寻常的情况下不会丢失。

边缘分析

用途:对输入数据执行数据转换、分类、聚合、过滤和功能。它负责在边缘进行实时决策。

数据库需求:支持高速读写与亚毫秒延迟;提供工具和命令来对数据执行复杂的分析计算。

设备管理器

用途:向设备传递信息。

数据库需求:以最小的延迟访问和向设备发送消息。

系统分析

目的:从边缘服务器收集数据，执行数据转换和分析操作。

数据库需求:提供对数据执行分析计算的命令，并根据分析引擎的需要长时间存储数据。

C&C (命令和控制)仪表板

目的:提供物联网生态系统当前状态的可视化表示。

数据库需求:保持数据的当前和准确，读取数据的延迟小于毫秒。

商业智能

用途:从历史数据运行报告、查询和推断。

数据库需求:长时间存储数据，节约成本;提供查询和分析数据的工具。

物联网数据流出口

用途:将数据规范化为一种通用格式，并将其推送给订阅服务器。

数据库需求:高效执行数据转换操作的能力;支持发布和订阅功能。

步骤3:根据数据需求对服务进行分组，并选择正确的数据库

下一步是根据每个服务的数据选择正确的数据库。图3将我们的物联网示例中的服务连接到图中，根据数据在数据库中停留的时间和服务所需的数据读/写速度对它们进行分类。

您将看到数据不断进出数据摄取服务器，在数据库中停留的时间非常短。同时，数据的到达量大，速度快。因此，我们需要一个具有低延迟的高速数据库来保存用于摄入服务的数据。另一方面，商业智能服务依赖于历史数据。

下一步是对具有类似数据访问特征的服务进行分组，目标是限制数据库的数量(多余的数据库和不符合您需求的数据库)，从而减少操作开销。

在图4中，我们将示例服务分组到两个主数据库中—一个热数据库和一个冷数据库。保存热数据的数据库部署在靠近物联网设备的位置，以最小化网络延迟。热数据和冷数据的数据库选择是:

热数据库:由于RAM的成本越来越便宜，内存中的数据库通常是一个不错的选择。内存中的数据库以最小的延迟交付数据读写能力。当选择一个热数据库时，这些额外的功能和能力将帮助您缩小选择范围:

• 数据格式的灵活性——帮助您支持广泛的设备和通信格式
• 查询功能——使您能够实时运行高效的查询
• 消息传递和排队——驱动通信和数据交换
• 分层内存模型-提供一个经济有效的内存模型，但高性能
• 高可用性和灾难恢复-帮助您保持业务的所有时间
• 地理分布-服务地理分布的物联网部署
• 二进制安全-帮助您保存二进制数据

冷数据库:物联网解决方案的历史数据可能增长到多个tb，在某些情况下可能超过一个pb。存储历史数据的流行选择包括在普通硬件上存储解决方案。查询通常遵循map-reduce模式。通常，历史数据也会在搜索引擎中建立索引，用于模式匹配和数据聚合。如果您要将数据存储在云中，请与您的云服务提供商联系，在您所在的地区，哪种数据存储方案最划算。

第四步:评估成本、资源效率

将数据库分为热数据库和冷数据库有助于缩小数据库选择范围。对于大多数物联网用例，一个高速数据库可以满足热数据库的所有需求。对于冷数据库，选项可能从关系数据库到数据湖。设计人员经常犯的一个错误是为每个服务创建具有专门数据库的多语言体系结构。这增加了应用程序堆栈的复杂性以及操作开销和成本。

拥有一个数据库的总成本是许多参数的函数。数据库本身的成本只是成本的一小部分。以下是一些费用:

• 数据库许可证成本:该成本可能与cpu数量、集群中的碎片数量、数据库大小、吞吐量(每秒最大操作数量)、时间(年、月、小时等)、高可用性和恢复特性、云的多个区域的可用性等有关。如果您使用的数据库可以作为开放源码软件使用，根据许可证的类型，数据库成本甚至可能为零。
• 基础设施成本:基础设施成本取决于数据库的资源效率。例如，一个轻量级、线程安全的数据库可能只使用两个商用服务器每秒执行100万次读/写操作，而传统数据库可能需要更多的服务器才能得到相同的结果。除了数据库效率，硬件成本还取决于吞吐量、cpu数量、RAM、数据大小、闪存、网卡等。用于高可用性的数据库体系结构也发挥了作用。例如，基于仲裁的故障转移架构将只需要一个备用服务器副本，但非基于仲裁的架构将需要两个数据副本，以避免分裂大脑。
• 数据丢失成本:为数据丢失提供适当的保险是极其重要的，特别是对于商用物联网解决方案。您丢失数据的总成本为:亏损的业务数据丢失的概率*恢复数据的成本
• 您可以使用数据库供应商提供的适当SLA来抵消部分成本。
• 操作开销:自动化是成功的咒语。如果数据库提供控制来自动化部署、配置、故障转移、扩展、数据分区、备份和恢复、监视和警报等操作，那么将有助于高效地操作。

结论

当为下一代物联网解决方案选择正确的数据库时，很容易迷失在现有的大量数据库中。但是，如果将解决方案分解为组件服务并理解它们的数据库需求，就可以有效地缩小数据库选择范围。大多数物联网解决方案都依赖于热数据库进行实时数据收集、处理、消息传递、分析，而冷数据库用于存储历史数据和收集商业智能。这将使架构简单、精简和健壮。

最后需要说明的是，Redis实验室赞助的开源内存数据库Redis是物联网解决方案的热门数据库。它被物联网解决方案广泛用于数据摄取、实时分析、消息传递、缓存和许多其他用例。