警惕大数据的“黑暗”面

数据的产生与收集已经在企业中根深蒂固，时刻上演着大量数居的记录与分析。但是，这些数据的存储库并不总是结构化和一致的。事实上，未知的和未使用的数据催生了一个新的术语——“黑暗数据”。

如果我们不改变存储、管理、结构和分析数据的方式，大部分数据都将变得毫无价值。IMB同一研究表明，今天收集的所有数据中有80%是“黑暗的”，也就是说，这些数据是无效和不连贯的。未来数据量越大，“黑暗数据”引发的黑洞也就越大，导致的问题与挑战就越严重。

存储和安全

最大的挑战是，“黑暗数据”不仅难以分析，而且也容易导致存储问题。大量的非结构化数据——MS Office文件、即时消息、电子邮件、社交媒体帖子等形式获得的数据就属于此范畴。

目前存储大数据的方式包括混合云、闪存存储、智能软件设计存储(I-SDS)和冷库归档。虽然存储本身相对便宜，但是大型数据中心的维护和能源消耗产生的成本可能是一个天文数字。

安全性是与数据相关的另一个问题——无论是存储在云上还是本地基础设施上。由于数据源繁多，以及分布式计算在数据分析中的普及，均为数据泄露提供了众多机会。

质量与数量

对于大数据来说，组织迫切需要关注质量数量。一般来说，数据集越大，其质量越低。这样清理数据将比分析数据涉及更多的工作。但是，通过仅收集有意义的数据可以减少这种精力消耗。组织应努力收集来自内部和外部来源的高质量数据。但是，这种尝试减少“暗数据”的收集并不总是可行的，在这种情况下，数据探索成为重要的一步。

数据探索是确定数据集质量的过程，即使我们不知道我们正在寻找什么，也能有效地从数据中提取知识。在大数据分析中，最小的错误可能会引发随后的错误计算，从而使整个分析无法使用。使用数据探索，分析人员可以识别在进行清洁和策划的昂贵且耗时的步骤之前可能存在的任何错误。

大数据分析肯定会在未来几年甚至几个月内发生变化。认知计算已经准备好利用人工智能挖掘出几乎零错误的短距离数据集。然而，尽管如此，减少和简化收集的大数据的需求仍然比以往任何时候都重要。