认识数据湖——拥抱开源大数据技术的前提

世界对数据湖的兴趣依然在不断增长，但如果说对数据湖的宣传都是烟雾弹的话，这就贬低了数据湖真正的能力。“数据仓库”和“大数据”等概念都逐渐深入人心，但“数据湖”仍然是让IT和业务相关者头疼的一件事情。

随着人们对于数据湖的清晰定义、使用案例、最佳实践等信息的需求不断增长，IT专业人士需要一则明确的数据湖指南，回答以下问题：数据湖是什么?我们应该如何利用它?数据湖又将如何改变大数据呢?

1.定义及观点

数据湖成为了核心数据架构中发展得很快的一环，但IT专业人士常有疑惑，数据湖究竟是一个架构策略还是架构的目标呢?实际上并没有清晰的界限，但仍然有方法来解决定义的问题。数据湖是一个中央储存库，为多种数据工作负载储存企业数据;通过数据湖，终端架构可以得到解决，同时数据结构相关的决策也是建立数据湖时的关键。 数据湖被越来越多的采用，而它的实施分为四个关键的阶段：

• 技术评估。通过进行大数据实验项目，关注几个特定的业务目标和成果，数据湖的使用者可以对这项技术进行测试，并熟悉Apache Hadoop环境的管理。
• 做出反应。在这个阶段，各公司开始利用Hadoop来解决现有架构的低效率问题，确立清晰可测的业务机会。此外，这个采纳过程对于IT效率的提高也是非常关键的。
• 主动利用。通过为分析项目合并数据以及利用Hadoop获得经济的可拓展性这两种手段，各公司可以在一个单一的中央存储中管理大量新出现的数据源，例如物联网、社交媒体和非结构化的数据。
• 建立核心竞争力。随着大数据成为IT战略的核心组成部分，各公司最终能够达到发展的高峰，消除所有业务应用和分析应用之间的隔阂，重新建立一个单一的企业平台。

2.数据湖的组织

得益于Hadoop的灵活性和可拓展性，我们今天能够保存、分类、探索并利用的数据类型比以往任何时候都要多。但避免数据湖成为数据沼泽的关键在于数据治理，数据的组织和安全性也是决定数据探索成败的关键。一个清晰而有条理的数据组织(通常是按类目或者按数据用法划分)能够帮助Hadoop工程师建立更加完善的技术决策，帮助分析师和数据科学家从数据中获取真正的洞察。

3.统一数据探索、数据科学和商务智能

对于企业BI需求、数据探索和数据科学的支持是推动数据湖部署的主要因素，这三项技术能将原始数据用于机器学习算法和统计功能。因为敏捷方法学为企业级 BI提供了自适应途径，数据湖就能够落实更多具体的企业业务、性能指标和度量权值，同时可用于储存历史数据。 充满竞争的商业环境让人目不暇接，各公司必须认识到探索技术的关键作用，并认识到解答未知的重要性。这刺激了我们的需要，要把数据直接用于分析技术，产生意义重大的洞察、为企业创造附加价值。

4.成功的关键

要帮助企业从他们的数据湖中实现最大化效益，就必须要考虑以下几个要素：

• 从长远角度考虑数据。在开始一个数据项目时，必须仔细考虑数据在今后其他应用中的可重用性。要明白未来新产生的数据需求往往是不可预知的，了解这一点后公司就可以更好地相应准备并利用起他们的数据。
• 先确立数据治理结构。数据治理被应用在了整个企业的数据和信息政策当中，所以在考虑数据湖时也不应该例外。数据治理规范了企业中的每个人对数据湖的使用，并最小化了发生错误和不当数据管理的可能性。
• 预先解决安全问题。以数据为中心的安全保护提供了从整个数据的生命周期来看数据的宏大视角，此处的关键要素就是从第一天开始就正视安全问题，确立好哪些数据可以引入数据湖，并为数据湖中的各类数据制定使用权限。

尽管数据湖在大数据领域还是一个比较新的词汇，但它已经成为了企业级IT架构和整体数据战略的重要部分。数据湖战略拥有合理的架构，能够和数据科学以及成本低廉、拥有商业基础的机器学习分析完美结合。对于数据湖核心概念的了解能够帮助企业更好地利用并保护自己的数据，同时提高通过数据进行探索的能力。

本文作者：John O’Brien

来源：51CTO