“数据湖”：概念、特征、架构与案例-低调大师

“数据湖”：概念、特征、架构与案例

2020-05-18 881

写在前面：
最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？阿里云有没有成熟的数据湖解决方案？阿里云的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？数据湖和大数据平台有什么不同？头部的云计算玩家都各自推出了什么样的数据湖解决方案？带着这些问题，我们尝试写了这样一篇文章，希望能抛砖引玉，引起大家一些思考和共鸣。感谢南靖同学为本文编写了5.1节的案例，感谢西壁的review。

本文包括七个小节：1、什么是数据湖；2、数据湖的基本特征；3、数据湖基本架构；4、各厂商的数据湖解决方案；5、典型的数据湖应用场景；6、数据湖建设的基本过程；7、总结。受限于个人水平，谬误在所难免，欢迎同学们一起探讨，批评指正，不吝赐教。

一、什么是数据湖

数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。但是在计划构建

微信关注我们

原文链接：https://yq.aliyun.com/articles/761484

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

去福州，靠脸生活

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！福州人民很快就可以靠“脸”行走江湖了。在地铁站，刷脸就可以进站；在图书馆，刷脸就可以借书；在医院或政务服务中心，刷脸就可以取号； …… 甚至上课点名、上班考勤都用的是人脸识别。从今夏到明年，这些功能正在陆续上线中。注意，这些不同场景背后，连接的是同一套系统。在福州市政府的官方智慧城市应用e福州手机App上录入人脸信息，完成各项设置之后，就可以凭借一张脸出行。目前，刷脸乘地铁的功能已经开始测试，8月份全面上线。上线之后，如果你去福州旅游、出差，就可以体会到：刷脸通行，不再仅局限于某个单位、某栋写字楼、某个园区，而是来到福州这片土地上的所有人，都可以共享、共用这一套系统。这听起来就有几分科幻感。千万人同刷脸，到底有多难？《银河系漫游指南》的作者道格拉斯·亚当斯，用一套“科技三定律”来吐槽人们对于科技的认知： 1）任何在我出生时已经有的科技都是稀松平常的世界本来秩序的一部分。 2）任何在我15-35岁之间诞生的科技都是将会改变世界的革命性产物。 3）任何在我35岁之后诞...

2020-05-19

523

背景过完年来北京之后，有准备看看机会，也是想了解下市场行情。简历没有投太多，只定向投了头条教育部门、抖音、快手、阿里，这些公司。头条和阿里的简历都没过，肯定是亮点太少吧。只有快手简历过了，快手是三轮技术面+一轮HR面，前两轮技术都比较顺利，到第三轮却栽了，很痛心o(╥﹏╥)o。目前就不考虑换工作了，等下半年再说了，接下来的时间再好好精炼一下。快手是视频面试，不支持周末，但是可以选择晚上时间，我这几次都是定在了晚上九点。视频面试是通过牛客网进行的，以下是我还记得下来的各轮面试题，对于一些iOS基础知识就不做解答了。一面 1、用递归写一个算法，计算从1到100的和。 func sum(value: Int) -> Int { if value <= 0 { return 0 } var number = value return value + sum(value: number - 1) } // 计算过程 let result = sum(value: 100) print(result) 作为一个开发者，有一个学习的氛围跟一个交流圈子特别重要，这是一个我的iOS交...

2020-05-19

576

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。