简化数据湖可为组织节省时间和资源
即将开播:4月29日,民生银行郭庆谈商业银行金融科技赋能的探索与实践 咨询和托管服务提供商Onica公司首席解决方案架构师Mark McQuade学习和拓宽了他对从Docker和Kubernetes到人工智能和深度学习的各种知识。McQuade分享了对数据池的看法。 为什么组织使用数据湖? 数据湖用例的范围从数据科学家开发的机器学习算法到构建统计可视化,以及使用生成的见解来指导业务决策。 为什么数据湖如此复杂? 随着数据每五年增长10倍,数据平台需要扩展1000倍才能满足未来15年的存储和处理要求。采用数据湖可以减轻这种负担,但是由于数据清理、数据准备和安全配置的复杂性,建立数据湖的过程涉及一系列步骤,这些步骤可能变得非常繁琐,将持续数月之久。此外,在数据湖的整个生命周期中,还涉及其他人工步骤,例如管理和监视ETL(提取、转换、加载)作业,基于数据更改更新元数据,维护清理脚本等。 建立数据湖需要多长时间? 建立一个完善的数据湖可能既困难又耗时,这个过程可能需要三到六个月的时间。使用AWS Lake Formation可以简化以往花费大量人力构建数据湖的工作,并且可以将构建数据湖的时间减...


