Delta Lake 和 Apache Hudi 两种数据湖产品全方面对比
Delta Lake 是数砖公司在2017年10月推出来的一个项目,并于2019年4月24日在美国旧金山召开的 Spark+AI Summit 2019 会上开源的一个存储层。它是 Databricks Runtime 重要组成部分。为 Apache Spark 和大数据 workloads 提供 ACID 事务能力,其通过写和快照隔离之间的乐观并发控制(optimistic concurrency control),在写入数据期间提供一致性的读取,从而为构建在 HDFS 和云存储上的数据湖(data lakes)带来可靠性。Delta Lake 还提供内置数据版本控制,以便轻松回滚。
Hudi(Hoodie) 是 Uber 为了解决大数据生态系统中需要插入更新及增量消费原语的摄取管道和 ETL 管道的低效问题,该项目在2016年开
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
互联网、电商Elasticsearch搜索
场景描述 每一个生活在互联网中的用户,每天都在经历各种各样的“搜索”,查找电商网站商品、信用卡账单、查电子发票、查附近的餐厅酒店、查偶像、查交通等等。相对于传统的关系型数据库,Elasticsearch只需要几毫秒的时间,即可查询 PB 级数据并从中找到匹配信息。利用Elasticsearch高可用性和易用性,能够快速处理网站、APP丢给它的文本、数字、日期、IP 以及地理数据。 解决问题 电商网站商品、订单、物流等搜索 保险行业保单查询 互联网教育行业课程搜索 O2O行业地理位置搜索等 产品列表 云服务器ECS 专有网络VPC 负载均衡SLB 云数据库RDS MySQL版 Dataworks Elasticsearch 数据传输服务DTS 直达最佳实践 》》
- 下一篇
跟踪病人,缓解口罩荒,调配物资……区块链能否成为抗击疫情的法宝?
云栖号:https://yqh.aliyun.com第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策! 在肆虐的新冠肺炎疫情前,区块链是否有用武之地?答案是肯定的。早在2018年,就有学者指出,区块链是功能强大、公开透明、成本低廉的疾病监测解决方案。 在这次的这一场疫情阻击战中,区块链也发挥了重要作用。从跟踪病例、采集信息到调配物资,一大批区块链应用已纷纷落地。 01 疫情追踪与防控 确诊病例持续增加,前线医护人员物资告急,春节返工客流上升,如今,新冠肺炎疫情形势仍不乐观。 那么,被寄予厚望的区块链技术,对此能做些什么? 首先,毫无疑问,是疫情追踪和防控。 2月2日,广州市南沙区疫情防控协同系统正式上线。 这个基于“南沙城市大脑”的系统,一共有五大功能模块,分别是疫情防控指挥中心、疫情汇总管理、防疫物资管理、企业复工管理、疫情防护信息上报等。 南沙区疫情防控协同系统主页面 而疫情重点关注人员、最新疫情数据、资源调度情况,都通过区块链技术被汇总到一起。 由此,区内政数局、政法委、来穗局、卫健局等多部门数据,都被打通了。 官方数据显示,上线...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS7安装Docker,走上虚拟化容器引擎之路