Apache iceberg：Netflix 数据仓库的基石-低调大师

Apache iceberg：Netflix 数据仓库的基石

2020-02-27 1101

Apache Iceberg 是一种用于跟踪超大规模表的新格式，是专门为对象存储（如S3）而设计的。本文将介绍为什么 Netflix 需要构建 Iceberg，Apache Iceberg 的高层次设计，并会介绍那些能够更好地解决查询性能问题的细节。

本文由 Ryan Blue 分享，他在 Netflix 从事开源数据项目，是 Apache Iceberg 的最初创建者之一，也是 Apache Spark, Parquet, 以及 Avro 贡献者。

Apache Iceberg 是由 Netflix 开发开源的，其于 2018年11月16日进入 Apache 孵化器，是 Netflix 公司数据仓库基础。在功能上和我们熟悉的 Delta Lake 或者 Apache Hudi 类似，但各有优缺点。
任何东西的诞生都是有其背后的原因，

微信关注我们

原文链接：https://yq.aliyun.com/articles/747058

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【云栖号案例 | 医疗健康】岗岭集团打造中国最大的线上线下一体化的医药健康平台

云栖号案例库：【点击查看更多上云案例】不知道怎么上云？看云栖号案例库，了解不同行业不同发展阶段的上云方案，助力你上云决策！公司介绍岗岭集团是中国互联网医药健康的领军企业，致力于用互联网模式和思维方式，改变中国大众“看病难、买药贵”的现状。岗岭集团运用创新的互联网和IT技术提供在线诊疗、购药和健康管理等服务，缩减中间环节，优化供应链，为中国大众的就医买药提供完整的解决方案以及实惠和方便。2018年9月12日成功登陆纳斯达克后，作为中国首家赴美上市的互联网医药健康企业，岗岭集团受到国内外广泛关注，特别是在医药行业其品牌影响力更是得到空前提升。岗岭集团旗下拥有：B2C医药平台“1药网”、互联网医院“1诊”，B2B医药平台“1药城”，通过创新的B2B2C的模式，全面实现B端和C端、线上和线下、自营和平台、医和药的融合发展，以科技赋能，打造中国最大的线上线下一体化的医药健康平台，为医生、药店、医院、药企、药品流通商赋能，是互联网医药健康产业里为数不多的几个独角兽之一。选择阿里云 2016年是岗岭集团业务发展关键的一年。业务的快速发展，每一次大促都是一场挑战。在决定迁入阿里云之后，岗岭集团开...

2020-02-28

600

云栖号案例库：【点击查看更多上云案例】不知道怎么上云？看云栖号案例库，了解不同行业不同发展阶段的上云方案，助力你上云决策！案例背景 2019杭州云栖大会大数据企业级服务专场，由斗鱼大数据高级专家张龙带来以 “混合云模式下 MaxCompute+Hadoop 混搭大数据架构实践” 为题的演讲。本文讲述了从 Apache Hadoop 阶段到 Cloudera CDH 阶段斗鱼大数据架构的发展历程。提出了上云过程中斗鱼遇到的问题和跳战，包括数据安全、数据同步以及迁移任务。概括了混合云模式给斗鱼带来资源效率更高和资源成本更低的变化。斗鱼大数据架构发展历程在2014年中期，斗鱼就开始使用大数据，最开始使用的是简单的HBase和Hadoop。在2015年，开始使用CDH运维大数据集群，主要针对可视化运维。在2017年的下半年，斗鱼开始接触阿里云大数据的一些产品，并且与其他产品做了对比。最终选择了阿里云的MaxCompute。 Apache Hadoop阶段由于业务场景比较简单，组件较少，并且使用的人也少，但可以灵活的操作，同时集群规模较小，运维要求低，可以自由的利用开源，培养了许多人才。...

2020-02-28

572

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。