Delta Lake 进入 Linux 基金会
近日,数据湖(data lakes)数据治理项目 Delta Lake 进入 Linux 基金会,基金会表示将与 Delta Lake 共建数据湖开放标准。
Delta Lake 是一个存储层,为 Apache Spark 和大数据 workloads 提供 ACID 事务能力,其通过写和快照隔离之间的乐观并发控制(optimistic concurrency control),在写入数据期间提供一致性的读取,从而为构建在 HDFS 和云存储上的数据湖带来可靠性。
Linux 基金会介绍,当前每个组织都希望通过数据科学、机器学习和分析从数据中获得更多价值,但由于数据湖内部缺乏数据可靠性,产生了极大的阻碍。Delta Lake 通过使事务符合 ACID 标准来启用并发读取和写入,从而解决了数据可靠性挑战。它的架构实施能力有助于确保数据湖中没有损坏且不合格的数据。自 2017 年 10 月推出以来,Delta Lake 已被 4 000 多家组织采用,每月处理超过 2 exabyte(十亿字节)数据。
“将 Delta Lake 引入 Linux 基金会的中立组织之下,将有助于依赖该项目的开源社区开发解决存储和处理大数据(本地和云端)的技术”,Linux 基金会战略计划副总裁 Michael Dolan 表示。
实际上 Databricks 的联合创始人是 Apache Spark 项目的创建者,Spark 目前已成为大规模数据处理事实上的标准,尽管 Delta Lake 最初设计为与 Spark 配合使用,但其目前已经发展出了一个蓬勃的开源社区,并增加了对其它开源数据系统的支持。
目前 Delta Lake 已经被成千上万的组织采用,包括 Intel、阿里巴巴、Booz Allen Hamilton 与 Starburst 等,并且他们也是其开源生态的重要贡献者。为了进一步推动 Delta Lake 开源生态的发展,Delta Lake 背后的公司 Databricks 作出了将 Delta Lake 托管到 Linux 基金会的决定。
Databricks 的 CEO 兼联合创始人 Ali Ghodsi 表示:“我们的团队继续创建开源项目并为之做出贡献,因为我们知道这是最快、最全面的创新方式。为了解决组织的数据挑战,我们希望确保该项目以最真实的形式开源。通过 Linux 基金会社区的力量和贡献,我们相信 Delta Lake 将很快成为数据湖中数据存储的标准。”
相关阅读:
前阵子 Delta Lake 刚被 InfoWorld 评为 2019 年最佳开源软件,详见:
https://www.oschina.net/news/110451/2019-infoworld-bossie-awards
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
存在至少 4 年的 Linux 漏洞被发现:可通过 WiFi 攻击目标计算机
一位安全研究人员表示,Linux 中存在的严重安全漏洞能导致使用 WiFi 信号的附近设备崩溃,或者完全被黑客掌控。名叫 Nico Waisman 的安全研究人员发推文称,该漏洞位于 RTLWIFI 驱动程序中,而该驱动程序用于在 Linux 设备上支持 Realtek WiFi 芯片。 据悉,当具有 Realtek Wi-Fi 芯片的计算机在恶意设备的无线电范围内时,该漏洞将会在 Linux 内核中触发缓冲区溢出问题。该漏洞不仅可以引起操作系统崩溃,而且还允许黑客完全掌控计算机。这一缺陷可追溯到 2013 年发布的 Linux 内核的 3.10.1 版本。 Github 的首席安全工程师 Nico Waisman 表示:“这个漏洞非常严重,只要您使用 Realtek(RTLWIFI)驱动程序,此漏洞就可以通过 Linux 内核上的 Wi-Fi 远程触发溢出。”漏洞编号为 CVE-2019-17666。 Linux 开发人员在星期三提出了一个修复程序,很可能在未来几天或几周内将其合并到 OS 内核中。只有在此之后,该修补程序才能进入各种 Linux 发行版。 Waisman 表示目前还...
- 下一篇
微软将不再把 .NET Framework API 移植到 .NET Core 3.0
目前.NET Core 3.0 拥有的 API 总数约为.NET Framework API 的 80%,剩下尚未从 .NET Framework 移植到 .NET Core 的 API,微软考虑以开源的形式发布。 微软方面表示,通过 .NET Core 3.0,他们现在已具备轻松移植现代 workload 所需的所有技术,无论是桌面应用、移动应用、控制台应用,网站还是云服务。为此,他们计划将不再把 .NET Framework 上已有的技术移植到.NET Core 3.0,并考虑使用 MIT 协议来开源不打算移植到 .NET Core 3.0 的 .NET Framework 代码库。 当然不移植 API 并不是说我们在使用新技术方面没有任何机会,只是这些技术不会在 .NET Framework 代码库中出现。 下面我们来看看.NET Core 和 .NET Framework 的发展历程。 从 .NET Core 1.0 开始,它只有一个非常小的 API 集合,其中仅包含大约1.8 万个 .NET Framework API。通过.NET Standard 2.0,微软试图在.NE...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS关闭SELinux安全模块
- CentOS7设置SWAP分区,小内存服务器的救世主
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库