Apache 软件基金会将 DataSketches 提升为顶级项目
紧跟着 Apache Superset 和 Apache ECharts 的步伐,Apache 软件基金会(ASF)近日宣布将 Apache DataSketches 提升为顶级项目(Top-Level Project,TLP)。
Apache DataSketches 是开源的高性能大数据流算法库,主要针对大规模计算环境,目前有非常多的企业均在使用,例如:尼尔森、Permutive、Splice Machine 和 Verizon 等。该项目于 2012 年起源于 Yahoo,并于 2015 年开源,随后于 2019 年 3 月进入 Apache 孵化器。
Apache DataSketches 副总裁 Lee Rhodes 说:“我们很高兴成为 ASF 的一员,我们从进入 Apache 孵化器项目至今学到了很多东西,并期待未来能与那些想要使用我们库的新用户展开合作。我们也非常欢迎那些对 DataSketches 算法感兴趣的用户进一步了解我们,以及了解这项令人兴奋的技术,并为 Apache DataSketches 做出贡献,让我们的项目变得更好。”
Apache DataSketches 的专用流算法库(也被称为 sketches)包含小型数据结构,并可大规模处理数据。对于那些想要生成精确结果,但又无法承受大量时间和计算资源消耗的查询,sketches 是一个理想的选择。而对于那些能够接受近似结果的客户,sketches 也是附带实时分析交互式查询的唯一可行选择。
Apache DataSketches 具有以下这些优势:
- 快速——产生近似结果的速度比传统方法快几个数量级,基于用户配置的大小与精度选择;
- 高效——sketches 算法可通过一次传输即可处理实时和批量数据;
- 可合并——允许并行化;
- 针对处理大数据的大规模计算环境进行了优化,例如:Apache Hadoop、Apache Spark、Apache Druid、Apache Hive、Apache Pig 和 PostgreSQL;
- 跨多种语言和平台——在 Java、C++ 和 Python 中可用;
Permutive 高级软件工程师 David Cromberge 则表示:“Apache DataSketches 为我们提供了扎实的理论基础,使我们能够以简单、快速和经济高效的方式大规模存储和处理数据。很高兴与他们进行合作,他们在整个过程中都提供了非常大的帮助。”
关于 Apache 孵化器
Apache 孵化器是项目和代码库能够进入 Apache Software Foundation,成为其一员的主要途径。外部组织和现有外部项目均需要通过孵化器才能进入 ASF,而且必须符合 ASF 的的相关规定。
-
确保所有项目代码的捐赠均符合 ASF 法律标准。
-
建立符合指导原则的新社区。
所有新接受的项目都需要进行孵化,直到进一步的审查表明其基础架构、通信和项目决策过程等方面已经与其他成功的 ASF 项目一致。虽然孵化状态不一定反映项目代码的完整性或稳定性,但确实表明该项目尚未得到 ASF 的完全认可。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Linux 基金会与 Magma 展开合作,以加速 5G 部署
Linux 基金会近日宣布将启动一个开源的行业合作,重点是和 Magma 开源软件平台合作,致力于实现融合的蜂窝核心网络堆栈。Magma 是由 Facebook 发起,并在 2019 年开源的软件平台,现在将在 Linux 基金会的治理框架下进行管理。 Arm、Facebook、FreedomFi、高通、东北大学无线物联网研究所、Deutsche Telekom、OpenAirInterface Software Alliance 和 Open Infrastructure Foundation 也将以创始成员的身份加入此次合作,以加速大规模生产用例的发展。 Magma使运营商能够大规模构建和扩展现代且高效的移动网络。Magma 具有移动数据包核心、先进的网络自动化和管理工具,并能够利用虚拟化和容器化的网络功能(xNFs,Network Functions)与现有的 LTE 网络进行集成,其中 xNFs 包括固定无线网络、运营商 Wi-Fi、专用 LTE 和 5G、网络扩展和移动宽带。许多 Magma 社区的成员也正在与电信基础设施项目(TIP)的开源核心网络项目组合作,以定义、构建、...
- 下一篇
中国发展开源产业迫在眉睫
作者:陈波,中央财经大学数字财经研究中心主任 欧盟委员会在最新的研究报告中指出,开源软件对欧盟的经济贡献巨大。2017年至2018年,开源项目提交数量增加了10%,相当于欧洲GDP每年增长的0.4%,即每年630亿欧元。此外,开源贡献者的数量也增加10%,将使欧盟的GDP提高0.6%,达到每年950亿欧元左右。 开源运动经过近半个世纪浩浩荡荡的发展,已经成为推动全球科技创新的重要力量,但这一概念在中国主流社会认知中仍然是一个小众的存在。随着中国进入科技自主创新的时代,开源这一模式定将担当起重要的支撑性角色。 开源一词最早来源于“开源软件运动”,它本质上是一种鼓励开放协作、去中心化的软件开发模式。从组织科学的角度看,创新活动有两种驱动模式,一种是常见的“私人投资模式”,即通过有效的知识产权保护制度为创新者带来回报,另一种是“集体创新模式”,即假设在私有化市场失灵的情况下,创新者为了生产公共物品而进行合作(Hippel, & Krogh, 2003)。开源属于一种典型的集体创新模式,又可称为分布式创新模式。 开源从萌芽到产业化的四个阶段 开源是科技与人文因素相互叠加的复杂产物,其背...
相关文章
文章评论
共有0条评论来说两句吧...