全票通过！网易数帆开源项目Kyuubi进入Apache孵化器-低调大师

全票通过！网易数帆开源项目Kyuubi进入Apache孵化器

2021-06-29 578

北京时间2021年6月21日，全球顶级开源组织Apache基金会宣布，网易数帆开源的大数据项目Kyuubi以全票通过的表现，正式进入Apache基金会孵化器。 根据投票结果，Kyuubi获得了13个约束性投票(binding votes)和8个无约束性投票(non-binding votes)，投票全部持赞同意见，无弃权票和反对票。

Kyuubi 是网易第一款贡献给 Apache 基金会进入孵化器的开源项目。开源至今，Kyuubi 已累积接受了 29 位国内外开发者超过 200 个以上的提交。当然，进入Apache 孵化器只是一小步。 未来， Kyuubi 社区将遵循「The Apache Way」, 打造更加多元化的生态和社区，由衷地欢迎更多的贡献者、用户能够参与到Kyuubi社区中来。

Kyuubi 系统介绍

Kyuubi 的命名源自中国神话《山海经》，意为“九尾狐”。狐会喷火，象征Spark；狐有九尾，类比多租户，在Spark上实现多租户是系统设计之初的主要目的。然后我们取了《火影忍者》动漫中角色九尾的罗马音['kju:bi:]，作为言简意赅的项目名称。

Kyuubi 的最终目标是让“大数据平民化”。为实现这个目标，Kyuubi遵循“专业人做专业事”的准则，通过 Kyuubi的 C/S 架构，服务端大数据专家可以将 Spark 等大数据算力极致优化并高度封装后提供出来，业务端专家可通过该算力直接在自己擅长的业务领域处理数据产生价值，两者之间也通过简单的接口进行必要且有效的直接交互。

Kyuubi 使用场景

替换 HiveServer2，轻松获得 10~100 倍性能提升

Kyuubi 高度兼容 HiveServer2 接口及行为，支持无缝迁移
Kyuubi 分层架构，消除客户端兼容性问题，支持无感升级
Kyuubi 支持 Spark SQL 全链路优化及再增强，性能卓著
高可用、多租户、细粒度权限认证各种企业级特性统统都有

构建 Serverless Spark 平台

Serverless Spark 目标绝对不是让用户调用Spark的API、继续写 Spark 作业
通过 Kyuubi 预置的 Engine 模块，用户无需理解 Spark 逻辑， 入门门槛极低
用户只需通过JDBC及SQL操作数据专注自身业务开发即可，资源弹性伸缩，0运维
支持资源管理器（Kubernetes, YARN等），Engine 生命周期，Spark 动态资源分配3级不同粒度全方位的资源弹性策略
支持YARN/Kubernetes多种资源管理器同时调度，保障历史作业安全迁移上云
Spark 自适应查询引擎（AQE）及 Kyuubi AQE plus，提供澎湃动力

构建统一数据湖探索分析管理平台

支持 Spark 所有官方数据源及第三方数据源
支持 Spark DSv2 元数据管理，直观进行数据湖构建及管理
支持 Apache Iceberg/Hudi, DeltaLake等所有主流数据湖框架
一个接口一个引擎一份数据，提供统一的分析查询、数据摄取、数据湖管理平台
批流一体，支持流式作业（Upcoming）

致谢

Kyuubi的成长和发展，尤其是进入Apache基金会孵化器，得到了来自各个组织的广大开源热爱者、贡献者以及终端用户的支持。

在此，特别感谢给Kyuubi提供指导的Champion和Mentors：姜宁 Willem Ning Jiang 、章剑锋 Jeff Zhang、张铎 Duo Zhang、Akira Ajisaka。此外，也感谢提出issue和建议的伙伴们，以及国内外数十家企业用户的贡献与支持。

很高兴Kyuubi项目得到Apache基金会的认可。Kyuubi项目作为网易数帆‘人人用数据，天天用数据’理念的支撑技术，以及打造统一云原生操作系统的重要组件，我们把它捐献给Apache基金会，回馈社区，为普惠大数据贡献我们的力量。未来，网易数帆会在面向企业数字化的基础软件领域，和各个开源社区进行更加广泛和密切的合作。 ——网易副总裁汪源

欢迎加入Kyuubi社区

Kyuubi 社区将践行"Community Over Code"的 Apache 社区文化，欢迎更多的组织和个人参与到Kyuubi社区建设，促进Kyuubi社区发展。

更多 Apache 孵化进展请参考：https://incubator.apache.org/projects/kyuubi

更多阅读

项目原始地址：https://github.com/NetEase/kyuubi

项目原始文档：https://kyuubi.readthedocs.io/en/latest/index.html

Kyuubi: 网易数帆开源的企业级数据湖管理平台（架构篇）

大数据实战：Kyuubi 与 Spark ThriftServer 的全面对比分析

提效 7 倍，Apache Spark 自适应查询优化在网易的深度实践及改进

拥抱开源，我们是认真的-网易易数2020年Apache Spark贡献总结

网易汪源：统一负载与多云环境的“开放姿态”，才是云原生

【视频】Kyuubi：开源企业级Serverless Spark框架

微信关注我们

原文链接：https://my.oschina.net/u/4565392/blog/5114734

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

从 LiveData 迁移到 Kotlin 数据流

LiveData 的历史要追溯到 2017 年。彼时，观察者模式有效简化了开发，但诸如 RxJava 一类的库对新手而言有些太过复杂。为此，架构组件团队打造了 LiveData: 一个专用于 Android 的具备自主生命周期感知能力的可观察的数据存储器类。LiveData 被有意简化设计，这使得开发者很容易上手；而对于较为复杂的交互数据流场景，建议您使用 RxJava，这样两者结合的优势就发挥出来了。 DeadData? LiveData 对于 Java 开发者、初学者或是一些简单场景而言仍是可行的解决方案。而对于一些其他的场景，更好的选择是使用 Kotlin 数据流 (Kotlin Flow)。虽说数据流 (相较 LiveData) 有更陡峭的学习曲线，但由于它是 JetBrains 力挺的 Kotlin 语言的一部分，且 Jetpack Compose 正式版即将发布，故两者配合更能发挥出 Kotlin 数据流中响应式模型的潜力。此前一段时间，我们探讨了如何使用 Kotlin 数据流来连接您的应用当中除了视图和 View Model 以外的其他部分。而现在我们有了一种更安...

2021-06-29

561

本文译自： [The Mistakes I made as a beginner Product Manager] 作者：Aran Davies 那是2019年6月左右的事。我正盯着电脑屏幕上的电子邮件。那是我的老板发来的。内容是："直到你的工作有明确进展之前，我不会和你1:1会议的。" 在家里和大学里，我都被嫌弃过；但是，在工作场景中被爆锤，确实是第一次。这封电子邮件严重挫伤了我的自尊。我开始破罐子破摔，继续犯一个又一个错误。在成为PM的整个第一年我是相当健忘的，留下了很多不好的回忆。但当我事后回顾时，发现这些错误都是可以避免的。这篇文章中，我列出了我犯的主要错误。如果你也有这些问题，建议马上改正~ mistake1 没有主动沟通关键信息团队一定会确定一个deadline。但在deadline截止时，项目仍然没有完成。老板会问我最新情况，我有时会给出一个模糊的答复，有时根本就不回应。结果：老板很生气，后果很严重，认为我对自己的工作不认真。主要收获作为一个项目管理人员，你需要对你所推动的所有项目保持高度关注。如果你看到有什么东西被延期了，就提前预警并保持与老板的持续沟通。...

2021-06-29

523

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。