Yandex 开源大数据存储和处理平台 YTsaurus-低调大师

Yandex 开源大数据存储和处理平台 YTsaurus

2023-03-26 390

因为众所周知的原因，俄罗斯开发者在开源领域遭到了各种 “不公正” 的对待。但即便如此，俄罗斯大型科技公司 Yandex 近日依然在 GitHub 上开源了一个项目，该项目名为 YTsaurus，这是一个用于存储和处理大数据的平台，大多数 Yandex 服务均在使用。

Yandex 分布式计算的负责人 Maxim Babenko 表示：

Yandex 自 2010 年以来一直在开发 YTsaurus（在内部称之为 YT）。因为市场上没有一个解决方案可以满足我们所有的要求，我们决定开始建立自己的大数据生态。现在 YTsaurus 是 Yandex 内部基础设施的关键技术之一。

根据官方说法，YTsaurus 适用于广泛的任务，从数据分析到训练具有数十亿参数的复杂模型。例如：Yandex Search 用它建立搜索索引、自动驾驶汽车用它来处理海量数据和改进算法、YTsaurus 还管理着 Yandex 的超级计算机，分配负载，使计算能力得到尽可能有效的利用。

YTsaurus 具有的平台优势包括：

多租户生态
可靠性和稳定性
可扩展性
丰富的功能
由 ClickHouse 提供支持的 CHYT
由 Apache Spark 提供支持的 SPYT

Yandex Cloud 的负责人 Alexey Bashkeev 则表示：

YTsaurus 已经在 Yandex 内部证明了自己，现在我们把它提供给所有开发者。在数以千计的服务器上处理大量数据，并且负载不断增加的大公司将获得最大收益。我们相信将 YTsaurus 开源可以使其进入一个新的发展阶段，正如我们的其他产品那样。

YTsaurus 的源代码和文档都可以在 GitHub 上找到，该项目采用的是 Apache 2.0 许可。项目地址如下：链接。

微信关注我们

原文链接：https://www.oschina.net/news/234111/yandex-open-source-ytsaurus

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Docker 发布集成 WebAssembly 的第二个技术预览版

Docker 宣布推出与 WebAssembly 集成 (Docker+Wasm) 的第二个技术预览版。 Docker+Wasm 让开发者能够更容易地快速构建面向 Wasm 运行时的应用程序。下图介绍了 Docker 是如何与 WebAssembly 进行集成。可以看到，Docker Engine 继续使用与整体生态相统一的 containerd 容器运行时，但创建了一个新的 containerd shim—— 把负责容器进程运行的 runC 替换成 WasmEdge runtime。据称这是和WasmEdge合作的项目，这个 containerd shim 从 OCI artifact 中提取 Wasm 模块，并使用 WasmEdge runtime 来运行。 Docker+Wasm 新的技术预览版支持以下三个新的运行时： spin，来自Fermyon slight，来自 Deislabs wasmtime，来自Bytecode Alliance 包括 WasmEdge 在内，这些运行时均使用 Runwasi 库。 Runwasi 是一个多公司合作项目，致力于在 Rust 当中创建...

2023-03-26

452

3 月 15 日，Docker 向所有创建了“组织”的 Docker Hub 用户发出电子邮件提醒，称如果不升级至付费团队订阅，他们的账户和所有镜像都将被删除。这引发了各种批评，并且批评声音越来越激烈。最终，Docker 顶不住社区的压力，于 3 月 18 日为其草率行为进行了道歉，并对之前的邮件进行了说明。当时 Docker 认为，之所以会出现批评，是因为他们与社区的沟通存在问题，他们的策略是完全正确的，他们还会按既定计划取消 Free Team 订阅。现在他们终于意识到，之前不管是沟通方式还是策略都是错误的。今天 Docker 在其官网正式发公告，撤回了之前取消取消 Free Team 订阅的方案。在听取用户反馈并咨询社区后，我们清楚地意识到在取消Free Team订阅方面做出了错误的决定。上周，我们认为我们的沟通很糟糕，但我们的政策是正确的。现在，我们清楚地认识到，无论是沟通还是政策都是错误的，因此我们正式承诺，不再取消 Free Team 订阅：如果你目前使用的是 Free Team订阅，则无需再在 4 月 14 日之前迁移到另一个订阅。在 3 月 14 日的停用公告...

2023-03-26

409

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。