Yandex 开源大数据存储和处理平台 YTsaurus
因为众所周知的原因,俄罗斯开发者在开源领域遭到了各种 “不公正” 的对待。但即便如此,俄罗斯大型科技公司 Yandex 近日依然在 GitHub 上开源了一个项目,该项目名为 YTsaurus,这是一个用于存储和处理大数据的平台,大多数 Yandex 服务均在使用。 Yandex 分布式计算的负责人 Maxim Babenko 表示: Yandex 自 2010 年以来一直在开发 YTsaurus(在内部称之为 YT)。因为市场上没有一个解决方案可以满足我们所有的要求,我们决定开始建立自己的大数据生态。现在 YTsaurus 是 Yandex 内部基础设施的关键技术之一。 根据官方说法,YTsaurus 适用于广泛的任务,从数据分析到训练具有数十亿参数的复杂模型。例如:Yandex Search 用它建立搜索索引、自动驾驶汽车用它来处理海量数据和改进算法、YTsaurus 还管理着 Yandex 的超级计算机,分配负载,使计算能力得到尽可能有效的利用。 YTsaurus 具有的平台优势包括: 多租户生态 可靠性和稳定性 可扩展性 丰富的功能 由 ClickHouse 提供支持的 CHY...