OpenAI 将 k8s 扩展至 7500 个节点以支持机器学习-低调大师

OpenAI 将 k8s 扩展至 7500 个节点以支持机器学习

2021-01-26 491

为了满足 GPT-3、CLIP 和 DALL+ 等大型模型的需要，以及类似于神经语言模型的缩放定律的快速小规模迭代研究，OpenAI 将基础设施 k8s 集群扩展到 7500 各节点。

据其描述，对于大型机器学习作业来说，一个节点通常由单个 pod 占据，并且 OpenAI 部署的集群具有二等分带宽，因此尽管其有许多节点，但是调度程序的压力相对较低，仅在一项新任务一次性创建数百个 pod 时会有调度压力。

除此之外，OpenAI 还详细说明了其在扩展 k8s 集群时的重要工作内容，比如通过改用基于别名的 IP 寻址来解决大量节点的联网问题，在专用节点上部署 etcd 和 API 服务器以分散负载，定位使用 Prometheus 和 Grafana 收集指标时的 OOM 问题，设计对集群的健康检查，以及在团队中合理分配集群资源等。

不过，OpenAI 也指出，在扩展 k8s 集群时，目前仍有一些问题要解决，比如大规模时 Prometheus 的内置 TSDB 存储引擎压缩速度过慢，并且需要很长的时间才能重新启动 WAL（写入预录），以及扩展集群时，由于每个 pod 都会被计算为需要一定带宽而带来的网络带宽压力。然而，尽管还有很多地方需要改进，但 k8s 凭借其出色的扩展能力，仍然能满足其研究需求。

关于该报告的详细内容，请查看原文

微信关注我们

原文链接：https://www.oschina.net/news/127949/openai-scale-k8s-7500

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Twitter 为 iOS 开发者提供开源文本编辑器 API

Twitter 宣布将为 iOS 开发人员提供一种独立且灵活的开源 API，该 API 可以为应用程序提供功能全面的富文本编辑器，该编辑器与 Twitter for iOS 应用程序上用来编辑 tweet 的编辑器采用相同的底层。官方通过 Twitter 对外公布了这一信息。Twitter 表示他们知道在 iOS 应用程序的开发过程中想要实现一个简单的文本编辑器是一件非常复杂的事情，因此这也是为什么 Twitter 要向所有人提供他们自己所开发的文本编辑器 API 的原因。根据 Twitter 提供的说明文档，新的文本编辑器 API 解决了与语法突出显示和文本内容过滤相关的常见问题。虽然苹果也为 iOS 开发者提供了多种文本编辑 API，但这些 API 有很多局限性，而且太复杂以至于普通开发者难以理解——这也是 Twitter API 推出后旨在解决的问题。在过去这么多年的时间里，Twitter 在为 iOS 平台开发多款软件的过程中学到了很多关于文本编辑的知识，我们希望 Twitter 文本编辑器的 API 可以帮助开发者改善应用程序内的文本编辑体验。 Twitter 文本编辑...

2021-01-27

594

日前，开放源代码促进会 OSI（Open Source Initiative）强调，SSPL 并不是一个开源许可证。 OSI 表示，SSPL（Server Side Public License）是一种典型的“fauxpen” 源许可证：进行更改的人员声称其产品在新许可证下仍保持“开放”状态，但新许可证实际上已夺走了用户权限。实际上，SSPL 曾经提交过给OSI，然而很快就被其许可证管理人撤回了，因为很明显，该许可证不会被通过。开源许可证是开源软件生态系统的基础，该系统可以促进软件的协同开发。而 “fauxpen” 源许可证尽管允许用户查看源代码，但不允许其他受开源定义保护的重要权利，比如在任何工作领域都有权使用该程序。虽然其最新采用者Elastic 在标题为 “Dobling Down on Open” 的帖子中解释，使用该许可证是为了“限制云服务提供商以 OSD6 的形式提供我们的软件即服务”，但实际上损害的是 Elastic 项目外部贡献者的权益：他们付出了时间和精力，却无法享受自己和共同贡献者的劳动成果，除非同意专有许可证或者自己去 fork。并不是说像Elastic 这...

2021-01-27

662

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。