替代 Nginx,Cloudflare 开源 Pingora Rust 框架
早在 2022 年,Cloudflare 就曾宣布将放弃 Nginx,转而采用 Pingora —— 一个他们使用 Rust 在内部构建的新 HTTP 代理。时至今日,Cloudflare 宣布在 Apache 2.0 许可下开源了 Pingora 框架。
Pingora 是一个 Rust 异步多线程框架,可以帮助构建 HTTP 代理服务。截至目前,Pingora 已在 Cloudflare 的全球网络中处理了近千万亿的互联网请求。
“我们正在开源 Pingora,以帮助在我们自己的基础设施之外构建一个更好、更安全的互联网。我们希望为我们的客户、用户和其他人提供工具、想法和灵感,以使用内存安全框架构建自己的互联网基础设施。”
根据介绍,Pingora 提供库和 API 来在 HTTP/1 和 HTTP/2、TLS 或 TCP/UDP 之上构建服务。作为代理,它支持 HTTP/1 和 HTTP/2 端到端、gRPC 和 websocket 代理,HTTP/3 支持也在规划当中。它还具有可定制的负载平衡和故障转移策略。为了合规性和安全性,它支持常用的 OpenSSL 和 BoringSSL 库。
除了提供这些功能之外,Pingora 还提供 filters 和 callbacks,以允许用户完全自定义服务应如何处理、转换和转发请求。在运行方面,Pingora 提供零停机优雅重启,可在不丢弃任何传入请求的情况下进行自我升级。Syslog、Prometheus、Sentry、OpenTelemetry 和其他必备的可观测工具也可以轻松与 Pingora 集成。
值得注意的是,Pingora 尚处于 1.0 之前的阶段,不具备 API 稳定性,且 Cloudflare 目前没有计划支持非 Unix 操作系统。
更多详情可查看官方博客。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
李彦宏:大模型为云业务带来约 6.6 亿元增量收入
在百度 2023 年第四季度及全年财报电话会上,百度创始人、董事长兼首席执行官李彦宏透露,百度智能云四季度总营收 84 亿元,其中大模型为云业务带来约6.6亿元增量收入。预计到 2024 年,这一增量收入有望达到数十亿元人民币,主要来源将包括广告业务和人工智能云服务的销售。 百度于近期上线了千帆AppBuilder和千帆ModelBuilder两款MaaS产品。李彦宏表示,迄今为止,千帆ModelBuilder累计精调了10000个模型。而文心大模型的日调用量已超过5000万次,季度环比增长190%。12月,约有2.6万家企业调用文心大模型,季度环比增长150%。 大模型高昂的使用成本,是影响其更大规模落地的难点之一。李彦宏透露,文心大模型的推理成本已降低至去年3月版本的1%。李彦宏还回应了AI芯片供应对百度的影响。“短期来看,这对我们的模型开发、产品改造或商业化几乎没有影响。百度已经把文心大模型升级到4.0。模型推理需要的是性能较低的芯片,我们的AI芯片储备以及市场上可用的芯片,足以支持为客户提供AI原生应用,让百度在未来一两年内继续提升收益。”李彦宏称。 李彦宏也表示,从长期来看,...
- 下一篇
字节跳动打造 MegaScale:用于训练 LLM 的单一“万卡集群”
字节跳动联合北京大学的研究团队在 arXiv 上发表论文,介绍他们用于训练大语言模型的生产系统 MegaScale。该团队为 MegaScale 搭建了超过 10000 块 GPU(12,288)的单一集群,算力利用率超过 55%。 https://arxiv.org/pdf/2402.15627.pdf 整个系统涵盖了从模型块和优化器设计到计算与通信的重叠、运算符优化、数据管道以及网络性能调整的算法和系统组件。 据介绍,MegaScale 将大语言模型训练扩展到超过 10000 个 GPU,在 12288 个 GPU 上训练 175B LLM 模型时,MegaScale 实现了 55.2% 的模型 FLOP 利用率(MFU),与层内模型并行技术 Megatron-LM 相比,MFU 提高了 1.34 倍。 MegaScale 还包含一套诊断工具,用于监控堆栈深处的系统组件和事件,找出根本原因,并通过有效的技术来实现容错 (fault tolerance) 和缓解滞后问题。
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8编译安装MySQL8.0.19
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8安装Docker,最新的服务器搭配容器使用