百度万亿流量的转发引擎 BFE 开源了!
BFE(Baidu Front End,百度统一前端)是百度的统一七层流量转发平台。BFE平台目前已接入百度大部分流量,每日转发请求接近1万亿,峰值QPS超过1000万。在2019年百度春晚红包活动中,BFE平台在超大用户压力、数次流量波峰下平稳运行,保证了春晚红包活动的顺利进行。
作为综合的流量转发平台,BFE平台集成了以下4大功能:
-
流量接入和转发:支持HTTP、HTTPS、HTTP/2、QUIC等多种协议,并支持强大的应用层路由能力
-
流量全局调度:支持由外网流量调度和内网流量调度共同构成的全局流量调度系统
-
安全和防攻击:支持黑名单封禁、精细限流和应用层防火墙(WAF)等多种防攻击能力
-
实时数据分析:支持分钟级的超高维度时序报表
作为BFE平台的核心组件,BFE转发引擎从2012年开始研发,并于2014年使用Go语言完成重构。
由于基于Go语言,和业界普遍使用的Nginx开源软件相比,BFE具有以下优势:
-
研发效率高:Go语言的开发效率远高于C语言(及Lua),在代码的可维护性方面也有巨大优势。
-
系统的安全和稳定性高:Go语言没有C语言固有的缓冲区溢出隐患,规避了大量的稳定性和安全风险;另外对于异常可以捕捉,保证程序在快速迭代上线的情况下也不崩溃。
有理由相信,从长期趋势看,基于更高级编程语言的软件系统会逐步取得竞争的优势。CPU等硬件资源的价格仍会快速下降,而开发人力成本、项目研发风险、系统稳定性/安全性方面会成为更重要的决策考虑。从这方面出发,主要基于C语言的Nginx会逐步衰落,而类似BFE这样的基于更高级编程语言的软件会逐步成为主流。
另外,BFE在设计中,还特别增加了企业级应用场景的考虑:
-
转发场景的直接支持:和Nginx这样从Web Server转型为Proxy的进化路径不同,BFE直接为转发场景设计,从转发模型和转发配置方面更满足转发场景的需求
-
多租户的支持:在云计算的场景下,多租户复用是普遍的需求。在BFE的设计中,内置提供了多租户的支持
-
结构化的配置:BFE的配置设计,大量使用JSON这样的结构化方式,便于和相关配置管理系统对接
-
丰富的监控探针:作为一个工业级软件,在BFE的设计中充分考虑了线上监控的需求,BFE程序通过HTTP方式向外暴露数千个内部状态变量
为了促进负载均衡技术的交流和发展,BFE转发引擎于2019年夏天正式开源。
(https://github.com/baidu/bfe)
BFE目前已开源并支持以下重要能力:
1、主流网络协议接入
-
支持HTTP/HTTPS/SPDY/HTTP2/WebSocket等
-
支持TLS/HTTP/ WebSocket反向代理模式
2、可扩展插件框架
-
通过可扩展插件框架,快速定制开发扩展模块,满足业务定制化需
求
-
内置重写、重定向、流量修改、封禁等丰富插件
3、基于请求内容的分流
-
基于领域专有语言的分流规则,满足复杂业务场景定制化流量转发
-
支持完备的分流条件原语集,包括基于请求内容(URI/Header/Cookie等)以及请求上下文(IP、协议、标签、时间等)的条件原语。
4、灵活的负载均衡策略
-
支持集群级别负载均衡及实例级别负载均衡,实现多可用区容灾及过载保护
-
内置加权轮询、加权最小连接数策略,基于IP或请求内容识别用户实现会话保持
关于BFE开源版本详情及后续路线图,有兴趣的用户请关注
https://github.com/baidu/bfe,或登录github直接搜索BFE。
BFE转发引擎的研发过程,秉承了百度优良的研发传统,经过了多年的技术积累。BFE已经在百度稳定运行多年,并历经多次大流量的洗礼。以开源贡献社区,是百度技术价值体现的重要方式。希望能借BFE开源的机会,与各位同行切磋技术,共建网络接入领域的开源技术生态。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
XXL-REGISTRY v1.1.0 发布,分布式服务注册中心
XXL-JOB 正在角逐 “2019年度最受欢迎中国开源软件”,期待您宝贵的一票!投票链接 Release Notes 1.注册日志文件加载方式优化,修复文件名乱码问题; 2.修复服务注册version不匹配问题; 3.升级依赖版本,如slf4j-api/spring-boot/mybatis/mysql等; 简介 XXL-REGISTRY 是一个轻量级分布式服务注册中心,拥有"轻量级、秒级注册上线、多环境、跨语言、跨机房"等特性。现已开放源代码,开箱即用。 特性 1、轻量级:基于DB与磁盘文件,只需要提供一个DB实例即可,无第三方依赖; 2、实时性:借助内部广播机制,新服务上线、下线,可以在1s内推送给客户端; 3、数据同步:注册中心会定期全量同步数据至磁盘文件,清理无效服务,确保服务数据实时可用; 4、性能:服务发现时仅读磁盘文件,性能非常高;服务注册、摘除时通过磁盘文件校验,防止重复注册操作; 5、扩展性:可方便、快速的横向扩展,只需保证服务注册中心配置一致即可,可借助负载均衡组件如Nginx快速集群部署; 6、多状态:服务内置三种状态: 正常状态=支持动态注册、发现,服务注册信...
- 下一篇
Spring Cloud Alibaba Sidecar 多语言微服务异构
Spring Cloud Alibaba Sidecar 介绍 自 Spring Cloud Alibaba 2.1.1 版本后增加了 spring-cloud-alibaba-sidecar 模块作为作为一个代理的服务来间接性的让其他语言可以使用spring cloud alibaba等相关组件。通过与网关的来进行路由的映射,从而可以做到服务的获取,然后可以使用Ribbon间接性调用。 如上图, Spring Cloud 应用 请求 sidercar 然后转发给其他语言的模块,优势是对于异构服务代码 零侵入,不需要直接根据 nacos 或其他注册中心 api 注册等 使用入门 构建其他语言接口服务 基于go 写个简单的服务接口 http://127.0.0.1:8089/sidecar package main import ( "encoding/json" "fmt" "log" "net/http" ) func main() { http.HandleFunc("/sidecar", sidecar) http.HandleFunc("/heath", health) log...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS关闭SELinux安全模块
- CentOS7设置SWAP分区,小内存服务器的救世主
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题