原创分享 用 Go 重构 C 语言系统,这个抗住春晚红包的百度转发引擎承接了万亿流量

originator · 2020年02月15日 · 最后由 dream 回复于 2020年02月17日 · 828 次阅读
本帖已被设为精华帖!

11 月 20 日,百度的万亿流量转发引擎 BFE 登上了 GitHub Trending Top 3,今日 Star 已突破 270。事实上,这个曾经抗住 2019 年春晚抢红包的转发引擎早已于 2019 年夏在 GitHub 上开源,今天突然再次引发关注,那我们不妨来回顾一下这个项目。

首先奉上 GitHub 开源地址:https://github.com/baidu/bfe ,Apache 2.0 许可。

集成四大功能,开源四大能力

BFE(Baidu Front End,百度统一前端)是百度的统一七层流量转发平台。BFE 平台目前已覆盖百度大部分产品,每日转发请求接近 1 万亿,峰值 QPS 超过 1000 万。在 2019 年百度春晚红包活动中,BFE 平台在超大用户压力、数次流量波峰下平稳运行,保证了春晚红包活动的顺利进行。

从曝光的资料来看,作为综合的流量转发平台,BFE 平台的主要服务包括四大块,分别是:

  • 流量接入和转发:支持 HTTP、HTTPS、HTTP/2、QUIC 等多种协议,并支持强大的应用层路由能力
  • 流量全局调度:支持由外网流量调度和内网流量调度共同构成的全局流量调度系统
  • 安全和防攻击:支持黑名单封禁、精细限流和应用层防火墙(WAF)等多种防攻击能力
  • 实时数据分析:支持分钟级的超高维度时序报表

作为 BFE 平台的核心组件,BFE 转发引擎从 2012 年开始研发,并于 2014 年使用 Go 语言完成重构。

BFE 目前已开源并支持以下重要能力:

  1. 主流网络协议接入
    • 支持 HTTP/HTTPS/SPDY/HTTP2/WebSocket 等
    • 支持 TLS/HTTP/ WebSocket 反向代理模式
  2. 可扩展插件框架
    • 通过可扩展插件框架,快速定制开发扩展模块,满足业务定制化需求
    • 内置重写、重定向、流量修改、封禁等丰富插件
  3. 基于请求内容的分流
    • 基于领域专有语言的分流规则,满足复杂业务场景定制化流量转发
    • 支持完备的分流条件原语集,包括基于请求内容(URI/Header/Cookie 等)以及请求上下文(IP、协议、标签、时间等)的条件原语。
  4. 灵活的负载均衡策略
    • 支持集群级别负载均衡及实例级别负载均衡,实现多可用区容灾及过载保护
    • 内置加权轮询、加权最小连接数策略,基于 IP 或请求内容识别用户实现会话保持

基于 Go 语言,具有六大优势

采用 Go 语言重构 BFE,是百度团队在经过与 C、Python 与 Go 的对比之后做出的选择。与前两者相比,Go 具有的特点如下:

  • 性能和 C 接近
  • 并发性
    • Goroutine:屏蔽底层的机制,可以充分利用 CPU 资源
    • 多线程模式:容易思考
  • 开发效率
    • 描述能力与 Python 接近
    • 较丰富的库(系统库,第三方库)
  • 大型程序的组织
    • package
    • 数据访问的限制(首字母大小写的区别)
  • 可测试能力
    • 内置的单侧和覆盖检查工具,易于做 TDD
    • go test
  • 错误检查能力
    • 严格的编译阶段检查:强类型,文件包含,...
    • Panic,便于定位问题
  • 上线和运维
    • 可编译为独立可执行程序

由于基于 Go 语言,和业界普遍使用的 Nginx 开源软件相比,BFE 具有学习成本、开发成本和性能上等各方面的优势,具体来说包括:

  • 研发效率高:Go 语言的开发效率远高于 C 语言(及 Lua),在代码的可维护性方面也有巨大优势。
  • 系统的安全和稳定性高:Go 语言没有 C 语言固有的缓冲区溢出隐患,规避了大量的稳定性和安全风险;另外对于异常可以捕捉,保证程序在快速迭代上线的情况下也不崩溃。

从长期趋势看,基于更高级编程语言的软件系统会逐步取得竞争的优势。CPU 等硬件资源的价格仍会快速下降,而开发人力成本、项目研发风险、系统稳定性/安全性方面会成为更重要的决策考虑。从这方面出发,主要基于 C 语言的 Nginx 会逐步衰落,而类似 BFE 这样的基于更高级编程语言的软件会逐步成为主流。另外,BFE 在设计中,还特别增加了企业级应用场景的考虑:

  • 转发场景的直接支持:和 Nginx 这样从 Web Server 转型为 Proxy 的进化路径不同,BFE 直接为转发场景设计,从转发模型和转发配置方面更满足转发场景的需求
  • 多租户的支持:在云计算的场景下,多租户复用是普遍的需求。在 BFE 的设计中,内置提供了多租户的支持
  • 结构化的配置:BFE 的配置设计,大量使用 JSON 这样的结构化方式,便于和相关配置管理系统对接
  • 丰富的监控探针:作为一个工业级软件,在 BFE 的设计中充分考虑了线上监控的需求,BFE 程序通过 HTTP 方式向外暴露数千个内部状态变量

接下来简单介绍一下 BFE 的具体使用步骤和技术细节,但篇幅有限,关于项目更详细的信息,参见 https://github.com/baidu/bfe

创建并运行

前提

  • golang 1.12+
  • golang yacc
  • git

下载源代码

BFE 代码可以在以下 repo 中找到:

https://github.com/baidu/bfe

克隆主要的 BFE repo:

$ mkdir -p gocode/src/github.com/baidu
$ cd gocode/src/github.com/baidu
$ git clone https://github.com/baidu/bfe
$ cd bfe

从源代码创建

在 bfe(src / http://github.com / baidu / bfe)的源目录中运行构建脚本:

$ make

运行测试:

$ make tast

BFE 二进制文件生成如下:

$ file output/bin/bfe
output/bin/bfe: ELF 64-bit LSB executable ...

运行

使用示例配置运行 bfe:conf

$ cd output/bin/
$ ./bfe -c ../conf -l ../log

功能性

集群之间的请求路由

在 BFE 配置中,“产品” 可以由多个群集组成。用户可以定义如何在集群之间路由请求。请求路由基于 HTTP 请求的内容。

规则配置

  • HTTP 标头中的字段用于定义路由规则,以在群集级别分配流量,例如:主机,路径,查询,cookie,方法等
  • BFE 提供了一个 “条件” 表达式来定义如何使用特殊标头路由消息。这是群集级别负载平衡中的路由规则。
  • 如果配置了多个规则,则 BFE 将按顺序匹配这些规则。如果一条规则匹配,则匹配过程停止。

例子

  • 一个产品 “demo” 需要处理三种流量:静态内容流量,“后” 流量,其他流量,据此我们可以定义三个集群:
    • 静态演示:提供静态内容
    • demo-post:发表留言
    • demo-main:服务其他流量
  • 在 BFE 配置中,可以添加以下路由规则:
    • 规则 1:req_path_prefix_in(“ / static”,false)-> demo-static,这意味着路径前缀为 “ / static” 的消息将被路由到集群 demo-static。
    • 规则 2:req_method_in(“ POST”)&& req_path_prefix_in(“ / setting”,false)-> demo-post,这意味着使用方法 “ POST” 并以 “ / setting” 为前缀的消息将被路由到集群 “ demo-发布”。
    • 规则 3:默认-> demo-main,这意味着所有与上述规则不匹配的消息都将发送到集群 “ demo-main”。

子集群级别的负载平衡

  • 在子集群级别,也可以配置负载平衡规则。规则定义了分配给每个子群集的流量权重。
  • 可以使用特殊的虚拟子群集 “ BLACKHOLE” 来丢弃流量。

例子

  • 考虑以下配置:
    • 两个 IDC:IDC1,IDC2
    • 两个 BFE 集群:BFE1,BFE2
    • 两个后端子集群:sub-cluster-1,sub-cluster-2
  • 在 BFE 群集(BFE1 和 BFE2)中:
    • BFE1:{sub-cluster-1:w11,sub-cluster-2:w12,Blackhole:w1B}
    • BFE2:{sub-cluster-1:w21,sub-cluster-2:w22,Blackhole:w2B}
  • 根据配置的权重,BFE 将流量分配到后端子群集。
    • 例如,如果权重配置{w11,w12,w1B} = {45,45,10},则到子集群的流量百分比是 sub-cluster-1,sub-cluster-2 和 Blackhole 分别是 45%,45%和 10 %。

实例级别的负载平衡

  • 通常,子群集由多个实例组成。在子群集中,WRR(加权轮询)用于在实例之间分发消息。
  • 实例可以根据其容量分配不同的权重。

实例的状况检查

BFE 对每个后端实例进行运行状况检查。实例具有以下两种状态:

  • 正常状态:实例正常处理消息。
  • 正在检查状态:实例异常,无法处理消息。BFE 在这种状态下会定期进行健康检查。

状态转换:

  • 在以下情况下正常进行检查:
  • 在连接或向实例发送消息时连续失败超过阈值。
  • 在以下情况下检查为正常:
  • BFE 从后端实例收到正确的健康检查请求响应。

消息重试失败

如果消息路由失败,则 BFE 支持分两个级别重试消息:

  • 在同一子群集内重新路由消息。
  • 将消息重新路由到其他子群集。

连接池

BFE 与后端实例之间的 TCP 连接支持:

  • 短期连接:BFE 使用新建立的 TCP 连接将每个请求消息路由到后端服务器。
  • 连接池:

    • BFE 维护到实例的连接池。
    • 对传入的请求:
      • 如果有可用的连接,请重新使用它。
      • 否则建立一个新的 TCP 连接。
    • 通过连接完成请求处理后:
      • 如果连接池的当前大小小于配置的数目,则将连接添加到该池中。
      • 否则,直接关闭连接。 #### 会话粘性 BFE 支持会话粘性基于请求消息的以下标识:
  • 源 IP

  • 请求标头,Cookie 等中的字段

将会话保持在不同的路由级别:

  • 子群集级别:会话的消息发送到相同的子群集(此子群集中的实例可能不同)。
  • 实例级别:会话消息发送到同一实例。

监测

指标

BFE 支持大量的内置指标,可以通过 BFE 实例的访问监视器端口获取这些指标。

配置

在 BFE 的配置文件中,设置监视端口:[服务器] monitorPort = <端口>

地址

访问以下 URL,从运行的 BFE 实例中获取指标的完整列表:http://:/monitor

插件

插件模块

值得注意的是,在该项目的众多 issue 下,有人提出关于 BFE 目前仅支持 Linux 的问题,项目贡献者随后做出回应,表示将来会支持 Windows,大家可以期待一下。

更多原创文章干货分享,请关注公众号
  • 加微信实战群请加微信(注明:实战群):gocnio
astaxie 将本帖设为了精华贴 02月16日 10:40

github 的链接已经失效。这是现在的链接 :https://github.com/baidu/bfe 😇

精华呀,感谢团队开源

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册