NGINX 向云原生演进，All in OpenNJet 

概述

OpenNJet KIC(Kubernetes Ingress Controller)基于OpenNJet proxy的动态特性、高性能实现。弥补nginx 在云原生场景中应用的不足。提供了丰富的流量管理能力，如动态location、host/path路由、负载均衡、动态upstream、金丝雀发布、TLS Termination/SNI、TCP/UDP、WebSocket等。

本版本主要特性：

• 支持分片处理Ingress/VS CR

• 支持与ADC集成

• 支持HTTP头操作

• 支持TCP代理

• 支持跨namespace

• 支持WebSocket代理

• 支持UDP代理

• 支持动态NJet VS/Accesslog

• 支持TCP主动健康检查

• 支持动态worker 进程数调整

本文简要介绍了这些新功能。

架构图如下：

新特性概览

分片处理Ingress/VS CR

针对不同的Ingress/VS资源有专门的kic来处理，这就是KIC分片机制。

不同的Ingress/VS资源由ingressClass标识，Ingress资源可以通过注解kubernetes.io/ingress.class或者spec.ingressClassName来标识，而VS资源可以通过spec.ingressClassName来标识。

注意，这种分片机制中的每一片KIC我们称为一类KIC，且与IngressClass一一对应，一个k8s集群中，有多种Njet KIC，那么就需要创建多个IngressClass对象。每一类KIC可以有多个副本(对应k8s架构中的多个pod)。

分片机制，导致每种KIC拥有自己感兴趣的Ingress/VS资源，而不是k8s集群中的全量Ingress/VS资源。其旨在解决单类型KIC无法承受全量配置的压力的问题。

与ADC集成

KIC与ADC集成后，ADC可以作为KIC的前端LB，通过ADC进行管理客户端流量并最终负载均衡到KIC 服务。KIC完成了如下功能：

• ADC域名注册：KIC向ADC注册了被KIC管理的k8s集群中的服务的域名，比如通过k8s ingress、vs CR管理的服务。此功能可以让客户端直接通过域名进行请求(需配置ADC的DNS服务器为默认DNS服务器)。

• ADC SlbPool注册：KIC向ADC注册了KIC服务关联的应用池(nodeIP+nodePort)，此功能可以让ADC路由到KIC服务

• ADC VS注册：KIC向ADC注册了一个VS，并关联第二步创建的应用池，此功能可以让客户端直接访问VS，实现 ADC可以作为KIC的前端LB

ADC VS中的VIP与被KIC管理的服务的域名相对应。
ADC VS中的VIP为一个公网IP，外部客户端可以直接访问。

整体架构

场景图：

交互架构图：

HTTP头操作

OpenNJet KIC头操作，可以针对客户端请求头进行修改，针对被代理服务的响应头进行操作。包括用户自定义头和HTTP规范中定义的头。

TCP代理

KIC TCP代理可以实现对上游TCP服务进行代理。TCP代理提供负载均衡能力。TCP代理完全动态化实现，不需要OpenNJet进行reload操作。

被代理的TCP服务都会有自己listen的端口，被代理服务越多，需要listen的端口就越多，传统Nginx实现中每新增一个listen都需要reload配置，为了解决reload问题，我们采用端口转发的的方式实现TCP服务的代理。具体设计如下：

• OpenNJet stream配置中预先listen一个12003端口(被代理的TCP服务监听的端口都会重定向到12003)。

• KIC通过客户定义的API，生成iptables规则，通过iptables规则，将要请求的TCP服务端口重定向到12003端口。

• OpenNJet stream通过客户端访问的"TCP服务端口"匹配客户预先通过API配置的upstream。此过程通过stream map进行匹配。

• OpenNJet stream把客户端请求发往匹配成功的upstream中的server(其中负载均衡由stream lua实现)。

  iptables规则，以及map内容的更新使用API动态更新，避免了进行reload操作

OpenNJet 配置实现如下：

 map $njtmesh_port \$stream_upstream {
 }
 
 server {
 listen 12003 mesh;
 set $proxy_upstream_name \$stream_upstream;
 proxy_pass upstream_balancer;
 }

客户端请求的端口始终为TransportServer中listener的端口。
被代理的服务不能使用的端口，因为KIC内部会使用，说明如下表所述：

跨namespace

K8s内建的Ingress只能处理与其相同ns中的服务的路由，没法进行跨ns操作。跨namespace配置功能解决了此限制。

除了Ingress支持跨namespace配置，VS同样也支持跨ns配置，使用者可根据自身情况进行选择。

Ingress通过不同Ingress类型来实现这一个功能，Ingress本身是没有类型这一概念的，我们通过添加注解"njet.org.cn/mergeable-ingress-type"来表示。注解可以取如下表格中的值：

相同host的master和minion可以在相同ns或者不同ns。

除了跨ns配置可以选择此功能，当一个host有大量的path时，单个Ingress维护起来较复杂时也可选择此功能来进行管理path。

VS CR与Ingress有同样的功能，但实现方式不同，VS CR通过引用一个子路由资源来进行跨ns配置，子路由是一个ns/name格式的字符串，用来表示VSR资源，VSR是一个K8s CR，为了此功能引入的一个新的CR。

WebSocket代理

WebSocket是一个独立的基于TCP的应用层协议，是一个全双工的通信协议。它与HTTP的唯一关系是它的握手被HTTP服务器解释为HTTP升级请求，当握手结束后与HTTP就没有关系了。协议有两个部分：握手和数据传输。握手阶段如下图所示：

Ingress通过增加注解来实现这一个功能，我们通过添加注解"njet.org.cn/websocket-services"来表示。

VS不需要任何配置。

UDP代理

KIC UDP代理可以实现对上游UDP服务进行代理。UDP代理提供负载均衡能力。UDP代理完全动态化实现，不需要OpenNJet 进行reload操作。

UDP服务代理实现与TCP服务代理基本一致，只是OpenNJet stream配置中预先listen一个12004端口(被代理的UDP服务监听的端口都会重定向到12004)，而TCP预先listen一个12003端口。详细说明参考TCP代理。

OpenNJet 配置实现如下：

map $njtmesh_port \$stream_upstream_udp {
}

server {
listen 12004 udp mesh;
set $proxy_upstream_name $stream_upstream_udp;
proxy_pass upstream_balancer;
}

动态NJet VS

与第一版相比较，我们将单server多location的方式实现HTTP host头匹配，和path匹配，修改为多server多location的方式，使用nginx 标准的server_name 实现host头匹配，但是是动态化更新配置的，不需要进行reload操作。第二版针对Ingress和VirtualServer没有增加额外其他功能。

动态Accesslog

KIC Accesslog功能可以实现对某一个应用单独应用accesslog策略(包括开关状态、accesslog文件路径)。也可以通过njet-config ConfigMap进行全局设置，但是"某一个应用单独应用accesslog策略"优先级更高。

TCP主动健康检查

对于Transport Server 资源，支持配置一个TCP端口，主动健康检查将根据配置的检查间隔，检测该TCP端口是否正常监听，并根据检查结果对后端进行上线及下线操作。

apiVersion: k8s.njet.org/v1alpha1
 kind: TransportServer
 metadata:
 name: testapp-tcp
 spec:
 listener:
 name: test-tcp
 protocol: TCP
 upstreams:
 - name: testapp1
 service: testapp
 port: 80
 healthCheck:
 enable: true
 interval: 20s
 timeout: 5s
 fails: 1
 passes: 1
 port: 83
 action:
 pass: testapp1

配置说明如下：

动态worker 进程数调整

支持通过ConfigMap资源，配置njet 实例的worker进程数目，ConfigMap中的配置项更新后，将触发worker进程数动态修改。

参考链接

OpenNJetKIC用户手册

OpenNJet KIC源码地址

NJet 应用引擎通过内核重构实现了独特的运行时动态配置加载能力，是新一代高性能 Web 应用引擎。NJet 拥有高性能数据面处理能力，将集群、高可用、主动健康检查、声明式 API 等多种辅助功能，通过 NJet 独特的副驾驶 CoPilot 服务框架调度，从而方便功能扩展，隔离管理 / 控制功能对数据面的影响，NJet 应用引擎性能超过 CNCF 推荐 Envoy 应用引擎的三倍。 邮件组  官网