您现在的位置是：首页 > 文章详情

如何利用OpenNJet动态配置故障注入

日期：2023-09-27点击：270收藏

NGINX 向云原生演进，All in OpenNJet

中断导致的服务中断可能会造成严重的业务后果，因此构建、运行和测试弹性系统非常重要。系统的弹性源自其各部分的弹性：系统的每个部分都能够处理一定数量的错误或故障。无论是后续的服务不可用、网络延迟还是数据可用性问题，分布式系统都充满了相应的错误处理的隐含非功能性需求。

什么故障注入？

故障注入是软件测试的补充技术，用于提高软件性能和弹性。通常的测试方法验证软件的正确行为，而故障注入则通过故意注入的故障来评估软件的正确行为。

HTTP故障注入，支持中止(abort)来自下游服务的Http请求，和/或延迟(delay)代理请求,一个故障规则必须具有延迟或中止或两者兼有。在将HTTP请求转发到路由中指定的目的地时，可以注入一个或多个故障。故障注入策略应用于客户端HTTP流量。

延迟规范用于在请求转发路径中注入延迟。

中止规范用于提前中止一个请求，并返回一个预先指定的错误码。

类型

故障注入主要有三种类型，同一个location下，只允许配置一种：

Delay: 只注入延迟故障，延迟时间到后，再发起对upstream的连接请求
Abort：只注入中止故障，收到客户端请求，直接将注入的状态码返回给客户端，结束请求
Delay+Abort：同时注入延迟故障和abort故障，先进行延迟，延迟时间到后，直接返回abort设置的状态码给客户端，结束请求，不再发起对upstream的连接请求

指令(fault_inject)：

fault_inject 指令

参数介绍：

参数	类型	必填	说明
type={type}	string	是	delay、abort、delay_abort 三者之一delay：延迟注入类型abort：中止注入类型delay_abort: 延迟+中止注入类型
delay_duration={duration}	string	是（delay和delay_abort 必填）	delay时间， 1h/1m/1s/1ms，必须>=1ms
status_code={code}	uint	是（abort和delay_abort 必填）	code设置注入返回码， [200, 600]
delay_percentage={pct}	uint	可选，默认100 （100%）	设置注入delay请求的百分比，默认是100%，范围： [1, 100], eg: 1表示1%， 10表示10%
abort_percentage={pct}	uint	可选，默认100 （100%）	设置注入abort请求的百分比，默认是100%，范围： [1, 100], eg: 1表示1%， 10表示10%

Abort注入类型

功能: 按照设置的百分比概率，对命中的请求直接返回指定的status_code

参数介绍：

参数	类型	必填	说明
status_code={code}	uint	是	code设置注入返回码， [200, 600]
abort_percentage={pct}	uint	可选，默认100 （100%）	设置注入abort请求的百分比，默认是100%，范围： [1, 100], eg: 1表示1%， 10表示10%

1.3.2 Delay注入类型

功能: 按照设置的百分比概率，对命中的请求按照设定的duration时间延迟发起对上游upstream的请求

参数介绍：

参数	类型	必填	说明
delay_duration={duration}	string	是	delay时间， 1h/1m/1s/1ms，必须>=1ms
delay_percentage={pct}	uint	可选，默认100 （100%）	设置注入delay请求的百分比，默认是100%，范围： [1, 100], eg: 1表示1%， 10表示10%

Delay+Abort注入类型

功能: 按照设置的百分比概率，对命中的请求按照设定的duration时间延迟发起对上游upstream的请求

参数介绍：

参数	类型	必填	说明
delay_duration={duration}	string	是	delay时间， 1h/1m/1s/1ms，必须>=1ms
status_code={code}	uint	是	code设置注入返回码， [200, 600]
delay_percentage={pct}	uint	可选，默认100 （100%）	设置注入delay请求的百分比，默认是100，范围： [1, 100], eg: 1表示1%， 100表示100%
abort_percentage={pct}	uint	可选，默认100 （100%）	设置注入abort请求的百分比，默认是100，范围： [1, 100], eg: 1表示1%， 100表示100%

OpenNJet中的声明式API 动态故障注入

接口url

 GET http://{ip:port}/config/2/config/http_dyn_fault_inject PUT http://{ip:port}/config/2/config/http_dyn_fault_inject

Json格式如下：

{ "servers": [ { "listens": [ "0.0.0.0:92" ], "serverNames": [ "" ], "locations": [ { "location": "/", #此处type可为下面四种 #abort 这个表示中止注入 #delay 这个表示延迟注入 #delay_abort 这个表示延迟+中止注入 #none 这个表示取消故障注入或者不设置故障注入 "fault_inject_type": "delay_abort", #如果该值为none，则其他参数取值无意义 "delay_percentage": 100, #延迟故障注入百分比，如果是abort类型，该值无意义 "abort_percentage": 100, #中止故障注入百分比，如果是delay类型，该值无意义 "status_code": 405, #故障注入状态码，如果是delay类型，该值无意义 "delay_duration": "5s", #故障注入延迟时间，如果是abort类型，该值无意义 "locations": [ { "location": "/demo", "fault_inject_type": "none", #子location /demo 故障注入类型 } ] } ] } ] }

OpenNJet 配置文件

load_module modules/njt_http_dyn_fault_inject_module.so; #使用动态故障注入功能需要load该模块

模块编译

故障注入模块是静态编译进去，通过NJT_HTTP_FAULT_INJECT 宏控制开启

声明式 API 动态故障注入模块采用动态编译，需要通过loadmodule指令加载使用

功能测试

HTTP1.1 协议测试

abort故障注入测试

配置：

server { listen 80 ; server_name localhost; location / { fault_inject type=abort status_code=405 abort_percentage=100; proxy_next_upstream_tries 0; #关闭重试 proxy_next_upstream_timeout 0; #关闭超时 proxy_pass http://back/; } }

测试效果：

浏览器http1.1 访问，立马返回405，如下：

OpenNJet日志：

2023/07/17 17:04:51 [debug] 13179#0: *35 fault injet abort 405, client: 192.168.40.205, server: localhost, request: "GET / HTTP/1.1", host: "192.168.40.136"

delay故障注入测试

配置：

server { listen 80 ; server_name localhost; location / { fault_inject type=delay delay_duration=10s delay_percentage=100; proxy_next_upstream_tries 0; #关闭重试 proxy_next_upstream_timeout 0; #关闭超时 proxy_pass http://back/; } }

测试效果：

浏览器http1.1 访问，等待10s后返回访问成功页面，如下：

OpenNJet日志：

#等待10s 后正常处理并成功返回页面 2023/07/17 17:02:04 [debug] 13015#0: *28 fault inject start deleay, client: 192.168.40.205, server: localhost, request: "GET / HTTP/1.1", host: "192.168.40.136" 2023/07/17 17:02:14 [debug] 13015#0: *28 fault njet delay success, client: 192.168.40.205, server: localhost, request: "GET / HTTP/1.1", host: "192.168.40.136" 2023/07/17 17:02:14 [debug] 13015#0: *28 fault inject delay timer clean while closing request, client: 192.168.40.205, server: localhost, request: "GET / HTTP/1.1", upstream: "http://127.0.0.1:8008/", host: "192.168.40.136"

delay_abort故障注入测试

配置：

server { listen 80 ; server_name localhost; location / { fault_inject type=delay_abort delay_duration=10s status_code=405 delay_percentage=100; proxy_next_upstream_tries 0; #关闭重试 proxy_next_upstream_timeout 0; #关闭超时 proxy_pass http://back/; } }

测试效果：

浏览器http1.1 访问，等待10s后直接返回405，如下：

OpenNJet日志：

# 先delay等待10s 2023/07/17 16:57:48 [debug] 11894#0: *26 fault inject start deleay, client: 192.168.40.205, server: 192.168.40.136, request: "GET / HTTP/1.1", host: "192.168.40.136" 2023/07/17 16:57:58 [debug] 11894#0: *26 fault njet delay success, client: 192.168.40.205, server: 192.168.40.136, request: "GET / HTTP/1.1", host: "192.168.40.136" #直接返回 405 abort 2023/07/17 16:57:58 [debug] 11894#0: *26 fault injet abort 405, client: 192.168.40.205, server: 192.168.40.136, request: "GET / HTTP/1.1", host: "192.168.40.136" 2023/07/17 16:57:58 [debug] 11894#0: *26 fault inject delay timer clean while closing request, client: 192.168.40.205, server: 192.168.40.136, request: "GET / HTTP/1.1", host: "192.168.40.136"

HTTP2 协议测试

abort故障注入测试

配置：

server { listen 81 ssl http2; server_name 192.168.40.136; ssl_certificate /root/bug/njet1.0/mycert/www.tmlake.xn--com-7m0aa+3.pem; ssl_certificate_key /root/bug/njet1.0/mycert/www.tmlake.xn--com-7m0aa+3-key.pem; location / { fault_inject type=abort status_code=405 abort_percentage=100; proxy_next_upstream_tries 0; #关闭重试 proxy_next_upstream_timeout 0; #关闭超时 proxy_pass http://back/; } }

测试效果：

浏览器http2访问，立马返回405，如下：

OpenNJet日志：

#直接返回405 2023/07/17 16:43:54 [debug] 11894#0: *8 fault injet abort 405, client: 192.168.40.205, server: 192.168.40.136, request: "GET / HTTP/2.0", host: "192.168.40.136:81"

delay故障注入测试

配置：

server { listen 81 ssl http2; server_name 192.168.40.136; ssl_certificate /root/bug/njet1.0/mycert/www.tmlake.xn--com-7m0aa+3.pem; ssl_certificate_key /root/bug/njet1.0/mycert/www.tmlake.xn--com-7m0aa+3-key.pem; location / { fault_inject type=delay delay_duration=10s delay_percentage=100; proxy_next_upstream_tries 0; #关闭重试 proxy_next_upstream_timeout 0; #关闭超时 proxy_pass http://back/; } }

测试效果：

浏览器http2访问，等待10s后成功访问页面，如下：

OpenNJet日志：

#delay 10s后成功访问到页面 2023/07/17 16:42:03 [debug] 11783#0: *4 fault inject start deleay, client: 192.168.40.205, server: 192.168.40.136, request: "GET / HTTP/2.0", host: "192.168.40.136:81" 2023/07/17 16:42:13 [debug] 11783#0: *4 fault njet delay success, client: 192.168.40.205, server: 192.168.40.136, request: "GET / HTTP/2.0", host: "192.168.40.136:81" 2023/07/17 16:42:13 [debug] 11783#0: *4 fault inject delay timer clean while sending to client, client: 192.168.40.205, server: 192.168.40.136, request: "GET / HTTP/2.0", upstream: "http://127.0.0.1:8008/", host: "192.168.40.136:81"

delay_abort故障注入测试

配置：

server { listen 81 ssl http2; server_name 192.168.40.136; ssl_certificate /root/bug/njet1.0/mycert/www.tmlake.xn--com-7m0aa+3.pem; ssl_certificate_key /root/bug/njet1.0/mycert/www.tmlake.xn--com-7m0aa+3-key.pem; location / { fault_inject type=delay_abort delay_duration=10s status_code=405 delay_percentage=100; proxy_next_upstream_tries 0; #关闭重试 proxy_next_upstream_timeout 0; #关闭超时 proxy_pass http://back/; } }

测试效果：

浏览器http2 访问，等待10s后返回405，如下：

OpenNJet日志：

#先delay 10s 2023/07/17 16:39:10 [debug] 11598#0: *2 fault inject start deleay, client: 192.168.40.205, server: 192.168.40.136, request: "GET / HTTP/2.0", host: "192.168.40.136:81" 2023/07/17 16:39:20 [debug] 11598#0: *2 fault njet delay success, client: 192.168.40.205, server: 192.168.40.136, request: "GET / HTTP/2.0", host: "192.168.40.136:81" #再直接返回405 abort 2023/07/17 16:39:20 [debug] 11598#0: *2 fault injet abort 405, client: 192.168.40.205, server: 192.168.40.136, request: "GET / HTTP/2.0", host: "192.168.40.136:81" 2023/07/17 16:39:20 [debug] 11598#0: *2 fault inject delay timer clean, client: 192.168.40.205, server: 192.168.40.136, request: "GET / HTTP/2.0", host: "192.168.40.136:81"

OpenNJet中声明式 API 动态故障注入测试

OpenNJet静态配置

... load_module modules/njt_http_dyn_fault_inject_module.so; #load 动态模块so ... http{ ... upstream back{ server 127.0.0.1:8008; } server{ listen 8008; location / { index 8008.html; add_header Set-Cookie route=8008; } } #8009 为普通server, 返回8008.html文件 server{ listen 8009; location / { proxy_pass http://back/; } } ... }

执行get请求

curl http://192.168.40.136:8081/config/2/config/http_dyn_fault_inject | jq

{ "servers": [ { "listens": [ "0.0.0.0:8009" ], "serverNames": [ "" ], "locations": [ { "location": "/", "fault_inject_type": "none", #8009 静态默认为none，即没有设置故障注入， #相关参数没有意义 "delay_percentage": 100, "abort_percentage": 100, "status_code": 200, "delay_duration": "" } ] }, { "listens": [ "0.0.0.0:8008" ], "serverNames": [ "" ], "locations": [ { "location": "/", "fault_inject_type": "none", "delay_percentage": 100, "abort_percentage": 100, "status_code": 200, "delay_duration": "" } ] } ] }

浏览器访问

没有任何延迟，立马返回结果页面

执行put请求，修改

curl -X PUT http://192.168.40.136:8081/config/2/config/http_dyn_fault_inject -d ‘@json.txt’

json.txt如下：

{ "servers": [ { "listens": [ "0.0.0.0:8009" ], "serverNames": [ "" ], "locations": [ { "location": "/", "fault_inject_type": "delay_abort", #修改为delay_abort, delay 5s, 然后返回405 "delay_percentage": 100, "abort_percentage": 100, "status_code": 405, "delay_duration": "5s" } ] }, { "listens": [ "0.0.0.0:8008" ], "serverNames": [ "" ], "locations": [ { "location": "/", "fault_inject_type": "none", "delay_percentage": 100, "abort_percentage": 100, "status_code": 200, "delay_duration": "" } ] } ] }

再次get

curl http://192.168.40.136:8081/config/2/config/http_dyn_fault_inject | jq

{ "servers": [ { "listens": [ "0.0.0.0:8009" ], "serverNames": [ "" ], "locations": [ { "location": "/", "fault_inject_type": "delay_abort", #与put 修改一致，说明修改成功 "delay_percentage": 100, "abort_percentage": 100, "status_code": 405, "delay_duration": "5s" } ] }, { "listens": [ "0.0.0.0:8008" ], "serverNames": [ "" ], "locations": [ { "location": "/", "fault_inject_type": "none", "delay_percentage": 100, "abort_percentage": 100, "status_code": 200, "delay_duration": "" } ] } ] }

通过浏览器实际访问

实际效果，等待5s，返回405，与预期一致

后台日志

 #日志也显示delay 5s后，返回abort 405 2023/07/20 15:55:17 [debug] 30305#0: *12 fault inject start deleay, client: 192.168.40.205, server: , request: "GET / HTTP/1.1", host: "192.168.40.136:8009" 2023/07/20 15:55:22 [debug] 30305#0: *12 fault njet delay success, client: 192.168.40.205, server: , request: "GET / HTTP/1.1", host: "192.168.40.136:8009" 2023/07/20 15:55:22 [debug] 30305#0: *12 fault injet abort 405, client: 192.168.40.205, server: , request: "GET / HTTP/1.1", host: "192.168.40.136:8009" 2023/07/20 15:55:22 [debug] 30305#0: *12 fault inject delay timer clean while closing request, client: 192.168.40.205, server: , request: "GET / HTTP/1.1", host: "192.168.40.136:8009"=

更多实践案例，查看njet.org.cn

OpenNJet 最早是基于 NGINX1.19 基础 fork 并独立演进，OpenNJet 具有高性能、稳定、易扩展的特点，同时也解决了 NGINX 长期存在的难于动态配置、管理功能影响业务等问题。作为底层引擎，OpenNJet 利用动态加载机制可以实现不同的产品形态，如 API 网关、消息代理、出入向代理，负载均衡，WAF 等等。在云原生架构中，OpenNJet 除了提供南北向通信网关的功能以外，还提供了服务网格中东西向通信、透明流量劫持、熔断、遥测与故障注入等新功能特性。

Gitee 邮件组
邀您开源共建：https://njet.org.cn/

原文链接：https://my.oschina.net/u/6606114/blog/10114624

关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。