关键数据隐藏，消除访问日志中的数据安全隐患

1. 背景介绍

NJet目前应用最多的是做HTTP代理。为了业务跟踪及故障分析等原因，代理经常会把业务请求的日志详细记录到access.log的文件中，包括请求参数，访问耗时，访问代码等等。这个文件，会无意中泄漏出比较敏感的信息，比如查询参数中的证件号码，银行卡号，手机号码，或能够泄漏出具体位置的访问ip等等。由于日志文件的关注度不高，并随着运维流程被四处传递，这样就导致了严重的数据安全漏洞。因此必须对日志文件中的敏感数据做隐藏处理，从而符合企业的数据安全规范，保证客户的权益。

2. 实现简介

NJet 针对企业越来越严格的安全要求，特意实现了名为“数据消隐”的安全加固模块，该模块主要实现了两类数据的隐藏：首先是NJet变量的隐藏，主要像客户端的IP，或某些header，比如 日志格式中配置了记录访问的client_ip, 则被隐藏后，文件中原记录的“10.0.0.x” 这样的记录则被简单的替换为“"；再则是查询参数中的某些属性，原始记录中的”?phone_num=13900000000&flag=1“ 就被替换为“?phone_num=&flag=1”,如果phone_num被定义为敏感信息的话。

另外需要强调的敏感数据定义是完全动态可配置的。目前覆盖到的是客户端连接数据，查询参数，由于restful接口会把业务属性存放到uri的path中，后续“数据消隐”模块还需要把隐藏的类型扩展到path，才能更好的满足企业的要求

2.1 实现指令

新增一个配置数据隐藏的指令log_data_hidden

参数介绍：

说明：

• 该指令可配置在http块的任何位置，可配置多条
• http块的配置对所有的server和location生效
• server块的配置对该server块下所有的location生效
• location块的配置只对该location生效

3. 配置示例

假设某企业利用NJet做业务代理，其acess.log 采用如下的日志格式，即把业务请求中的请求地址，时间，具体的请求行都记录下来

log_format combined ‘$remote_addr - $remote_user [$time_local] '  '"$request" $status $body_bytes_sent ' 

其产生的日志行如下：

192.168.40.158 - - [03/Jul/2024:14:17:02 +0800] "GET /svc?ID=372929199605756028&status=1 HTTP/1.1" 200 9 "-" "curl/7.29.0" 

因为请求的查询参数中ID是敏感的，需要隐藏。因此在配置文件中该location下配置数据隐藏

 location /svc { ... log_data_hidden query_param ID; #query_param a隐藏 ... } 

隐藏后产生的日志如下

192.168.40.158 - - [03/Jul/2024:14:17:02 +0800] "GET /svc?ID=372929199605756028&status=1 HTTP/1.1" 200 9 "-" "curl/7.29.0" 192.168.40.158 - - [03/Jul/2024:14:17:48 +0800] "GET /svc?ID=*&status=1 HTTP/1.1" 200 9 "-" "curl/7.29.0" 

4. 参考及其它说明

• NJet 使用的变量和nginx兼容，请参考 https://nginx.org/en/docs/varindex.html
• “数据消隐” 在NJet3.0开始支持