Elasticsearch：Node.js ECS 日志记录 - Morgan
这是之前系列文章：
中的第三篇文章。在今天的文章中，我将描述如何使用 Morgan 包针对 Node.js 应用进行日子记录。此 Morgan Node.js 软件包为 morgan 日志中间件（通常与 Express 一起使用）提供了一个格式化程序，与 Elastic Common Schema (ECS) 日志记录兼容。结合 Filebeat 发送器，你可以在 Elastic Stack 中的一处监控所有日志。
设置
安装
npm install @elastic/ecs-morgan-format
npm install morgan
配置
morgan-logging.js
const app = require('express')();
const morgan = require('morgan');
const { ecsFormat } = require('@elastic/ecs-morgan-format');
app.use(morgan(ecsFormat(/* options */))); // 1
// ...
app.get('/', function (req, res) {
res.send('hello, world!');
})
app.listen(3000);
- 将 ECS 格式化程序传递给 morgan()。
配置 Filebeat
收集 ECS 格式化的日志的最佳方式是使用 Filebeat：
Filebeat 7.16+
filebeat.yml
filebeat.inputs:
- type: filestream # 1
paths: /path/to/logs.json
parsers:
- ndjson:
overwrite_keys: true # 2
add_error_key: true # 3
expand_keys: true # 4
processors: # 5
- add_host_metadata: ~
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~
- 使用文件流输入从活动日志文件中读取行。
- 如果发生冲突，解码的 JSON 对象的值将覆盖 Filebeat 通常添加的字段（type、source、offset 等）。
- 如果发生 JSON 解组错误，Filebeat 将添加 “error.message” 和 “error.type: json” 键。
- Filebeat 将递归地从解码的 JSON 中去掉点键，并将其扩展为分层对象结构。
- 处理器可增强您的数据。请参阅 processor 以了解更多信息。
Filebeat < 7.16
filebeat.yml
filebeat.inputs:
- type: log
paths: /path/to/logs.json
json.keys_under_root: true
json.overwrite_keys: true
json.add_error_key: true
json.expand_keys: true
processors:
- add_host_metadata: ~
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~
有关更多信息，请参阅 Filebeat 参考。
使用方法
morgan-logging.js
const app = require('express')();
const morgan = require('morgan');
const { ecsFormat } = require('@elastic/ecs-morgan-format');
app.use(morgan(ecsFormat(/* options */))); // 1
app.get('/', function (req, res) {
res.send('hello, world!');
})
app.get('/error', function (req, res, next) {
next(new Error('boom'));
})
app.listen(3000)
- 请参阅下面的可用选项。
运行上面的应用，并访问 http://localhost:3000。
npm install express
$ pwd
/Users/liuxg/nodejs/nodejs-logs
$ ls
morgan-logging.js pino-logging.js winston-logging.js
$ node morgan-logging.js | jq .
运行此脚本（完整示例在这里）并发出请求（通过 curl -i localhost:3000/）将产生类似于以上内容的日志输出。
Format 选项
你可以传递任何通常传递给 morgan() 的格式参数，日志 “message” 字段将使用指定的格式。默认为 combined。
const app = require('express')();
const morgan = require('morgan');
const { ecsFormat } = require('@elastic/ecs-morgan-format');
app.use(morgan(ecsFormat({ format: 'tiny' }))); // 1
// ...
- 如果 “format” 是你使用的唯一选项，你可以将其作为 ecsFormat('tiny') 传递。
log.level
如果响应代码 >= 500，log.level 字段将为 “error”，否则为 “info”。例如，再次运行 examples/express.js，curl -i localhost:3000/error 将产生：
% node examples/express.js | jq .
{
"@timestamp": "2021-01-18T17:52:12.810Z",
"log.level": "error",
"message": "::1 - - [18/Jan/2021:17:52:12 +0000] \"GET /error HTTP/1.1\" 500 1416 \"-\" \"curl/7.64.1\"",
"http": {
"response": {
"status_code": 500,
...
使用 APM 进行日志关联
此 ECS 日志格式化程序与 Elastic APM 集成。如果你的 Node 应用正在使用 Node.js Elastic APM Agent，则会将多个字段添加到日志记录中，以关联 APM 服务或跟踪和日志数据：
- 当前跟踪跨度时调用的日志语句（例如 logger.info(...)）将包括跟踪字段 — trace.id、transaction.id。
- 由 APM 代理确定或在 APM 代理上配置的多个服务标识符字段允许在 Kibana 中的服务和日志之间进行交叉链接 — service.name、service.version、service.environment、service.node.name。
- event.dataset 在 Elastic Observability 应用中启用日志率异常检测。
例如，运行 examples/express-with-apm.js 和 curl -i localhost:3000/ 会产生包含以下内容的日志记录：
% node examples/express-with-apm.js | jq .
{
// The same fields as before, plus:
"service.name": "express-with-elastic-apm",
"service.version": "1.1.0",
"service.environment": "development",
"event.dataset": "express-with-elastic-apm",
"trace.id": "116d46f667a7600deed9c41fa015f7de",
"transaction.id": "b84fb72d7bf42866"
}
这些 ID 与 APM 代理报告的跟踪数据相匹配。
可以通过 apmIntegration: false 选项明确禁用与 Elastic APM 的集成，例如：
app.use(morgan(ecsFormat({ apmIntegration: false })));
参考
ecsFormat([options])
- options {type-object} 支持以下选项：
- format {type-string} 格式名称（例如 combined）、格式函数（例如 morgan.combined）或格式字符串（例如 :method :url :status）。这用于格式化“message”字段。默认值 morgan.combined。
- convertErr {type-boolean} 是否将记录的错误字段转换为 ECS 错误字段。默认值：true。
- apmIntegration {type-boolean} 是否启用 APM 代理集成。默认值：true。
- serviceName {type-string} “service.name”值。如果指定，则覆盖来自活动 APM 代理的任何值。
- serviceVersion {type-string} “service.version”值。如果指定，则覆盖来自活动 APM 代理的任何值。
- serviceEnvironment {type-string} “service.environment”值。如果指定，则将覆盖来自活动 APM 代理的任何值。
- serviceNodeName {type-string} “service.node.name” 值。如果指定，则将覆盖来自活动 APM 代理的任何值。
- eventDataset {type-string} “event.dataset” 值。如果指定，则将覆盖使用 ${serviceVersion} 的默认设置。
为 morgan 创建以 ECS 日志记录格式发出的格式化程序。
