Fluent Bit v4.0.4 发布
Fluent Bit v4.0.4 现已发布。本版本引入了强大的 OpenTelemetry 接口，提升编码解码能力；增强 Lua 脚本支持 OTLP 元数据访问；支持非 UTF-8 日志的字符编码转换；新增 AWS IAM 对 Kafka/MSK 的支持，同时带来性能提升、NFS-tail 修复及其他多项改进。
新的 OpenTelemetry 接口
Fluent Bit 持续强化作为现代 OpenTelemetry 数据管道的地位。v4.0.4 中新增内部 OpenTelemetry 接口，专注于编码和解码处理，使 OTLP 日志处理更快、更安全、更易测试。
主要改进：
-
JSON 与 Protobuf OTLP 统一处理
-
输入、处理、输出阶段职责更清晰
-
更好的单元测试与编码错误报告
-
out_opentelemetry 和 in_opentelemetry 新增自定义 logs_body_key 支持，方便按需构建 OTLP 日志体
此基础为跟踪、指标、日志的强力接入打下坚实基础，使 Fluent Bit 成为 OTLP 原生环境中可靠的转发器。
Lua 过滤器新能力：OTLP 元数据及分组访问
v4.0.4 中，Lua 过滤器支持 OpenTelemetry，能进行更灵活的记录级和分组级处理。适合根据资源或范围属性动态修改 OTLP 日志。
新函数签名：
function cb(tag, timestamp, group, metadata, record)
你可以做：
-
注入 resource.attributes（如 service.name）到日志记录
-
修改 OTLP 严重级别或标签
-
每次调用返回多条记录和元数据
-
简单脚本和复杂脚本兼容
示例：调整 OTLP 严重级别并添加服务名
function cb(tag, ts, group, metadata, record)
if group['resource']['attributes']['service.name'] then
record['service_name'] = group['resource']['attributes']['service.name']
end
if metadata['otlp']['severity_number'] == 9then
metadata['otlp']['severity_number'] = 13
metadata['otlp']['severity_text'] = 'WARN'
end
return1, ts, metadata, record
end
兼容 OpenTelemetry Collector 日志和所有 OTLP 日志生产者。
亚洲市场编码支持：原生转码
亚洲很多组织日志仍用 GBK、Big5、Shift_JIS 等编码，发送到 UTF-8 后端时会出现乱码。
Fluent Bit 现在在 in_tail 中集成了原生字符编码引擎。通过 generic.encoding 属性，可在读取时直接转码为 UTF-8。
示例：GBK 转 UTF-8
pipeline:
inputs:
-name:tail
path:/var/log/my_legacy_app.log
parser:json
generic.encoding:GBK
outputs:
-name:stdout
确保 Elasticsearch、OpenSearch、S3 等后端收到干净的 UTF-8 日志。非常适合 Fluentd → Fluent Bit 平滑迁移。
Kafka + AWS MSK IAM + 性能提升
Fluent Bit 新增对 Amazon MSK 的 AWS IAM 认证支持（输入和输出插件均支持）。
亮点：
-
使用 OAuthBearer 的 AWS SigV4 签名
-
支持 EC2 IAM 角色、STS 令牌和无服务器 MSK
-
基于 librdkafka 实现无状态令牌刷新
无需在配置中存储凭证，只需 IAM 即可。
额外功能：Kafka 输入支持 enable_auto_commit
Kafka 消费者支持：
enable_auto_commit: true
-
false（默认）= 安全优先，处理完毕后提交
-
true = 性能优先，批量提交，提高吞吐
适合能容忍重复消费、追求最大吞吐的场景。
in_tail 文件轮转改进（NFS 友好）
NFS 或远程挂载的日志文件轮转和覆盖常带来问题。
v4.0.4 中，in_tail 改用 fstat() 判断轮转，更适用于：
-
网络文件系统（NFS）
-
集中日志目录
-
容器卷挂载环境
防止文件移动或轮转时日志重复、丢失或漏采。
其他亮点
插件：
-
out_opentelemetry：重试、元数据合并和分组修复
-
out_loki：避免多工作线程使用 Remove_Keys 时的竞态
-
filter_modify / filter_lua：内存修复和清理
-
in_kafka / out_kafka：改进 AWS MSK 集成和令牌验证
核心与构建系统：
-
librdkafka 升级到 v2.10.1
-
新增编码、过滤器、上游行为测试
-
优化上游连接复用逻辑
-
安装器支持 Rocky Linux 和 AlmaLinux
-
全面代码清理和内存泄漏修复
