Apache Storm 2.3.0 发布,分布式实时计算
Apache Storm 2.3.0 现已发布。Apache Storm 是一个分布式的、容错的、高性能的实时计算系统,为数据的处理提供了有力的保障。
主要更新内容
- 新功能
- 在 docker 容器中启动 Storm Worker
- 使用 runc 运行时在容器内启动工作器
- 改进
- 添加快速、更可靠的进程活跃度检查
- 将 JCQueue 指标切换到新的指标 API
- 将 AutoTGT 指标更新为新 API
- 改进 PacemakerClient 错误消息
- 为类似于 LIMIT-MEM 的 worker childopts 添加 OFF-HEAP 宏
- Ackers 和 metricComponents 分布不均
- 在调度中对喜欢/不喜欢节点中的公共节点进行文档处理
- JCQueue 不应在指标名称中包含执行程序字符串
- Hadoop TGT 更新异常的更改处理
- 如果在拓扑 conf 或集群 conf 中为 true,storm.messaging.netty.authentication 应该为 true
- 用户页面应在所有者拓扑表中显示 storm 版本
- 删除消息队列以更新 Executor 凭据
- Netty 服务器应该更好地处理传入的消息
- 继续支持 2.x 拓扑的 Pacemaker
- 改进由于工作程序最大堆大小不正确而导致提交拓扑的异常消息
- 守护程序指标报告器和拓扑指标报告器的单独配置
- 将 TopologySummary 方法添加到 NImbus 以获得最佳 UI 查询
- 更新 BuiltinMetrics 以使用 v2 Metrics API
- 在 ServerUtils 中消除 ps 命令并使用 /proc/ status
- 减少调试日志到调度程序日志
- 升级 netty 客户端指标以使用 V2 API
- Bug 修复
- 修复 ArtifactoryConfigLoader.load 上的竞争条件
- 修复关于storm.supervisor.medium.memory.grace.period.ms 的逻辑错误
- worker 应在其任务变更时自杀
- 由于 ShutdownHooks 引起的死锁和竞争条件,有问题的 worker 没有及时杀死
- 修复 Mockito 1.x 的拓扑无法运行单元测试的问题
- 在重新平衡命令中验证组件名称并修复 --executor 选项
- 如果分配为空,则修复 worker 自杀功能
更多详细内容请查看更新公告。