解密百TB数据分析如何跑进45秒
导读: 简述了大数据处理的技术实践,从高实时性、秒级查询、交互式分析等方面进行详述。同时,介绍了离线任务管理的拓展领域。希望给读者带来一些启发,更希望能引起志同道合者的共鸣和探讨。 全文2054字,预计阅读时间 6分钟。 推荐阅读: |百度AI原生云实践: 基于容器云打造 AI 开发基础设施 | 5届奥运会照片表情分析显示,运动员拿铜牌比拿银牌更可能在领奖台上微笑 |【有奖提问】开发者中心问答 邀你出题!
作者:薛炜明
这个版本是EventMesh进入apache孵化的首个版本,我非常荣幸能够担任本次EventMesh这个大版本的Release Manager。
在这个版本中,社区贡献者们完成了大量的优化和问题修复,极大地提高了应用的安全性、稳定性、可用性,上线版本的新功能特性以及修复优化,主要是以几个方面:
特性介绍
Connector&Adaptor
可插拔式对接多种事件存储、支持适配多种协议、适配多种Schema
Binding
支持将事件与topic、schema绑定,提供事件的构建、转换、路由以及多种过滤模式
Distributed Primitives
EventMesh不仅支持云本地部署,还支持集群部署。对于分布式事件传递,eventmesh提供了两种消费模式,在集群模式下,一个事件只能传递给每组中的一个实例,而在广播模式下,每组中的每个实例都可以接收到每一个事件。
Scaling
基于云原生的弹性能力,EventMesh具有水平自动扩缩容的能力
Orchestration
EventMesh可作为不同服务之间的协调器,支持对工作流进行编排。因此,如果工作流中出现故障,可以执行补偿操作从故障中恢复。
State Abstraction
支持对接稳定、可信和有状态的服务。订阅者通过EventMesh可以使用最适合这些订阅者性能需求的任何存储来重建源系统的状态:SQL/NoSQL、对象存储、基于文件的存储等。
EventMesh架构图
新增特性
支持RocketMQ 作为事件存储
支持Spi 进行插件化扩展实现以适应各种事件存储
支持Http模式发布/订阅,心跳管理和订阅信息维护
支持在docker容器下运行eventmesh
优化
优化eventmesh-connector-api中的接口设计
Tcp模式eventmesh异步化下发广播消息到客户端
将rocketmq插件配置从运行态eventmesh-runtime中拆分
清理遗留、易混淆的属性、概念
Openmessaging-api升级到 2.2.1-pubsub 版本
Bug修复
修复Tcp模式删除订阅会话失败
修复在 PullConsumer 消费主题中的消息后,ConsumerGroup队列偏移量未正确同步
修复解析 Long 时出现java.lang.NumberFormatException
解决EventMesh SDK 的 LiteConsumer HTTP 客户端中的竞态条件问题
解决Rocketmq 插件空指针异常
修复消费者拉取请求消息的属性“bizSeqNo”为空问题
修复多个监听实例,只有最后启动的实例能接收消息问题
修复EventMesh ProxyTcpRetryer抛出NumberFormatException问题
修复rocketmq-connector插件进行 tcp 推送时 throw操作超时异常
修复发送同步RR(request-response) msg失败异常
修复rocketmq-connector插件无法成功发送和接收msg异常
解决发布/订阅客户端无法启动问题
修复当onChange为NEW时,发生NullPointException问题
文档代码风格优化
修订包名,完善测试用例
补充eventmesh 项目必要的发布文件
补充eventmesh 模块下的每个源文件的许可证
代码结构和文件命名规范
提供docker中运行eventmesh详细指引
补充协议文档
本次 1.2.0 版本一共包含 Feature 4 个,Improvement 5 个,Bug Fix 13 个,文档和代码格式优化 6 个。据不完全统计,这些贡献来自近十多位 Eventmesh社区的 Contributor,感谢大家加入到Eventmesh社区共同打造动态的云原生事件基础设施。
新增贡献者
Eventmesh 1.2.0 的发布离不开 Eventmesh社区的贡献者,本次版本新增了以下几位contributor分别是:
SteveYurongSu(清华大学)、liangyuanpeng(云兴科技)、ruanwenjun(ebay)、zhangxiaopengmm(csii)、sunxi92(民生银行)、yuzhoumao(密歇根大学)、jinrongluo
在这里非常感谢各位的积极参与和贡献,同时EventMesh社区非常期待有更多的用户、开发者、厂商参与到EventMesh生态的建设中来。
源项目地址:
https://github.com/apache/incubator-eventmesh/tree/v1.2.0
预告
EventMesh v1.3.0版本社区内已经在如火如荼地讨论开发中了,v1.3.0版本将提供:
更广泛的事件存储集成(Kafka\Redis\...)
CloudEvents事件标准协议集成
OpenTelementry集成,提升可观测性
OpenSchema集成,支持多种类型数据编解码(Avro\Protobuf\JSON\...)
支持协议插件化(Http/TCP/Grpc)
支持Acl与Registry插件化集成
提供Event Streaming实时的事件处理与计算
...
EventMesh社区欢迎更多的用户、开发者参与讨论共建。
交流群
添加项目负责人微信 ApacheEventMesh 进入社区群
微信关注我们
转载内容版权归作者及来源网站所有!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。
为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。
Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。
Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。