大数据技术如今发展的如火如荼,已呈现百花齐放欣欣向荣的景象,实时处理流域 Apache Spark 和 Apache Flink 更是一个伟大的进步,尤其是Apache Flink被普遍认为是下一代大数据流计算引擎, 我们在使用 Flink 时发现从编程模型, 启动配置到运维管理都有很多可以抽象共用的地方, 我们将一些好的经验固化下来并结合业内的最佳实践, 通过不断努力终于诞生了今天的框架 —— StreamX, 项目的初衷是 —— 让 Flink 开发更简单, 使用StreamX开发,可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务,StreamX 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供scala和java两套api, 其最终目的是打造一个一站式大数据平台,流批一体的解决方案

重要特性

1.  开发脚手架
2. 多版本Flink支持(多版本无缝支持1.11.x,1.12.x,1.13.x)
3. 一系列开箱即用的connectors
4. 支持项目编译功能(maven 编译)
5. 在线参数配置
6. 支持 `Applicaion` 模式， `Yarn-Per-Job` 模式启动
7. 快捷的日常操作(任务`启动`、`停止`、`savepoint`，从`savepoint`恢复)
8. 支持火焰图
9. 支持 `notebook` (在线任务开发)
10. 项目配置和依赖版本化管理
11. 在线管理依赖(maven pom)和自定义jar
12. Flink SQL WebIDE
13. 支持 Catalog、Hive
14. 任务失败告警和重试重

 

软件架构

项目地址

官网：http://www.streamxhub.com

Github: streamxhub/streamx: Make Flink|Spark easier!!! (github.com)

Gitee: benjobs/StreamX (gitee.com)

快速上手