开源大数据流水线系统 PiFlow V1.3 发布
PiFlow 是一个基于分布式计算框架 Spark 开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件,以所见即所得方式进行流水线配置。简单易用,功能强大。本次版本更新如下特性: 数据源改版,支持组件绑定; 优化日志保存方式,避免出现日志丢失问题,支持按天保存; web改成war包,取消对6002端口的使用; 新增组件: TDengine组件 TiDB组件 OceanBase组件 openlookeng组件 GitHub 地址:https://github.com/cas-bigdatalab/piflow Gitee 地址:https://gitee.com/opensci/piflow