Piflow —— 基于分布式框架的大数据流水线系统-低调大师

Piflow —— 基于分布式框架的大数据流水线系统

2021-02-14 681

PiFlow 是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。它具有如下特性：

简单易用：可视化配置流水线，实时监控流水线运行状态，查看日志
功能强大：提供100+的数据处理组件，包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等，同时集成了微生物领域的相关算法。
扩展性强：支持自定义开发数据处理组件
性能优越：基于分布式计算引擎Spark开发

微信关注我们

原文链接：https://www.oschina.net/p/piflow

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

每日一博 | Nacos 快速上手

Nacos 快速上手简介准备工作部署 Spring Boot 集成配置说明 Spring Cloud + Nacos Dubbo + Nacos 问题及解决方式微服务现在越来火，有基于 Spring Cloud Netflix 体系的，也有基于 Spring Cloud Alibaba 为体系的。从以前的 Eureka 注册中心、Spring Cloud Config 配置中心、Spring Cloud Bus消息总线到完全可以替代他们的 Nacos 出现，微服务技术体系的未来发展方向愈加清晰。所以，学会并了解如何使用 Nacos 是十分重要的。Nacos 不仅仅可以作为配置中心使用，还可以作为注册中心使用，其有很多十分优秀的特性，部署起来也十分方便。主要目的：熟练使用 Nacos；基于 Spring Cloud Alibaba 体系进行项目基础 Demo 搭建，便于后续源码分析；整合 Dubbo，便于后续源码分析；手机用户请横屏获取最佳阅读体验，REFERENCES中是本文参考的链接，如需要链接和更多资源，可以加入『知识星球』获取长期知识分享服务。简介动态配...

2021-02-14

604

Ubuntu 开发人员已决定将最新版本的 Thunderbird 移植到 Ubuntu LTS 版本。 Ubuntu 20.04.2 LTS 已经发布一段时间了，而 Ubuntu 的开发人员则发现他们在处理广受欢迎的开源电子邮件客户端上处于棘手的位置：将安全修复程序反向移植到 Thunderbird 68。移植最新版本。 Ubuntu 最被用户看重的一个方面就是稳定性，尤其是 LTS 版本。也正因如此，Ubuntu LTS 通常不附带最新版本的软件。最初，Ubuntu 20.04 随 Thunderbird 68 一起提供。但是，由于 Mozilla 早前已不再支持该版本，因此 Thunderbird 68 将不再能够接收到任何安全更新。而这就成了问题的根源。因此，Ubuntu 的开发人员必须在上述两个选项之间进行抉择。最终，他们选择了将最新版本的 Thunderbird 移植至 Ubuntu 上。这将会为用户带来更多功能、更好的安全性以及更好的稳定性。但与此同时这也会对某些用户造成困扰，因为并非所有 Thunderbird 扩展都可以在最新版本中使用。例如，新版 Thund...

2021-02-14

609

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。