Piflow —— 基于分布式框架的大数据流水线系统-低调大师

Piflow —— 基于分布式框架的大数据流水线系统

2021-02-14 661

PiFlow 是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。它具有如下特性：

简单易用：可视化配置流水线，实时监控流水线运行状态，查看日志
功能强大：提供100+的数据处理组件，包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等，同时集成了微生物领域的相关算法。
扩展性强：支持自定义开发数据处理组件
性能优越：基于分布式计算引擎Spark开发

微信关注我们

原文链接：https://www.oschina.net/p/piflow

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

每日一博 | Nacos 快速上手

Nacos 快速上手简介准备工作部署 Spring Boot 集成配置说明 Spring Cloud + Nacos Dubbo + Nacos 问题及解决方式微服务现在越来火，有基于 Spring Cloud Netflix 体系的，也有基于 Spring Cloud Alibaba 为体系的。从以前的 Eureka 注册中心、Spring Cloud Config 配置中心、Spring Cloud Bus消息总线到完全可以替代他们的 Nacos 出现，微服务技术体系的未来发展方向愈加清晰。所以，学会并了解如何使用 Nacos 是十分重要的。Nacos 不仅仅可以作为配置中心使用，还可以作为注册中心使用，其有很多十分优秀的特性，部署起来也十分方便。主要目的：熟练使用 Nacos；基于 Spring Cloud Alibaba 体系进行项目基础 Demo 搭建，便于后续源码分析；整合 Dubbo，便于后续源码分析；手机用户请横屏获取最佳阅读体验，REFERENCES中是本文参考的链接，如需要链接和更多资源，可以加入『知识星球』获取长期知识分享服务。简介动态配...

2021-02-14

583

Ubuntu 开发人员已决定将最新版本的 Thunderbird 移植到 Ubuntu LTS 版本。 Ubuntu 20.04.2 LTS 已经发布一段时间了，而 Ubuntu 的开发人员则发现他们在处理广受欢迎的开源电子邮件客户端上处于棘手的位置：将安全修复程序反向移植到 Thunderbird 68。移植最新版本。 Ubuntu 最被用户看重的一个方面就是稳定性，尤其是 LTS 版本。也正因如此，Ubuntu LTS 通常不附带最新版本的软件。最初，Ubuntu 20.04 随 Thunderbird 68 一起提供。但是，由于 Mozilla 早前已不再支持该版本，因此 Thunderbird 68 将不再能够接收到任何安全更新。而这就成了问题的根源。因此，Ubuntu 的开发人员必须在上述两个选项之间进行抉择。最终，他们选择了将最新版本的 Thunderbird 移植至 Ubuntu 上。这将会为用户带来更多功能、更好的安全性以及更好的稳定性。但与此同时这也会对某些用户造成困扰，因为并非所有 Thunderbird 扩展都可以在最新版本中使用。例如，新版 Thund...

2021-02-14

581

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。