开源大数据流水线系统 PiFlow V1.0 发布-低调大师

开源大数据流水线系统 PiFlow V1.0 发布

2021-05-13 651

PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。本次版本更新如下特性：

增加了运行单个数据处理组件、当前及以下数据处理组件功能；
增加了测试数据管理功能；
增加了数据处理组件显隐功能；
增加了表格组件，支持数据下载；
增加了Sql编辑器；
针对页面友好性进行了优化；

GitHub地址： https://github.com/cas-bigdatalab/piflow

1）运行单个数据处理组件

2）测试数据管理

3）数据处理组件显隐

4）表格组件

5）Sql编辑器

联系方式：18612673095（微信号）

微信关注我们

原文链接：https://www.oschina.net/news/141416/piflow-1-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

iOS逆向之Hash算法！

本文主要介绍Hash算法 Hash介绍 Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入通过散列算法变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来确定唯一的输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。简单来说，hash算法（即散列函数），是一种单向密码体制，即它是一个从明文到密文的不可逆的映射，只有加密过程，没有解密过程。同时，哈希函数可以将任意长度的输入经过变化以后得到固定长度的输出。哈希函数的这种单向特征和输出数据长度固定的特征使得它可以生成消息或者数据。 Hash的特点算法是公开的对相同数据运算,得到的结果是一样的（同样的数据，得到的结果是一样的）对不同数据运算，得到的结果是定长的,如MD5得到的结果默认是128位,32个字符（16进制标识）。无法逆运算是信息摘要、信息“指纹”，是用来做数据识别的、完整性检查的。 Hash用途 1、用户密码的加密 2、搜索引擎 3、版权 4、数字签名 .........

2021-05-13

544

基于 Redis 的服务治理平台（服务注册/发现 & 配置中心） Govern Service是一个轻量级、低成本的服务注册、服务发现、配置服务 SDK，通过使用现有基础设施中的 Redis （相信你已经部署了Redis），不用给运维部署带来额外的成本与负担。借助于 Redis 的高性能， * Govern Service* 提供了超高TPS&QPS。Govern Service结合本地进程缓存策略 +Redis PubSub，实现实时进程缓存刷新，兼具无与伦比的QPS性能、进程缓存与 Redis 的实时一致性。更新内容（0.9.2） 1. 优化 Redis 集群模式的支持 2. 添加对可视化管理平台的支持Dashboard (beta) 安装 Gradle val governVersion = "0.9.2"; implementation("me.ahoo.govern:spring-cloud-starter-config:${governVersion}") implementation("me.ahoo.govern:spring-cloud...

2021-05-14

622

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。