开源大数据流水线系统 PiFlow V1.0 发布-低调大师

开源大数据流水线系统 PiFlow V1.0 发布

2021-05-13 697

PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。本次版本更新如下特性：

增加了运行单个数据处理组件、当前及以下数据处理组件功能；
增加了测试数据管理功能；
增加了数据处理组件显隐功能；
增加了表格组件，支持数据下载；
增加了Sql编辑器；
针对页面友好性进行了优化；

GitHub地址： https://github.com/cas-bigdatalab/piflow

1）运行单个数据处理组件

2）测试数据管理

3）数据处理组件显隐

4）表格组件

5）Sql编辑器

联系方式：18612673095（微信号）

微信关注我们

原文链接：https://www.oschina.net/news/141416/piflow-1-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

iOS逆向之Hash算法！

本文主要介绍Hash算法 Hash介绍 Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入通过散列算法变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来确定唯一的输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。简单来说，hash算法（即散列函数），是一种单向密码体制，即它是一个从明文到密文的不可逆的映射，只有加密过程，没有解密过程。同时，哈希函数可以将任意长度的输入经过变化以后得到固定长度的输出。哈希函数的这种单向特征和输出数据长度固定的特征使得它可以生成消息或者数据。 Hash的特点算法是公开的对相同数据运算,得到的结果是一样的（同样的数据，得到的结果是一样的）对不同数据运算，得到的结果是定长的,如MD5得到的结果默认是128位,32个字符（16进制标识）。无法逆运算是信息摘要、信息“指纹”，是用来做数据识别的、完整性检查的。 Hash用途 1、用户密码的加密 2、搜索引擎 3、版权 4、数字签名 .........

2021-05-13

589

基于 Redis 的服务治理平台（服务注册/发现 & 配置中心） Govern Service是一个轻量级、低成本的服务注册、服务发现、配置服务 SDK，通过使用现有基础设施中的 Redis （相信你已经部署了Redis），不用给运维部署带来额外的成本与负担。借助于 Redis 的高性能， * Govern Service* 提供了超高TPS&QPS。Govern Service结合本地进程缓存策略 +Redis PubSub，实现实时进程缓存刷新，兼具无与伦比的QPS性能、进程缓存与 Redis 的实时一致性。更新内容（0.9.2） 1. 优化 Redis 集群模式的支持 2. 添加对可视化管理平台的支持Dashboard (beta) 安装 Gradle val governVersion = "0.9.2"; implementation("me.ahoo.govern:spring-cloud-starter-config:${governVersion}") implementation("me.ahoo.govern:spring-cloud...

2021-05-14

660

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。