开源大数据流水线系统 PiFlow V1.0 发布-低调大师

开源大数据流水线系统 PiFlow V1.0 发布

2021-05-13 742

PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。本次版本更新如下特性：

增加了运行单个数据处理组件、当前及以下数据处理组件功能；
增加了测试数据管理功能；
增加了数据处理组件显隐功能；
增加了表格组件，支持数据下载；
增加了Sql编辑器；
针对页面友好性进行了优化；

GitHub地址： https://github.com/cas-bigdatalab/piflow

1）运行单个数据处理组件

2）测试数据管理

3）数据处理组件显隐

4）表格组件

5）Sql编辑器

联系方式：18612673095（微信号）

微信关注我们

原文链接：https://www.oschina.net/news/141416/piflow-1-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

iOS逆向之Hash算法！

本文主要介绍Hash算法 Hash介绍 Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入通过散列算法变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来确定唯一的输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。简单来说，hash算法（即散列函数），是一种单向密码体制，即它是一个从明文到密文的不可逆的映射，只有加密过程，没有解密过程。同时，哈希函数可以将任意长度的输入经过变化以后得到固定长度的输出。哈希函数的这种单向特征和输出数据长度固定的特征使得它可以生成消息或者数据。 Hash的特点算法是公开的对相同数据运算,得到的结果是一样的（同样的数据，得到的结果是一样的）对不同数据运算，得到的结果是定长的,如MD5得到的结果默认是128位,32个字符（16进制标识）。无法逆运算是信息摘要、信息“指纹”，是用来做数据识别的、完整性检查的。 Hash用途 1、用户密码的加密 2、搜索引擎 3、版权 4、数字签名 .........

2021-05-13

638

基于 Redis 的服务治理平台（服务注册/发现 & 配置中心） Govern Service是一个轻量级、低成本的服务注册、服务发现、配置服务 SDK，通过使用现有基础设施中的 Redis （相信你已经部署了Redis），不用给运维部署带来额外的成本与负担。借助于 Redis 的高性能， * Govern Service* 提供了超高TPS&QPS。Govern Service结合本地进程缓存策略 +Redis PubSub，实现实时进程缓存刷新，兼具无与伦比的QPS性能、进程缓存与 Redis 的实时一致性。更新内容（0.9.2） 1. 优化 Redis 集群模式的支持 2. 添加对可视化管理平台的支持Dashboard (beta) 安装 Gradle val governVersion = "0.9.2"; implementation("me.ahoo.govern:spring-cloud-starter-config:${governVersion}") implementation("me.ahoo.govern:spring-cloud...

2021-05-13

712

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。