数据中台的存储系统和计算平台枚举-低调大师

数据中台的存储系统和计算平台枚举

2019-10-22 725

作者：向师富转自：阿里巴巴数据中台官网 https://dp.alibaba.com
采集&传输层

Sqoop
Hadoop、关系型数据库之间传输数据的工具。传输时，会启动多个MR作业并发的传输数据
DataX
阿里巴巴开源的数据同步工具，用来在各种异构数据源之间同步数据。比如 RDBMS<->Hadoop/MaxCompute、RDBMS<->hbase/ftp等等。部署、运维非常简单，将DataX的jar包copy到linux系统中即可运行
Flume
分布式的高可用的数据收集、聚集的工具。通常用于从其他系统搜集数据，如web服务器产生的日志，结合Kafka的消息队列功能，实现实时日志处理、离线日志投递。典型的使用方案是：

离线计算：应用系统日志 -> flume -> kafka ->

微信关注我们

原文链接：https://yq.aliyun.com/articles/721953

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

利用临时用户名和密码登录容器镜像仓库

阿里云容器镜像仓库服务提供了丰富的权限控制方式，可以细粒度的控制账号对镜像仓库的访问权限。相关文档可以参见访问控制文档但有时候，我们只是让别人能够访问自己的镜像仓库，不想为TA创建一个子账号然后授权。这种情况下可以利用临时用户名和密码的方式授权。查看镜像仓库的开发文档，我们发现有这么一个API可以创建一个有效期为1小时的临时用户和密码 Get /tokens HTTP/1.1 调用这个API，可以获得一个临时用户名及密码，以及有效期。那么我们尝试用aliyuncli 来访问一下，看看结果是怎样的： $ aliyun cr GET /tokens --endpoint=cr.cn-hangzhou.aliyuncs.com { "data": { "expireDate": 1571805689000,

2019-10-23

731

图1.15展示了一个DAPP的全景图，该系统架构图包含了从用户通过可视化界面发起操作到以太坊状态机发生改变的全流程。首先用户通过Web界面或者手机APP，将操作数据发送到一个传统的业务服务器，该业务服务器是传统互联网中心化的服务器，但是与传统系统不同的是，该系统没有像传统互联网设计那样将数据放入中心化的数据库存储，而是通过一个Web 3.0接口，将数据传送到了以太坊区公链。图1.15 DAPP架构图该接口是一个JSON RPC协议，该协议有很多代码实现。目前最流行的是运行在Web容器中的Web3.js模块。Solidity编程语言经过编译之后，除了交易需要的合约初始化代码之外，还有ABI接口等描述文件，Web3.js通过这些描述文件，可以构建与以太坊智能合约虚拟机进行通讯的模块，通过JS（全称JavaScript，下文都简称JS）代码将用户的操作数据传入以太坊公链上的合约地址，智能合约虚拟机会根据函数签名和加载的函数参数，在虚拟机内执行编译成EVM Code的智能合约。在第6章的DAPP案例讲解中，会对Web3.js的设计有详细的讲解。如果涉及到区块...

2019-10-23

690

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。