数据中台的存储系统和计算平台枚举-低调大师

数据中台的存储系统和计算平台枚举

2019-10-22 704

作者：向师富转自：阿里巴巴数据中台官网 https://dp.alibaba.com
采集&传输层

Sqoop
Hadoop、关系型数据库之间传输数据的工具。传输时，会启动多个MR作业并发的传输数据
DataX
阿里巴巴开源的数据同步工具，用来在各种异构数据源之间同步数据。比如 RDBMS<->Hadoop/MaxCompute、RDBMS<->hbase/ftp等等。部署、运维非常简单，将DataX的jar包copy到linux系统中即可运行
Flume
分布式的高可用的数据收集、聚集的工具。通常用于从其他系统搜集数据，如web服务器产生的日志，结合Kafka的消息队列功能，实现实时日志处理、离线日志投递。典型的使用方案是：

离线计算：应用系统日志 -> flume -> kafka ->

微信关注我们

原文链接：https://yq.aliyun.com/articles/721953

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

利用临时用户名和密码登录容器镜像仓库

阿里云容器镜像仓库服务提供了丰富的权限控制方式，可以细粒度的控制账号对镜像仓库的访问权限。相关文档可以参见访问控制文档但有时候，我们只是让别人能够访问自己的镜像仓库，不想为TA创建一个子账号然后授权。这种情况下可以利用临时用户名和密码的方式授权。查看镜像仓库的开发文档，我们发现有这么一个API可以创建一个有效期为1小时的临时用户和密码 Get /tokens HTTP/1.1 调用这个API，可以获得一个临时用户名及密码，以及有效期。那么我们尝试用aliyuncli 来访问一下，看看结果是怎样的： $ aliyun cr GET /tokens --endpoint=cr.cn-hangzhou.aliyuncs.com { "data": { "expireDate": 1571805689000,

2019-10-23

713

图1.15展示了一个DAPP的全景图，该系统架构图包含了从用户通过可视化界面发起操作到以太坊状态机发生改变的全流程。首先用户通过Web界面或者手机APP，将操作数据发送到一个传统的业务服务器，该业务服务器是传统互联网中心化的服务器，但是与传统系统不同的是，该系统没有像传统互联网设计那样将数据放入中心化的数据库存储，而是通过一个Web 3.0接口，将数据传送到了以太坊区公链。图1.15 DAPP架构图该接口是一个JSON RPC协议，该协议有很多代码实现。目前最流行的是运行在Web容器中的Web3.js模块。Solidity编程语言经过编译之后，除了交易需要的合约初始化代码之外，还有ABI接口等描述文件，Web3.js通过这些描述文件，可以构建与以太坊智能合约虚拟机进行通讯的模块，通过JS（全称JavaScript，下文都简称JS）代码将用户的操作数据传入以太坊公链上的合约地址，智能合约虚拟机会根据函数签名和加载的函数参数，在虚拟机内执行编译成EVM Code的智能合约。在第6章的DAPP案例讲解中，会对Web3.js的设计有详细的讲解。如果涉及到区块...

2019-10-23

672

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。