一分钟了解阿里云产品：数据集成概述-低调大师

一分钟了解阿里云产品：数据集成概述

2016-02-27 682

阿里云的众多产品中，数据集成肯定是其中重要的一员。今天让我们来一起了解下数据集成吧。

什么是数据集成呢？

数据集成（Data Integration），简称CDP，是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台，为阿里云大数据计算引擎(包括ODPS、分析型数据库、OSPS)提供离线(批量)、实时(流式)的数据进出通道。

有别于传统的客户端点对点同步运行工具，数据集成本身以公有云服务为基本设计目标，集群化、服务化、多租户、水平扩展等功能都是其基本实现要求。

那么数据集成有哪些功能与特点呢？以下是简要说明。

数据集成支持云上所有主要数据存储产品的传输能力，支持用户按需购买数据传输通道，支持用户全链路流控防护，支持传输自定义加工转换，云道支持传输业务脏数据收集和展示。

数据集成支持云上结构化存储数据产品的binlog订阅能力，支持目的端到ODPS、消息队列等数据消费能力，云道支持数据全链路流控防护。

数据集成将阿里云上各类异构数据流动打通，让数据不再成为孤岛。当然，目前数据集成也存在如下约束和限制条件:

CDP支持传输能够抽象为逻辑二维表的数据同步，其他完全非结构化数据，例如OSS中存放的一段MP3，CDP不支持将其同步到ODPS。

CDP支持且仅支持单个地域内数据存储相互同步、交换的数据同步需求，不支持多个地域之间数据同步。例如，暂时不支持将青岛RDS数据同步到杭州ODPS集群上来。

CDP仅完成数据同步(传输)，本身不提供数据流的消费方式，即用户不能直接通过数据集成的API消费数据流。所有针对数据的操作, 用户必须在数据传输两端的存储系统中操作。

目前，采云间、御膳房、聚石塔、孔明灯的后台数据同步均是基于数据集成完成各自的数据传输需求。

数据集成典型特性介绍：

https://www.aliyun.com/product/cdp/?spm=5176.383518.201.59.YhsCSC

数据集成五大热点技术问题分析:

https://yq.aliyun.com/articles/7144?spm=0.0.0.0.M47Dc7

云道CDP产品使用问题:

https://yq.aliyun.com/articles/7145?spm=0.0.0.0.Vhhzif

微信关注我们

原文链接：https://yq.aliyun.com/articles/7143

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

关于MYSQL flush table的作用

关于MYSQL flush table的作用水平有限，还待学习。如有错误，请指正。先给出官方文档： ? FLUSH TABLES Closes all open tables, forces all tables in use to be closed, and flushes the query cache. FLUSH TABLES also removes all query results from the query cache, like the RESET QUERY CACHE statement. In MySQL 5.6, FLUSH TABLES is not permitted when there is an active LOCK TABLES ... READ. To flush and lock tables, use FLUSH TABLES tbl_name... WITH READ LOCK instead. ? FLUSH TABLES tbl_name[, tbl_name] ... With a list of one or more c...

2016-02-28

684

摘自Hive技术文档，锁管理：https://cwiki.apache.org/confluence/display/Hive/Hive+Transactions#HiveTransactions-LockManager 有几个参数需要修改下，使得Hive支持事物和并发； Lock Manager A new lock manager has also been added to Hive, the DbLockManager. This lock manager stores all lock information in the metastore. In addition all transactions are stored in the metastore. This means that transactions and locks are durable in the face of server failure. To avoid clients dying and leaving transaction or locks dangling, a heartbeat i...

2016-02-28

1152

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。