基于OGG Datahub插件将Oracle数据同步上云-低调大师

基于OGG Datahub插件将Oracle数据同步上云

2016-12-08 789 89

本文用到的

阿里云数加－大数据计算服务MaxCompute产品地址：https://www.aliyun.com/product/odps

一、背景介绍

随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。

OGG（Oracle GoldenGate）是一个基于日志的结构化数据备份工具，一般用于Oracle数据库之间的主从备份以及Oracle数据库到其他数据库（DB2, MySQL等）的同步。下面是Oracle官方提供的一个OGG的整体架构图，从图中可以看出OGG的部署分为源端和目标端两部分组成，主要有Manager，Extract，Pump，Collector，Replicat这么一些组件。

Manager：在源端和目标端都

微信关注我们

原文链接：https://yq.aliyun.com/articles/66139

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

云栖说：阿里巴巴技术背后的那些事

阿里巴巴强大的技术能力背后有哪些不为人知的秘密，阿里云那些高大上的技术专家又有那些能够令人眼前一亮的观点？VR面对的未来是怎样的？Uber为什么从PG切换到MySQL？人类和人工智能的未来是什么样的？面对Hadoop，企业应该如何抉择？传奇人物阿里AI科学家又有哪些不为人知的故事？尽在云栖说。【云栖说】第一期：产业、技术、资本、生态，从2015年下半年开始，似乎全世界的风都吹向了VR。前段时间的淘宝造物节上，从“吾皇万睡”、“故宫淘宝”的淘宝创客，到“Buy+买包包”、“ReLoad VR枪战”的黑科技娱乐，无一不彰显VR在未来的无限可能。当前VR标准如何？挑战有哪些？生态怎样？大家都怎么看待VR……尽在《首期脱口秀，淘宝造物节背后的VR技术》【云栖说】第二期： Uber宣布数据库从PG切换为MySQL后，技术领域掀起讨论热潮，阿里

606

Hadoop中的序列化

1 简介序列化和反序列化就是结构化对象和字节流之间的转换，主要用在内部进程的通讯和持久化存储方面。通讯格式需求 hadoop在节点间的内部通讯使用的是RPC，RPC协议把消息翻译成二进制字节流发送到远程节点，远程节点再通过反序列化把二进制流转成原始的信息。RPC的序列化需要实现以下几点： 1.压缩，可以起到压缩的效果，占用的宽带资源要小。 2.快速，内部进程为分布式系统构建了高速链路，因此在序列化和反序列化间必须是快速的，不能让传输速度成为瓶颈。 3.可扩展的，新的服务端为新的客户端增加了一个参数，老客户端照样可以使用。 4.兼容性好，可以支持多个语言的客户端存储格式需求表面上看来序列化框架在持久化存储方面可能需要其他的一些特性，但事实上依然是那四点： 1.压缩，占用的空间更小 2.快速，可以快速读写 3.可扩展，可以以老格式读取老数据 4.兼容性好，可以支持多种语言的读写hadoop的序列化格式 hadoop自身的序列化存储格式就是实现了Writable接口的类,他只实现了前面两点，压缩和快速。但是不容易扩展，也不跨语言。我们先来看下Writable接口，Writable接口定...

651

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。