MySQL推出Applier，可实时复制数据到Hadoop-低调大师

MySQL推出Applier，可实时复制数据到Hadoop

2014-02-07 761

http://labs.mysql.com

MySQL复制操作可以将数据从一个MySQL服务器（主）复制到其他的一个或多个MySQL服务器（从）。试想一下，如果从服务器不再局限为一个MySQL服务器，而是其他任何数据库服务器或平台，并且复制事件要求实时进行，是否可以实现呢？

MySQL团队最新推出的 MySQL Applier for Hadoop （以下简称Hadoop Applier）旨在解决这一问题。

用途

例如，复制事件中的从服务器可能是一个数据仓库系统，如 Apache Hive ，它使用Hadoop分布式文件系统（ HDFS ）作为数据存储区。如果你有一个与HDFS相关的Hive元存储，Hadoop Applier就可以实时填充Hive数据表。数据是从MySQL中以文本文件形式导出到HDFS，然后再填充到Hive。

操作很简单，只需在Hive运行HiveQL语句'CREATE TABLE'，定义表的结构与MySQL相似，然后运行Hadoop Applier即可开始实时复制数据。

优势

在Hadoop Applier之前，还没有任何工具可以执行实时传输。之前的解决方案是通过Apache Sqoop导出数据到HDFS，尽管可以批量传输，但是需要经常将结果重复导入以保持数据更新。在进行大量数据传输时，其他查询会变得很慢。且在数据库较大的情况下，如果只进行了一点更改，Sqoop可能也需要较长时间来加载。

而 Hadoop Applier则会读取二进制日志，只应用MySQL服务器上发生的事件，并插入数据，不需要批量传输，操作更快，因此并不影响其他查询的执行速度。

实现

Applier使用一个由libhdfs（用于操作HDFS中文件的C库）提供的API。实时导入的过程如下图所示：

数据库被映射作为一个单独的目录，它们的表被映射作为子目录和一个Hive数据仓库目录。插入到每个表中的数据被写入文本文件（命名如datafile1.txt），数据以逗号或其他符号分割（可通过命令行进行配置）。

详细信息： MySQL Applier for Hadoop

下载地址： mysql-hadoop-applier-0.1.0-alpha.tar.gz （alpha版本，不可用于生产环境）

微信关注我们

原文链接：https://yq.aliyun.com/articles/449488

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

在线分析查询系统mdrill

1：mdrill是阿里妈妈-adhoc-海量数据多维自助即席查询平台下的一个子项目。 2：mdrill旨在帮助用户在几秒到几十秒的时间内，分析百亿级别的任意维度组合的数据。 3：mdrill是一个分布式的在线分析查询系统，基于hadoop,lucene,solr,jstorm等开源系统作为实现，基于SQL的查询语法。 mdrill是一个能够对大量数据进行分布式处理的软件框架。mdrill是快速的高性能的，他的底层因使用了索引、列式存储、以及内存cache等技术，使得数据扫描的速度大为增加。mdrill是分布式的，它以并行的方式工作，通过并行处理加快处理速度。 4：mdrill在adhoc项目中，mdrill使用了10台机器，存储了400亿的数据，每次扫描30亿的行数，响应时间在20秒~120秒左右(取决不同的查询条件)。 https://github.com/alibaba/mdrill

2014-02-08

743

http://www.5ienet.com/note/html/hadoop/oracle_direct_connector_for_hdfs.shtml 2、HDFS专用SQL连接器使用ORACLE连接HDFS有个专项的解决方案[O]racle[D]irect[C]onnectorfor[H]adoopDistributedFilesSystem，简称ODCH。该软件包可以到Oracle官网下载：http://www.oracle.com/technetwork/bdc/big-data-connectors/downloads/index.html 选择第一项：OracleSQLConnectorforHadoopDistributedFileSystemRelease2.1.0 我们这里使用2.1版本，下载到安装包后，解压即可： [root@ora11g~]#unziporaosch-2.1.0.zip 变态呀，压缩包里还有压缩包： [root@ora11g~]#unziporahdfs-2.1.0.zip-d/usr/local/ [root@ora11g~]#chown-...

2014-02-08

725

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。