HBase数据导入工具总结-低调大师

HBase数据导入工具总结

2017-08-23 553

本文对HBase常用的数据导入工具进行介绍，并结合云HBase常见的导入场景，给出建议的迁移工具和参考资料。

HBase之间数据导入常用工具

HBase提供了几种数据迁移工具，其中基于API调用的有CopyTable,Export&Import。基于写HDFS的有distcp，snapshot。

这里要说明的是，本文作为一般性的介绍，不能忽略常用的工具distcp和snapshot，但是由于云HBase默认不开启HDFS端口，所以在云HBase上面基于HDFS的方法都是用不了的。我们推荐用户使用CopyTable进行迁移，根据我们的测试，CopyTable的性能足以支撑10T以下数据的迁移。如果您的数据量比较大（超过10T），可以联系云HBase工作人员单独为您处理。

CopyTable

CopyTable是Hbase提供的一个数据

微信关注我们

原文链接：https://yq.aliyun.com/articles/178446

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

使用Logstash创建ES映射模版并进行数据默认的动态映射规则

本文配置为 ELK 即（Elasticsearch、Logstash、Kibana）5.5.1。 Elasticsearch 能够自动检测字段的类型并进行映射，例如引号内的字段映射为 String，不带引号的映射为数字，日期格式的映射为日期等等，这个机制方便了我们快速上手 ELK，但是后期我们经常需要对一些特定的字段进行定制，之前本人有一篇文章进行这方面的尝试Logstash中如何处理到ElasticSearch的数据映射，但对于默认映射规则没有介绍，本文就来探讨一些默认的动态映射规则。开始之前先拿一个 logstash 的配置文件来看一下 output { elasticsearch { hosts => “localhost:9200" index => "my_index" template => "/data1/cloud/logstash-5.5.1/filebeat-template.json" template_name => "my_index" template_overwrite => true } stdout { codec =...

2017-08-24

679

这是MaxCompute有关SQL优化器原理的系列文章之一。我们会陆续推出SQL优化器有关优化规则和框架的其他文章。添加钉钉群“关系代数优化技术”（群号11719083）可以获取最新文章发布动态。本文主要介绍MaxCompute Optimizer对Shuffle方面的相关优化。 1 简介分布式系统中，Shuffle是重操作之一，直接影响到了SQL运行时的效率。Join、Aggregate等操作符都需要借助Shuffle操作符，确保相同数据分发到同一机器或Instance中，才可以进行Join、Aggregate操作。对于这些需要经常使用到Shuffle场景，如何减少Shuffle，删除一些不必要的Shuffle是提升性能的一个关键。例如 select count(*), c1 from t group by c1; 假设t表如果是Ha

2017-08-25

651

资源下载

更多资源

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。