用引导操作给E-MapReduce集群安装impala

2016-07-26 614

当前emr最新版本2.0.1没有impala组件，需要额外安装。本文介绍如何在emr 2.0.1版本上用E-MapReduce软件配置功能修改hdfs配置，引导操作安装impala 2.5.0 for cdf 5.7.1版本，shell作业来启动impala的完整过程。

软件配置

impala对hdfs组件的配置有要求，需要用软件配置功能修改hdfs的配置。软件配置功能可以修改hadoop组件的配置，详见：帮助文档

本地创建一个hdfs.json文件，可以直接从oss下载,内容如下，通过oss控制台上传到oss合适位置.例如[yourbucket]/sh/hdfs.json。

{
    "configurations": [
                {
            "classification": "hdfs-s

微信关注我们

原文链接：https://yq.aliyun.com/articles/58387

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Flume数据导入ODPS方法

一、简介 Apache Flume是一个分布式的、可靠的、可用的系统，可用于从不同的数据源中高效地收集、聚合和移动海量日志数据到集中式数据存储系统。 ODPS Sink是基于ODPS DataHub Service开发的Flume插件，可以将Flume的Event数据导入到ODPS中。插件兼容Flume的原有功能特性，支持ODPS表自定义分区、且可以自动创建分区。二、环境要求1、JDK(1.6以上，推荐1.7)2、Flume-NG 1.x 三、插件部署1、下载ODPS Sink插件并解压：aliyun-odps-flume-plugin2、Flume-NG 1.x下载：https://flume.apache.org/download.html(1)下载 apache-flume-1.6.0-bin.tar.gz(2)下载apache-flume-1.6.0-src.tar.gz3、Flume的安装 (1) 解压apache-flume-1.6.0-src.tar.gz和apache-flume-1.6.0-bin.tar.gz (2) 将apache-flume-1.6.0-src...

2016-07-27

690

写在前边的话： hadoop2.7完全分布式安装请参考：点击阅读，继任该篇博客之后，诞生了下面的这一篇博客基本环境： Hadoop 2.7 Java 1.7.0_51 CentOS 6.5 预安装： Hive 1.2.1 下载地址 Zookeeper 3.4.8 下载地址 Hbase 1.2.2 下载地址一：Hive的分布式安装（基于Mysql） Hive的伪分布安装请参考：点击阅读 Hive基于Mysql的伪分布部署轻参考：点击阅读 Hive的完全分布式安装的前提安装Mysql数据库，CentOS 6.5下安装Mysql请参考之前的一篇博客：点击阅读疑问解答1：Hive 是否需要每个datanode都安装？ Hive的安装其实是有两部分组成，分别是Server端和Client端，所谓的服务端就是Hive管理Meta的那个Hive，服务端可以安装在任意节点上，可以是NameNode，也可以是DataNode，至于那个节点做Hive...

2016-07-27

625

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

用引导操作给E-MapReduce集群安装impala

软件配置

Flume数据导入ODPS方法

基于hadoop集群的Hive1.2.1、Hbase1.2.2、Zookeeper3.4.8完全分布式安装

相关文章

发表评论

资源下载

优质分享App

腾讯云软件源

Nacos

Spring

欢迎您来访！