使用Apache Impala(CDH6)查询OSS的数据-低调大师

使用Apache Impala(CDH6)查询OSS的数据

2018-10-29 833

CDH6

目前CDH的最新版本是6.0.1，支持Hadoop 3.0.0，本文将介绍如何使CDH6的相关组件(Hadoop/Hive/Spark/Impala等)能够读写OSS。CDH5对OSS的支持在这篇文章介绍。

CDH6支持读写OSS

搭建CDH集群

首先根据官方文档搭建好CDH6集群

增加OSS配置

通过CM来增加配置(对于没有CM管理的集群，可以通过修改core-site.xml来达到)
这里以CM为例，需要增加如下配置:

配置项	值	说明
fs.oss.endpoint	如 oss-cn-zhangjiakou-internal.aliyuncs.com	要连接的endpoint
fs.oss.accessKeyId	access key id
fs.oss.accessKeySecret	access key secret
fs.oss.impl	org

微信关注我们

原文链接：https://yq.aliyun.com/articles/659735

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

标题：DKhadoop大数据处理平台监控数据介绍

标题：DKhadoop大数据处理平台监控数据介绍2018年国内大数据公司50强榜单排名已经公布了出来，大快以黑马之姿闯入50强，并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》，继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。DKhadoop大数据处理平台架构的安装相关文章已经分享过，详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完，关于大快大数据处理平台监控参数的介绍就完整了。 1、Yarn监控界面（1）执行失败的应用程序监控 yarn资源管理中总执行失败的应用程序数量纵轴表示应用程序数量，单位个横轴表示时间,单位分钟（2）已提交的应用程序监控 yarn资源管理中已提交的应用程序数量纵轴表示应用程序数量，单位个横轴表示时间,单位分钟（3）正在运行的应用程序监控 yarn资源管理中正在运行的应用程序数量纵轴表示应用程序数量，单位个横轴表示时...

2018-10-30

633

每月月末小编都会盘点本月的异步新书，送出一本你最爱的异步图书。10月上市新书本次带来8本，涉及到的领域分别是响应式Web开发、Elasticsearch、编程语言、Linux、Python、游戏开发、测试开发等，从最新的书了解最新的技术，异步新书让你更好地应对快速变化的科技世界。《反应式Web应用开发》 Manuel Bernhardt著本书分为4个部分，由浅入深地介绍了响应式Web开发的各项技巧。从认识响应式，到讲解响应式的特点，以及如何完成响应式Web开发，本书都给出了非常清晰且详细的指导步骤。读者能够在本书中获取到重要的开发技能，并且能够从实例中得到更多实用的开发技巧。《micro:bit超好玩——米爸带你学编程》狄勇著本书基于家庭创客课程的理念，通过18个小项目让孩子们在具体实践中入门BBC micro:bit。以mini PBL的方式，让孩子们在具体项目中了解和运用信息技术，并通过传感器实现物理计算，使之成为探索新知和实现想法的工具，让技术链接生活，让创新在实践中萌芽。这或许并不是一本面面俱到的micro:bit教程，但一定是本能让孩子触类旁通，并且有趣的micro...

2018-10-30

724

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。