使用Apache Impala(CDH6)查询OSS的数据-低调大师

使用Apache Impala(CDH6)查询OSS的数据

2018-10-29 812

CDH6

目前CDH的最新版本是6.0.1，支持Hadoop 3.0.0，本文将介绍如何使CDH6的相关组件(Hadoop/Hive/Spark/Impala等)能够读写OSS。CDH5对OSS的支持在这篇文章介绍。

CDH6支持读写OSS

搭建CDH集群

首先根据官方文档搭建好CDH6集群

增加OSS配置

通过CM来增加配置(对于没有CM管理的集群，可以通过修改core-site.xml来达到)
这里以CM为例，需要增加如下配置:

配置项	值	说明
fs.oss.endpoint	如 oss-cn-zhangjiakou-internal.aliyuncs.com	要连接的endpoint
fs.oss.accessKeyId	access key id
fs.oss.accessKeySecret	access key secret
fs.oss.impl	org

微信关注我们

原文链接：https://yq.aliyun.com/articles/659735

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

标题：DKhadoop大数据处理平台监控数据介绍

标题：DKhadoop大数据处理平台监控数据介绍2018年国内大数据公司50强榜单排名已经公布了出来，大快以黑马之姿闯入50强，并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》，继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。DKhadoop大数据处理平台架构的安装相关文章已经分享过，详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完，关于大快大数据处理平台监控参数的介绍就完整了。 1、Yarn监控界面（1）执行失败的应用程序监控 yarn资源管理中总执行失败的应用程序数量纵轴表示应用程序数量，单位个横轴表示时间,单位分钟（2）已提交的应用程序监控 yarn资源管理中已提交的应用程序数量纵轴表示应用程序数量，单位个横轴表示时间,单位分钟（3）正在运行的应用程序监控 yarn资源管理中正在运行的应用程序数量纵轴表示应用程序数量，单位个横轴表示时...

2018-10-30

616

每月月末小编都会盘点本月的异步新书，送出一本你最爱的异步图书。10月上市新书本次带来8本，涉及到的领域分别是响应式Web开发、Elasticsearch、编程语言、Linux、Python、游戏开发、测试开发等，从最新的书了解最新的技术，异步新书让你更好地应对快速变化的科技世界。《反应式Web应用开发》 Manuel Bernhardt著本书分为4个部分，由浅入深地介绍了响应式Web开发的各项技巧。从认识响应式，到讲解响应式的特点，以及如何完成响应式Web开发，本书都给出了非常清晰且详细的指导步骤。读者能够在本书中获取到重要的开发技能，并且能够从实例中得到更多实用的开发技巧。《micro:bit超好玩——米爸带你学编程》狄勇著本书基于家庭创客课程的理念，通过18个小项目让孩子们在具体实践中入门BBC micro:bit。以mini PBL的方式，让孩子们在具体项目中了解和运用信息技术，并通过传感器实现物理计算，使之成为探索新知和实现想法的工具，让技术链接生活，让创新在实践中萌芽。这或许并不是一本面面俱到的micro:bit教程，但一定是本能让孩子触类旁通，并且有趣的micro...

2018-10-30

706

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。