Spark读写OSS并使用OSS Select来加速查询
Spark读写OSS
基于这篇文章搭建的CDH6以及配置,我们来使Spark能够读写OSS(其他版本的Spark都是类似的做法,不再赘述)。
由于默认Spark并没有将OSS的支持包放到它的CLASSPATH里面,所以我们需要执行如下命令
下面的步骤需要在所有的CDH节点执行
进入到$CDH_HOME/lib/spark目录, 执行如下命令
[root@cdh-master spark]# cd jars/ [root@cdh-master jars]# ln -s ../../../jars/hadoop-aliyun-3.0.0-cdh6.0.1.jar hadoop-aliyun.jar [root@cdh-master jars]# ln -s ../../../jars/aliyun-sdk-oss-2.8.3.jar aliyu
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
一分钟“零代码”生成API,DataWorks数据服务快速上手指南
小王是一名数据开发工程师,某天晚上正要下班,老板火急火燎地把他叫到了一间小黑屋。 老板:小王啊,之前让你分析的数据,处理的怎么样了? 小王:都搞定了,包括数据集成任务、离线任务、流计算任务,并且采用了流批一体化开发模式,数据都在数据库中了。 老板:噢,效率很高啊,很好。这样,现在有个新的Case,你看下要多久,有业务部门的系统想访问我们的结果数据,你看看怎么提供给他们,但我不希望把整个表给他们。 小王:老板,好办,可以开发一个数据API,提供给他们。 老板:开发一个API给他们,大概有多少工作量? 小王:从零开发一个API,需要编写数据库连接代码、编写API查询逻辑代码,编写API鉴权、流控、计量、管理等功能代码及页面,搭建Web服务器,部署服务,满打满算,一两周还是要的,就算先搞个精减版,三五天是至少的。 老板挠头…… 小王:对了,老板,后续还要运维,比如双11还要给他们扩容呢。 老板:这可不行,时间太久了,客户明天早上就要。 小王沉默。 老板:你知道DataWorks的数据服务产品吗,听说可以一分钟生成一个API,还不需要你写一行代码呢! 小王:世间竟有如此神器!!一分钟就能搞出一...
- 下一篇
深度解析大快DKM大数据运维管理平台功能
深度解析大快DKM大数据运维管理平台功能之前几周的时间一直是在围绕DKhadoop的运行环境搭建写分享,有一些朋友留言索要了dkhadoop安装包,不知道有没有去下载安装一探究竟。关于DKHadoop下载安装基本已经讲清楚了,这几天有点空闲把大快DKM大数据运维管理平台的内容整理了一些,作为DKHadoop相配套的管理平台,是有必要对DKM有所了解的。DKM 是DKHadoop管理平台。作为大数据平台端到端Apache Hadoop 的管理应用,DKM 对 DKH 的每个部件都提供了细粒度的可视化和控制。通过DKM ,运维人员是可以提高集群的性能,提升服务质量,提高合规性并降低管理成本。DKM 设计的目的是为了使得对于企业数据中心的管理变得简单和直观。通过DKM ,可以方便地部署,并且集中式的操作完整的大数据软件栈。该应用软件会自动化安装过程,从而减少了部署集群的时间。通过DKM 可以提供一个集群范围内的节点实时运行状态视图。同时,还提供了一个中央控制台,可以用于配置集群。总结DKM 能够提供的功能主要有以下几点:1.自动化Hadoop 安装过程,大幅缩短部署时间;2.提供实时的集群概...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- Red5直播服务器,属于Java语言的直播服务器