使用spark-redis组件访问云数据库Redis
本文演示了在Spark Shell中通过spark-redis组件读写Redis数据的场景。所有场景在阿里云E-MapReduce集群内完成，Redis使用阿里云数据库Redis。
创建服务
我们以EMR-3.21.0版本和Redis 4.0为例。EMR集群安装的Spark版本是2.4.3，我们需要使用对应的Spark-Redis 2.4版本，该组件可以支持Redis 2.9.0以上版本。
EMR和Redis需要在同一个VPC网络中创建，同时，在云数据库Redis实例启动之后，需要在“白名单设置”中添加EMR集群IP地址（参考Redis快速入门文档）。
启动Spark Shell
接下去，我们登录EMR Master节点启动Spark Shell。如果Master节点可以连接外网，可以使用package方式加载spark-redis相关ja
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
Dremio案例_Elasticserch数据分析
说明 Dremio-3.3.1支持Elasticserch-5.x和6.x；本次使用Elasticserch-6.1.2 1.Elasticserch批量导入数据 ## 导入数据 crul -H 'Content-Type: application/json' -XPOST hostname:9200/dremio/entry_index/_bulk?pretty --data-binary @entry_index.json ## 修改副本数 crul -H 'Content-Type: application/json' -XPUT 'hostname:9200/dremio/_settings' -d '{"index":{"number_of_replicas":"0"}}' 注意：文件数据每行头须有“_id”，否则导入数据报错 {"index":{"_id":"id_num"}} 2.数据验证 3.配置ES数据源 4.查询数据 SELECT agent_id,signature,method_type, max(elapse_time) maxElapseTime, min(...
- 下一篇
重学计算机组成原理（六）- 函数调用怎么突然Stack Overflow了!
用Google搜异常信息，肯定都访问过Stack Overflow网站 全球最大的程序员问答网站，名字来自于一个常见的报错，就是栈溢出（stack overflow） 从函数调用开始，在计算机指令层面函数间的相互调用是怎么实现的，以及什么情况下会发生栈溢出 1 栈的意义 先看一个简单的C程序 function.c 直接在Linux中使用GCC编译运行 [hadoop@JavaEdge Documents]$ vim function.c [hadoop@JavaEdge Documents]$ gcc -g -c function.c [hadoop@JavaEdge Documents]$ objdump -d -M intel -S function.o function.o: file format elf64-x86-64
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- CentOS7编译安装Cmake3.16.3，解决mysql等软件编译问题
- Docker快速安装Oracle11G，搭建oracle11g学习环境
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- 设置Eclipse缩进为4个空格，增强代码规范
- SpringBoot2整合MyBatis，连接MySql数据库做增删改查操作
- Docker安装Oracle12C，快速搭建Oracle学习环境
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7安装Docker，走上虚拟化容器引擎之路
- CentOS7,CentOS8安装Elasticsearch6.8.6
微信收款码
支付宝收款码