Spark on Phoenix 4.x Connector:如何在Spark侧设置Phoenix参数
前言
X-Pack Spark可以使用Spark on Phoenix 4.x Connector直接对接Phoenix数据库,读取Phoenix数据表数据。有时在读取Phoenix时需要设置Phoenix的一些参数,例如Phoenix为了保障数据库的稳定性,默认开了索引包含,即查询Phoebe表必须要带上索引或者主键字段作为过滤条件。此时Spark作为查询Phoenix数据库的客户端需要有传递参数的能力。本文就列举了Spark侧传递Phoenix参数的方法。
注意:本文的案例以X-Pack Spark和HBase SQL(Phoenix) 4.x作为背景。
案例描述
在Spark侧设置Phoenix的参数常见的有如下:
- phoenix.force.index,查询Phoenix的SQL语句中的过滤字段是否必须创建索引。本文以这个参数为例,

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
使用EMR-Kafka Connect进行数据迁移
1.背景 流式处理中经常会遇到Kafka与其他系统进行数据同步或者Kafka集群间数据迁移的情景。使用EMR Kafka Connect可以方便快速的实现数据同步或者数据迁移。 Kafka Connect是一种可扩展的、可靠的,用于在Kafka和其他系统之间快速地进行流式数据传输的工具。例如可以使用Kafka Connect获取数据库的binglog数据,将数据库的数据迁入Kafka集群,以同步数据库的数据,或者对接下游的流式处理系统。同时,Kafka Connect提供的REST API接口可以方便的进行Kafka Connect的创建和管理。Kafka Connect分为standalone和distributed两种运行模式。standalone模式下,所有的worker都在一个进程中运行;相比之下,distributed模式更
-
下一篇
自动驾驶技术公司DeepMap正将全部重计算环节迁移至阿里云
7月23日,记者了解到,国际领先的自动驾驶技术公司DeepMap高深智图正将生产高精地图的全部重计算环节迁移至阿里云。 没有高精地图,就没有自动驾驶。高深智图对地图的成图质量要求极高,要提供数量足够的关键feature,也要面向不同应用场景进行定制化适配。例如,卡车更关注高度信息,普通机动车更看重非机动车道信息,这些都对模型和算力提出了更高要求。 高深智图中国区负责人刘澍泉介绍,从相关模型训练、数据清洗到成图之前的校验,中间庞大的数据量计算过程都将全部在阿里云上完成。 整套计算将涉及阿里云的ECS、GPU、对象存储OSS、边缘节点服务ENS、专有网络VPC、EMR计算集群、K8s API集群、Hbase存储集群等数十款产品服务。 整个计算流程大致为,车载高精地图终端自动捕获增量数据,通过边缘节点快速上传云端,规模庞大的EMR集群完成数据处
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- MySQL8.0.19开启GTID主从同步CentOS8
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装