创建ElasticSearch(ES)结果表
创建 ElasticSearch 结果表
注意:本文档只适合独享模式下使用。
ElasticSearch 结果表的实现使用 REST API,理论上兼容 ElasticSearch 的各个版本。以下将 ElasticSearch 简称为 ES。
ES 需要定义的 DDL 如下:
create table es_stream_sink(
field1 long,
field2 varbianary,
field3 varchar
) with (
type ='elasticsearch',
endPoint = 'http://127.0.0.1:9211',
accessId = 'abcd',
accessKey = 'efgh',
index = 'mockIdx',
typeName = 'mockType'
...
);
WITH参数
通用配置:
参数 | 注释说明 | 默认值 | Required |
---|---|---|---|
endPoint | server 地址,例:http://127.0.0.1:9211 | 无 | 是 |
accessId | 访问实例 id | 无 | 是 |
accessKey | 访问实例密钥 | 无 | 是 |
index | 索引名称,类似于数据库 DB 的概念 | 无 | 是 |
typeName | type 名称,类似于数据库 table 的概念 | 无 | 是 |
bufferSize | 分 batch 写入的 records 条数 | 1000 | 否 |
maxRetryTimes | 异常重试次数 | 30 | 否 |
timeout | 读超时(ms) | 600000 | 否 |
discovery | 是否开启节点发现,如果开启客户端会 5 分钟刷新一次 server list |
false | 否 |
compression | 是否使用 GZIP 压缩 request bodies | true | 否 |
multiThread | 是否开启 JestClient 多线程 | true | 否 |
ignoreWriteError | 是否忽略写入异常 | false | 否 |
settings | 创建 index 的 settings 配置 | / | 否 |

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
数据结果表概述
实时计算 Flink使用CREATE TABLE作为输出结果数据的格式定义,同时定义数据如何写入到目的数据存储。实时计算有Append类型和Update类型。 Append类型:如果输出存储是日志系统或消息系统,或未定义主键的RDS,则流的输出结果都会以追加的方式写入存储中,而不会修改存储中原有的数据。 Update类型:如果输出存储是声明了主键(PRIMARY KEY)的数据库(例如RDS、HBase),流的输出结果会发生以下两种情况。 如果根据主键查询数据在数据库中不存在,则会将该数据插入到数据库。 如果根据主键查询数据在数据库中存在,则会根据主键更新数据。 语法 CREATE TABLE tableName (columnName dataType [, columnName dataType ]*) [ WITH (propertyName=propertyValue [, propertyName=propertyValue ]*) ]; 示例 create table rds_output( id int, len int, content VARCHAR, primary...
-
下一篇
创建云数据库 Hbase结果表
本页目录 创建云数据库 Hbase结果表 WITH参数 创建云数据库 Hbase结果表 create table liuxd_user_behavior_test_front ( row_key varchar, from_topic varchar, origin_data varchar, record_create_time varchar, PRIMARY KEY (row_key) ) with ( type = 'cloudhbase', zkQuorum = 'xxx' columnFamily = 'xxx', tableName = 'xxx', batchSize = '500' ) 注意: primary key支持定义多个字段。多个字段会按照rowkeyDelimiter(默认为(:))拼接起来作为rowkey。 hbase做撤回删除操作时,如果column定义了多版本,会把所有版本的值清空。 WITH参数 参数 注释说明 备注 zkQuorum hbase集群配置的zk地址 可以在hbase-site.xml文件中找到hbase.zookeeper.quoru...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Linux系统CentOS6、CentOS7手动修改IP地址
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2整合Redis,开启缓存,提高访问速度
- 设置Eclipse缩进为4个空格,增强代码规范
- 面试大杂烩
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Docker使用Oracle官方镜像安装(12C,18C,19C)