创建ElasticSearch（ES）结果表
创建 ElasticSearch 结果表
注意：本文档只适合独享模式下使用。
ElasticSearch 结果表的实现使用 REST API，理论上兼容 ElasticSearch 的各个版本。以下将 ElasticSearch 简称为 ES。
ES 需要定义的 DDL 如下:
create table es_stream_sink(field1 long,field2 varbianary,field3 varchar) with (type ='elasticsearch',endPoint = 'http://127.0.0.1:9211',accessId = 'abcd',accessKey = 'efgh',index = 'mockIdx',typeName = 'mockType'...);
WITH参数
通用配置:
| 参数 | 注释说明 | 默认值 | Required |
|---|---|---|---|
| endPoint | server 地址，例：http://127.0.0.1:9211 | 无 | 是 |
| accessId | 访问实例 id | 无 | 是 |
| accessKey | 访问实例密钥 | 无 | 是 |
| index | 索引名称，类似于数据库 DB 的概念 | 无 | 是 |
| typeName | type 名称，类似于数据库 table 的概念 | 无 | 是 |
| bufferSize | 分 batch 写入的 records 条数 | 1000 | 否 |
| maxRetryTimes | 异常重试次数 | 30 | 否 |
| timeout | 读超时(ms) | 600000 | 否 |
| discovery | 是否开启节点发现，如果开启客户端会 5 分钟刷新一次 server list |
false | 否 |
| compression | 是否使用 GZIP 压缩 request bodies | true | 否 |
| multiThread | 是否开启 JestClient 多线程 | true | 否 |
| ignoreWriteError | 是否忽略写入异常 | false | 否 |
| settings | 创建 index 的 settings 配置 | / | 否 |
关注公众号
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
-
上一篇
数据结果表概述
实时计算 Flink使用CREATE TABLE作为输出结果数据的格式定义，同时定义数据如何写入到目的数据存储。实时计算有Append类型和Update类型。 Append类型：如果输出存储是日志系统或消息系统，或未定义主键的RDS，则流的输出结果都会以追加的方式写入存储中，而不会修改存储中原有的数据。 Update类型：如果输出存储是声明了主键（PRIMARY KEY）的数据库（例如RDS、HBase），流的输出结果会发生以下两种情况。 如果根据主键查询数据在数据库中不存在，则会将该数据插入到数据库。 如果根据主键查询数据在数据库中存在，则会根据主键更新数据。 语法 CREATE TABLE tableName (columnName dataType [, columnName dataType ]*) [ WITH (propertyName=propertyValue [, propertyName=propertyValue ]*) ]; 示例 create table rds_output( id int, len int, content VARCHAR, primary...
-
下一篇
创建云数据库 Hbase结果表
本页目录 创建云数据库 Hbase结果表 WITH参数 创建云数据库 Hbase结果表 create table liuxd_user_behavior_test_front ( row_key varchar, from_topic varchar, origin_data varchar, record_create_time varchar, PRIMARY KEY (row_key) ) with ( type = 'cloudhbase', zkQuorum = 'xxx' columnFamily = 'xxx', tableName = 'xxx', batchSize = '500' ) 注意： primary key支持定义多个字段。多个字段会按照rowkeyDelimiter(默认为（:）)拼接起来作为rowkey。 hbase做撤回删除操作时，如果column定义了多版本，会把所有版本的值清空。 WITH参数 参数 注释说明 备注 zkQuorum hbase集群配置的zk地址 可以在hbase-site.xml文件中找到hbase.zookeeper.quoru...
相关文章
文章评论
共有0条评论来说两句吧...
微信收款码
支付宝收款码