您现在的位置是:首页 > 文章详情

使用Dataworks同步Elasticsearch至MaxCompute 日期类型为\N的解决办法

日期:2020-02-19点击:700

问题背景:

如果ES的数据存在日期类型,并且ES的日期类型本身没有dateFormat的话,同步到MaxCompute默认是空值。

如图:

image

解决办法:

需要在elasticsearch Reader中增加dateFormat属性,格式和要同步的ES日期格式一致就可以了。
如:

{ "type": "job", "steps": [ { "stepType": "elasticsearch", "parameter": { "search": "", "endpoint": "http://阿里云es地址:9200", "password": "密码", "dateFormat": "yyyy-MM-dd'T'HH:mm:ss.SSSZZ", "retryCount": 3, "column": [ "created_time" ], "scroll": "1m", "index": "odpstest", "type": "doc", "username": "elastic" }, "name": "Reader", "category": "reader" }, { "stepType": "odps", "parameter": { "partition": "", "truncate": true, "datasource": "odps_first", "column": [ "time" ], "emptyAsNull": false, "table": "testtime2" }, "name": "Writer", "category": "writer" } ], "version": "2.0", "order": { "hops": [ { "from": "Reader", "to": "Writer" } ] }, "setting": { "errorLimit": { "record": "" }, "speed": { "throttle": false, "concurrent": 2 } } } 

测试结果:
image

原文链接:https://yq.aliyun.com/articles/745387
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章