使用Dataworks同步Elasticsearch至MaxCompute 日期类型为\N的解决办法
问题背景:
如果ES的数据存在日期类型,并且ES的日期类型本身没有dateFormat的话,同步到MaxCompute默认是空值。
如图:
解决办法:
需要在elasticsearch Reader中增加dateFormat属性,格式和要同步的ES日期格式一致就可以了。
如:
{ "type": "job", "steps": [ { "stepType": "elasticsearch", "parameter": { "search": "", "endpoint": "http://阿里云es地址:9200", "password": "密码", "dateFormat": "yyyy-MM-dd'T'HH:mm:ss.SSSZZ", "retryCount": 3, "column": [ "created_time" ], "scroll": "1m", "index": "odpstest", "type": "doc", "username": "elastic" }, "name": "Reader", "category": "reader" }, { "stepType": "odps", "parameter": { "partition": "", "truncate": true, "datasource": "odps_first", "column": [ "time" ], "emptyAsNull": false, "table": "testtime2" }, "name": "Writer", "category": "writer" } ], "version": "2.0", "order": { "hops": [ { "from": "Reader", "to": "Writer" } ] }, "setting": { "errorLimit": { "record": "" }, "speed": { "throttle": false, "concurrent": 2 } } }
测试结果:
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
阿里云服务器2核8G5M性能配置好不好用?
阿里云服务器2核8G5M是热销的云服务器配置,最近这个配置活动较多。目前主要应用场景为中大型的web网站,包括对用户体验较为重视的政府和企业网站等。让网站可以更快打开,提升企业和品牌形象。这款配置比之前介绍的阿里云2核4G5M多了4GB内存。这么大的内存开启opcache php内存缓存,MySQL mencached数据库缓存等,可以进一步给服务器加速,提升用户体验。本文给这些实例规格族、实例CPU、内存、阿里云盘、优惠活动做详细介绍。 一、几核几G几M是什么意思 几核就是几个CPU核心,几G就是服务器有多少GB的内存,几M就是云服务器宽带是多少Mbps。1Mbps = 128KB/S。服务器的核心在服务商等于宿主机(母鸡)CPU一个处理器线程。比如2核云服务器,宿主机采用4核8线程,那就是分配到了2个线程的处理器。 二、阿里云服务器2核8G5M有那些实例规格 这款配置有突发性能型实例,会限制CPU。如果你了解突发性能t5、t6那么可以用,否则不建议购买会限制性能的实例。除了突发性能实例,目前阿里云其他服务器均不限制处理器性能。都可以放心选购。 以下均为2核8G阿里云实例 实例规格族...
- 下一篇
Spark on Kubernetes与阿里云的深度整合
最近,笔者尝试将Spark on Kubernetes与阿里云深度整合,设计一个开箱即用的Spark on Kubernetes镜像。 首先通过Terraform在阿里云上一键创建和销毁Kubernetes集群。然后写了一个脚本生成Spark镜像,使其在Kubernetes上运行时可以直接读写阿里云OSS上的数据。最后还写了一个spark-submit脚本,可以让镜像动态地从阿里云OSS上下载需要运行的主程序包(jar)。 功能: 一次编译,多次运行,同时支持共有云、私有云、以及混合云。用户只需专注于Spark job本身,无需担心运维。解耦计算与存储,不再需要HDFS集群,更加节省费用。避免了常规做法中的二次资源调度,进一步提升资源管理效率。每一个job都可以指定资源,实现更好的资源隔离。自带弹性伸缩属性,无需被集群太小所困扰。 优势:镜像可以部署到共有云、私有云、或混合云上的任意一个Kubernetes集群镜像可以直接读写阿里云的对象存储服务(OSS),节省了HDFS的费用可以从阿里云的OSS上自动下载包含Spark job的工作包(jar),不再用为每个工作包制作新的镜像...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS关闭SELinux安全模块
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- 设置Eclipse缩进为4个空格,增强代码规范
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7安装Docker,走上虚拟化容器引擎之路