使用Dataworks同步Elasticsearch至MaxCompute 日期类型为\N的解决办法
问题背景:
如果ES的数据存在日期类型,并且ES的日期类型本身没有dateFormat的话,同步到MaxCompute默认是空值。
如图:
解决办法:
需要在elasticsearch Reader中增加dateFormat属性,格式和要同步的ES日期格式一致就可以了。
如:
{
"type": "job",
"steps": [
{
"stepType": "elasticsearch",
"parameter": {
"search": "",
"endpoint": "http://阿里云es地址:9200",
"password": "密码",
"dateFormat": "yyyy-MM-dd'T'HH:mm:ss.SSSZZ",
"retryCount": 3,
"column": [
"created_time"
],
"scroll": "1m",
"index": "odpstest",
"type": "doc",
"username": "elastic"
},
"name": "Reader",
"category": "reader"
},
{
"stepType": "odps",
"parameter": {
"partition": "",
"truncate": true,
"datasource": "odps_first",
"column": [
"time"
],
"emptyAsNull": false,
"table": "testtime2"
},
"name": "Writer",
"category": "writer"
}
],
"version": "2.0",
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
},
"setting": {
"errorLimit": {
"record": ""
},
"speed": {
"throttle": false,
"concurrent": 2
}
}
}
测试结果:

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
阿里云服务器2核8G5M性能配置好不好用?
阿里云服务器2核8G5M是热销的云服务器配置,最近这个配置活动较多。目前主要应用场景为中大型的web网站,包括对用户体验较为重视的政府和企业网站等。让网站可以更快打开,提升企业和品牌形象。这款配置比之前介绍的阿里云2核4G5M多了4GB内存。这么大的内存开启opcache php内存缓存,MySQL mencached数据库缓存等,可以进一步给服务器加速,提升用户体验。本文给这些实例规格族、实例CPU、内存、阿里云盘、优惠活动做详细介绍。 一、几核几G几M是什么意思 几核就是几个CPU核心,几G就是服务器有多少GB的内存,几M就是云服务器宽带是多少Mbps。1Mbps = 128KB/S。服务器的核心在服务商等于宿主机(母鸡)CPU一个处理器线程。比如2核云服务器,宿主机采用4核8线程,那就是分配到了2个线程的处理器。 二、阿里云服务器2核8G5M有那些实例规格 这款配置有突发性能型实例,会限制CPU。如果你了解突发性能t5、t6那么可以用,否则不建议购买会限制性能的实例。除了突发性能实例,目前阿里云其他服务器均不限制处理器性能。都可以放心选购。 以下均为2核8G阿里云实例 实例规格族...
-
下一篇
Spark on Kubernetes与阿里云的深度整合
最近,笔者尝试将Spark on Kubernetes与阿里云深度整合,设计一个开箱即用的Spark on Kubernetes镜像。 首先通过Terraform在阿里云上一键创建和销毁Kubernetes集群。然后写了一个脚本生成Spark镜像,使其在Kubernetes上运行时可以直接读写阿里云OSS上的数据。最后还写了一个spark-submit脚本,可以让镜像动态地从阿里云OSS上下载需要运行的主程序包(jar)。 功能: 一次编译,多次运行,同时支持共有云、私有云、以及混合云。用户只需专注于Spark job本身,无需担心运维。解耦计算与存储,不再需要HDFS集群,更加节省费用。避免了常规做法中的二次资源调度,进一步提升资源管理效率。每一个job都可以指定资源,实现更好的资源隔离。自带弹性伸缩属性,无需被集群太小所困扰。 优势:镜像可以部署到共有云、私有云、或混合云上的任意一个Kubernetes集群镜像可以直接读写阿里云的对象存储服务(OSS),节省了HDFS的费用可以从阿里云的OSS上自动下载包含Spark job的工作包(jar),不再用为每个工作包制作新的镜像...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- MySQL数据库在高并发下的优化方案
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Dcoker安装(在线仓库),最新的服务器搭配容器使用
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Docker快速安装Oracle11G,搭建oracle11g学习环境