大数据开发套件中数据同步-日志报错回滚信息的一些问题总结-低调大师

大数据开发套件中数据同步-日志报错回滚信息的一些问题总结

2017-04-04 659 89

在使用大数据开发套件时最常用的就是数据同步模块，工单里最常见的问题就是其中数据同步的问题，这里总结一些常见一些从MaxCompute（原名ODPS）到其他数据源的同步任务报错案例，主要是日志中出现数据回滚写入的问题。

那首先看下日志中数据回滚的原因，当数据写入rds或者hybridDB等一些支持事务的数据库中，数据批量写入，一旦由于各种原因没有写入成功，这个批次的数据会回滚重新写入，如果再次写入失败，就会报脏数据的错误导致任务失败。数据写入失败可能是以下原因导致回滚。
1，脏数据（数据值超过数据类型最大范围，数据类型不对应等等）
2，目标数据源字段设置，比如默认不允许为空
3，主键冲突
4，目标数据源本身负载太高，写入时死锁
5，同步的设置的速度太大，比如数据量很大，速度设为10M/s。

常见回滚日志报错示例：

 2017-01-01 17:01

微信关注我们

原文链接：https://yq.aliyun.com/articles/73333

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

svn 创建分支 branches

merge 移步： Svn branch trunk merge 操作文档 svn 安装移步： java,mysql,hadoop,cdh,hive,spark,ntp,zookeeper,kafka,storm,redis,flume,git 安装详解项目结构一般是 project |-branches |-tags |-trunk svn 创建分支 branches 及把 trunk 中内容复制到 branches ，及copy 一份连同svn节点复制过去 1.右击项目 -》分支标记 2. 填入 branches/自己命名的branch 最好修改下 pom中小版本的version （分支创建，点击本项目，指定到url 为分支路径） 3.选择head version 4 next finish 5. ok 捐助开发者在兴趣的驱动下,写一个免费的东西，有欣喜，也还有汗水，希望你喜欢我的作品，同时也能支持一下。当然，有钱捧个钱场（支持支付宝和微信捐助，加入it技术扣扣群），没钱捧个人场，谢谢各位。谢谢您的赞助，我会做的...

567

思科创新峰会2017以技术为桥迎接全数字化转型绝佳时机

017年3月24日，以“数字变革创领世界”为主题的思科创新峰会2017在北京召开。开会的那天早晨，北京下起了绵绵春雨，“晓看红湿处，花重锦官城”的意境特别美。在思科创新峰会2017的主会场外，是思科技术团队和行业合作伙伴搭建的展厅，除了思科最前沿的技术展示之外，还有行业应用场景的再现，每一个展台前皆摩肩接踵人声鼎沸，如此热烈的讨论氛围，也很美。思科创新峰会2017诚意十足，今年主题演讲囊括全数字化网络架构、数据中心、云、安全、协作、未来企业IT等众多方面，深入探讨了全数字化创新如何帮助企业重新定义商业模式，快速推动企业发展。记者在会后采访了思科多位高层，通过他们的分享，记者对数字化转型的趋势判断、企业转型的痛点分析，以及技术如何支持企业转型又有了更深一层的理解，也发布出来，以飨读者。迎接经济腾飞的第二次浪潮思科全球副总裁，大中华区首席技术官曹图强首先在会上分享了自己对于全数字化转型的观点。他强调，现在是全数字化转型的绝佳时机，刻不容缓。思科从何得出这个结论呢? 他认为首先是因为市场的需求：从全球到中国，众多传统企业都徘徊在转型路口，但此时的他们没有确定转型的方向，他们清楚地...

649

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。