大数据开发套件中数据同步-日志报错回滚信息的一些问题总结-低调大师

大数据开发套件中数据同步-日志报错回滚信息的一些问题总结

2017-04-04 675

在使用大数据开发套件时最常用的就是数据同步模块，工单里最常见的问题就是其中数据同步的问题，这里总结一些常见一些从MaxCompute（原名ODPS）到其他数据源的同步任务报错案例，主要是日志中出现数据回滚写入的问题。

那首先看下日志中数据回滚的原因，当数据写入rds或者hybridDB等一些支持事务的数据库中，数据批量写入，一旦由于各种原因没有写入成功，这个批次的数据会回滚重新写入，如果再次写入失败，就会报脏数据的错误导致任务失败。数据写入失败可能是以下原因导致回滚。
1，脏数据（数据值超过数据类型最大范围，数据类型不对应等等）
2，目标数据源字段设置，比如默认不允许为空
3，主键冲突
4，目标数据源本身负载太高，写入时死锁
5，同步的设置的速度太大，比如数据量很大，速度设为10M/s。

常见回滚日志报错示例：

 2017-01-01 17:01

微信关注我们

原文链接：https://yq.aliyun.com/articles/73333

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

svn 创建分支 branches

merge 移步： Svn branch trunk merge 操作文档 svn 安装移步： java,mysql,hadoop,cdh,hive,spark,ntp,zookeeper,kafka,storm,redis,flume,git 安装详解项目结构一般是 project |-branches |-tags |-trunk svn 创建分支 branches 及把 trunk 中内容复制到 branches ，及copy 一份连同svn节点复制过去 1.右击项目 -》分支标记 2. 填入 branches/自己命名的branch 最好修改下 pom中小版本的version （分支创建，点击本项目，指定到url 为分支路径） 3.选择head version 4 next finish 5. ok 捐助开发者在兴趣的驱动下,写一个免费的东西，有欣喜，也还有汗水，希望你喜欢我的作品，同时也能支持一下。当然，有钱捧个钱场（支持支付宝和微信捐助，加入it技术扣扣群），没钱捧个人场，谢谢各位。谢谢您的赞助，我会做的...

2017-04-05

580

017年3月24日，以“数字变革创领世界”为主题的思科创新峰会2017在北京召开。开会的那天早晨，北京下起了绵绵春雨，“晓看红湿处，花重锦官城”的意境特别美。在思科创新峰会2017的主会场外，是思科技术团队和行业合作伙伴搭建的展厅，除了思科最前沿的技术展示之外，还有行业应用场景的再现，每一个展台前皆摩肩接踵人声鼎沸，如此热烈的讨论氛围，也很美。思科创新峰会2017诚意十足，今年主题演讲囊括全数字化网络架构、数据中心、云、安全、协作、未来企业IT等众多方面，深入探讨了全数字化创新如何帮助企业重新定义商业模式，快速推动企业发展。记者在会后采访了思科多位高层，通过他们的分享，记者对数字化转型的趋势判断、企业转型的痛点分析，以及技术如何支持企业转型又有了更深一层的理解，也发布出来，以飨读者。迎接经济腾飞的第二次浪潮思科全球副总裁，大中华区首席技术官曹图强首先在会上分享了自己对于全数字化转型的观点。他强调，现在是全数字化转型的绝佳时机，刻不容缓。思科从何得出这个结论呢? 他认为首先是因为市场的需求：从全球到中国，众多传统企业都徘徊在转型路口，但此时的他们没有确定转型的方向，他们清楚地...

2017-10-03

672

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。