Sqoop commit failure-低调大师

Sqoop commit failure

2017-11-13 678

线上一个Sqoop抽取Job报如下错误：

[ERROR]: Utils - Caused by: java.sql.SQLException: Communicationslink failure during commit(). Transaction resolution unknown.
[ERROR]: Utils - at com.mysql.jdbc.Connection.commit(Connection.java:2171)
[ERROR]: Utils - atorg.apache.sqoop.mapreduce.db.DBRecordReader.close(DBRecordReader.java:167)

看报错应该是Sqoop在导出数据后，处理数据到提交超过了MySQL的wait_timeout（线上是2分钟）；

引起这个的原因会有很多，服务器高负载，HDFS高负载，网卡跑满等等，可以通过在jdbc url里设置interactiveClient=true（线上interactive_timeout是1小时）后没有再报过错；

BTW：在写blog的时候想起其实可以尝试一下将fetch-size去掉应该也可以workaround，现在再看当时处问题前一天的日志数据其实MAP其实内存已经满了；

后续更新：发现在出错的前一天修改过mapred-site.xml，child.opt里的最大内存改成了1G；这样看来fetch-size去掉才是最终解决方案：）结贴

本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1299842，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/476865

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

一次Hadoop开发思路分享

困扰了自己1周的一个问题终于得到解决了，感谢给我帮助的同学，同时记录下来分享给大家. 问题简化描述： HDFS存在这样格式的文件：用户ID主题ID用户对此主题的偏好分数score。现在要求实现对给定的几个主题T1，T2，T3，...TN，每个主题要求筛选出指定数量的用户ID是M1,M2,M3,...MX。希望尽可能根据score来选出偏好的用户ID，并且主题之间的用户ID不可以重复。另外HDFS上distinct的用户ID数量是大于等于M1+M2+M3+...+MX的。思路分析：问题有几个关键点，第一，不重复，第二，数量上要满足，第三，偏好分数score。如何保证，主题之间的用户不重复呢？其实就是完成，一个用户只能属于一个主题的过程，当然，我们可以很简单的对一个用户下的所有偏好分数进行排序，取出最偏好的主题。虽然这样避免了重复的问题，可是问题来了，如果偏好主题T1要求的数量是100W，而仅仅只有90W的用户ID对T1最偏好，这该如何补数呢？又如何通过程序来自动化的实现这个过程呢？越想越复杂！这个问题好像有点类似于高考填自愿的问题，我们每一个人会填写几个志愿，但是我们终...

2017-11-14

543

Hadoop的端口说明： 9000是namenode的端口 50030提供了GUI界面用于查看Map/Reduce http://192.168.129.35:50030/jobtracker.jsp 50070提供了一个GUI界面可以用来查看namenode http://192.168.129.35:50070/dfshealth.jsp 50075提供了是datanode的端口 50060提供了GUI界面用来查看task tracker http://192.168.129.35:50060/tasktracker.jsp 本文转自 charles_wang888 51CTO博客，原文链接：http://blog.51cto.com/supercharles888/840293，如需转载请自行联系原作者

2017-11-14

569

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。