missing blocks错误
Datanode的日志中看到: 10/12/14 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No live nodes contain current block. Will get new block locations from namenode and retry...
有可能是Hadoop HDFS Datanode 达到了同时处理文件的上限，修改
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
然后重启datanode
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
Hbase写入量大导致region过大无法split问题
最近在线上往hbase导数据，因为hbase写入能力比较强，没有太在意写的问题。让业务方进行历史数据的导入操作，中间发现一个问题，写入速度太快，并且业务数据集中到其中一个region，这个region无法split掉，处于不可用状态。这里描述一整个过程—— 事情的起因：业务方按照userid和商品id作为rowkey前缀，并没有进行hash散列。我当时咨询过业务方，认为：1.业务方式按照oracle的rowid顺序来进行迁移的，相对来说对应到rowkey里面就不会集中化；2.即使出现部分集中的情况，hbase也能够通过自动split来hold住写入。 结果线上写入的时候，12台机器的情况下业务方写入达到50~60w tps，基本上5w tps每台的写入速度。开始的时候region还能够自动split，比较好，写入速度也能够保持，但是到了第二天，发现写入在region维度的分布很不均衡，于是查看表的region size 情况，有一个region数据量特别大——800GB，700+个文件。 这里也分析一下为什么hbase会让这么大的region存在，其实这块hbas...
- 下一篇
480000 millis timeout while waiting for channel to be ready for write异...
2014-08-25 15:35:05,691 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(10.130.136.136:50010, storageID=DS-1533727399-10.130.136.136-50010-1388038551296, infoPort=50075, ipcPort=50020):DataXceiver java.net.SocketTimeoutException: 480000 millis timeout while waiting for channel to be ready for write. ch : java.nio.channels.SocketChannel[connected local=/10.130.136.136:50010 remote=/10.130.136.136:34264] at org.apache.hadoop.net.SocketIOWithTimeout.waitForIO(SocketIOWi...
相关文章
文章评论
共有0条评论来说两句吧...
微信收款码
支付宝收款码