首页 文章 精选 留言 我的

精选列表

搜索[快速],共10000篇文章
优秀的个人博客,低调大师

CDH5之Balancer难以在快速增长的集群上平衡大量的数据

背景: 公司在线上使用了CDH5集群,一开始由于疏忽,忘记了在计划任务中定期执行Balancer来平衡各节点的数据。 后来,在引入大量的Job之后,数据增长非常迅猛,有很多节点开始出现利用率超过99.9%的情况,部分Job甚至开始Failed。 于是我们便执行Balancer来清理数据,结果发现有26T的数据需要平衡,而Balancer每次只移动50G的数据,并且耗时30分钟,而集群每个小时新写入的数据会导致又有40-60G的数据需要平衡。这样一来,Balancer就根本无法胜任了。 14/10/14 20:31:11 INFO balancer.Balancer:Need to move 26.49 TB to make the cluster balanced. 14/10/14 20:31:11 INFO balancer.Balancer:Decided to move 10 GB bytes from 10.100.1.10:50010 to 10.100.1.60:50010 14/10/14 20:31:11 INFO balancer.Balancer:Decided to move 10 GB bytes from 10.100.1.20:50010 to 10.100.1.70:50010 14/10/14 20:31:11 INFO balancer.Balancer:Decided to move 10 GB bytes from 10.100.1.30:50010 to 10.100.1.80:50010 14/10/14 20:31:11 INFO balancer.Balancer:Decided to move 10 GB bytes from 10.100.1.40:50010 to 10.100.1.90:50010 14/10/14 20:31:11 INFO balancer.Balancer:Decided to move 10 GB bytes from 10.100.1.50:50010 to 10.100.1.100:50010 14/10/14 20:31:11 INFO balancer.Balancer:Will move 50 GBinthisiteration ......... 解决办法: 1. 增加Balancer可操作的带宽 我们思考,是否是因为Balancer的默认带宽太小,所以效率低下,于是我们尝试将Balancer的带宽扩容到了500M/s: hadoop dfsadmin -setBalancerBandwidth 524288000但问题并没有得到太大的改善。2. 强行对节点进行Decommission 我们发现,当对一些节点进行Decommission操作时,上面的数据虽然有10-30T甚至更多,但总能在1天内全部Copy到其它的节点上,这里面由于默认集群副本数为3的原因,应该只有1/3的数据被复制了,但数据是完整的,并且被复制出去的数据也是平均分配到各个节点上的。那么我们何不使用它来作为一个类似Balancer的功能来解决一些磁盘用量超过99.9%的节点呢? 事实证明,这个方法非常可行,我们针对线上8个节点进行了Decommission操作(注意要尽量一台一台进行),在完成下线之后再立刻格式化数据磁盘,并重新添加回集群,新的数据也会非常快的平衡过来。比较完美的解决了之前头疼的问题,并且只花费了不到4天的时间。 3. Hadoop对LVM磁盘卷的支持问题 在解决Balancer的问题时,我们还发现,Hadoop对LVM磁盘卷的支持不是很好,表现在如果在一块磁盘上创建了逻辑卷/根分区等,再创建了逻辑卷/data1分区,Hadoop会一直将/data1写到100%,然后导致一些Job提示没有空间写入。我们猜想Hadoop应该是物理卷为单位来控制用量的。因此,我们不得不将这些包含了逻辑卷数据磁盘的主机重新安装,并分配单独的物理卷,如/dev/sda3作为/data1挂载,便再也没有以上问题。 转: http://heylinux.com/archives/3392.html

优秀的个人博客,低调大师

Demo 上线了,然后更新一些前后台及功能的截图,方便快速了解 teanary

前台地址:https://demo.chatterup.fun:2003 后台地址:https://demo.chatterup.fun:2003/m 测试账号信息 邮箱: demo@demo.com 密码: demo123456 前后端使用相同账号密码 ⚠️ 重要提示: Demo 数据每 8 小时自动重置一次 💻 当前 Demo 服务器运行在一台树莓派上,性能有限,请谅解 🌐 如果您愿意赞助服务器资源部署 Demo,我们可以部署多节点同步演示环境,展示完整的多节点同步功能 📧 如有赞助意向或想了解更多信息,请联系:hello@teanary.com 下面是一些关于Teanary的截图: #### 🖥️ 前端界面(8张) ![前端首页]) 前端首页展示 ![分类页面]) 分类页面 ![商品详情]) 商品详情页面 ![购物车]) 购物车页面 ![结算页面]) 结算页面 ![订单页面]) 订单页面 ![文章推荐]) 文章推荐页面 ![联系我们]) 联系我们页面 #### ⚙️ 后台管理(20张) ![后台首页]) 后台管理首页 ![商品管理]) 商品管理界面 ![商品编辑]) 商品编辑页面 ![商品属性值管理]) 商品属性值管理 ![商品规格管理]) 商品规格管理 ![商品规格值管理]) 商品规格值管理 ![商品评价]) 商品评价管理 ![分类管理]) 分类管理 ![属性管理]) 属性管理 ![订单管理]) 订单管理 ![用户管理]) 用户管理 ![管理用户]) 管理用户页面 ![用户组管理]) 用户组管理 ![促销管理]) 促销管理 ![收货地址管理]) 收货地址管理 ![文章管理]) 文章管理 ![货币管理]) 货币管理 ![语言管理]) 语言管理 ![国家管理]) 国家管理 ![区域管理]) 区域管理 #### 🔧 其他功能(1张) ![Chrome采集插件]) Chrome采集插件

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册