首页 文章 精选 留言 我的

精选列表

搜索[轻量级运维极速引擎]，共10010篇文章
优秀的个人博客,低调大师

Hadoop运维操作

1. 处理hadoop的namenode宕机 处理措施： 进入hadoop的bin目录，重启namenode服务 操作命令： cd path/to/hadoop/bin ./hadoop-daemon.sh start namenode 2. 处理hadoop的jobtacker宕机 处理措施： 进入hadoop的bin目录，重启jobtacker服务 操作命令： cd path/to/hadoop/bin ./hadoop-daemon.sh start jobtracker 3. 处理hadoop的datanode宕机 处理措施： 进入hadoop的bin目录，重启datanode服务 操作命令： cd path/to/hadoop/bin ./hadoop-daemon.sh start datanode 4. 处理hadoop的tasktracker宕机 处理措施： 进入hadoop的bin目录，重启tasktacker服务 操作命令： cd path/to/hadoop/bin ./hadoop-daemon.sh start tasktracker 5. 启动hadoop集群 处理措施： 进入hadoop的bin目录，执行start-all.sh脚本 操作命令： cd path/to/hadoop/bin ./start-all.sh 注意事项： namenode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1- dfs.safemode.threshold.pct），则系统会一直处于安全模式状态即只读状态。 dfs.safemode.threshold.pct（缺省值0.999f）表示hdfs启动的时候，如果datanode上报的block个数达到了 元数据记录的block个数的0.999倍才可以离开安全模式，否则一直是这种只读模式。如果设为1则hdfs永远是处于safemode。 有两个方法离开这种安全模式 （1）修改dfs.safemode.threshold.pct为一个比较小的值，缺省是0.999。 （2）hadoop dfsadmin -safemode leave命令强制离开 用户可以通过dfsadmin -safemode $value来操作安全模式，参数$value的说明如下： enter – 进入安全模式 leave – 强制namenode离开安全模式 get – 返回安全模式是否开启的信息 wait – 等待，一直到安全模式结束。 6. 关闭hadoop机器 处理措施： 进入hadoop的bin目录，执行stop-all.sh脚本 操作命令： cd path/to/hadoop/bin ./ stop-all.sh 7. 从hadoop移除机器 处理措施： 把需要移除的机器增加到exclueds文件中，强制刷新datanode列表，等待decommission状态正常后，即可停机下架，如有必要在namenode执行balancer操作。 操作命令： 在master的conf/hdfs-site.xml中加入 <property> <name>dfs.hosts.exclude</name> <value>excludes</value> </property> 在$hadoop_home下创建exclueds文件 文件内容增加你想删除的节点的机器名，一行一个 /bin/hadoop dfsadmin -refreshnodes命令刷新datanode例表 /bin/hadoop dfsadmin -report查看结果 datanodes available: 1 (1 total, 0 dead) name: 192.168.200.118:50010 decommission status : decommission in progress configured capacity: 211370565632 (196.85 gb) dfs used: 11459694592 (10.67 gb) non dfs used: 187135799296 (174.28 gb) dfs remaining: 12775071744(11.9 gb) dfs used%: 5.42% dfs remaining%: 6.04% last contact: wed feb 22 23:51:48 pst 2012 在decommission status : decommission in progress变为 decommission status : decommission normal前mapreduce会异常增加节点 8. 向hadoop添加机器 处理措施： 把新机器的增加到conf/slaves文件中，重启datanode和jobtracker进程，当新添加的机器向namenode发送心跳信息后，namenode会自动感知新加入的机器，如果有必要可以做balancer操作。 操作命令： 1.把新机器的增加到conf/slaves文件中（datanode或者tasktracker crash则可跳过） 2.在新机器上进入hadoop安装目录 $bin/hadoop-daemon.sh start datanode $bin/hadoop-daemon.sh start tasktracker 3.在namenode上 $bin/hadoop balancer 9. 杀死正在运行的job 操作命令： bin/hadoop job –kill {job-id} 10.处理hbase的master宕机 操作命令： ./hbase-daemon.sh start master ./hbase-daemon.sh start zookeeper//可选 11.处理hbase的regionserver宕机 操作命令： ./hbase-daemon.sh start regionserver ./hbase-deamon.sh start zookeeper//可选 12.hbase集群间数据迁移方法总结 一、需要在hbase集群停掉的情况下迁移 步骤： (1)执行hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest" (2)在new cluster执行./hbase org.jruby.main add_table.rb /hbase/table20111222，将拷贝来的表加入到.meat.中（会出现region的数目不一致的问题，这个需要重启hase才能解决） 说明：(1)filelist为hdfs上的列表文件，内容如下： /hbase/table20111222 /hbase/table20120131 (2)如果两个集群的hadoop版本不一致，需要在new cluster上执行hadoop distcp，否则会出现读写异常； 二、在集群运行的时候进行数据迁移 1、replication：这个是动态的备份（可以理解为实时备份） 步骤：(1)在old cluster将需要迁移的表属性进行修改： disable 'your_table' alter 'your_table', {name => 'family_name', replication_scope => '1'} enable 'your_table' (2)打开new cluster集群的replication，修改hbase-site.xml <property> <name>hbase.replication</name> <value>true</value> </property> (3)添加peer，在new cluster的hbase shell中执行：add_peer '1','old cluster ip:2181:/hbase'，启动replication，执行start_replication 说明：需要两个集群的hadoop版本一致，否则出现读写错误 2、copytable：可以在本集群中拷贝一张表，也可以将表拷贝到其他的集群中。 命令：./hbase org.apache.hadoop.hbase.mapreduce.copytable --peer.adr=new cluster ip:2181:/hbase zy_test 说明：(1)拷贝完成，不需要重启机器，在new cluster中就可以看到该表; (2)稳定性还需要考虑，测试过程中遇到一个问题 此文来自:马开东博客 转载请注明出处 网址：http://www.makaidong.com ，拷贝过程中始终都停留在这里lookedup root region location, 查看日志没有什么错误和相关的信息。 3、export and import 步骤：(1)在old cluster上执行：./hbase org.apache.hadoop.hbase.mapreduce.export test hdfs://new cluster ip:9000/zhuangyang/test (2)在new cluster上执行：./hbase org.apache.hadoop.hbase.mapreduce.import test hdfs://new cluster ip:9000/zhuangyang/test 说明：(1)一定要写全路径，不能写相对路劲; (2)在import前，需要将表事先在new cluster中创建好. 以上都是在old cluster和new cluster网络相通的情况下实现数据迁移的办法。 如果两个集群网络不通，只能先将old cluster中的数据都下载到本地或者其他的地方，然后在人工的转移到new cluster上了 13.不重启namenode可以使配置文件生效 hadoop dfsadmin -refreshnodes 14.清空垃圾回收站 [root@master data]# hadoop fs -rmr .Trash Deleted hdfs://master:9000/user/root/.Trash 此文链接：http://www.makaidong.com/%E5%8D%9A%E5%AE%A2%E5%9B%AD%E6%8E%92%E8%A1%8C/9639.shtml 本文转自茄子_2008博客园博客，原文链接：http://www.cnblogs.com/xd502djj/p/4675217.html，如需转载请自行联系原作者。
2017-10-31
优秀的个人博客,低调大师

Enterprise Suse运维

1,Suse CDH4安装 wget archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm cloudera-cdh4.repo内容 [cloudera-cdh4] name=Cloudera's Distribution for Hadoop, Version 4 baseurl=http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/4/ gpgkey = http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera gpgcheck = 1 suse包管理工具zypper 与 yast;Ubuntu dpkg 与 apt; lsblk 列出所有的块设备，而且还能显示他们之间的依赖关系 参数： -a, --all 显示所有设备-b, --bytes 以bytes方式显示设备大小-d, --nodeps 不显示 slaves 或 holders-D, --discard print discard capabilities-e, --exclude <list> 排除设备 (default: RAM disks)-f, --fs 显示文件系统信息-h, --help 显示帮助信息-i, --ascii use ascii characters only-m, --perms 显示权限信息-l, --list 使用列表格式显示-n, --noheadings 不显示标题-o, --output <list> 输出列-P, --pairs 使用key="value"格式显示-r, --raw 使用原始格式显示-t, --topology 显示拓扑结构信息 http://l.51yip.com/search/lsblk;
2014-03-14
优秀的个人博客,低调大师

Hadoop集群日常运维

（一）备份namenode的元数据namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。1、将元数据复制到远程站点（1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器 #!/bin/bash export dirname=/mnt/tmphadoop/dfs/namesecondary/current/`date +%y%m%d%H` if [ ! -d ${dirname} ] then mkdir ${dirname} cp /mnt/tmphadoop/dfs/namesecondary/current/* ${dirname} fi scp -r ${dirname} slave1:/mnt/namenode_backup/ rm -r ${dirname} （2）配置crontab，定时执行此项工作0 0,8,14,20 * * * bash /mnt/scripts/namenode_backup_script.sh2、在远程站点中启动一个本地namenode守护进程，尝试加载这些备份文件，以确定是否已经进行了正确备份。（二）数据备份对于重要的数据，不能完全依赖HDFS，而是需要进行备份，注意以下几点（1）尽量异地备份（2）如果使用distcp备份至另一个hdfs集群，则不要使用同一版本的hadoop，避免hadoop自身导致数据出错。（三）文件系统检查定期在整个文件系统上运行HDFS的fsck工具，主动查找丢失或者损坏的块。建议每天执行一次。 [jediael@master ~]$ hadoop fsck / ……省略输出（若有错误，则在此外出现，否则只会出现点，一个点表示一个文件）…… .........Status: HEALTHY Total size: 14466494870 B Total dirs: 502 Total files: 1592 (Files currently being written: 2) Total blocks (validated): 1725 (avg. block size 8386373 B) Minimally replicated blocks: 1725 (100.0 %) Over-replicated blocks: 0 (0.0 %) Under-replicated blocks: 648 (37.565216 %) Mis-replicated blocks: 0 (0.0 %) Default replication factor: 2 Average block replication: 2.0 Corrupt blocks: 0 Missing replicas: 760 (22.028986 %) Number of data-nodes: 2 Number of racks: 1 FSCK ended at Sun Mar 01 20:17:57 CST 2015 in 608 milliseconds The filesystem under path '/' is HEALTHY （1）若hdfs-site.xml中的dfs.replication设置为3，而实现上只有2个datanode，则在执行fsck时会出现以下错误；/hbase/Mar0109_webpage/59ad1be6884739c29d0624d1d31a56d9/il/43e6cd4dc61b49e2a57adf0c63921c09: Under replicated blk_-4711857142889323098_6221. Target Replicas is 3 but found 2 replica(s).注意，由于原来的dfs.replication为3，后来下线了一台datanode，并将dfs.replication改为2，但原来已创建的文件也会记录dfs.replication为3，从而出现以上错误，并导致 Under-replicated blocks: 648 (37.565216 %)。（2）fsck工具还可以用来检查一个文件包括哪些块，以及这些块分别在哪等 [jediael@master conf]$ hadoop fsck /hbase/Feb2621_webpage/c23aa183c7cb86af27f15d4c2aee2795/s/30bee5fb620b4cd184412c69f70d24a7 -files -blocks -racks FSCK started by jediael from /10.171.29.191 for path /hbase/Feb2621_webpage/c23aa183c7cb86af27f15d4c2aee2795/s/30bee5fb620b4cd184412c69f70d24a7 at Sun Mar 01 20:39:35 CST 2015 /hbase/Feb2621_webpage/c23aa183c7cb86af27f15d4c2aee2795/s/30bee5fb620b4cd184412c69f70d24a7 21507169 bytes, 1 block(s): Under replicated blk_7117944555454804881_3655. Target Replicas is 3 but found 2 replica(s). 0. blk_7117944555454804881_3655 len=21507169 repl=2 [/default-rack/10.171.94.155:50010, /default-rack/10.251.0.197:50010] Status: HEALTHY Total size: 21507169 B Total dirs: 0 Total files: 1 Total blocks (validated): 1 (avg. block size 21507169 B) Minimally replicated blocks: 1 (100.0 %) Over-replicated blocks: 0 (0.0 %) Under-replicated blocks: 1 (100.0 %) Mis-replicated blocks: 0 (0.0 %) Default replication factor: 2 Average block replication: 2.0 Corrupt blocks: 0 Missing replicas: 1 (50.0 %) Number of data-nodes: 2 Number of racks: 1 FSCK ended at Sun Mar 01 20:39:35 CST 2015 in 0 milliseconds The filesystem under path '/hbase/Feb2621_webpage/c23aa183c7cb86af27f15d4c2aee2795/s/30bee5fb620b4cd184412c69f70d24a7' is HEALTHY 此命令的用法如下： [jediael@master ~]$ hadoop fsck -files Usage: DFSck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] <path> start checking from this path -move move corrupted files to /lost+found -delete delete corrupted files -files print out files being checked -openforwrite print out files opened for write -blocks print out block report -locations print out locations for every block -racks print out network topology for data-node locations By default fsck ignores files opened for write, use -openforwrite to report such files. They are usually tagged CORRUPT or HEALTHY depending on their block allocation status Generic options supported are -conf <configuration file> specify an application configuration file -D <property=value> use value for given property -fs <local|namenode:port> specify a namenode -jt <local|jobtracker:port> specify a job tracker -files <comma separated list of files> specify comma separated files to be copied to the map reduce cluster -libjars <comma separated list of jars> specify comma separated jar files to include in the classpath. -archives <comma separated list of archives> specify comma separated archives to be unarchived on the compute machines. The general command line syntax is bin/hadoop command [genericOptions] [commandOptions] 详细解释请见《hadoop权威指南》P376（四）均衡器随时时间推移，各个datanode上的块分布来越来越不均衡，这将降低MR的本地性，导致部分datanode相对更加繁忙。 均衡器是一个hadoop守护进程，它将块从忙碌的DN移动相对空闲的DN，同时坚持块复本放置策略，将复本分散到不同的机器、机架。 建议定期执行均衡器，如每天或者每周。 (1)通过以下命令运行均衡器 [plain]view plaincopy [jediael@masterlog]$start-balancer.sh startingbalancer,loggingto/var/log/hadoop/hadoop-jediael-balancer-master.out 查看日志如下： [plain]view plaincopy [jediael@masterhadoop]$pwd /var/log/hadoop [jediael@masterhadoop]$ls hadoop-jediael-balancer-master.loghadoop-jediael-balancer-master.out [jediael@masterhadoop]$cathadoop-jediael-balancer-master.log 2015-03-0121:08:08,027INFOorg.apache.hadoop.net.NetworkTopology:Addinganewnode:/default-rack/10.251.0.197:50010 2015-03-0121:08:08,028INFOorg.apache.hadoop.net.NetworkTopology:Addinganewnode:/default-rack/10.171.94.155:50010 2015-03-0121:08:08,028INFOorg.apache.hadoop.hdfs.server.balancer.Balancer:0overutilizednodes: 2015-03-0121:08:08,028INFOorg.apache.hadoop.hdfs.server.balancer.Balancer:0underutilizednodes: （2）均衡器将每个DN的使用率与整个集群的使用率接近，这个“接近”是通过-threashold参数指定的，默认是10%。（3）不同节点之间复制数据的带宽是受限的，默认是1MB/s，可以通过hdfs-site.xml文件中的dfs.balance.bandwithPerSec属性指定（单位是字节）。 （五）datanode块扫描器 每个datanode均会运行一个块扫描器，定期检测本节点上的所有块，若发现存在错误（如检验和错误），则通知namenode，然后由namenode发起数据重新创建复本或者修复。 扫描周期由dfs.datanode.scan.period.hours指定，默认为三周（504小时）。 通过地址以下地址查看扫描信息： （1）http://datanote:50075/blockScannerReport 列出总体的检测情况 [plain]view plaincopy TotalBlocks:1919 Verifiedinlasthour:4 Verifiedinlastday:170 Verifiedinlastweek:535 Verifiedinlastfourweeks:535 VerifiedinSCAN_PERIOD:535 Notyetverified:1384 Verifiedsincerestart:559 Scanssincerestart:91 Scanerrorssincerestart:0 Transientscanerrors:0 CurrentscanratelimitKBps:1024 Progressthisperiod:113% Timeleftincurperiod:97.14% （2）http://123.56.92.95:50075/blockScannerReport?listblocks列出所有的块及最新验证状态blk_8482244195562050998_3796 : status : ok type : none scan time : 0 not yet verifiedblk_3985450615149803606_7952 : status : ok type : none scan time : 0 not yet verified尚未验证的情况如上。各字段意义可参考权威指南P379 本文转自 yntmdr 51CTO博客，原文链接：http://blog.51cto.com/yntmdr/1733757，如需转载请自行联系原作者
2017-11-22

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-08-21 大小: 1MB 下载: 10次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-08-21 大小: 1.42GB 下载: 6次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2026-08-21 大小: 9.84MB 下载: 40次
WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

时间: 2025-12-13 大小: 249.54MB 下载: 22次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册