hadoop初探--性能分析1-低调大师

hadoop初探--性能分析1

2017-11-14 474

研究Hadoop也有2个星期了，由于之前有MooseFS的基础，所以学习Hadoop的HDFS部分还算比较顺利。我的环境是非常典型的Hadoop环境，一台NameNode+Hmaster，4台DataNode+RegionServer。如下图所示

说明： DataNode1和DataNode2是VM，配置4VCPU和4G内存，虚拟化平台是ESXI4.1。DataNode3和DataNode4是物理机，OS为Ubuntu11.04，2cpu和2G内存

实验：利用hadoop自身提供的程序，利用MapReduce计算“TestTable”这个表的“行数”
[root@master bin]# ./hadoop jar /root/hbase/hbase-0.90.4.jar rowcounter TestTable

11/10/25 10:34:36 INFO zookeeper.ZooKeeper: Client environment:zookeeper.version=3.3.2-1031432, built on 11/05/2010 05:32 GMT

11/10/25 10:34:36 INFO zookeeper.ZooKeeper: Client environment:host.name=master

11/10/25 10:34:36 INFO zookeeper.ZooKeeper: Client environment:java.version=1.6.0_26

11/10/25 10:34:36 INFO zookeeper.ZooKeeper: Client environment:java.vendor=Sun Microsystems Inc.

。。。。。。。。。。。。。。。。。。。。。。

11/10/25 10:34:36 INFO zookeeper.ZooKeeper: Client environment:java.library.path=/root/hadoop/bin/../lib/native/Linux-i386-32

11/10/25 10:34:36 INFO zookeeper.ZooKeeper: Client environment:java.io.tmpdir=/tmp

11/10/25 10:34:36 INFO zookeeper.ZooKeeper: Client environment:java.compiler=<NA>

11/10/25 10:34:36 INFO zookeeper.ZooKeeper: Client environment:os.name=Linux

11/10/25 10:34:36 INFO zookeeper.ZooKeeper: Client environment:os.arch=i386

11/10/25 10:34:36 INFO zookeeper.ZooKeeper: Client environment:os.version=2.6.18-164.el5

11/10/25 10:34:36 INFO zookeeper.ZooKeeper: Client environment:user.name=root

11/10/25 10:34:36 INFO zookeeper.ZooKeeper: Client environment:user.home=/root

11/10/25 10:34:36 INFO zookeeper.ZooKeeper: Client environment:user.dir=/root/hadoop-0.20.2/bin

11/10/25 10:34:36 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=datanode2:2181,datanode1:2181,master:2181 sessionTimeout=180000 watcher=hconnection

11/10/25 10:34:36 INFO zookeeper.ClientCnxn: Opening socket connection to server datanode2/172.20.10.193:2181

11/10/25 10:34:36 INFO zookeeper.ClientCnxn: Socket connection established to datanode2/172.20.10.193:2181, initiating session

11/10/25 10:34:36 INFO zookeeper.ClientCnxn: Session establishment complete on server datanode2/172.20.10.193:2181, sessionid = 0x23338df2f890004, negotiated timeout = 180000

11/10/25 10:34:37 INFO mapred.JobClient: Running job: job_201110241323_0001

11/10/25 10:34:38 INFO mapred.JobClient: map 0% reduce 0%

11/10/25 10:35:34 INFO mapred.JobClient: map 2% reduce 0%

11/10/25 10:39:30 INFO zookeeper.ClientCnxn: Socket connection established to datanode1/172.20.10.201:2181, initiating session

11/10/25 10:40:05 INFO zookeeper.ClientCnxn: Unable to read additional data from server sessionid 0x23338df2f890004, likely server has closed socket, closing socket connection and attempting reconnect

11/10/25 10:40:06 INFO zookeeper.ClientCnxn: Opening socket connection to server datanode2/172.20.10.193:2181

11/10/25 10:40:06 INFO zookeeper.ClientCnxn: Socket connection established to datanode2/172.20.10.193:2181, initiating session

11/10/25 10:40:06 INFO zookeeper.ClientCnxn: Session establishment complete on server datanode2/172.20.10.193:2181, sessionid = 0x23338df2f890004, negotiated timeout = 180000

11/10/25 10:40:13 INFO mapred.JobClient: map 7% reduce 0%

11/10/25 10:42:31 INFO mapred.JobClient: map 10% reduce 0%

11/10/25 10:43:04 INFO mapred.JobClient: map 13% reduce 0%

11/10/25 10:53:08 INFO mapred.JobClient: map 15% reduce 0%

。。。。。。。。。。。。。。。

11/10/25 11:11:28 INFO mapred.JobClient: map 36% reduce 0%

11/10/25 11:18:00 INFO mapred.JobClient: Task Id : attempt_201110241323_0001_m_000008_0, Status : FAILED

Task attempt_201110241323_0001_m_000008_0 failed to report status for 608 seconds. Killing!

Task attempt_201110241323_0001_m_000008_0 failed to report status for 611 seconds. Killing!

11/10/25 11:18:36 INFO mapred.JobClient: Task Id : attempt_201110241323_0001_m_000009_0, Status : FAILED

Task attempt_201110241323_0001_m_000009_0 failed to report status for 646 seconds. Killing!

Task attempt_201110241323_0001_m_000009_0 failed to report status for 617 seconds. Killing!

11/10/25 11:18:37 INFO mapred.JobClient: Task Id : attempt_201110241323_0001_m_000013_0, Status : FAILED

Task attempt_201110241323_0001_m_000013_0 failed to report status for 624 seconds. Killing!

Task attempt_201110241323_0001_m_000013_0 failed to report status for 604 seconds. Killing!

11/10/25 11:26:17 INFO mapred.JobClient: map 39% reduce 0%

11/10/25 11:26:48 INFO mapred.JobClient: map 42% reduce 0%

11/10/25 11:35:48 INFO mapred.JobClient: Task Id : attempt_201110241323_0001_m_000014_0, Status : FAILED

Task attempt_201110241323_0001_m_000014_0 failed to report status for 600 seconds. Killing!

11/10/25 11:42:07 INFO mapred.JobClient: map 44% reduce 0%

11/10/25 11:57:43 INFO mapred.JobClient: map 47% reduce 0%

11/10/25 12:12:16 INFO mapred.JobClient: map 49% reduce 0%

。。。。。。。。。。。。。。。。。。。。。

11/10/25 15:45:26 INFO mapred.JobClient: map 97% reduce 0%

11/10/25 16:16:57 INFO mapred.JobClient: map 100% reduce 0%

11/10/25 16:16:59 INFO mapred.JobClient: Job complete: job_201110241323_0001

11/10/25 16:16:59 INFO mapred.JobClient: Counters: 7

11/10/25 16:16:59 INFO mapred.JobClient: Job Counters

11/10/25 16:16:59 INFO mapred.JobClient: Rack-local map tasks=21

11/10/25 16:16:59 INFO mapred.JobClient: Launched map tasks=58

11/10/25 16:16:59 INFO mapred.JobClient: Data-local map tasks=37

11/10/25 16:16:59 INFO mapred.JobClient: org.apache.hadoop.hbase.mapreduce.RowCounter$RowCounterMapper$Counters

11/10/25 16:16:59 INFO mapred.JobClient: ROWS=6003531

11/10/25 16:16:59 INFO mapred.JobClient: Map-Reduce Framework

11/10/25 16:16:59 INFO mapred.JobClient: Map input records=6003531

11/10/25 16:16:59 INFO mapred.JobClient: Spilled Records=0

11/10/25 16:16:59 INFO mapred.JobClient: Map output records=0

web监控如下显示

由于篇幅限制，日志输出中有大量略去，经过5h42min的运算，可以看到TestTable这个表总共有6003531行。日志中出现10个错误，基本就2类，

第一类是“状态报告超时”

Task attempt_201110251718_0001_m_000014_0 failed to report status for 602 seconds. Killing!

Task attempt_201110251718_0001_m_000014_0 failed to report status for 600 seconds. Killing!

第二类是“租约到期”

org.apache.hadoop.hbase.regionserver.LeaseException: org.apache.hadoop.hbase.regionserver.LeaseException: lease '7594235277433071278' does not exist at

org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:230) at org.apache.hadoop.hbase.regionserver.HRegionServer.next(HRegionServer.java:1847) at sun.reflect.GeneratedMethodAccessor7.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) at java.lang.reflect.Method.invoke(Method.java:597) at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:570) at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1039) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27) at java.lang.reflect.Constructor.newInstance(Constructor.java:513) at

由于篇幅限制，关于性能的分析见下一篇文章《hadoop初探--性能分析２》

本文转自 taojin1240 51CTO博客，原文链接：http://blog.51cto.com/taotao1240/698496，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/430485

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Elastic 技术栈之 Logstash 基础

本文是 Elastic 技术栈（ELK）的 Logstash 应用。如果不了解 Elastic 的安装、配置、部署，可以参考：Elastic 技术栈之快速入门简介 Logstash 可以传输和处理你的日志、事务或其他数据。功能 Logstash 是 Elasticsearch 的最佳数据管道。 Logstash 是插件式管理模式，在输入、过滤、输出以及编码过程中都可以使用插件进行定制。Logstash 社区有超过 200 种可用插件。工作原理 Logstash 有两个必要元素：input和output，一个可选元素：filter。这三个元素，分别代表 Logstash 事件处理的三个阶段：输入 > 过滤器 > 输出。 input 负责从数据源采集数据。 filter 将数据修改为你指定的格式或内容。 output 将数据传输到目的地。在实际应用场景中，通常输入、输出、过滤器不止一个。Logstash 的这三个元素都使用插件式管理方式，用户可以根据应用需要，灵活的选用各阶段需要的插件，并组合使用。后面将对插件展开讲解，暂且不表。设置设置文件 logstash...

2017-11-15

589

3、Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.1 http://blog.csdn.net/sunbow0 Spark MLlib Deep Learning工具箱，是依据现有深度学习教程《UFLDL教程》中的算法。在SparkMLlib中的实现。详细Spark MLlib Deep Learning(深度学习)文件夹结构：第一章Neural Net(NN) 1、源代码 2、源代码解析 3、实例第二章Deep Belief Nets(DBNs) 1、源代码 2、源代码解析 3、实例第三章Convolution Neural Network(CNN) 1、源代码 2、源代码解析 3、实例第四章Stacked Auto-Encoders(SAE) 第五章CAE 第三章Convolution Neural Network (卷积神经网络) 1 源代码眼下SparkMLlib Deep Learning工具箱源代码的github地址为： https://github.com/sunbow1/...

2017-11-15

383

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。