利用Splunk收集HBase集群日志

2013-04-09 1118

什么是splunk

Splunk是日志界的google。支持任何服务器产生的日志，其对日志进行处理的方式是进行高效索引之后让管理员可以对日志中出现的各种情况进行搜索，并且通过非常好的图形化的方式展现出来。让管理员彻底从繁琐的ssh，grep中解放出来。

我们可以通过配置splunk，收集cluster内的HBase/Hadoop以及一切由log4j生成的日志。

1. 安装splunk

可以在其中一台机器上安装splunk，安装方法可以参考：http://www.splunk.com/base/Documentation/latest/Installation/InstallonLinux

2. 为splunk添加数据源

Splunk的webconsole是： http://{install_machine_ip}:8000

以admin和默认的changeme密码登录后，可以看到这样的界面

现在，我们为splunk加入一个udp的数据源

“Add Data” à “UDP” à 新增资料

这里，我们添加了一个UDP数据源，类别为log4j，端口为1688

3. 修改log4j配置，将日志导入到splunk中。

修改HBase中conf的log4j配置，增加一个指向splunk server服务器的appender。

view plain copy to clipboard print ?

# syslog
#
log4j.rootLogger=INFO,logfile,SYSLOG
……
# Define the root logger to the system property "hbase.root.logger".
log4j.rootLogger=${hbase.root.logger},SYSLOG
.......
log4j.appender.SYSLOG=org.apache.log4j.net.SyslogAppender
log4j.appender.SYSLOG.facility=local1
log4j.appender.SYSLOG.layout=org.apache.log4j.PatternLayout
log4j.appender.SYSLOG.layout.ConversionPattern=%p %c{2}: %m%n
log4j.appender.SYSLOG.SyslogHost=10.64.66.211:1688
log4j.appender.SYSLOG.threshold=DEBUG
log4j.appender.SYSLOG.Header=true
log4j.appender.SYSLOG.FacilityPrinting=true

这个例子中，我们的syslog Host是10.64.66.211，将其改为实际的splunk server IP地址就可以了。

这样子，日志将导入到splunk,之后，我们就可以方便的对其查询了。

转载

微信关注我们

原文链接：https://yq.aliyun.com/articles/74197

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

1号店信息安全峰会--2013.3.30 视频

spark http://v.youku.com/v_show/id_XNTQwMjE0Njcy.html wofeiwo http://v.youku.com/v_show/id_XNTQwNjU0Mzc2.html

2013-04-08

908

启动HADOOP或是停止时，都会输出这个WARNING。解决办法如下： http://thysmichels.com/2012/02/11/tips-running-hadoop-on-ubuntu/ When you get thisWarning: $HADOOP_HOME is deprecated Solution: add “export HADOOP_HOME_WARN_SUPPRESS=”TRUE”" in the hadoop-env.sh. ~~~~~~~~~~~~ 顺带介绍其它常见错误及解决方法： Tips running Hadoop onUbuntu Below is some tips when running Hadoop on Ubuntu. If you find some errors running Hadoop on Ubuntu please comment the problem and how you solved it. When you get thisWarning: $HADOOP_HOME is deprecated Solut...

2013-04-09

965

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。