利用Splunk收集HBase集群日志

2013-04-09 1071

什么是splunk

Splunk是日志界的google。支持任何服务器产生的日志，其对日志进行处理的方式是进行高效索引之后让管理员可以对日志中出现的各种情况进行搜索，并且通过非常好的图形化的方式展现出来。让管理员彻底从繁琐的ssh，grep中解放出来。

我们可以通过配置splunk，收集cluster内的HBase/Hadoop以及一切由log4j生成的日志。

1. 安装splunk

可以在其中一台机器上安装splunk，安装方法可以参考：http://www.splunk.com/base/Documentation/latest/Installation/InstallonLinux

2. 为splunk添加数据源

Splunk的webconsole是： http://{install_machine_ip}:8000

以admin和默认的changeme密码登录后，可以看到这样的界面

现在，我们为splunk加入一个udp的数据源

“Add Data” à “UDP” à 新增资料

这里，我们添加了一个UDP数据源，类别为log4j，端口为1688

3. 修改log4j配置，将日志导入到splunk中。

修改HBase中conf的log4j配置，增加一个指向splunk server服务器的appender。

view plain copy to clipboard print ?

# syslog
#
log4j.rootLogger=INFO,logfile,SYSLOG
……
# Define the root logger to the system property "hbase.root.logger".
log4j.rootLogger=${hbase.root.logger},SYSLOG
.......
log4j.appender.SYSLOG=org.apache.log4j.net.SyslogAppender
log4j.appender.SYSLOG.facility=local1
log4j.appender.SYSLOG.layout=org.apache.log4j.PatternLayout
log4j.appender.SYSLOG.layout.ConversionPattern=%p %c{2}: %m%n
log4j.appender.SYSLOG.SyslogHost=10.64.66.211:1688
log4j.appender.SYSLOG.threshold=DEBUG
log4j.appender.SYSLOG.Header=true
log4j.appender.SYSLOG.FacilityPrinting=true

这个例子中，我们的syslog Host是10.64.66.211，将其改为实际的splunk server IP地址就可以了。

这样子，日志将导入到splunk,之后，我们就可以方便的对其查询了。

转载

微信关注我们

原文链接：https://yq.aliyun.com/articles/74197

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

1号店信息安全峰会--2013.3.30 视频

spark http://v.youku.com/v_show/id_XNTQwMjE0Njcy.html wofeiwo http://v.youku.com/v_show/id_XNTQwNjU0Mzc2.html

2013-04-08

864

启动HADOOP或是停止时，都会输出这个WARNING。解决办法如下： http://thysmichels.com/2012/02/11/tips-running-hadoop-on-ubuntu/ When you get thisWarning: $HADOOP_HOME is deprecated Solution: add “export HADOOP_HOME_WARN_SUPPRESS=”TRUE”" in the hadoop-env.sh. ~~~~~~~~~~~~ 顺带介绍其它常见错误及解决方法： Tips running Hadoop onUbuntu Below is some tips when running Hadoop on Ubuntu. If you find some errors running Hadoop on Ubuntu please comment the problem and how you solved it. When you get thisWarning: $HADOOP_HOME is deprecated Solut...

2013-04-09

925

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。