利用Splunk收集HBase集群日志

2013-04-09 1009

什么是splunk

Splunk是日志界的google。支持任何服务器产生的日志，其对日志进行处理的方式是进行高效索引之后让管理员可以对日志中出现的各种情况进行搜索，并且通过非常好的图形化的方式展现出来。让管理员彻底从繁琐的ssh，grep中解放出来。

我们可以通过配置splunk，收集cluster内的HBase/Hadoop以及一切由log4j生成的日志。

1. 安装splunk

可以在其中一台机器上安装splunk，安装方法可以参考：http://www.splunk.com/base/Documentation/latest/Installation/InstallonLinux

2. 为splunk添加数据源

Splunk的webconsole是： http://{install_machine_ip}:8000

以admin和默认的changeme密码登录后，可以看到这样的界面

现在，我们为splunk加入一个udp的数据源

“Add Data” à “UDP” à 新增资料

这里，我们添加了一个UDP数据源，类别为log4j，端口为1688

3. 修改log4j配置，将日志导入到splunk中。

修改HBase中conf的log4j配置，增加一个指向splunk server服务器的appender。

view plain copy to clipboard print ?

# syslog
#
log4j.rootLogger=INFO,logfile,SYSLOG
……
# Define the root logger to the system property "hbase.root.logger".
log4j.rootLogger=${hbase.root.logger},SYSLOG
.......
log4j.appender.SYSLOG=org.apache.log4j.net.SyslogAppender
log4j.appender.SYSLOG.facility=local1
log4j.appender.SYSLOG.layout=org.apache.log4j.PatternLayout
log4j.appender.SYSLOG.layout.ConversionPattern=%p %c{2}: %m%n
log4j.appender.SYSLOG.SyslogHost=10.64.66.211:1688
log4j.appender.SYSLOG.threshold=DEBUG
log4j.appender.SYSLOG.Header=true
log4j.appender.SYSLOG.FacilityPrinting=true

这个例子中，我们的syslog Host是10.64.66.211，将其改为实际的splunk server IP地址就可以了。

这样子，日志将导入到splunk,之后，我们就可以方便的对其查询了。

转载

微信关注我们

原文链接：https://yq.aliyun.com/articles/74197

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

1号店信息安全峰会--2013.3.30 视频

spark http://v.youku.com/v_show/id_XNTQwMjE0Njcy.html wofeiwo http://v.youku.com/v_show/id_XNTQwNjU0Mzc2.html

2013-04-09

810

启动HADOOP或是停止时，都会输出这个WARNING。解决办法如下： http://thysmichels.com/2012/02/11/tips-running-hadoop-on-ubuntu/ When you get thisWarning: $HADOOP_HOME is deprecated Solution: add “export HADOOP_HOME_WARN_SUPPRESS=”TRUE”" in the hadoop-env.sh. ~~~~~~~~~~~~ 顺带介绍其它常见错误及解决方法： Tips running Hadoop onUbuntu Below is some tips when running Hadoop on Ubuntu. If you find some errors running Hadoop on Ubuntu please comment the problem and how you solved it. When you get thisWarning: $HADOOP_HOME is deprecated Solut...

2013-04-10

866

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。