大数据日志分析logstash\elasticsearch\kibana
elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具
注意:关于安装文档,网络上有很多,可以参考,不可以全信,而且三件套各自的版本很多,差别也不一样,需要版本匹配上才能使用。推荐直接使用官网的这一套:elkdownloads。
比如我这里下载的一套是logstash 1.4.2 + elasticsearch 1.4.2 + kibana 3.1.2
安装elasticsearch
tar -xf elasticsearch-1.4.2.tar.gz mv elasticsearch-1.4.2 /usr/local/ ln -s /usr/local/elasticsearch-1.4.2 /usr/local/elasticsearch
测试elasticsearch
[root@localhost service]# curl -X GET http://localhost:9200/ { "status" : 200, "name" : "Fury", "cluster_name" : "elasticsearch", "version" : { "number" : "1.4.2", "build_hash" : "927caff6f05403e936c20bf4529f144f0c89fd8c", "build_timestamp" : "2014-12-16T14:11:12Z", "build_snapshot" : false, "lucene_version" : "4.10.2" }, "tagline" : "You Know, for Search" }
安装到自启动项
下载解压到/usr/local/elasticsearch/bin文件夹下 /usr/local/elasticsearch/bin/service/elasticsearch install
安装logstash
tar -xf logstash-1.4.2
mv logstash-1.4.2 /usr/local/
ln -s /usr/local/logstash-1.4.2 /usr/local/logstash
测试logstash
bin/logstash -e 'input { stdin { } } output { stdout {} }'
配置logstash
创建配置文件目录: mkdir -p /usr/local/logstash/etc vim /usr/local/logstash/etc/hello_search.conf 输入下面: input { stdin { type => "human" } } output { stdout { codec => rubydebug } elasticsearch { host => "192.168.33.10" port => 9200 } } 启动: /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/hello_search.conf
安装kibana
注:logstash 1.4.2中也自带了kabana,但是你如果使用自带的kibana安装完之后会发现有提示“Upgrade Required Your version of Elasticsearch is too old. Kibana requires Elasticsearch 0.90.9 or above.”。根据这个帖子这个是自带的Kibana 3.0.1的问题。所以还是自己安装kibana靠谱。
注:现在kibanna可以自带了web服务,bin/kibana就可以直接启动了,建议不用nginx进行配合启动了。
具体可以参考:

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Cloudera编译好的各种hadoop,oozie等组件压缩包URL
由于Apache官方有些组件只提供源代码,需要我们编译,很不方便,而且往往还有兼容性问题!!!所以我们可以使用cloudera公司给我们编译好的组件(基本和Apache一样的)。优势大概分为两点:1.我们可以很好的对各个兼容版本有个把握2.不需要我们辛苦的编译了 常用下载包地址:http://archive.cloudera.com/cdh4/cdh/4/http://archive.cloudera.com/cdh5/cdh/5/ 案例: hadoop-2.3.0+zookeeper-3.4.5+oozie-4.0.0 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.3.0-cdh5.1.0.tar.gz http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.1.0.tar.gz http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.1.0.tar.gz
- 下一篇
elk+redis 搭建nginx日志分析平台
elk+redis 搭建nginx日志分析平台 logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢?首先,架构方面,nginx是有日志文件的,它的每个请求的状态等都有日志文件进行记录。其次,需要有个队列,redis的list结构正好可以作为队列使用。然后分析使用elasticsearch就可以进行分析和查询了。 我们需要的是一个分布式的,日志收集和分析系统。logstash有agent和indexer两个角色。对于agent角色,放在单独的web机器上面,然后这个agent不断地读取nginx的日志文件,每当它读到新的日志信息以后,就将日志传送到网络上的一台redis队列上。对于队列上的这些未处理的日志,有不同的几台logstash indexer进行接收和分析。分析之后存储到elasticsearch进行搜索分析。再由统一的kibana进行日志web界面的展示。 下面我计划在一台机器上实现这些角色。 准备工作 安装了redis,开启在6379端口 安装了elasticsearch, 开启在9200端口 安装了kibana, 开启了监控web l...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Windows10,CentOS7,CentOS8安装Nodejs环境
- MySQL8.0.19开启GTID主从同步CentOS8
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Hadoop3单机部署,实现最简伪集群
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- 设置Eclipse缩进为4个空格,增强代码规范