ELK中如何搭建客户端客户端如何将日志发送给服务端的logstash
【背景】 我们要统一收集日志，统一分析，统一在一个平台上搜索过滤日志！在上一篇中已经完成了ELK的搭建，那么该如何将每台客户端的日志集中到ELK平台中呢？ 【本系统介绍】 ELK -- 192.168.100.10 (这个地方要有FQDN创建SSL证书的时候需要配置FQDN，www.elk.com) 被收集日志的客户端(也叫 logstash shipper) --- 192.168.100.13 ELK环境: [root@master ~]# ifconfig | grep 192.168.100 inet addr:192.168.100.10Bcast:192.168.100.255 Mask:255.255.255.0 [root@master ~]# cat /etc/hosts | grep 192.168.100.10 192.168.100.10 www.elk.com [root@master ~]# cat /etc/issue CentOS release 6.4 (Final) Kernel \r on an \m 客户端(logstash shipper)环境: [root@slave ~]# ifconfig | grep "192.168." inet addr:192.168.100.13Bcast:192.168.100.255 Mask:255.255.255.0 [root@slave ~]# cat /etc/hosts | grep 192.168.100.10 192.168.100.10 www.elk.com [root@slave ~]# cat /etc/issue CentOS release 6.4 (Final) Kernel \r on an \m 【client 和 server是如和通信的】 参考: http://udn.yyuap.com/doc/logstash-best-practice-cn/get_start/full_config.html 【通信架构图】 server端中的logstash配置文件(即-f后面指定的文件) /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash.conf 一定有一个input端和一个output端 input端可以来自本地文件，也可以来自其他机器通过网路(端口)传输过来的 所以logstash的C/S架构就要通过网络进行传输 原理解释客户端安装一个logstash-forwarder软件，将指定的文件中的日志输出到logstash 中(他已经有端口在监控并接收来自forwarder客户端的输入) 【client传输到server的方案】 参考:http://udn.yyuap.com/doc/logstash-best-practice-cn/ecosystem/logstash_forwarder.html 【server端的配置】 1 首先需要创建CA证书为Server cd /etc/pki/tls/ openssl req -subj '/CN=www.elk.com/' -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt 在将logstash-forwarder.crt拷贝到client端 scp certs/logstash-forwarder.crt 192.168.100.13:/etc/pki/tls/certs/ 2 server段的logstash.conf的配置 [root@master tls]# cat /usr/local/logstash/etc/logstash.conf input { file { type =>"syslog" path => ["/var/log/messages", "/var/log/secure" ] } lumberjack { port => 5000 type => "logs" ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt" ssl_key => "/etc/pki/tls/private/logstash-forwarder.key" } } output { stdout { codec=> rubydebug } elasticsearch {hosts => "192.168.100.10:9200" } } (标黄色的是，这种架构中一定要得配置，解释一下连个字段) lumberjack 是 logstash-forwarder 还没用 Golang 重写之前的名字 type => "anything" type任意指定，无所谓 3 启动logstash /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash.conf & 或者使用screen命令一让其一直在后台运行 【客户端的安装forwarder和配置】 下载软件 wgethttps://download.elastic.co/logstash-forwarder/binaries/logstash-forwarder-0.4.0-1.x86_64.rpm 安装 yum localinstall logstash-forwarder-0.4.0-1.x86_64.rpm 注意两个文件 一个配置文件/etc/logstash-forwarder.conf 一个日志目录/var/log/logstash-forwarder/ 保存原始文件 cp /etc/logstash-forwarder.conf /etc/logstash-forwarder.conf.orig 修改logstash-forwarder.conf为 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 { "network":{ "servers":["www.elk.com:5000"], "sslca":"/etc/pki/tls/certs/logstash-forwarder.crt", "timeout":15 }, "files":[ { "paths":[ "/var/log/messages", "/var/log/secure" ], "fields":{"type":"syslog"} },{ "paths":[ "其他路径的文件" ], "fields":{"type":"nginx"} } ] } 注意: 1 servers":["www.elk.com:5000"] 一定要写域名，不能写server端的IP，因为写IP不能通过证书的认知 "ssl ca" 一定要正确写明路径 【验证】 客户端执行 1 [root@slave~] #echo"我是logstash的客户端，通过forward到server端的">>/var/log/secure 查看kibana前端 【接下来研究啥】 1 elk的index 2 多日志文件 3 logstash中的配置文件详解 本文转自残剑博客51CTO博客，原文链接http://blog.51cto.com/cuidehua/1771979如需转载请自行联系原作者 cuizhiliang
