Logstash5.4.1解析日志报错处理
下载最新的logstash5.4.1打开把之前的配置文件加入进去,启动logstash提示报错了,未使用geoip插件的配置文件正常启动。按照提示发现是maxmind的数据库解析出错,重新至maxmind(http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gz)下载解析即可。说明下之前的配置文件为
geoip {
source => ["X_Forward_IP"]
database => "/logstash2.2.2/conf/GeoLiteCity.dat"
更改为
geoip {
source => ["X_Forward_IP"]
database => "/usr/local/logstash-5.4.1/config/GeoLite2-City.mmdb"
Logstash多实例问题:
当启动多个/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf之后就会出现you must change the "path.data" setting.这个时候就必须要
mkdir -p /usr/local/logstash-5.4.1/data/{1,2,3,4}
/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf --path.data=/usr/local/logstash-5.4.1/data/1
/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf --path.data=/usr/local/logstash-5.4.1/data/2
需要在后面加上--path.data参数才能启动多实例
设置副本数及分片数:
elasticsearch在以前的2.x版本,可以在配置文件中指定副本数及分片数。 在elasticsearch的5.x的版本中不能配置文件中配置这2个参数了。需要副本数,可以设置为:
全局设定:
curl -XPUT http://192.168.2.228:9200/_settings -d '{ "number_of_replicas" : 0 }'
定义某一个索引:
curl -XPUT http://192.168.2.228:9200/.kibana/_settings -d '{ "number_of_replicas" : 0 }'
elasticsearch分片不向其他节点分布:
集群由2台es组成,但是分片只分布在一台节点,查看日志发现报错
[2017-08-03T23:59:24,414][WARN ][o.e.c.r.a.DiskThresholdMonitor] [elk228] high disk watermark [90%] exceeded on [nYN4Cc07QIuhg4nu9s0Eig][elk228][/elk/data/nodes/0] free: 5.2gb[8.1%], shards will be relocated away from this node
这个意思就是节点空间快使用完毕,不向节点复制数据,导致的节点出错,清理集群机器磁盘空间。
如想要关闭磁盘检查功能
curl -XPUT http://localhost:9200/_cluster/settings -d '{ "transient" : { "cluster.routing.allocation.disk.threshold_enabled" : false } }'
ps:刚开始我以为是新版本的logstash不兼容老版本的grok,原来只是IP数据库的问题

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
详解SSL/TLS
SSL/TLS分析 本文分为六个部分,详见思维导图。 一、SSL/TLS作用 在了解作用前,先介绍什么是SSL/TLS?SSL(Secure Sockets Layer)即安全套接字层,保障internet数据传输的安全性。TLS(Transport Layer Security)即安全传输层协议,保障应用程序之间通信的安全性。 要了解SSL/TLS的作用要从网络通信风险着手,所以总结出了三大风险及其对应的解决方案。 参考链接:(http://www.ruanyifeng.com/blog/2014/02/ssl_tls.html) 二、历史 三、必须掌握的一些密码学的概念 下面是密码学中的概念介绍。 四、SSL/TLS基本运作过程 五、握手阶段的详细过程 客户端服务端安全加密通信有四次握手的过程,握手过程出现在上面运作流程的前两个阶段。握手过程是这样的。 第一次握手也称为ClientHello,即客户端像服务端问好。这可不是简单的问好,这次问好包含了大量的信息。信息如下: 第二次握手也称为serhello,即服务端向客户端问好。同样,这也不是简单的问好,也包含的大量的信息。信...
- 下一篇
实战生产环境vCenter HA配置(VCSA6.5)
官方vsphere6.5 文档中心镇楼: http://pubs.vmware.com/vsphere-65/index.jsp#com.vmware.vsphere.avail.doc/GUID-4A626993-A829-495C-9659-F64BA8B560BD.html vCenter High Availability (vCenter HA) 可防止 vCenter Server Appliance 发生主机和硬件故障。修补 vCenter Server Appliance 时,解决方案的主动-被动架构还有助于显著缩短停机时间。 vCenter HA部署难度不大,个人强烈建议生产环境部署。 配置时会创建一个包含主动节点、被动节点和见证节点的三节点群集。 软件环境: ESXi主机版本6.5,vcenter版本VCSA6.5。 vcenter6.5不建议再使用windows版本,VCSA实在太好用了。 先看官方的vCenter HA要求。 tips:要求三台ESXi主机 严格按照以下顺序操作: 一、准备工作: 1、编辑VCSA虚拟机设置,添加一块HA网卡,建议跟原VCSA管理...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Hadoop3单机部署,实现最简伪集群
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7设置SWAP分区,小内存服务器的救世主
- CentOS关闭SELinux安全模块
- Docker快速安装Oracle11G,搭建oracle11g学习环境