LogStash日志分析展示系统

2017-11-21 697

简介

通常日志管理是逐渐崩溃的——当日志对于人们最重要的时候，也就是出现问题的时候，这个渐进的过程就开始了。
日志管理一般会经历一下3个阶段：

初级管理员将通过一些传统工具（如cat、tail、sed、awk、perl以及grep）对日志进行检查，但它的适用范围仅限于少量的主机和日志文件类型；
考虑到现实中的可扩展性问题，日志管理也会逐步进化，使用如rsyslog和syslog-ng这样的工具进行集中化的管理；
当日志信息越来越大的时候，从快速增长的日志数据流中提取出所需的信息，并将其与其他相关联的事件进行关联，将变得越加困难，此时LogStash就提供了一个很好的解决方案

LogStash的优势：

对日志数据更好的语法分析功能；
更加灵活的日志存储方式
附带搜索和目录功能
易于安装、可扩展、性能良好等

设计及架构

LogStash由JRuby语言编写，基于消息（message-based）的简单架构，并运行在Java虚拟机（JVM）上。不同于分离的代理端（agent）或主机端（server），LogStash可配置单一的代理端（agent）与其它开源软件结合，以实现不同的功能。

在LogStash的生态系统中，主要分为四大组件：

Shipper：发送事件（events）至LogStash；通常，远程代理端（agent）只需要运行这个组件即可；
Broker and Indexer：接收并索引化事件；
Search and Storage：允许对事件进行搜索和存储；
Web Interface：基于Web的展示界面

正是由于以上组件在LogStash架构中可独立部署，才提供了更好的集群扩展性。

在大多数情况下，LogStash主机可分为两大类：

代理主机（agent host）：作为事件的传递者（shipper），将各种日志数据发送至中心主机；只需运行Logstash 代理（agent）程序；
中心主机（central host）：可运行包括中间转发器（Broker）、索引器（Indexer）、搜索和存储器（Search and Storage）、Web界面端（Web Interface）在内的各个组件，以实现对日志数据的接收、处理和存储。

部署

基础环境

yum install java-1.7.0-openjdk
java -version # 保证java版本为1.7

部署LogStash

# 下载
wget https://download.elasticsearch.org/logstash/logstash/logstash-1.3.1-flatjar.jar -O logstash.jar 
# 启动
java -jar logstash.jar agent -v -f shipper.conf # 启动shipper
java -jar logstash.jar agent -v -f indexer.conf # 启动indexer

部署Redis

# 安装
yum install redis-server
# 启动
/etc/init.d/redis-server start
# 测试
$ redis-cli -h 192.168.12.24
redis 192.168.12.24:6379> PING
PONG

部署Elasticsearch

# 下载
wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.8.noarch.rpm
# 安装
rpm -ivh elasticsearch-0.90.8.noarch.rpm 
# 启动
/etc/init.d/elasticsearch status

启动Kibana

# 安装
java -jar logstash.jar web # LogStash 1.3.1自带Kibana
# 查看
http://192.168.12.24:9292

Logstash配置文件与插件

input {
	stdin { }
	file {
		type => "syslog"
		path => ["/var/log/secure", "/var/log/messages"]
		exclude => ["*.gz", "shipper.log"]
	}
    zeromq {
      address => ["tcp://192.168.8.145:8889"]
	  mode => "client"
      type => "zmq-input"
      topic => "weblog"
      topology => "pubsub"
	  codec => "json"
    }
  }
  filter {
	mutate {
		gsub => [ "message","APPS weblog",""]
		gsub => [ "message","{",""]
		gsub => [ "message","}",""]
	}
  }
  output {
	stdout { debug => true debug_format => "json"}
    
	elasticsearch {
      cluster => "logstash"
	  codec => "json"
    }
}

日志类别与处理方法

Apache日志：自定义apache输出日志格式，json输出，无需filter参与
Postfix日志：无法自定义，需使用如grok等filter进行过滤
Tomcat日志：需将多行日志合并至一个事件中，并排除空白行

集群扩展

扩展架构

注意事项

Redis：部署多台，仅提供高可用作用，无分担负载作用，可使用ZeroMQ代替

ElasticSearch：

# 检测节点状态：
	curl -XGET 'http://127.0.0.1:9200/_cluster/health?pretty=true'
			green status：所有shard被分配，且运行正常
			yellow status：只有主shard被分配，如集群正在节点间复制数据时
			red status：存在未被分配的shard
# 集群监控：
	Paramedic工具：
			安装：/usr/share/elasticsearch/bin/plugin -install karmi/elasticsearch-paramedic
			查看：http://log.okooo.net:9200/_plugin/paramedic/index.html
	Bigdesk工具：
			安装：/usr/share/elasticsearch/bin/plugin -install lukas-vlcek/bigdesk
			查看：http://log.okooo.net:9200/_plugin/bigdesk/index.html
			
# 数据保留策略：
			1.LogStash默认为每一天创建1个index，可手动删除index
				curl -XDELETE http://127.0.0.1:9200/logstash-2013.12.19
				shell优化脚本：https://github.com/cnf/logstash-tools/blob/master/elasticsearch/clean-elasticsearch.sh
			2.优化index：
				curl -XPOST 'http://127.0.0.1:9200/logstash-2013.12.19/_optimize'
				curl -XPOST 'http://127.0.0.1:9200/_optimize' # 优化所有index
				curl 'http://127.0.0.1:9200/logstash-2013.12.19/_stats?clear=true&store=true&pretty=true' #查看index的大小，index过多会影响优化耗时
			3.默认index数据目录：/var/lib/elasticsearch/logstash

本文转自 xxrenzhe11 51CTO博客，原文链接：http://blog.51cto.com/xxrenzhe/1352353，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/475540

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

12.Azure应用程序网关(下)

接下来我再把标准应用程序网关升级到WEB应用程序防火墙 Web 应用程序防火墙 (WAF) 是应用程序网关的功能，可以对 Web 应用程序进行集中保护，避免其受到常见的攻击和漏洞伤害。  无需修改后端代码即可保护 Web 应用程序免受 Web 漏洞和攻击的威胁。  在应用程序网关背后同时保护多个 Web 应用程序。应用程序网关支持在单个网关背后托管最多 20 个网站，并使用 WAF 防止所有这些网站受到 Web 攻击的威胁。 Web 应用程序防火墙防范的某些常见 Web 安全漏洞包括：  SQL 注入保护  跨站点脚本保护  常见 Web 攻击保护，例如命令注入、HTTP 请求走私、HTTP 响应拆分和远程文件包含攻击  防止 HTTP 协议违反行为  防止 HTTP 协议异常行为，例如缺少主机用户代理和接受标头  防止自动程序、爬网程序和扫描程序  检测常见应用程序错误配置（即 Apache、IIS 等）架构如下：选择我们之前的标准应用程序网关，选择升级到WAF，开启WAF防火墙，模式选择保护（检测只是记录事件，保护是记录事件的同时，遏制恶意流量），我开启所有...

2017-11-22

521

业务需求与挑战随着企业的业务不断扩展，企业的IT基础架构和应用也随之在不断的发展，一旦不能很好地将IT基础架构和应用进行有效的管理和量化，就很容易出现混乱的局面。我们投入了大量的人力物力在基础设施和IT应用上，却无法将IT投入和业务的支持建立量化的关系，如何才能更好地管理基础设施和应用？ Mocha BSM能够监控基础设施和应用，也能够将复杂的IT设施转化为简单的业务视图，使我们从业务的角度，保障IT部门提供稳定可靠的服务。监控IT服务的三部曲第一步 – 定义IT服务通过IT 服务把以下关联起来： •运行的网络环境 •服务所依赖的主机 •服务所依赖的应用 •使用服务的用户用户还可以自定义服务因子，来决定服务的重要性。第二步 – 设置服务监控策略 •为业务服务的事件定义优先级和级别。 •为业务服务的报警定义规则处理。第三步 – 通过仪表盘查看通过服务仪表盘了解： •业务服务运行状态 •KPI指标 •服务影响范围我们给客户带来了什么？• 通过Portal的展现，给IT部门领导提供业务服务运行状况，有利于做出正确决策业务服务管理仪表盘提供对IT基础架构的全面管理...

2017-11-22

635

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。