Filebeat 关键字多行匹配日志采集（multiline与include

Filebeat 关键字多行匹配日志采集（multiline与include_lines）

2017-11-11 815

很多同事认为filebeat采集日志不能做到多行处理，今天这里讨论下filebeat的multiline与include_lines。

先来个案例，以下日志，我们只要求采集error的字段，

 
        2017
        /06/22 
        11:26:30 [error] 26067
        #0: *17918 connect() failed (111: Connection refused) while connecting to upstream, client: 192.168.32.17, server: localhost, request: "GET /wss/ HTTP/1.1", upstream: "http://192.168.12.106:8010/", host: "192.168.12.106" 
       
        2017
        /06/22 
        11:26:30 [info] 26067
        #0: 
       
        2017
        /06/22 
        12:05:10 [error] 26067
        #0: *17922 open() "/data/programs/nginx/html/ws" failed (2: No such file or directory), client: 192.168.32.17, server: localhost, request: "GET /ws HTTP/1.1", host: "192.168.12.106"

filebeat.yml文件配置如下：

 
        filebeat.prospectors:
       
        - input_type: log
       
        paths: 
       
        - 
        /tmp/test
        .log 
       
        include_lines: [
        'error'
        ] 
       
        output.kafka:
       
        enabled: 
        true 
       
        hosts: [
        "192.168.12.105:9092"
        ] 
       
        topic: logstash-errors-log

查看下kafka队列

果然只有“error”关键字的日志被采集了

 
  
    
      
      
        {
        "@timestamp"
        :
        "2017-06-23T08:57:25.227Z"
        ,
        "beat"
        :{
        "name"
        :
        "192.168.12.106"
        },
        "input_type"
        :
        "log"
        ,
        "message"
        :
        "2017/06/22 12:05:10 [error] 26067#0: *17922 open() /data/programs/nginx/html/ws failed (2: No such file or directory), client: 192.168.32.17, server: localhost, request: GET /ws HTTP/1.1, host: 192.168.12.106"
        ,
        "offset"
        :30926,
        "source"
        :
        "/tmp/test.log"
        ,
        "type"
        :
        "log"
        } 
       
 
        {
        "@timestamp"
        :
        "2017-06-23T08:57:32.228Z"
        ,
        "beat"
        :{
        "name"
        :
        "192.168.12.106"
        },
        "input_type"
        :
        "log"
        ,
        "message"
        :
        "2017/06/22 12:05:10 [error] 26067#0: *17922 open() /data/programs/nginx/html/ws failed (2: No such file or directory), client: 192.168.32.17, server: localhost, request: GET /ws HTTP/1.1, host: 192.168.12.106"
        ,
        "offset"
        :31342,
        "source"
        :
        "/tmp/test.log"
        ,
        "type"
        :
        "log"
        } 
       
 
    

   
 

再来多行案例：

 
        [2016-05-25 12:39:04,744][DEBUG][action.bulk              ] [Set] [***][3] failed to execute bulk item (index) index {[***][***][***], 
        source
        [{***}} 
       
        MapperParsingException[Field name [events.created] cannot contain 
        '.'
        ] 
       
        at org.elasticsearch.index.mapper.object.ObjectMapper$TypeParser.parseProperties(ObjectMapper.java:273) 
       
        at org.elasticsearch.index.mapper.object.ObjectMapper$TypeParser.parseObjectOrDocumentTypeProperties(ObjectMapper.java:218) 
       
        at org.elasticsearch.index.mapper.object.ObjectMapper$TypeParser.parse(ObjectMapper.java:193) 
       
        at org.elasticsearch.index.mapper.object.ObjectMapper$TypeParser.parseProperties(ObjectMapper.java:305) 
       
        at org.elasticsearch.index.mapper.object.ObjectMapper$TypeParser.parseObjectOrDocumentTypeProperties(ObjectMapper.java:218) 
       
        at org.elasticsearch.index.mapper.object.RootObjectMapper$TypeParser.parse(RootObjectMapper.java:139) 
       
        at org.elasticsearch.index.mapper.DocumentMapperParser.parse(DocumentMapperParser.java:118) 
       
        at org.elasticsearch.index.mapper.DocumentMapperParser.parse(DocumentMapperParser.java:99) 
       
        at org.elasticsearch.index.mapper.MapperService.parse(MapperService.java:498) 
       
        at org.elasticsearch.cluster.metadata.MetaDataMappingService$PutMappingExecutor.applyRequest(MetaDataMappingService.java:257) 
       
        at org.elasticsearch.cluster.metadata.MetaDataMappingService$PutMappingExecutor.execute(MetaDataMappingService.java:230) 
       
        at org.elasticsearch.cluster.service.InternalClusterService.runTasksForExecutor(InternalClusterService.java:468) 
       
        at org.elasticsearch.cluster.service.InternalClusterService$UpdateTask.run(InternalClusterService.java:772) 
       
        at org.elasticsearch.common.util.concurrent.PrioritizedEsThreadPoolExecutor$TieBreakingPrioritizedRunnable.runAndClean(PrioritizedEsThreadPoolExecutor.java:231) 
       
        at org.elasticsearch.common.util.concurrent.PrioritizedEsThreadPoolExecutor$TieBreakingPrioritizedRunnable.run(PrioritizedEsThreadPoolExecutor.java:194) 
       
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
       
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
       
        at java.lang.Thread.run(Thread.java:745)

filebeat.yml文件配置如下：

 
        filebeat.prospectors:
       
        - input_type: log
       
        paths: 
       
        - 
        /tmp/test
        .log 
       
        multiline: 
       
        pattern: 
        '^\[' 
       
        negate:  
        true 
       
        match:   after 
       
        fields: 
       
        beat.name: 192.168.12.106 
       
        fields_under_root: 
        true 
       
        output.kafka:
       
        enabled: 
        true 
       
        hosts: [
        "192.168.12.105:9092"
        ] 
       
        topic: logstash-errors-log

 
        kafka队列如下：
       
        {
        "@timestamp"
        :
        "2017-06-23T09:09:02.887Z"
        ,
        "beat"
        :{
        "name"
        :
        "192.168.12.106"
        },
        "input_type"
        :
        "log"
        , 
       
        "message"
        :"[2016-05-25 12:39:04,744][DEBUG][action.bulk              ] [Set] [***][3] failed to execute bulk item (index) index {[***][***][***], 
        source
        [{***}}\n 
       
        MapperParsingException[Field name [events.created] cannot contain 
        '.'
        ]\n    at org.elasticsearch.index.mapper.object.ObjectMapper$TypeParser.parseProperties(ObjectMapper.java:273)\n     
       
        at org.elasticsearch.index.mapper.object.ObjectMapper$TypeParser.parseObjectOrDocumentTypeProperties(ObjectMapper.java:218)\n    
       
        at org.elasticsearch.index.mapper.object.ObjectMapper$TypeParser.parse(ObjectMapper.java:193)\n    
       
        at org.elasticsearch.index.mapper.object.ObjectMapper$TypeParser.parseProperties(ObjectMapper.java:305)\n    
       
        at org.elasticsearch.index.mapper.object.ObjectMapper$TypeParser.parseObjectOrDocumentTypeProperties(ObjectMapper.java:218)\n    
       
        at org.elasticsearch.index.mapper.object.RootObjectMapper$TypeParser.parse(RootObjectMapper.java:139)\n    
       
        at org.elasticsearch.index.mapper.DocumentMapperParser.parse(DocumentMapperParser.java:118)\n    
       
        at org.elasticsearch.index.mapper.DocumentMapperParser.parse(DocumentMapperParser.java:99)\n    
       
        at org.elasticsearch.index.mapper.MapperService.parse(MapperService.java:498)\n    
       
        at org.elasticsearch.cluster.metadata.MetaDataMappingService$PutMappingExecutor.applyRequest(MetaDataMappingService.java:257)\n    
       
        at org.elasticsearch.cluster.metadata.MetaDataMappingService$PutMappingExecutor.execute(MetaDataMappingService.java:230)\n   
       
        at org.elasticsearch.cluster.service.InternalClusterService.runTasksForExecutor(InternalClusterService.java:468)\n    
       
        at org.elasticsearch.cluster.service.InternalClusterService$UpdateTask.run(InternalClusterService.java:772)\n    
       
        at org.elasticsearch.common.util.concurrent.PrioritizedEsThreadPoolExecutor$TieBreakingPrioritizedRunnable.runAndClean(PrioritizedEsThreadPoolExecutor.java:231)\n    
       
        at org.elasticsearch.common.util.concurrent.PrioritizedEsThreadPoolExecutor$TieBreakingPrioritizedRunnable.run(PrioritizedEsThreadPoolExecutor.java:194)\n   
       
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)\n    
       
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)\n    
       
        at java.lang.Thread.run(Thread.java:745)\n\n\n\n
        ","
        offset
        ":35737,"
        source
        ":"
        /tmp/test
        .log
        ","
        type
        ":"
        log"}

可以看出multiline将多行日志汇总。

multiline与include_lines，结合使用。

filebeat.yml文件配置如下：

 
        filebeat.prospectors:
       
        - input_type: log
       
        paths: 
       
        - 
        /tmp/test
        .log 
       
        include_lines: [
        'error'
        ] 
       
        multiline: 
       
        pattern: 
        '^\[' 
       
        negate:  
        true 
       
        match:   after 
       
        output.kafka:
       
        enabled: 
        true 
       
        hosts: [
        "192.168.12.105:9092"
        ] 
       
        topic: logstash-errors-log

即日志中如果有"error"关键字的日志，进行多行合并，发送至kafka.

经验证，在日志不断输入的情况，会把不含"error"的行也进行合并，日志有间隔的情况输入，过滤效果比较好，具体结合业务情况实用吧。

总之一句话，filebeat可以多行合并和进行关键字日志采集。

本文转自 jackjiaxiong 51CTO博客，原文链接:http://blog.51cto.com/xiangcun168/1941401

微信关注我们

原文链接：https://yq.aliyun.com/articles/549349

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hadoop 之Hadoop生态系统

1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。下图为hadoop的生态系统： 2、HDFS（Hadoop分布式文件系统）源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版。是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。 Client：切分文件；访问HDFS；与NameNode交互，获取文件位置信息；与DataNode交互，读取和写入数据。 NameNode：Master节点，在hadoop1.X中只有一个，管理HDFS的名称空间和数据块映射信息，配置副本策略，处理客户端请求。 DataNode：Slave节点，存储实际的数据，汇报存储信息给NameNode。 Secondary NameNode：辅助Name...

2017-11-11

655

用ELK打造强大的日志分析平台，具体拓扑结构如下：在这里我们将进行kafka+filebeat+ELK5.4的部署各软件版本 1 2 3 4 5 6 jdk-8u131-linux-i586. tar .gz filebeat-5.4.0-linux-x86_64. tar .gz elasticsearch-5.4.0. tar .gz kibana-5.4.0-linux-x86_64. tar .gz logstash-5.4.0. tar .gz kafka_2.11-0.10.0.0.tgz 1、JDK安装配置（略过） 2、ELK安装与配置 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 创建ELK用户，并进行文件解压 1.elasticsearch配置 [elk@localhostelasticsearch-5.4.0]$ vi con...

2017-11-11

633

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。