filebeat 获取nginx日志发送给ElasticSearch-低调大师

filebeat 获取nginx日志发送给ElasticSearch

2017-11-11 592

目的：通过filebeat获取nginx日志，发送给ElasticSearch，filebeat可以解析json格式日志，所以设置nginx日志为json格式。

1、配置nginx配置文件

 
        log_format jsonTest 
        '{"@timestamp":"$time_iso8601",' 
       
        '"host":"$server_addr",' 
       
        '"service":"nginxTest",' 
       
        '"trace":"$upstream_http_ctx_transaction_id",' 
       
        '"log":"log",' 
       
        '"clientip":"$remote_addr",' 
       
        '"remote_user":"$remote_user",' 
       
        '"request":"$request",' 
       
        '"http_user_agent":"$http_user_agent",' 
       
        '"size":$body_bytes_sent,' 
       
        '"responsetime":$request_time,' 
       
        '"upstreamtime":"$upstream_response_time",' 
       
        '"upstreamhost":"$upstream_addr",' 
       
        '"http_host":"$host",' 
       
        '"url":"$uri",' 
       
        '"domain":"$host",' 
       
        '"xff":"$http_x_forwarded_for",' 
       
        '"referer":"$http_referer",' 
       
        '"status":"$status"}'
        ; 
       
        access_log /
        var
        /log/nginx/access.log jsonTest;

定义jsonTest的json格式，其中trace是页面response headers的值 ctx-transaction-id，通过upstream_http_ctx_transaction_id可以获取头文件属性。

将日志输出到/var/log/nginx/access.log

2、配置filebeat配置文件

 
        filebeat.prospectors:
       
        - type: log
       
        paths: 
       
        - 
        '/root/front/logs/*.log' 
       
        json.message_key: log 
       
        json.keys_under_root: 
        true 
       
        output.elasticsearch:
       
        hosts: [
        "*.*.*.*:9200"
        ]

将日志传输给ElasticSearch

本文转自gaofeng36599 51CTO博客，原文链接:http://blog.51cto.com/786678398/1980222

微信关注我们

原文链接：https://yq.aliyun.com/articles/554465

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

原生态在hadoop上运行java程序

第一种：原生态运行jar包 1，利用eclipse编写Map-Reduce方法，一般引入hadoop-core-1.1.2.jar。注意这里eclipse里没有安装hadoop的插件，只是引入其匝包，该eclipse可以安装在windows或者linux中，如果是在windows中安装的，且在其虚拟机安装的linux，可以通过共享文件夹来实现传递。 2，编写要测试的数据，如命名为tempdata 3，利用eclipse的export来打包已编写好的，在利用eclipse打包jar的时候，只需要选择src即可，一般只打包程序文件，并且需要选择main class，将该jar放到如/home/hadoop/docum/Test.jar 4，将要分析的数据传到hdfs上 hadoop fs -put /home/hadoop/myhadoopdata/tempdata ./testdata/ 5,开始执行jar hadoop jar /home/hadoop/Docum/Test.jar /user/hadoop/temperatur output 这是一种利用jar来运行的。这里Test...

2017-11-12

507

一、环境介绍与安装准备 1、环境说明 2台虚拟机，OS为ubuntu13.04，ip分别为xxx.xxx.xxx.140和xxx.xxx.xxx.145。 2、安装准备 ElasticSearch（简称ES）由java语言实现，运行环境依赖java。ES 1.x版本，官方推荐至少使用jdk1.6的环境，建议使用oracle java，可以去官网下载，本文使用jdk-7u51-linux-i586.gz。ES可以去官网下载，也可以在这里下载，本文使用elasticsearch-1.0.1.tar.gz。二、安装 1、安装JAVA 关于java的安装，请参照这里。 2、ES安装（1）解压elasticsearch-1.0.1.tar.gz，sudo tar -zvxf elasticsearch-1.0.1.tar.gz，在当前路径生成目录：elasticsearch-1.0.1；为该目录做一个软连接ln -selasticsearch-1.0.1 elasticsearch。完成之后，目录结构如下图：（2）配置es。这里只做最简单的配置，修改ES_HOME/config/elast...

2017-11-12

582

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。