ELK获取nginx日志-低调大师

ELK获取nginx日志

2021-05-21 641

ELK下载地址

https://www.elastic.co/cn/downloads/a
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.1-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.12.1-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.12.1-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.12.1-linux-x86_64.tar.gz

安装elaticSearch

hostnamectl set-hostname node-1

yum -y install java*

tar -zxvf  elasticsearch-7.12.1-linux-x86_64.tar.gz
mv   elasticsearch-7.12.1/config/elasticsearch.yml elasticsearch-7.12.1/config/elasticsearch.yml.bak

vi elasticsearch.yml

cluster.initial_master_nodes: ["node-1"]    
cluster.name: es-application
node.name: node-1

network.host: 0.0.0.0
http.port: 9200

path.data: /home/elk/elasticsearch-7.12.1/data
path.logs: /home/elk/elasticsearch-7.12.1/logs

http.cors.enabled: true
http.cors.allow-origin: "*"

useradd elk
useradd elk
chown -R elk:elk /home/elk/elasticsearch-7.12.1

vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536

vi  /etc/sysctl.conf
vm.max_map_count=655360

务必执行:

reboot

systemctl stop firewalld
systemctl enable firewalld

su elk
./elasticsearch-7.12.1/bin/elasticsearch -d

查看是否启动了 9200 9300端口

netstat -nltp

访问  http://192.168.43.116:9200/

安装Logstash
以nginx日志为例

tar -zxvf  logstash-7.12.1-linux-x86_64.tar.gz

sudo rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

yum repolist
yum install nginx
systemctl enable nginx

附上一份nginx配置，因为yum之后配置文件貌似有点少，有其他需求自行更改
将图片放到/home/images/下进行测试

http://192.168.43.116:8088/TEST.png

vi /etc/nginx/nginx.conf

user  root;
worker_processes  auto;

error_log  /var/log/nginx/error.log notice;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/elk_access.log  main;

    sendfile        on;
    #tcp_nopush     on;
    keepalive_timeout  65;
    #gzip  on;

#日志获取的字段
    log_format main2 '$http_host $remote_addr - $remote_user [$time_local] "$request" '
                     '$status $body_bytes_sent "$http_referer" '
                     '"$http_user_agent" "$upstream_addr" $request_time';

    server {
        listen       8088;#写内网端口，访问时用外网端口进行映射访问
        server_name  localhost;

        #charset koi8-r;
        #access_log  logs/host.access.log  main;

        location ~ .*\.(gif|jpg|jpeg|png)$ {
            expires 24h;
            root /home/images/;#指定图片存放路径
            access_log /etc/nginx/logs/images.log;#图片 日志路径
            proxy_store on;
            proxy_store_access user:rw group:rw all:rw;
            proxy_temp_path         /home/images/;#代理临时路径
            proxy_redirect          off;
#日志路径
            access_log  /var/log/nginx/elk_access.log  main2;

            proxy_set_header        Host 127.0.0.1;
            proxy_set_header        X-Real-IP $remote_addr;
            proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
            client_max_body_size    10m;
            client_body_buffer_size 1280k;
            proxy_connect_timeout   900;
            proxy_send_timeout      900;
            proxy_read_timeout      900;
            proxy_buffer_size       40k;
            proxy_buffers           40 320k;
            proxy_busy_buffers_size 640k;
            proxy_temp_file_write_size 640k;
            if ( !-e $request_filename)
            {
                 proxy_pass  http://127.0.0.1:8088;#代理访问地址,和上面的端口一致
            }
        }

        location / {
            root   html;
            index  index.html index.htm;
            add_header X-Frame-Options SAMEORIGIN;
            proxy_set_header Host $host:$server_port;
            proxy_set_header   X-Real-IP        $remote_addr;
            proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
#           alias  /home/images/;
            try_files $uri $uri/ /index.html last;
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ {
        #    proxy_pass   http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ \.php$ {
        #    root           html;
        #    fastcgi_pass   127.0.0.1:9000;
        #    fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
        #    include        fastcgi_params;
        #}

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /\.ht {
        #    deny  all;
        #}
    }

    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    #    listen       8000;
    #    listen       somename:8080;
    #    server_name  somename  alias  another.alias;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}
    # HTTPS server
    #
    #server {
    #    listen       443 ssl;
    #    server_name  localhost;

    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;

    #    ssl_session_cache    shared:SSL:1m;
    #    ssl_session_timeout  5m;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers  on;

    include /etc/nginx/conf.d/*.conf;
}

systemctl restart nginx

编辑logstash 配置

vi  logstash-7.12.1/config/nginx_access.conf

input {
  file {
    path => "/var/log/nginx/elk_access.log"                 #设置为nginx访问日志的路径
    start_position => "beginning"
    type => "nginx"
  }
}
filter {
    grok {
        match => { "message" => "%{IPORHOST:http_host} %{IPORHOST:clientip} - %{USERNAME:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:http_verb} %{NOTSPACE:http_request}(?: HTTP/%{NUMBER:http_version})?|%{DATA:raw_http_request})\" %{NUMBER:response} (?:%{NUMBER:bytes_read}|-) %{QS:referrer} %{QS:agent} %{QS:xforwardedfor} %{NUMBER:request_time:float}"}
    }
    geoip {
        source => "clientip"
    }
}
output {
    stdout { codec => rubydebug }
    elasticsearch {
        hosts => ["192.168.43.116:9200"]                #也可以为集群内其它机器的地址
        index => "nginx-test-%{+YYYY.MM.dd}"
  }
}

两种启动方式，一种打印日志一种不打印，建议使用第一种，可以看到报错，当可以正常启动之后再用第二种

 ./logstash-7.12.1/bin/logstash -f  logstash-7.12.1/config/nginx_access.conf

nohup  ./logstash-7.12.1/bin/logstash -f  logstash-7.12.1/config/nginx_access.conf &

注：logstash出现如下报错，是之前运行的instance有缓冲

--------------------------------------------------------------------------------------------------------------------------------
Logstash could not be started because there is already another instance using the configured data directory.  If you wish to run multiple instances, you must change the "path.data" setting.

需要进入/logstash-7.12.1/data  删除.lock 文件之后重新启动即可

cd /logstash-7.12.1/data && rm -rf .lock
--------------------------------------------------------------------------------------------------------------------------------

安装Kibana

tar -zxvf kibana-7.12.1-linux-x86_64.tar.gz

mv   kibana-7.12.1-linux-x86_64/config/kibana.yml  kibana-7.12.1-linux-x86_64/config/kibana.yml.bak

vi  kibana-7.12.1-linux-x86_64/config/kibana.yml

server.port: 5601
server.host: "192.168.43.116"
elasticsearch.hosts: ["http://192.168.43.116:9200"]
i18n.locale: "zh-CN"    #kibana设置中文模式

chown -R elk:elk   kibana-7.12.1-linux-x86_64

su - elk

nohup ./kibana-7.12.1-linux-x86_64/bin/kibana &

http://192.168.43.116:5601

重启kinbana（需要的时候在执行）

netstat -anltp|grep 5601
kill -9  （LISTEN后面的端口）

创建索引收集日志

选择创建的索引

如果没有日志调整下时间

因为开了护眼模式所以截图颜色有点变化

微信关注我们

原文链接：https://blog.51cto.com/u_13555423/2800963

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

iOS逆向之代码注入！（下）

本文主要是以WeChat为例，讲解如何破坏WeChat注册、以及如何获取登录密码引子在进行WeChat实践操作时，首先需要了解一个概念：Method Swizzing（即方法交换） Method Swizzing（即方法交换）是利用OC的Runtime特性，动态改变SEL（方法编号）和IMP（方法实现）的对应关系，达到OC方法调用流程改变的目的，主要用于OC方法。在OC中，SEL和IMP之间的关系，类似与一本书的目录，是一一对应的 SEL：方法编号，类似于目录中的标题 IMP：方法实现的真实地址指针，类似于目录中的页码同时，Runtime中也提供了用于交换两个SEL和IMP的方法，method_exchangeIMP，我们可以通过这个函数交换两个SEL和IMP的对应关系破坏微信注册准备工作：需要新建一个工程，并重签名，且采用Framework注入的方式重签名参考文章：iOS逆向之应用重签名（下） Framework注入方式参考文章：iOS逆向之代码注入（上）这里破坏的微信的注册，主要是通过runtime方法进行注册方法的hook 1、获取注册的相关信息 1、通过lldb...

2021-05-21

623

51CTO 博客地址：https://blog.51cto.com/14669127 需求：作为IT Admin，为了加强用户的安全使用，你为所有公司员工启用了多重身份验证（MFA），但公司的Help Desk 反馈说，近期接到公司总部的员工对MFA问题的询问电话数量有所增加，报告显示：员工若在公司总部工作，他们会收到MFA请求，为解决该问题，你需要阻止用户从公司总部登录时收到MFA请求，该如何操作呢？解决方案分析：在为公司员工启用多重身份验证之前，应该考虑配置一些可用的设置，其中最重要的就是可信的IPs列表，这样你可以为网络设置一系列的IP白名单，这样，当用户在公司总部工作时，他们不会收到MFA的提示，而当他们把设备带到其他地方（非公司总部）时，他们就会收到MFA提示。如何做到这一点呢？ 1. 登录到Azure门户网站 2. Azure Active Directory->All Services->Conditional Access->Named Locations, 在顶部工具栏中选择“配置MFA信任的IPs” 3. 在配置MFA信任的IPs页面，有2个...

2021-05-21

803

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。