centos6.5下安装配置ELK及收集nginx日志-低调大师

centos6.5下安装配置ELK及收集nginx日志

2017-11-26 565

Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）

kibana 也是一个开源和免费的工具，他Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

环境：192.168.50.119：ELK+Nginx

192.168.50.120：Redis+Logstash

架构图

部署流程：

192.168.50.119 ELK服务器

1.安装JDK

Logstash的运行依赖于Java运行环境， Logstash 1.5以上版本不低于java 7推荐使用最新版本的Java，我这里使用了1.8版本

 
        tar 
        -zxf jdk-8u45-linux-x64.
        tar
        .gz -C 
        /usr/local/ 
       
        vim 
        /etc/profile  
        #设置环境变量 
       
        export 
        JAVA_HOME=
        /usr/local/jdk1
        .8.0_45 
       
        export 
        PATH=$PATH:$JAVA_HOME
        /bin 
       
        export 
        CLASSPATH=.:$JAVA_HOME
        /lib/tools
        .jar:$JAVA_HOME
        /lib/dt
        .jar:$CLASSPATH 
       
        source 
        /etc/profile  
        #使环境变量生效

验证是否安装成功

 
        [root@localhost ~]
        # java -version 
       
        java version 
        "1.8.0_45" 
       
        Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
       
        Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)

2.安装Logstash（日志收集、分析，并将其存储供以后使用）

 
        wget https:
        //download
        .elastic.co
        /logstash/logstash/logstash-2
        .4.0.
        tar
        .gz 
       
        tar 
        –zxf logstash-2.4.0.
        tar
        .gz -C 
        /usr/local/

验证logstash是否安装成功

 
        [root@localhost ~]
        # /usr/local/logstash-2.4.0/bin/logstash -e 'input { stdin { } } output { stdout {} }' 
       
        Settings: Default pipeline workers: 1
       
        Logstash startup completed
       
        等待输入:hello world
       
        2016-11-28T20:32:07.853Z localhost.localdomain hello world

我们可以看到，我们输入什么内容logstash按照某种格式输出，其中-e参数参数允许Logstash直接通过命令行接受设置。

这点尤其快速的帮助我们反复的测试配置是否正确而不用写配置文件。使用CTRL-C命令可以退出之前运行的Logstash。

3.部署nginx并收集日志

 
        yum -y 
        install 
        nginx 
       
        设置nginx的log 格式
       
        vim 
        /etc/nginx/nginx
        .conf 
       
        log_format main 
        '$remote_addr - $remote_user [$time_local] "$request" ' 
       
        '$status $body_bytes_sent "$http_referer" ' 
       
        '"$http_user_agent" $http_x_forwarded_for $request_length $msec $connection_requests $request_time'
        ;

启动nginx

 
        service nginx start

 
        mkdir 
        /usr/local/logstash-2
        .4.0
        /conf/   
        #创建logstash配置目录 
       
        定义logstash配置文件，用来收集nginx日志
       
        [root@localhost conf]
        # cat logstash_nginx.conf  
       
        input {
       
        file 
        { 
       
        path => [
        "/var/log/nginx/access.log"
        ] 
       
        type 
        => 
        "nginx_log" 
       
        } 
       
        }
       
        output {
       
        redis{ 
       
        host => 
        "192.168.50.120" 
       
        key => 
        'logstash-redis' 
       
        data_type => 
        'list' 
       
        } 
       
        stdout { 
       
        codec => rubydebug
       
        } 
       
        }

4.安装部署redis

192.168.50.120 服务器

 
        yum -y 
        install 
        redis 
       
        vim 
        /etc/redis
        .conf 
       
        bind 192.168.50.120

启动

 
        service redis start

5.启动Logstash

 
        [root@localhost conf]
        # /usr/local/logstash-2.4.0/bin/logstash -f ./logstash_nginx.conf  --configtest   #检查配置文件 
       
        Configuration OK

 
        [root@localhost conf]
        # /usr/local/logstash-2.4.0/bin/logstash agent  -f ./logstash_nginx.conf          #将日志信息输出到redis服务器 
       
        Settings: Default pipeline workers: 1
       
        Logstash startup completed
       
        {
       
        "message" 
        => 
        "192.168.50.114 - - [29/Nov/2016:00:58:43 +0800] \"GET / HTTP/1.1\" 304 0 \"-\" \"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36\" \"-\""
        , 
       
        "@version" 
        => 
        "1"
        , 
       
        "@timestamp" 
        => 
        "2016-11-28T18:55:49.587Z"
        , 
       
        "path" 
        => 
        "/var/log/nginx/access.log"
        , 
       
        "host" 
        => 
        "localhost.localdomain"
        , 
       
        "type" 
        => 
        "nginx_log" 
       
        }
       
        {
       
        "message" 
        => 
        "192.168.50.114 - - [29/Nov/2016:00:58:43 +0800] \"GET /nginx-logo.png HTTP/1.1\" 304 0 \"http://192.168.50.119/\" \"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36\" \"-\""
        , 
       
        "@version" 
        => 
        "1"
        , 
       
        "@timestamp" 
        => 
        "2016-11-28T18:55:49.590Z"
        , 
       
        "path" 
        => 
        "/var/log/nginx/access.log"
        , 
       
        "host" 
        => 
        "localhost.localdomain"
        , 
       
        "type" 
        => 
        "nginx_log" 
       
        }
       
        {
       
        "message" 
        => 
        "192.168.50.114 - - [29/Nov/2016:00:58:43 +0800] \"GET /poweredby.png HTTP/1.1\" 304 0 \"http://192.168.50.119/\" \"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36\" \"-\""
        , 
       
        "@version" 
        => 
        "1"
        , 
       
        "@timestamp" 
        => 
        "2016-11-28T18:55:49.590Z"
        , 
       
        "path" 
        => 
        "/var/log/nginx/access.log"
        , 
       
        "host" 
        => 
        "localhost.localdomain"
        , 
       
        "type" 
        => 
        "nginx_log" 
       
        }

6.安装部署Elasticsearch

192.168.50.119 ELK服务器

创建安装用户

 
        groupadd elk
       
        useradd 
        es -g elk

 
        tar 
        -xf elasticsearch-2.2.0.
        tar
        .gz -C 
        /usr/local/ 
       
        vim 
        /usr/local/elasticsearch-2
        .2.0
        /config/elasticsearch
        .yml 
       
        network.host: 192.168.50.119   
        # 端口绑定ip地址 
       
        http.port: 9200

启动

这里遇到一个坑：es用户默认是不能用root用户启动的。所以要切到普通用户启动

 
        chown 
        -R es.elk 
        /usr/local/elasticsearch-2
        .2.0 
       
        su 
        - es 
       
        nohup  
        /usr/local/elasticsearch-2
        .2.0
        /bin/elasticsearch 
        >
        /usr/local/elasticsearch-2
        .2.0
        /nohub 
        &

 
        [root@localhost ELK]
        # netstat -tunpl | grep 9200 
       
        tcp        0      0 ::ffff:192.168.50.119:9200  :::*                        LISTEN      2183
        /java

 
        [root@localhost ELK]
        # curl http://192.168.50.119:9200   #查看状态 
       
        {
       
        "name" 
        : 
        "Blood Brothers"
        , 
       
        "cluster_name" 
        : 
        "elasticsearch"
        , 
       
        "version" 
        : { 
       
        "number" 
        : 
        "2.2.0"
        , 
       
        "build_hash" 
        : 
        "8ff36d139e16f8720f2947ef62c8167a888992fe"
        , 
       
        "build_timestamp" 
        : 
        "2016-01-27T13:32:39Z"
        , 
       
        "build_snapshot" 
        : 
        false
        , 
       
        "lucene_version" 
        : 
        "5.4.1" 
       
        }, 
       
        "tagline" 
        : 
        "You Know, for Search" 
       
        }

安装kopf和head插件

 
        [root@localhost conf]
        # cd /usr/local/elasticsearch-2.2.0/bin/ 
       
        [root@localhost bin]
        # ./plugin  install lmenezes/elasticsearch-kopf 
       
        -> Installing lmenezes
        /elasticsearch-kopf
        ... 
       
        Trying https:
        //github
        .com
        /lmenezes/elasticsearch-kopf/archive/master
        .zip ... 
       
        Downloading ............................................................ DONE
       
        Verifying https:
        //github
        .com
        /lmenezes/elasticsearch-kopf/archive/master
        .zip checksums 
        if 
        available ... 
       
        NOTE: Unable to verify checksum 
        for 
        downloaded plugin (unable to 
        find 
        .sha1 or .md5 
        file 
        to verify) 
       
        Installed kopf into 
        /usr/local/elasticsearch-2
        .2.0
        /plugins/kopf

 
        [root@localhost bin]
        # ./plugin install mobz/elasticsearch-head 
       
        -> Installing mobz
        /elasticsearch-head
        ... 
       
        Trying https:
        //github
        .com
        /mobz/elasticsearch-head/archive/master
        .zip ... 
       
        Downloading .........................................................DONE
       
        NOTE: Unable to verify checksum 
        for 
        downloaded plugin (unable to 
        find 
        .sha1 or .md5 
        file 
        to verify) 
       
        Installed 
        head 
        into 
        /usr/local/elasticsearch-2
        .2.0
        /plugins/head

7.安装kibana

192.168.50.119 ELK服务器

安装

 
        [root@localhost ELK]
        # tar -xf kibana-4.4.0-linux-x64.tar.gz  -C /usr/local/ 
       
        [root@localhost ELK]
        # cd /usr/local/kibana-4.4.0-linux-x64/

配置

 
        [root@localhost kibana-4.4.0-linux-x64]
        # vim config/kibana.yml 
       
        elasticsearch.url: 
        "http://192.168.50.119:9200" 
       
        server.port: 5601
       
        server.host: 
        "0.0.0.0"

启动

 
        [root@localhost kibana-4.4.0-linux-x64]
        # nohup  /usr/local/kibana-4.4.0-linux-x64/bin/kibana > /usr/local/kibana-4.4.0-linux-x64/nohub.out &

 
        [root@localhost ELK]
        # netstat -tunpl | grep 5601 
       
        tcp        0      0 0.0.0.0:5601                0.0.0.0:*

浏览器访问http://192.168.50.119:5601/

8.安装logstash-server服务器

192.168.50.120 服务器

安装jdk和logstash

 
        tar 
        -zxf jdk-8u45-linux-x64.
        tar
        .gz -C 
        /usr/local/ 
       
        vim 
        /etc/profile  
        #设置环境变量 
       
        export 
        JAVA_HOME=
        /usr/local/jdk1
        .8.0_45 
       
        export 
        PATH=$PATH:$JAVA_HOME
        /bin 
       
        export 
        CLASSPATH=.:$JAVA_HOME
        /lib/tools
        .jar:$JAVA_HOME
        /lib/dt
        .jar:$CLASSPATH 
       
        source 
        /etc/profile  
        #使环境变量生效

 
        tar 
        –zxf logstash-2.4.0.
        tar
        .gz -C 
        /usr/local/ 
       
        mkdir 
        /usr/local/logstash-2
        .4.0
        /conf

将redis 中的数据发送到elasticsearch中

 
        [root@localhost conf]
        # cat logstash_server.conf  
       
        input {
       
        redis { 
       
        port => 
        "6379" 
       
        host => 
        "192.168.50.120" 
       
        data_type => 
        "list" 
       
        key => 
        "logstash-redis" 
       
        type 
        => 
        "redis-input" 
       
        } 
       
        }
       
        output {
       
        elasticsearch { 
       
        hosts => 
        "192.168.50.119" 
       
        index => 
        "logstash-%{+YYYY.MM.dd}" 
       
        } 
       
        }

9.在Kibanda上创建nginx日志监控视图

es常规操作

 
        es 健康状态
       
        [root@localhost ~]
        # curl  http://192.168.50.119:9200/_cat/health?v 
       
        epoch      timestamp cluster       status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent 
       
        1480345315 23:01:55  elasticsearch yellow          1         1      6   6    0    0        6             0                  -                 50.0% 
       
        health 的状态包括：green, yellow, red. 
       
        列出节点
       
        [root@localhost ~]
        # curl  http://192.168.50.119:9200/_cat/nodes?v 
       
        host           ip             heap.percent 
        ram
        .percent load node.role master name            
       
        192.168.50.119 192.168.50.119            8          99 0.00 d         *      Blood Brothers 
       
        列出索引
       
        [root@localhost ~]
        # curl  http://192.168.50.119:9200/_cat/indices?v 
       
        health status index               pri rep docs.count docs.deleted store.size pri.store.size 
       
        yellow 
        open   
        .kibana               1   1          2            0      5.6kb          5.6kb  
       
        yellow 
        open   
        logstash-2016.11.28   5   1          1            0      4.9kb          4.9kb

 
  本文转自 shouhou2581314 51CTO博客，原文链接：http://blog.51cto.com/thedream/1878971，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/555622

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop初体验：快速搭建Hadoop伪分布式环境

本文旨在使用一个全新安装好的Linux系统从0开始进行Hadoop伪分布式环境的搭建，以达到快速搭建的目的，从而体验Hadoop的魅力所在，为后面的继续学习提供基础环境。对使用的系统环境作如下说明：操作系统：CentOS 6.5 64位主机IP地址：10.0.0.131/24 主机名：leaf 用户名：root hadoop版本：2.6.5 jdk版本：1.7 可以看到，这里直接使用root用户，而不是按照大多数的教程创建一个hadoop用户来进行操作，就是为了达到快速搭建Hadoop环境以进行体验的目的。为了保证后面的操作能够正常完成，请先确认本机是否可以解析到主机名leaf，如果不能，请手动添加解析到/etc/hosts目录中： 1 2 3 4 5 6 [root@leaf~] #echo"127.0.0.1leaf">>/etc/hosts [root@leaf~] #pingleaf PINGleaf(127.0.0.1)56(84)bytesofdata. 64bytesfromlocalhost(127.0.0.1):icmp_seq=1ttl=64 t...

2017-11-27

507

hadoop各个组件功能

HDFS 分布式文件系统 YARN 资源管理系统 MapReduce 分布式计算框架 ZooKeeper分布式协调服务 Hbase分布式数据库 Flume 日志收集 Sqoop 数据同步工具 Oozie 作业流调度系统 Ambari 安装部署工具 Hive基于MR的数据仓库 Mahout 数据挖掘库 Pig数据分析系统计算框架： MapReduce 离线计算 Tez DAG计算 Spark 内存计算 storm 实时计算数据分析系统 Hive基于MR的数据仓库 Pig数据分析系统 Hadoop作业流调度引擎 Oozie Azkaban 本文转自 corasql 51CTO博客，原文链接：http://blog.51cto.com/corasql/1738114，如需转载请自行联系原作者

2017-11-27

603

发表评论

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。