ELK(elasticsearch+logstash+kibana)开源日志分析平台搭建-低调大师

ELK(elasticsearch+logstash+kibana)开源日志分析平台搭建

2017-11-11 519

环境介绍

System: CentOS7.2 x86_64

hostname: elk-server.huangming.org

IP Address: 10.0.6.42、10.17.83.42

本篇的ELK环境为单机部署方式，即将ELK所有的软件包都安装在一台服务器上，配置如下：

CPU: 4c

Mem: 8G

Disk: 50

一、Elasticsearch安装

1、安装jdk 1.8及以上的版本（安装过程略）

 
        [root@elk-server elk]
        # java -version 
       
        java version 
        "1.8.0_65" 
       
        Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
       
        Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)

2、下载Elasticsearch最新版本(目前5.5版本)

 
        使用curl命令下载
        tar
        包 
       
        # curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.2.tar.gz
       
        也可以使用wget命令下载
       
        # wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.2.tar.gz

3、解压至指定目录(安装目录)/usr/local/下，并将其重命名为elasticsearch (完整的目录应该为/usr/local/elasticsearch)

 
        # tar -zxf elasticsearch-5.5.2.tar.gz -C /usr/local/
       
        # cd /usr/local/
       
        # mv elasticsearch-5.5.2 elasticsearch

2、创建一个用于运行elasticsearch的普通用户，随后修改elasticsearch家目录的所属权限为该用户；创建elasticsearch数据存储目录/data/elasticsearch

 
        # groupadd elasticsearch
       
        # useradd -g elasticsearch elasticsearch -m
       
        # chown -R elasticsearch. /usr/local/elasticsearch
       
        # mkdir /data/elasticsearch
       
        # chown -R elasticsearch. /data/elasticsearch

2、修改elasticsearch.yml配置文件

 
        # vim config/elasticsearch.yml
       
        cluster.name: my-application        
        #ELK集群名称 
       
        path.data: 
        /data/elasticsearch      
        #elasticsearch 数据存储目录 
       
        path.logs: 
        /usr/local/elasticsearch/logs   
        #elasticsearch 日志存储路径 
       
        network.host: 10.17.83.42           
        #elasticsearch 监听地址，默认为localhost 
       
        http.port: 9200                     
        #elasticsearch 监听端口，默认问9200

6、修改相关的内核参数

# 打开/etc/security/limits.conf文件，添加以下参数

 
        *        soft    nproc           2048
       
        *        hard    nproc           16384
       
        *        soft    nofile          65536
       
        *        hard    nofile          65536

# 修改vm.max_map_count=262144

 
        # echo "/etc/sysctl.conf" >> /etc/sysctl.conf

7、运行elasticsearch (注意：要切换到普通用户运行)

# su - elasticsearch

$ ./bin/elasticsearch

运行elasticsearch

 
        [elasticsearch@elk-server ~]$ 
        cd 
        /usr/local/elasticsearch/ 
       
        [elasticsearch@elk-server elasticsearch]$ .
        /bin/elasticsearch 
       
        [2017-08-28T14:51:31,069][INFO ][o.e.n.Node               ] [] initializing ...
       
        [2017-08-28T14:51:31,186][INFO ][o.e.e.NodeEnvironment    ] [6eN59Pf] using [1] data paths, mounts [[/ (rootfs)]], net usable_space [89.4gb], net total_space [91.4gb], spins? [unknown], types [rootfs]
       
        [2017-08-28T14:51:31,187][INFO ][o.e.e.NodeEnvironment    ] [6eN59Pf] heap size [1.9gb], compressed ordinary object pointers [
        true
        ] 
       
        [2017-08-28T14:51:31,188][INFO ][o.e.n.Node               ] node name [6eN59Pf] derived from node ID [6eN59PfuS7iVRfoEppsngg]; 
        set 
        [node.name] to override 
       
        [2017-08-28T14:51:31,189][INFO ][o.e.n.Node               ] version[5.5.2], pid[2759], build[b2f0c09
        /2017-08-14T12
        :33:14.154Z], OS[Linux
        /3
        .10.0-327.el7.x86_64
        /amd64
        ], JVM[Oracle Corporation
        /Java 
        HotSpot(TM) 64-Bit Server VM
        /1
        .8.0_65
        /25
        .65-b01] 
       
        [2017-08-28T14:51:31,189][INFO ][o.e.n.Node               ] JVM arguments [-Xms2g, -Xmx2g, -XX:+UseConcMarkSweepGC, -XX:CMSInitiatingOccupancyFraction=75, -XX:+UseCMSInitiatingOccupancyOnly, -XX:+AlwaysPreTouch, -Xss1m, -Djava.awt.headless=
        true
        , -Dfile.encoding=UTF-8, -Djna.nosys=
        true
        , -Djdk.io.permissionsUseCanonicalPath=
        true
        , -Dio.netty.noUnsafe=
        true
        , -Dio.netty.noKeySetOptimization=
        true
        , -Dio.netty.recycler.maxCapacityPerThread=0, -Dlog4j.shutdownHookEnabled=
        false
        , -Dlog4j2.disable.jmx=
        true
        , -Dlog4j.skipJansi=
        true
        , -XX:+HeapDumpOnOutOfMemoryError, -Des.path.home=
        /usr/local/elasticsearch
        ] 
       
        [2017-08-28T14:51:32,174][INFO ][o.e.p.PluginsService     ] [6eN59Pf] loaded module [aggs-matrix-stats]
       
        [2017-08-28T14:51:32,174][INFO ][o.e.p.PluginsService     ] [6eN59Pf] loaded module [ingest-common]
       
        [2017-08-28T14:51:32,175][INFO ][o.e.p.PluginsService     ] [6eN59Pf] loaded module [lang-expression]
       
        [2017-08-28T14:51:32,175][INFO ][o.e.p.PluginsService     ] [6eN59Pf] loaded module [lang-groovy]
       
        [2017-08-28T14:51:32,175][INFO ][o.e.p.PluginsService     ] [6eN59Pf] loaded module [lang-mustache]
       
        [2017-08-28T14:51:32,175][INFO ][o.e.p.PluginsService     ] [6eN59Pf] loaded module [lang-painless]
       
        [2017-08-28T14:51:32,175][INFO ][o.e.p.PluginsService     ] [6eN59Pf] loaded module [parent-
        join
        ] 
       
        [2017-08-28T14:51:32,175][INFO ][o.e.p.PluginsService     ] [6eN59Pf] loaded module [percolator]
       
        [2017-08-28T14:51:32,175][INFO ][o.e.p.PluginsService     ] [6eN59Pf] loaded module [reindex]
       
        [2017-08-28T14:51:32,176][INFO ][o.e.p.PluginsService     ] [6eN59Pf] loaded module [transport-netty3]
       
        [2017-08-28T14:51:32,176][INFO ][o.e.p.PluginsService     ] [6eN59Pf] loaded module [transport-netty4]
       
        [2017-08-28T14:51:32,176][INFO ][o.e.p.PluginsService     ] [6eN59Pf] no plugins loaded
       
        [2017-08-28T14:51:33,991][INFO ][o.e.d.DiscoveryModule    ] [6eN59Pf] using discovery 
        type 
        [zen] 
       
        [2017-08-28T14:51:34,576][INFO ][o.e.n.Node               ] initialized
       
        [2017-08-28T14:51:34,577][INFO ][o.e.n.Node               ] [6eN59Pf] starting ...
       
        [2017-08-28T14:51:34,814][INFO ][o.e.t.TransportService   ] [6eN59Pf] publish_address {10.17.83.42:9300}, bound_addresses {10.17.83.42:9300}
       
        [2017-08-28T14:51:34,826][INFO ][o.e.b.BootstrapChecks    ] [6eN59Pf] bound or publishing to a non-loopback or non-link-
        local 
        address, enforcing bootstrap checks 
       
        [2017-08-28T14:51:37,883][INFO ][o.e.c.s.ClusterService   ] [6eN59Pf] new_master {6eN59Pf}{6eN59PfuS7iVRfoEppsngg}{hs82h4vkTwKCEvKybCodbw}{10.17.83.42}{10.17.83.42:9300}, reason: zen-disco-elected-as-master ([0] nodes joined)
       
        [2017-08-28T14:51:37,900][INFO ][o.e.h.n.Netty4HttpServerTransport] [6eN59Pf] publish_address {10.17.83.42:9200}, bound_addresses {10.17.83.42:9200}
       
        [2017-08-28T14:51:37,900][INFO ][o.e.n.Node               ] [6eN59Pf] started
       
        [2017-08-28T14:51:37,925][INFO ][o.e.g.GatewayService     ] [6eN59Pf] recovered [0] indices into cluster_state
       
        [2017-08-28T14:51:43,485][INFO ][o.e.c.m.MetaDataCreateIndexService] [6eN59Pf] [.kibana] creating index, cause [api], templates [], shards [1]/[1], mappings [_default_, index-pattern, server, visualization, search, timelion-sheet, config, dashboard, url]

一般情况我们要求elasticsearch在后台运行，使用命令如下：

 
        $ .
        /bin/elasticsearch 
        -d

8、检查elasticsearch状态，如下则表示正常运行

 
        [root@elk-server elasticsearch]
        # curl http://10.17.83.42:9200 
       
        {
       
        "name" 
        : 
        "6eN59Pf"
        , 
       
        "cluster_name" 
        : 
        "my-application"
        , 
       
        "cluster_uuid" 
        : 
        "cKopwE1iTciIQAiFI6d8Gw"
        , 
       
        "version" 
        : { 
       
        "number" 
        : 
        "5.5.2"
        , 
       
        "build_hash" 
        : 
        "b2f0c09"
        , 
       
        "build_date" 
        : 
        "2017-08-14T12:33:14.154Z"
        , 
       
        "build_snapshot" 
        : 
        false
        , 
       
        "lucene_version" 
        : 
        "6.6.0" 
       
        }, 
       
        "tagline" 
        : 
        "You Know, for Search" 
       
        }

二、Logstash安装

1、下载logstash软件包

 
        # wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.2.tar.gz

2、解压至指定安装目录

 
        # tar -zxf logstash-5.5.2.tar.gz -C /usr/local/
       
        # cd /usr/local/
       
        # mv logstash-5.5.2 logstash

3、运行logstash

# cd logstash/

# ./bin/logstash -e 'input { stdin { } } output { stdout {} }'

输入”hello world! ”，验证是否正常输出

 
        [root@elk-server logstash]
        # ./bin/logstash -e 'input { stdin { } } output { stdout {} }' 
       
        ERROR StatusLogger No log4j2 configuration 
        file 
        found. Using default configuration: logging only errors to the console. 
       
        Sending Logstash's logs to 
        /usr/local/logstash/logs 
        which 
        is now configured via log4j2.properties 
       
        [2017-08-28T15:11:33,267][INFO ][logstash.setting.writabledirectory] Creating directory {:setting=>
        "path.queue"
        , :path=>
        "/usr/local/logstash/data/queue"
        } 
       
        [2017-08-28T15:11:33,273][INFO ][logstash.setting.writabledirectory] Creating directory {:setting=>
        "path.dead_letter_queue"
        , :path=>
        "/usr/local/logstash/data/dead_letter_queue"
        } 
       
        [2017-08-28T15:11:33,300][INFO ][logstash.agent           ] No persistent UUID 
        file 
        found. Generating new UUID {:uuid=>
        "2fb479ab-0ca5-4979-89b1-4246df9a7472"
        , :path=>
        "/usr/local/logstash/data/uuid"
        } 
       
        [2017-08-28T15:11:33,438][INFO ][logstash.pipeline        ] Starting pipeline {
        "id"
        =>
        "main"
        , 
        "pipeline.workers"
        =>8, 
        "pipeline.batch.size"
        =>125, 
        "pipeline.batch.delay"
        =>5, 
        "pipeline.max_inflight"
        =>1000} 
       
        [2017-08-28T15:11:33,455][INFO ][logstash.pipeline        ] Pipeline main started
       
        The stdin plugin is now waiting 
        for 
        input: 
       
        [2017-08-28T15:11:33,497][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
       
        hello world!   
       
        2017-08-28T07:11:42.724Z elk-server.huangming.org hello world!

三、Kibana安装

1、下载kibana

 
        # wget https://artifacts.elastic.co/downloads/kibana/kibana-5.5.2-linux-x86_64.tar.gz

2、解压至安装目录

 
        # tar -zxf kibana-5.5.2-linux-x86_64.tar.gz -C /usr/local/
       
        # cd /usr/local/
       
        # mv kibana-5.5.2-linux-x86_64 kibana

3、修改配置

 
        # cd kibana/
       
        # vim config/kibana.yml
       
        server.port: 5601            
        # 监听端口 
       
        server.host: 
        "10.17.83.42"   
        # 指定后端服务器 
       
        elasticsearch.url: 
        "http://10.17.83.42:9200"  
        # 指定elasticsearch实例地址

4、运行kibana

# ./bin/kibana &

 
        [root@elk-server kibana]
        # ./bin/kibana & 
       
        [1] 3219
       
        [root@elk-server kibana]
        #   log   [07:26:02.496] [info][status][plugin:kibana@5.5.2] Status changed from uninitialized to green - Ready 
       
        log   [07:26:02.604] [info][status][plugin:elasticsearch@5.5.2] Status changed from uninitialized to yellow - Waiting 
        for 
        Elasticsearch 
       
        log   [07:26:02.637] [info][status][plugin:console@5.5.2] Status changed from uninitialized to green - Ready 
       
        log   [07:26:02.682] [info][status][plugin:metrics@5.5.2] Status changed from uninitialized to green - Ready 
       
        log   [07:26:02.930] [info][status][plugin:elasticsearch@5.5.2] Status changed from yellow to green - Kibana index ready 
       
        log   [07:26:02.932] [info][status][plugin:timelion@5.5.2] Status changed from uninitialized to green - Ready 
       
        log   [07:26:02.937] [info][listening] Server running at http:
        //10
        .17.83.42:5601 
       
        log   [07:26:02.939] [info][status][ui settings] Status changed from uninitialized to green - Ready

5、验证kibana

在客户端浏览器打开http://10.17.83.42:5601

在该页面提示我们需要创建一个index

首先创建一个kinana默认的index(名称为.kibana),如果输入的index名不存在，则无法创建

查看运行状态及已安装的插件

至此ELK已经搭建完成了，下面来创建一个收集message系统日志的实例

本文转自 HMLinux 51CTO博客，原文链接:http://blog.51cto.com/7424593/1960254

微信关注我们

原文链接：https://yq.aliyun.com/articles/560275

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

开源组件ELK日志系统配置与管理

ELK日志系统介绍开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co/products 1、Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等 2、Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索） 3、Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志安装环境准备首先需要下载好相关的软件安装包官方网站：https://www.elastic.cohttps://artifacts.elastic.co/downloads/logstash/logstash-5.3.1.tar.gzhttps://artifacts.elastic.co...

2017-11-12

628

hadoop之参数调优

一、 hdfs-site.xml 配置文件 1、 dfs.blocksize 参数：hadoop文件块大小描述：新文件的默认块大小，以字节为单位，默认 134217728 字节。可以使用以下后缀(大小写不敏感):k(kilo)、m(mega)、g(giga)、t(tera)、p(peta)、e(exa)来指定大小(如128k、512m、1g等)，或者以字节为单位提供完整的大小。 2、 dfs.namenode.handler.count 参数：namenode的服务器线程数描述：NameNode有一个工作线程池用来处理客户端的远程过程调用及集群守护进程的调用。处理程序数量越多意味着要更大的池来处理来自不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说，通常需要增大参数dfs.namenode.handler.count的默认值10。设置该值的一般原则是将其设置为集群大小的自然对数乘以20，即20logN，N为集群大小。 3、 dfs.datanode.balance.bandwidthPerSec 参数： datanode 平衡带宽 ...

2017-11-12

523

发表评论

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。