ELK平台搭建 ES-低调大师

ELK平台搭建 ES

2017-11-11 526

系统环境：

System: Centos 6.5

ElasticSearch: 2.3.3

Logstash: 2.3.3

Kibana: 4.5.1

Java: jdk_1.8.0_71

新建用户：

ELK不允许root用户启动

 
        #useradd elk

JDK或JRE下载安装：

java也可到这个地址下载https://www.reucon.com/cdn/java/

 
        # mkdir /usr/java/ 
       
        # cd /usr/java
       
        # tar -zxvf jdk-8u71-linux-x64.tar.gz

 
        # 修改文件夹名，防止异常，养成好习惯
       
        # mv jdk1.8.0_71 jdk18071
       
        # 配置环境变量
       
        # vi /etc/profile
       
        export 
        JAVA_HOME=
        /usr/java/jdk18071 
       
        export 
        JAVA_BIN=$JAVA_HOME
        /bin 
       
        export 
        JRE_HOME=$JAVA_HOME
        /jre 
       
        export 
        JRE_bin=$JRE_HOME
        /bin 
       
        export 
        CLASSPATH=.:$JAVA_HOME
        /lib
        :$JRE_HOME
        /lib 
       
        export 
        PATH=$JAVA_BIN:$PATH 
       
        # 配置生效
       
        # source /etc/profile

Redis安装

 
        # yum install epel-release –y
       
        # yum install redis –y

修改redis配置文件使redis监听所有ip，默认情况下只监听127.0.0.01

 
        # vi /etc/redis.conf
       
        bind 0.0.0.0

启动Redis

CentOS 6

 
        # service redis start

CentOS 7

 
        # systemctl restart redis.service

下载：

ELK下载：https://www.elastic.co/downloads/

ElasticSearch安装：

建立存放目录：

切记：涉及ElasticSearch的目录和文件，一定要全修改权限，否则启动会报错。

 
        # mkdir -p /elk/{data,logs,work,plugins,scripts}
       
        # chown -R elk:elk /elk

配置ElasticSearch：

 
        # tar -zxvf elasticsearch-2.3.3.tar.gz
       
        #  chown -R elk:elk elasticsearch-2.3.3
       
        # cd elasticsearch-2.3.3

安装Head插件（Optional）：

 
        # ./bin/plugin install mobz/elasticsearch-head

然后编辑ES的配置文件：

 
        # vi config/elasticsearch.yml

修改以下配置项：

 
        cluster.name:cluster(集群名称)
       
        node.name:
        "test-node1"
        (集群结点名称) 
       
        path.data:
        /elk/data
        (数据) 
       
        path.logs:
        /elk/logs
        (日志路径) 
       
        node.master: 
        true
        （是否可被选为主结点，默认
        true
        ） 
       
        node.data: 
        true
        (结点是否存储数据，默认
        true
        ) 
       
        index.number_of_shards:5(索引分片数)
       
        index.number_of_replicas:1(索引副本数)
       
        transport.tcp.port:9300(数据传输IP)
       
        network.host:192.168.1.100(当前
        hostname
        或IP，我这里是IP) 
       
        http.port: 9200(对外访问监听IP)

启动ES：

使用ctrl+C停止，参数-d 或& 为后台启动

 
        $ .
        /bin/elasticsearch 
        -d

 
        $ .
        /bin/elasticsearch 
        &

测试：

 
        curl -X GET http:
        //IP
        :9200

返回展示了配置的cluster_name和name，以及安装的ES的版本等信息。

刚刚安装的head插件，它是一个用浏览器跟ES集群交互的插件，可以查看集群状态、集群的doc内容、执行搜索和普通的Rest请求等。

现在也可以使用它打开http://IP:9200/_plugin/head页面来查看ES集群状态。

可以看到，现在，ES集群中没有index，也没有type，因此这两条是空的。

Logstash安装：

配置Logstash：

 
        tar 
        -zxvf logstash-2.1.1.
        tar
        .gz 
       
        cd 
        logstash-2.1.1

编写配置文件(名字和位置可以随意，这里我放在config目录下，取名为log4j_to_es.conf)：

 
        mkdir 
        config 
       
        vi 
        config
        /log4j_to_es
        .conf

输入以下内容：

 
        # For detail structure of this file
       
        # Set: https://www.elastic.co/guide/en/logstash/current/configuration-file-structure.html
       
        input {
       
        # For detail config for log4j as input,  
       
        # See: https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html 
       
        log4j { 
       
        mode => 
        "server" 
       
        host => 
        "192.168.1.100" 
        #IP or HostName 
       
        port => 4567 
       
        } 
       
        }
       
        filter {
       
        #Only matched data are send to output. 
       
        }
       
        output {
       
        # For detail config for elasticsearch as output,  
       
        # See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html 
       
        elasticsearch { 
       
        action => 
        "index"          
        #The operation on ES 
       
        hosts  => 
        "192.168.1.100:9200" 
        #IP or HostName,ElasticSearch host, can be array. 
       
        index  => 
        "applog"         
        #The index to write data to. 
       
        } 
       
        }

启动：

使用agent来启动它（使用-f指定配置文件）：

 
        .
        /bin/logstash 
        agent -f config
        /log4j_to_es
        .conf

启动成功

参考文章：

http://my.oschina.net/itblog/blog/547250

http://blog.csdn.net/gongzi2311/article/details/51699958

http://blog.csdn.net/laoyang360/article/details/51417097

本文转自 piazini 51CTO博客，原文链接:http://blog.51cto.com/wutou/1792548

微信关注我们

原文链接：https://yq.aliyun.com/articles/529872

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop 2.7.4 关闭与启动

环境说明： [root@hadp-master sbin]# hadoop version Hadoop 2.7.4 一、脚本封装全部一起启动、关闭 1.1 启动 [root@hadp-master sbin]# ./start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh Starting namenodes on [hadp-master] hadp-master: starting namenode, logging to /usr/local/hadoop/hadoop-2.7.4/logs/hadoop-root-namenode-hadp-master.out hadp-node2: starting datanode, logging to /usr/local/hadoop/hadoop-2.7.4/logs/hadoop-root-datanode-hadp-node2.out hadp-node1: starting datanode, logging to...

2017-11-12

686

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 #!/bin/bash #ThenextlinesareforchkconfigonRedHatsystems. #chkconfig:359802 #description:StartsandstopsxxxServer #autor:516249940@qq.com #date:2017-03-06 #ThenextlinesareforchkconfigonSuSEsystems. #/etc/init.d/xxx # ###BEGININITINFO #Provides:xxx #Required-Start:$network$syslog #Required-Stop: #Default-Start:235 #Default-Stop:06 #Short-Description:StartsandstopsxxxServ...

2017-11-12

647

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。