学习笔记-安装ELK5-低调大师

学习笔记-安装ELK5

2017-11-13 527

ELK日志平台是一个完整的日志分析系统，有三个开源工具构建组成，分别是：Elasticsearch、Logstash和Kibana。Elasticsearch用于数据分析和深度搜索；Logstash作用是从其他服务器上传输和转发日志，对其集中管理，进行分析；Kibana则是提供了强大的UI展示，将数据可视化。

安装ELK日志平台

ELK基础环境需要java环境，官网要求5.x版本要大于java8。而且安装方式多样化，支持zip、tar.gz、rpm包、deb包、window环境还有docker环境。根据自己喜好选择吧。

我选择的是yum安装，简单方便，系统要求的话没有辣么严格，官网说yum安装方式不再支持centos5.x系列了，非要用centos5.x就去使用tar.gz包吧，官网有具体方法，不再复述。yum安装方式centos6.x和centos7.x都可以，但是我推荐用centos7.x安装，不知道为啥，感觉centos7.x支持更好，centos6.x装完经常会出问题。

还有一点需要说下就是，ELK各个组件版本要一致，官网要求的！

在一个就是安装顺序，为的是确保每个组件相互调用时都能正常运行：

1、Elasticsearch

X-Pack for Elasticsearch

Kibana

X-Pack for Kibana

LogstashBeatsElasticsearch Hadoop

安装Elasticsearch

1、导入Elasticsearch安装包PGP Key

 
         rpm --
         import 
        
         https:
         //artifacts
         .elastic.co
         /GPG-KEY-elasticsearch

2、创建yum源

 
         [root@localhost ~]
         # cat >> /etc/yum.repos.d/elasticsearch.repo <<EOF 
        
         > [elasticsearch-5.x]
        
         > name=Elasticsearch repository 
         for 
         5.x packages 
        
         > baseurl=https:
         //artifacts
         .elastic.co
         /packages/5
         .x
         /yum 
        
         > gpgcheck=1
        
         > gpgkey=https:
         //artifacts
         .elastic.co
         /GPG-KEY-elasticsearch 
        
         > enabled=1
        
         > autorefresh=1
        
         > 
         type
         =rpm-md 
        
         > EOF

3、安装、启动Elasticsearch进程并开机启动

 
         [wangpeng@localhost ~]$ 
         sudo 
         yum 
         install 
         elasticsearch 
        
         [wangpeng@localhost ~]$ 
         sudo 
         /bin/systemctl 
         daemon-reload 
        
         [wangpeng@localhost ~]$ 
         sudo 
         /bin/systemctl 
         enable 
         elasticsearch.service 
        
         [wangpeng@localhost ~]$ 
         sudo 
         systemctl start elasticsearch.service

4、检查Elasticsearch是否已经启动

查看9200、9300是否已经启动

 
         [wangpeng@localhost ~]$ curl http:
         //localhost
         :9200 
        
         {
        
         "name" 
         : 
         "F5Mw8Pp"
         , 
        
         "cluster_name" 
         : 
         "elasticsearch"
         , 
        
         "cluster_uuid" 
         : 
         "zVEeXtPNTaeH-TKah7Buzw"
         , 
        
         "version" 
         : { 
        
         "number" 
         : 
         "5.4.0"
         , 
        
         "build_hash" 
         : 
         "780f8c4"
         , 
        
         "build_date" 
         : 
         "2017-04-28T17:43:27.229Z"
         , 
        
         "build_snapshot" 
         : 
         false
         , 
        
         "lucene_version" 
         : 
         "6.5.0" 
        
         }, 
        
         "tagline" 
         : 
         "You Know, for Search" 
        
         }

5、配置Elasticsearch

rpm包配置文件在/etc/elasticsearch下面的elasticsearch.yml

 
         vim 
         /etc/elasticsearch/elasticsearch
         .yml 
        
         cluster.name: elasticsearch-
         test 
        
         node.name: node-1
        
         path.data: 
         /var/lib/elasticsearch 
        
         path.logs: 
         /var/log/elasticsearch 
        
         network.host: 0.0.0.0
        
         [wangpeng@localhost ~]$ 
         sudo 
         systemctl restart elasticsearch.service 
        
         [wangpeng@localhost ~]$ curl http:
         //localhost
         :9200 
        
         {
        
         "name" 
         : 
         "node-1"
         , 
        
         "cluster_name" 
         : 
         "elasticsearch-test"
         , 
        
         "cluster_uuid" 
         : 
         "zVEeXtPNTaeH-TKah7Buzw"
         , 
        
         "version" 
         : { 
        
         "number" 
         : 
         "5.4.0"
         , 
        
         "build_hash" 
         : 
         "780f8c4"
         , 
        
         "build_date" 
         : 
         "2017-04-28T17:43:27.229Z"
         , 
        
         "build_snapshot" 
         : 
         false
         , 
        
         "lucene_version" 
         : 
         "6.5.0" 
        
         }, 
        
         "tagline" 
         : 
         "You Know, for Search" 
        
         }

6、将/etc/elasticsearch/配置拷贝到/usr/share/elasticsearch/config下面

 
         [wangpeng@localhost ~]$ 
         sudo 
         mkdir 
         /usr/share/elasticsearch/config 
        
         [wangpeng@localhost ~]$ 
         sudo 
         ln 
         -sf 
         /etc/elasticsearch/
         * 
         /usr/share/elasticsearch/config/ 
        
         [wangpeng@localhost ~]$ 
         sudo 
         chown 
         -R elasticsearch:elasticsearch 
         /usr/share/elasticsearch 
        
         [wangpeng@localhost ~]$ 
         sudo 
         systemctl restart elasticsearch.service

注意：这一点好多人不会注意，因为你不修复也不会启动失败，但是就是写不进数据进去，这个坑好久才发现，看下日志会报错，但是却能启动，我也是服了！~

7、装个head插件

这个插件5.X官网不再支持了，插件命令没有了，因为它有自己x-pack插件了，但是我装了x-pack发现着实让人吐血，有安全认证方面的问题，导致elk各种问题出现，目前还没研究明白，时间不充裕。

这个head插件我是直接抄的网上大神制作，略有改动。

7.1、下载并配置nodejs

由于head插件本质上还是一个nodejs的工程，因此需要安装node，使用npm来安装依赖的包。（npm可以理解为maven）

去官网下载nodejs，https://nodejs.org/en/download/

 
         wget https:
         //nodejs
         .org
         /dist/v8
         .1.1
         /node-v8
         .1.1-linux-x64.
         tar
         .xz 
        
         tar 
         xf node-v8.1.1-linux-x64.
         tar
         .xz 
        
         mv 
         node-v8.1.1-linux-x64 
         /usr/local/node 
        
         chown 
         -R elasticsearch:elasticsearch 
         /usr/local/node 
        
         ln 
         -sf 
         /usr/local/node/bin/node 
         /usr/bin/node 
        
         ln 
         -sf 
         /usr/local/node/bin/npm 
         /usr/bin/npm

7.2、安装grunt

 
         npm 
         install 
         -g grunt-cli 
        
         ln 
         -sf 
         /usr/local/node/bin/grunt 
         /usr/bin/grunt 
         cd 
         /var/lib/elasticsearch

7.3、下载、安装并配置head

 
         yum -y 
         install 
         git 
        
         cd 
         /var/lib/elasticsearch 
        
         git clone git:
         //github
         .com
         /mobz/elasticsearch-head
         .git 
        
         chown 
         -R elasticsearch:elasticsearch elasticsearch-
         head
         / 
        
         cd 
         elasticsearch-
         head
         / 
        
         npm 
         install

7.4、配置head文件

 
         [root@elk-node1 ~]
         # cd /var/lib/elasticsearch/elasticsearch-head/ 
        
         vim Gruntfile.js
        
         connect: {
        
         server: { 
        
         options: { 
        
         port: 9100, 
        
         hostname
         : 
         "0.0.0.0"
         , 
        
         base: 
         '.'
         , 
        
         keepalive: 
         true 
        
         } 
        
         } 
        
         }
        
         [root@elk-node1 elasticsearch-
         head
         ]
         # cd _site/ 
        
         [root@elk-node1 _site]
         # vim app.js

把localhost修改成你es的服务器地址:

 
         this.base_uri = this.config.base_uri || this.prefs.get(
         "app-base_uri"
         ) || 
         "http://10.10.10.10:9200"
         ;

7.5、启动head插件

 
         grunt server &

安装Kibana

1、yum安装Kibana

 
         [wangpeng@localhost ~]$ 
         sudo 
         yum 
         install 
         kibana

rpm包配置文件在/etc/kibana下面的kibana.yml

/etc/kibana/kibana.yml

2、配置Kibana文件

 
         [wangpeng@localhost ~]$ vim 
         /etc/kibana/kibana
         .yml 
        
         server.port: 5601
        
         server.host: 
         "0.0.0.0" 
        
         elasticsearch.url: 
         "http://localhost:9200"

3、启动并设置开机启动

 
         [wangpeng@localhost ~]$ 
         sudo 
         systemctl 
         enable 
         kibana.service 
        
         Created 
         symlink 
         from 
         /etc/systemd/system/multi-user
         .target.wants
         /kibana
         .service to 
         /etc/systemd/system/kibana
         .service 
        
         [wangpeng@localhost ~]$ 
         sudo 
         systemctl start kibana.service

安装Logstash

1、yum安装Logstash

 
         [wangpeng@localhost ~]$ 
         sudo 
         yum -y 
         install 
         logstash 
        
         [wangpeng@localhost ~]$ 
         sudo 
         systemctl start logstash.service 
        
         [wangpeng@localhost ~]$ 
         sudo 
         ln 
         -s 
         /usr/share/logstash/bin/logstash 
         /usr/bin/logstash 
        
         [wangpeng@localhost ~]$ 
         sudo 
         -u logstash sh -c 
         'mkdir -pv /usr/share/logstash/config' 
        
         [wangpeng@localhost ~]$ 
         sudo 
         -u logstash sh -c 
         'ln -s /etc/logstash/* /usr/share/logstash/config/'

2、测试Logstash是否能正常运行

 
         [wangpeng@localhost ~]$ 
         sudo 
         logstash -e 
         'input {stdin{}}output { stdout{}}' 
        
         hello world
        
         2017-06-02T07:14:13.130Z localhost hello world
        
         [wangpeng@localhost ~]$ 
         sudo 
         logstash -e 'input {stdin{}}output {  
        
         stdout{codec=>rubydebug}}'
        
         hello world
        
         The stdin plugin is now waiting 
         for 
         input: 
        
         {
        
         "@timestamp" 
         => 2017-06-02T07:17:44.053Z, 
        
         "@version" 
         => 
         "1"
         , 
        
         "host" 
         => 
         "localhost"
         , 
        
         "message" 
         => 
         "hello world" 
        
         }

3、写个测试文件，测试一下es是否能够接受数据

 
         [wangpeng@localhost ~]$ vim 
         /etc/logstash/conf
         .d
         /test
         .conf 
        
         input{
        
         stdin{} 
        
         }
        
         output{
        
         elasticsearch{ 
        
         hosts => 
         "127.0.0.1:9200" 
        
         index => 
         "test-messages-%{+YYYY.MM.dd}" 
        
         } 
        
         }
        
         [wangpeng@localhost ~]$ logstash -f 
         /etc/logstash/conf
         .d
         /test
         .conf -t 
        
         Sending Logstash's logs to 
         /var/log/logstash 
         which 
         is now configured via log4j2.properties 
        
         Configuration OK
        
         [wangpeng@localhost ~]$ logstash -f 
         /etc/logstash/conf
         .d
         /test
         .conf  
        
         Sending Logstash's logs to 
         /var/log/logstash 
         which 
         is now configured via log4j2.properties 
        
         The stdin plugin is now waiting 
         for 
         input: 
        
         hello world
        
         this is 
         test 
         message 
        
         study logstash

4、Kibana里添加该索引（测试），只要es里面能产生索引，Kibana就能加在上去

安装调试先到这里。

本文转自 wangpengtai 51CTO博客，原文链接：http://blog.51cto.com/wangpengtai/1939138，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/557555

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8、0.9和0.10以后版本)（图文详解...

至于为什么，要写这篇博客以及安装Kafka-manager？问题详情无奈于，在kafka里没有一个较好自带的web ui。启动后无法观看，并且不友好。所以，需安装一个第三方的kafka管理工具功能为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具。有如下功能：管理多个kafka集群便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况) 选择你要运行的副本基于当前分区状况进行可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同) 删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true) Topic list会指明哪些t...

2017-11-14

728

在Hive0.10升级到0.11后我们发现当一个表加字段或者修改字段类型时，新加的分区可以读取到相应字段的值，但是老的分区该字段的值都为NULL（其实数据是在HDFS里的），翻下jira看到Hive在0.11推出一个新feature(HIVE-3833)就是，也就是0.11之前每个分区的schema解析都是按照table来的，而这之后是每个分区的schema都独立的进行解析. 在metastore层面：其实0.10和0.11的schema是一致的：tbls(tbl_id,tbl_name,sd_id),sds(sd_id,cd_id),partitions(tbl_id,sd_id)；这两个版本当table发生schema改变时都会改变其sds对应的cd_id指向新的schema，每次新建partition的cd_id都会继承自table的cd_id，不过2个版本的区别就是0.10在读取partition时仍然是按照table的cd_id对应的columns进行解析，而0.11是按照partition的，因此就导致了我们遇到的问题. 这样解决起来也比较简单：1.在tbls上创建触发器来...

2017-11-14

541

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。