学习笔记-ELK5安装X-Pack-低调大师

学习笔记-ELK5安装X-Pack

2017-11-13 586

elk5和之前的版本不太一样，他将之前的三方插件集成到了xpack中，想要使用高级功能，必须安装xpack这个插件，但是这个xpack确实让人很头疼，如果配置不正确，es是收不到logstash传来的数据的，更别提Kibana能展示他了，根本就搜不到索引名称。

一、elasticsearch5按这X-Pack的步骤：

1、elasticsearch安装X-Pack：

在每个集群节点的运行ES_HOME里运行bin/elasticsearch-plugin install x-pack，我这里使用的是yum安装，所以ES_HOME是/usr/share/elasticsearch/。

 
         bin
         /elasticsearch-plugin 
         install 
         x-pack

允许X-Pack创建上面的一系列索引。

2、重启elastcsearch服务

 
         systemctl restart elasticsearch

二、Kibana安装X-Pack

1、安装xpack

进入Kibana的安装目录，这里使用的是yum安装，在/usr/share/kibana下面，运行一下命令，在线安装：

 
         cd 
         /usr/share/kibana 
        
         bin
         /kibana-plugin 
         install 
         x-pack 
        
         systemctl restart kibana

2、配置Kibana配置文件

将配置文件中下面两项取消注释：

这一个细节必须注意，重中之重，不然Kibana会连接不上es，密码是默认的Kibana登录密码，后续可以修改。

 
         elasticsearch.username: 
         "elastic" 
        
         elasticsearch.password: 
         "changeme"

3、登录Kibana

在浏览器上访问http://localhost:5601会出现一下页面，但是会出现认证登录。

三、登录认证

官网是这么说的，安装X-Pack后需要认证，而默认帐号:elastic，密码:changeme

四、添加logstash配置文件

1、添加logstash测试文件

在/etc/logstash/conf.d下面写一个测试文件

 
         input{
        
         stdin{} 
        
         }
        
         output{
        
         elasticsearch{ 
        
         hosts => 
         "10.1.12.169:9200" 
        
         index => 
         "test-messages-%{+YYYY.MM.dd}" 
        
         user => 
         'elastic'  
         #需要在添加帐号密码，不然无法将数据传输到elasticsearch上 
        
         password => 
         'changeme' 
        
         } 
        
         }

2、测试文件是否可用

 
         [root@elk conf.d]
         # logstash -f /etc/logstash/conf.d/test.conf -t 
        
         Configuration OK

3、测试输入是否成功

测试成功可以打开文件，输入进行测试了

 
         [root@elk conf.d]
         # logstash -f /etc/logstash/conf.d/test.conf  
        
         [root@elk conf.d]
         # logstash -f /etc/logstash/conf.d/test.conf 
        
         The stdin plugin is now waiting 
         for 
         input: 
        
         hello world

测试中多顶着es、logstash的日志，出了问题知道错在哪！

技术水平有限，先这么着吧。

本文转自 wangpengtai 51CTO博客，原文链接：http://blog.51cto.com/wangpengtai/1910397，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/557564

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hive 读取的Column值为NULL？！

在Hive0.10升级到0.11后我们发现当一个表加字段或者修改字段类型时，新加的分区可以读取到相应字段的值，但是老的分区该字段的值都为NULL（其实数据是在HDFS里的），翻下jira看到Hive在0.11推出一个新feature(HIVE-3833)就是，也就是0.11之前每个分区的schema解析都是按照table来的，而这之后是每个分区的schema都独立的进行解析. 在metastore层面：其实0.10和0.11的schema是一致的：tbls(tbl_id,tbl_name,sd_id),sds(sd_id,cd_id),partitions(tbl_id,sd_id)；这两个版本当table发生schema改变时都会改变其sds对应的cd_id指向新的schema，每次新建partition的cd_id都会继承自table的cd_id，不过2个版本的区别就是0.10在读取partition时仍然是按照table的cd_id对应的columns进行解析，而0.11是按照partition的，因此就导致了我们遇到的问题. 这样解决起来也比较简单：1.在tbls上创建触发器来...

2017-11-14

521

最近项目里为了加快后台系统的搜索速度，决定接入开源的搜索引擎，于是大家都在对比较常用的几个开源做技术调研，比如Lucene+盘龙分词，Solr，还有本篇要介绍的Elasticsearch。话不多提，直接进入主题。一、安装JDK 由于Elasticsearch v5.4.2需要Java 8或者更新版本的java，我们可以去Oracle官网下载，也可以选择使用OpenJDK。设置Java环境变量 JAVA_HOME=C:\Program Files (x86)\Java\jdk1.8.0_131 CLASSPATH=.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar PATH= 原PATH+;%JAVA_HOME%\bin; 验证Java环境是否安装成功，以及环境变量是否设置正确。在cmd窗口执行javac命令，若结果如下图，则说明Java环境已经安装正确。二、安装Elasticsearch 下载。从官网下载Elasticsearch zip4.入2.zip。解压文件。将下载的zip文件解压到C:\elasticsearch\elasticsea...

2017-11-14

616

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。