elk搭建完整搭建【篇1】-低调大师

elk搭建完整搭建【篇1】

2017-11-20 635

【参考】

官网:

https://www.elastic.co/downloads

参考:

http://517sou.net/archives/centos%E4%B8%8B%E4%BD%BF%E7%94%A8elk%E5%A5%97%E4%BB%B6%E6%90%AD%E5%BB%BA%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90%E5%92%8C%E7%9B%91%E6%8E%A7%E5%B9%B3%E5%8F%B0/

http://my.oschina.net/itblog/blog/547250

http://baidu.blog.51cto.com/71938/1676798

【ELK组成】

Elasticsearch：

Search and analyze data in real time.

Logstash：

Collect, enrich, and transport data.

Kibana：

Explore and visualize your data.

注意:三个组建缩写ELK

【安装系统环境和软件包】

系統信息:

[root@log_server src]# du -sh elasticsearch-2.2.1.tar.gz logstash-all-plugins-2.2.0.tar.gz kibana-4.4.2-linux-x64.tar.gz

29M elasticsearch-2.2.1.tar.gz

72M logstash-2.2.2.tar.gz

32M kibana-4.4.2-linux-x64.tar.gz

可以检查的校验码与官网对比是否包已经下载完整

[root@log_server src]# sha1sum kibana-4.4.2-linux-x64.tar.gz

6251dbab12722ea1a036d8113963183f077f9fa7 kibana-4.4.2-linux-x64.tar.gz

[root@log_server src]# cat /etc/redhat-release ; uname -m

CentOS release 6.4 (Final)

x86_64

关闭防火墙

[root@log_server src]# /etc/init.d/iptables status

iptables: Firewall is not running.

[root@log_server src]# getenforce

Disabled

最大文件描述符(默人用户级别的1024太小咯要求是65536以上)

[root@master ~]# ulimit -n

102400

修改方式:

打开文件增加两行 /etc/security/limits.conf

* soft nofile 102400

* hard nofile 102400

查看 ulimit -n

[root@log_server src]# java -version

java version "1.7.0_99"

OpenJDK Runtime Environment (rhel-2.6.5.0.el6_7-x86_64 u99-b00)

OpenJDK 64-Bit Server VM (build 24.95-b01, mixed mode)

注意：jdk可自行网上搜索安装方法

注：由于Logstash的运行依赖于Java环境，而Logstash 1.5以上版本不低于java 1.7，因此推荐使用最新版本的Java。因为我们只需要Java的运行环境，所以可以只安装JRE，不过这里我依然使用JDK，请自行搜索安装。

（推荐yum安装yum install -y java-1.7.0-openjdk）

yum install -y java-1.8.0-openjdk.x86_64 (推荐用1.8 否则会有警告)

!!! Please upgrade your java version, the current version '1.7.0_09-icedtea-mockbuild_2013_01_16_18_52-b00' may cause problems. We recommend a minimum version of 1.7.0_51

这是版本建议(推荐1.8)

【下载来自官网源和软件安装介绍】

系统环境和版本信息:本文把ELK套件部署在一台CentOS单机上。

具体的版本要求如下：

 
        wget https:
        //download
        .elasticsearch.org
        /elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2
        .2.1
        /elasticsearch-2
        .2.1.
        tar
        .gz

 
        wget https:
        //download
        .elastic.co
        /logstash/logstash/logstash-2
        .2.2.
        tar
        .gz

 
        wget https:
        //download
        .elastic.co
        /kibana/kibana/kibana-4
        .4.2-linux-x64.
        tar
        .gz

【安装elasticsearch】

解压、软连接、cd到目录下

 
        tar 
        xvf elasticsearch-2.2.1.
        tar
        .gz -C 
        /usr/local/ 
       
        ln 
        -s 
        /usr/local/elasticsearch-2
        .2.1/ 
        /usr/local/elasticsearch 
       
        cd 
        /usr/local/elasticsearc

安装这个重要的插件:

 
        [root@master elasticsearc]
        # ./bin/plugin install  mobz/elasticsearch-head

-> Installing mobz/elasticsearch-head...

Plugins directory [/usr/local/elasticsearc/plugins] does not exist. Creating...

Trying https://github.com/mobz/elasticsearch-head/archive/master.zip ...

Downloading .................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................DONE

Verifying https://github.com/mobz/elasticsearch-head/archive/master.zip checksums if available ...

NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify)

Installed head into /usr/local/elasticsearc/plugins/head

创建用户和目录(因为elasticsearch 2.0.0 以上版本不能用root用户运行)

 
        [root@master elasticsearc]
        # groupadd -g 1000  elasticsearch   
       
        [root@master elasticsearc]
        # useradd -g 1000 -u 1000 elasticsearch                            
       
        [root@master elasticsearc]
        # sudo -u elasticsearch mkdir /tmp/elasticsearch 
       
        [root@master elasticsearc]
        # ls /tmp/elasticsearch 
       
        [root@master elasticsearc]
        # sudo -u elasticsearch mkdir /tmp/elasticsearch/{data,logs}

mkdir /usr/local/elasticsearch/config/scripts

编辑配置文件vim config/elasticsearch.yml 加如以下四行(注意冒号后面有空格):

path.data: /tmp/elasticsearch/data

path.logs: /tmp/elasticsearch/logs

network.host: 192.168.100.10

network.port: 9200

启动配置默认，启动elasticsearch

 
        sudo 
        -u elastsearch 
        /usr/local/elasticsearch/bin/elasticsearch

注意:如果正式应用需要在后台运行

 
        sudo 
        -u elastsearch 
        /usr/local/elasticsearch/bin/elasticsearch 
        -d

查看进程和端口

[root@master ~]# ps -ef | grep java

1000 9477 9338 2 21:02 pts/4 00:00:07 /usr/bin/java -Xms256m -Xmx1g -Djava.awt.headless=true -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError -XX:+DisableExplicitGC -Dfile.encoding=UTF-8 -Djna.nosys=true -Des.path.home=/usr/local/elasticsearch -cp /usr/local/elasticsearch/lib/elasticsearch-2.2.1.jar:/usr/local/elasticsearch/lib/* org.elasticsearch.bootstrap.Elasticsearch start

root 9620 9576 0 21:07 pts/0 00:00:00 grep --color=auto java

[root@master ~]# netstat -tulnp |grep java

tcp 0 0 ::ffff:192.168.100.10:9200 :::* LISTEN 9477/java

tcp 0 0 ::ffff:192.168.100.10:9300 :::* LISTEN 9477/java

注意:

可以看到，它跟其他的节点的传输端口为9300，接受HTTP请求的端口为9200。

# curl 192.168.100.10:9200

{

"name" : "Wilson Fisk",

"cluster_name" : "elasticsearch",

"version" : {

"number" : "2.2.1",

"build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",

"build_timestamp" : "2016-03-09T09:38:54Z",

"build_snapshot" : false,

"lucene_version" : "5.4.1"

},

"tagline" : "You Know, for Search"

}

返回展示了配置的cluster_name和name，以及安装的ES的版本等信息。

刚刚安装的head插件，它是一个用浏览器跟ES集群交互的插件，可以查看集群状态、集群的doc内容、执行搜索和普通的Rest请求等。现在也可以使用它打开http://192.168.100.10:9200/_plugin/head/页面来查看ES集群状态：

上面的功能还是不错的！

【安装Logstash---数据日志存储和传输】

Logstash的功能如下：

其实它就是一个收集器而已，收集(input)和传输(output)，我们需要为它指定Input和Output（当然Input和Output可以为多个）。可以指定input的日志和output到elasticsearch中

解压、软连接

 
        tar 
        xvf logstash-2.2.2.
        tar
        .gz -C 
        /usr/local/ 
       
        ln 
        -s 
        /usr/local/logstash-2
        .2.2/ 
        /usr/local/logstash

测试logstash

(1) 屏幕输入输出方式测试

/usr/local/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'

我们可以看到，我们输入什么内容logstash按照某种格式输出，其中-e参数参数允许Logstash直接通过命令行接受设置。这点尤其快速的帮助我们反复的测试配置是否正确而不用写配置文件。使用CTRL-C命令可以退出之前运行的Logstash。

使用-e参数在命令行中指定配置是很常用的方式

不过如果需要配置更多设置则需要很长的内容。这种情况，我们首先创建一个简单的配置文件，并且指定logstash使用这个配置文件。例如：在logstash安装目录下创建

配置logstash

 
        创建配置文件目录：
       
        mkdir 
        -p 
        /usr/local/logstash/etc 
       
        vim 
        /usr/local/logstash/etc/hello_search
        .conf 
       
        输入下面：

# cat /usr/local/logstash/etc/hello_search.conf

input {

stdin {

type => "human"

}

output {

stdout {

codec => rubydebug

}

elasticsearch {

hosts => "192.168.100.10:9200"

}

启动： /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/hello_search.conf

(以频幕上输入的方式输入，以rubydebug格式输出到屏幕，并且传递到elasticsearch)

测试logstash日志是否传输到了elasticsearch

通过以下接口:

curl 'http://192.168.100.10:9200/_search?pretty'

表明已经接收到了日志

至此，你已经成功利用Elasticsearch和Logstash来收集日志数据了。

【安装kibana---展示数据】

注：现在kibanna可以自带了web服务，bin/kibana就可以直接启动了，建议不用nginx进行配合启动了。

使用自带的web

5.1 安装Kibana

下载kibana后，解压到对应的目录就完成kibana的安装

解压、软连接

 
        tar 
        -xzvf kibana-4.4.2-linux-x64.
        tar
        .gz -C 
        /usr/local/ 
       
        ln 
        -s 
        /usr/local/kibana-4
        .4.2-linux-x64/ 
        /usr/local/kibana

启动kibanna

 
        /usr/local/kibana-4
        .4.2-linux-x64
        /bin/kibana

或者

 
        /usr/local/kibana/bin/kibana

此时是没有连接上elasticsearch

配置kibanna

vim /usr/local/kibana/config/kibana.yml

修改

# elasticsearch.url: "http://localhost:9200"

elasticsearch.url: "http://192.168.100.10:9200"

重启

/usr/local/kibana/bin/kibana

web访问:

监听了5601作为web端口

使用http://kibanaServerIP：5601访问Kibana，登录后，首先，配置一个索引，默认，Kibana的数据被指向Elasticsearch，使用默认的logstash-*的索引名称，并且是基于时间的，点击“Create”即可。

In order to use Kibana you must configure at least one index pattern. Index patterns are used to identify the Elasticsearch index to run search and analytics against. They are also used to configure fields.

为了后续使用Kibana，需要配置至少一个Index名字或者Pattern，它用于在分析时确定ES中的Index

点击“Discover”，可以搜索和浏览Elasticsearch中的数据，默认搜索的是最近15分钟的数据。可以自定义选择时间。

到此，说明你的ELK平台安装部署完成。

补充:

[配置logstash作为Indexer]

将logstash配置为索引器，并将logstash的日志数据存储到Elasticsearch，本范例主要是索引本地系统日志

cat /usr/local/logstash/etc/logstash-indexer.conf

input {

file {

type =>"syslog"

path => ["/var/log/messages", "/var/log/secure" ]

}

syslog {

type =>"syslog"

port =>"5544"

}

output {

stdout { codec=> rubydebug }

elasticsearch {hosts => "192.168.100.10:9200" }

}

执行:

/usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash-indexer.conf

执行:

echo "谷歌alphago和李世石围棋大战" >> /var/log/messages

刷新kibana

每个收集日志的启动，都是一个独立的进程

本文转自残剑博客51CTO博客，原文链接http://blog.51cto.com/cuidehua/1769525如需转载请自行联系原作者

cuizhiliang

微信关注我们

原文链接：https://yq.aliyun.com/articles/533820

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

elk入门概念详解

开始第一步我们现在开始进行一个简单教程，它涵盖了一些基本的概念介绍，比如索引(indexing)、搜索(search)以及聚合(aggregations)。通过这个教程，我们可以让你对Elasticsearch能做的事以及其易用程度有一个大致的感觉。我们接下来将陆续介绍一些术语和基本的概念，但就算你没有马上完全理解也没有关系。我们将在本书的各个章节中更加深入的探讨这些内容。所以，坐下来，开始以旋风般的速度来感受Elasticsearch的能力吧！让我们建立一个员工目录假设我们刚好在Megacorp工作，这时人力资源部门出于某种目的需要让我们创建一个员工目录，这个目录用于促进人文关怀和用于实时协同工作，所以它有以下不同的需求：数据能够包含多个值的标签、数字和纯文本。检索任何员工的所有信息。支持结构化搜索，例如查找30岁以上的员工。支持简单的全文搜索和更复杂的短语(phrase)搜索高亮搜索结果中的关键字能够利用图表管理分析这些数据索引员工文档我们首先要做的是存储员工数据，每个文档代表一个员工。在Elasticsearch中存储数据的行为就叫做索引(indexin...

2017-11-21

577

算法说明协同过滤（Collaborative Filtering，简称CF，WIKI上的定义是：简单来说是利用某个兴趣相投、拥有共同经验之群体的喜好来推荐感兴趣的资讯给使用者，个人透过合作的机制给予资讯相当程度的回应（如评分）并记录下来以达到过滤的目的，进而帮助别人筛选资讯，回应不一定局限于特别感兴趣的，特别不感兴趣资讯的纪录也相当重要。协同过滤常被应用于推荐系统。这些技术旨在补充用户—商品关联矩阵中所缺失的部分。 MLlib当前支持基于模型的协同过滤，其中用户和商品通过一小组隐性因子进行表达，并且这些因子也用于预测缺失的元素。MLLib使用交替最小二乘法（ALS）来学习这些隐性因子。用户对物品或者信息的偏好，根据应用本身的不同，可能包括用户对物品的评分、用户查看物品的记录、用户的购买记录等。其实这些用户的偏好信息可以分为两类：显式的用户反馈：这类是用户在网站上自然浏览或者使用网站以外，显式地提供反馈信息，例如用户对物品的评分或者对物品的评论。隐式的用户反馈：这类是用户在使用网站是产生的数据，隐式地反映了用户对物品的喜好，例如用户购买了某物品，用户查看了某物品的信息，等等。...

2017-11-21

517

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。