elk搭建记录-低调大师

elk搭建记录

2017-11-26 613

1.elk介绍

(摘抄至http://www.tuicool.com/articles/YR7RRr)

通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站： https://www.elastic.co/products

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。
Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

如图：Logstash收集AppServer产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据生成图表，再返回给Browser。

2.安装准备

系统版本：centos6.7

ElasticSearch:2.3.4

Logstash:2.3.4

Kibana:4.5.3

Jdk:1.8.0_45

注：由于Logstash的运行依赖于Java环境，而Logstash 1.5以上版本不低于java 1.7，因此推荐使用最新版本的Java。因为我们只需要Java的运行环境，所以可以只安装JRE，不过这里我依然使用JDK，请自行搜索安装。

3.下载：

官方网址：https://www.elastic.co/downloads

 
        cd /usr/local
       
        wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.4/elasticsearch-2.3.4.tar.gz
       
        wget https://download.elastic.co/logstash/logstash/logstash-2.3.4.tar.gz
       
        wget https://download.elastic.co/kibana/kibana/kibana-4.5.3-linux-x64.tar.gz
       
        wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz

4.安装

使用root身份安装

4.1安装jdk

 
        mkdir -p /usr/lib/jvm
       
        tar -xvf  jdk-8u45-linux-x64.tar.gz -C /usr/lib/jvm
       
        # vim /etc/profile 配置系统参数
       
        export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_45
       
        export JRE_HOME=${JAVA_HOME}/jre
       
        export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
       
        export PATH=${JAVA_HOME}/bin:$PATH
       
        update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8.0_45/bin/java 300
       
        update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.8.0_45/bin/javac 300

4.2安装elasticsearch

使用elk账号安装

 
        useradd elk
       
        su -elk
       
        tar -xvf elasticsearch-2.3.4.tar.gz
       
        cd elasticsearch-2.3.4
       
        ./bin/plugin install mobz/elasticsearch-head
       
        [root@test elasticsearch-2.3.4]# ls plugins/
       
        head

编辑es配置文件

 
        [root@test elasticsearch-2.3.4]# pwd
       
        /tools/elk/elasticsearch-2.3.4/elasticsearch-2.3.4
       
        [root@test elasticsearch-2.3.4]# cat config/elasticsearch.yml |grep -Ev "^#"
       
        cluster.name: es_cluster 
       
        node.name: node0 
       
        path.data: /tmp/elasticsearch/data 
       
        path.logs: /tmp/elasticsearch/logs 
       
        network.host: 192.168.175.131 
       
        #本机ip 
       
        http.port: 9200

浏览器访问http://192.168.175.131:9200/

看返回结果，有配置的cluster_name、节点name信息以及安装的软件版本信息，其中安装的head插件，它是一个用浏览器跟ES集群交互的插件，可以查看集群状态、集群的doc内容、执行搜索和普通的Rest请求等。可以使用web界面来操作查看http://192.168.175.131:9200/_plugin/head/，如下图

可以从界面看到，当前的elas集群里面没有index也没有type，所以是空记录。

本文转自 xoyabc 51CTO博客，原文链接：http://blog.51cto.com/xoyabc/1885202，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/498246

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Elasticsearch之源码分析（shard分片规则）

（1）elasticsearch在建立索引时，根据id或(id,类型)进行hash，得到hash值之后再与该索引的分片数量取模，取模的值即为存入的分片编号。源码：org.elasticsearch.cluster.routing.OperationRouting类中的generateShardId方法（2）可以指定把数据存储到某一个分片中，通过routing参数 curl -XPOST '192.168.80.10:9200/zhouls/emp?routing=rout_param' -d '{"name":"zs","age":20}' routing(路由参数) （3）注意：显著提高查询性能，routing，routing，还是 routing 本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6618713.html，如需转载请自行联系原作者

2017-11-27

559

1、介绍 elk是实时日志分析平台，主要是为开发和运维人员提供实时的日志分析，方便人员更好的了解系统状态和代码问题。 2、elk中的e（elasticsearch）: （2.1）先安装依赖包，官方文档说明使用java1.8 yum -y install java-1.8.0-openjdk 安装elasticsearch： tar zvxf elasticsearch-1.7.0.tar.gz mv elasticsearch-1.7.0 /usr/local/elasticsearch vim /usr/local/elasticsearch/config cp elasticsearch.yml elasticsearch.yml.bak vim elasticsearch.yml（修改） 1 2 3 4 5 6 7 8 9 10 11 12 cluster.name:elasticsearch node.name:syk node.master: true node.data: true index.number_of_shards:5 index.number_o...

2017-11-27

676

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。