elk搭建记录-低调大师

elk搭建记录

2017-11-26 631

1.elk介绍

(摘抄至http://www.tuicool.com/articles/YR7RRr)

通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站： https://www.elastic.co/products

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。
Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

如图：Logstash收集AppServer产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据生成图表，再返回给Browser。

2.安装准备

系统版本：centos6.7

ElasticSearch:2.3.4

Logstash:2.3.4

Kibana:4.5.3

Jdk:1.8.0_45

注：由于Logstash的运行依赖于Java环境，而Logstash 1.5以上版本不低于java 1.7，因此推荐使用最新版本的Java。因为我们只需要Java的运行环境，所以可以只安装JRE，不过这里我依然使用JDK，请自行搜索安装。

3.下载：

官方网址：https://www.elastic.co/downloads

 
        cd /usr/local
       
        wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.4/elasticsearch-2.3.4.tar.gz
       
        wget https://download.elastic.co/logstash/logstash/logstash-2.3.4.tar.gz
       
        wget https://download.elastic.co/kibana/kibana/kibana-4.5.3-linux-x64.tar.gz
       
        wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz

4.安装

使用root身份安装

4.1安装jdk

 
        mkdir -p /usr/lib/jvm
       
        tar -xvf  jdk-8u45-linux-x64.tar.gz -C /usr/lib/jvm
       
        # vim /etc/profile 配置系统参数
       
        export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_45
       
        export JRE_HOME=${JAVA_HOME}/jre
       
        export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
       
        export PATH=${JAVA_HOME}/bin:$PATH
       
        update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8.0_45/bin/java 300
       
        update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.8.0_45/bin/javac 300

4.2安装elasticsearch

使用elk账号安装

 
        useradd elk
       
        su -elk
       
        tar -xvf elasticsearch-2.3.4.tar.gz
       
        cd elasticsearch-2.3.4
       
        ./bin/plugin install mobz/elasticsearch-head
       
        [root@test elasticsearch-2.3.4]# ls plugins/
       
        head

编辑es配置文件

 
        [root@test elasticsearch-2.3.4]# pwd
       
        /tools/elk/elasticsearch-2.3.4/elasticsearch-2.3.4
       
        [root@test elasticsearch-2.3.4]# cat config/elasticsearch.yml |grep -Ev "^#"
       
        cluster.name: es_cluster 
       
        node.name: node0 
       
        path.data: /tmp/elasticsearch/data 
       
        path.logs: /tmp/elasticsearch/logs 
       
        network.host: 192.168.175.131 
       
        #本机ip 
       
        http.port: 9200

浏览器访问http://192.168.175.131:9200/

看返回结果，有配置的cluster_name、节点name信息以及安装的软件版本信息，其中安装的head插件，它是一个用浏览器跟ES集群交互的插件，可以查看集群状态、集群的doc内容、执行搜索和普通的Rest请求等。可以使用web界面来操作查看http://192.168.175.131:9200/_plugin/head/，如下图

可以从界面看到，当前的elas集群里面没有index也没有type，所以是空记录。

本文转自 xoyabc 51CTO博客，原文链接：http://blog.51cto.com/xoyabc/1885202，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/498246

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Elasticsearch之源码分析（shard分片规则）

（1）elasticsearch在建立索引时，根据id或(id,类型)进行hash，得到hash值之后再与该索引的分片数量取模，取模的值即为存入的分片编号。源码：org.elasticsearch.cluster.routing.OperationRouting类中的generateShardId方法（2）可以指定把数据存储到某一个分片中，通过routing参数 curl -XPOST '192.168.80.10:9200/zhouls/emp?routing=rout_param' -d '{"name":"zs","age":20}' routing(路由参数) （3）注意：显著提高查询性能，routing，routing，还是 routing 本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6618713.html，如需转载请自行联系原作者

2017-11-27

573

1、介绍 elk是实时日志分析平台，主要是为开发和运维人员提供实时的日志分析，方便人员更好的了解系统状态和代码问题。 2、elk中的e（elasticsearch）: （2.1）先安装依赖包，官方文档说明使用java1.8 yum -y install java-1.8.0-openjdk 安装elasticsearch： tar zvxf elasticsearch-1.7.0.tar.gz mv elasticsearch-1.7.0 /usr/local/elasticsearch vim /usr/local/elasticsearch/config cp elasticsearch.yml elasticsearch.yml.bak vim elasticsearch.yml（修改） 1 2 3 4 5 6 7 8 9 10 11 12 cluster.name:elasticsearch node.name:syk node.master: true node.data: true index.number_of_shards:5 index.number_o...

2017-11-27

702

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。