一、简介 

    Elasticsearch是个基于Lucene实现的开源、分布式、restful的全文本搜索引擎，此外他还是一个分布式实时文档存储，其中每个文档的每个filed均是可被索引的数据，且可被搜索，也是一个带实时分析功能的搜索引擎，能够扩展至数以百计的节点实时处理PB级别的数据。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。

    通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。因此使用一款能够自动实时收集日志的工具则完美的解决我们的问题，ELK官网提供的开源解决方案有elasticsearch、logstash、kiabana。

    ELK原理架构图：

    说明：在此架构图中logstash agent负责将所有的应用服务日志收集并汇报给elasticsearch cluster集群中，而kibana则从ES集群中抽取数据生成图表，再返还给系统管理员。  

    二、ELK平台搭建

    ①ES平台是依赖于jdk的环境基础上进行的，所以在安装elasticsearch之前需安装jdk开发环境。   

    ②各个节点之间需做到时间同步，可使用时间服务器进行同步。

    ③各个节点之间能够通过主机名见名知意，方便自己的操作。  

安装配置如下：

#本文重要通过rpm包安装其环境极其软件，可自行到相依的官网下载rpm或源码包进行编译安装。

    ES集群组件：

    Cluster：集群的标识为集群名称，默认为elasticsearch，节点就是靠此名字来加入到哪个集群中，一个节点只能属于一个集群。

    Node：运行单个ES实例的主机即为节点，用于存储数据，参与集群索引及搜索操作，节点的表示依靠节点名称。

    Shard：将索引切割成为物理存储组件，每个shard都是一个独立且完整的索引，创建索引时，ES默认将其分隔为5个shard，用户也可以按需自行定义，但一旦创建则不可修改，同时会产生一个replica副本。

    ES Cluster工作流程： 

    启动服务时，elasticsearch会监听在9300/tcp端口上，通过多播的方式查找同一类的集群的其他节点，并与之建立通信。集群中的所有节点会选举一个主节点负责管理整个集群状态，以及在集群范围内决定shard的分布方式，站在用户的角度而言，每个节点均可接受并响应用户的各类请求。   

    三、集群各管理及其操作

    常用的四类API:

    ①检查集群、节点、索引等健康状态与否，以及获取其相关的状态

    ②管理集群、节点、索引及元数据

    ③执行CRUD操作

    ④执行高级操作，例如paping,filetering等

    使用curl -X命令查看其节点状态信息

    插件安装的两种方式：

 给集群节点安装附加插件，可通插件扩展ES的功能，添加自定义的映射类型，自定义分析器，本地脚本，自定义发现方式。常用的插件有bigdesk,marvel,head,kopf等。

    ①直接解压插件的压缩包之或是插件放置于/usr/share/elasticsearch/plugins目录下即可

    ②使用全路径二进制脚本进行安装，例如：/usr/share/elasticsearch/bin/plugin -i bigdesk -u ftp://uri/bigdesk.lastest.zip ，安装完成之后可通过浏览器访问。访问的URL：http://uri:9200/_plugin/plugin_name

    插件实例图一：

   插件实例图二：

CRUD操作的相关API:增、删、改、查

1、创建文档：向索引中插入数据时将会自动创建索引

2、获取文档：查询插入的内容

3、更新文档：PUT方法会直接覆盖至原有的文档信息，想要局部的更新使用_update

4、删除文档及其索引

5、查看当前索引

项目小实战：

IP地址、软件规划： 

    各个节点配置如下：

实验图：

    上诉为不可用状态，原因是logstash未连接至elasticsearch，elasticsearch未能从logstash中取得数据，如配置成功，将会出现create按钮，接下来将是一些图表上的操作就不过多解释和介绍。 

本文转自chengong1013 51CTO博客，原文链接：http://blog.51cto.com/purify/1880645，如需转载请自行联系原作者