ElasticSearch入门 —— 集群搭建-低调大师

ElasticSearch入门 —— 集群搭建

2017-11-11 578

一、环境介绍与安装准备

1、环境说明

2台虚拟机，OS为ubuntu13.04，ip分别为xxx.xxx.xxx.140和xxx.xxx.xxx.145。

2、安装准备

ElasticSearch（简称ES）由java语言实现，运行环境依赖java。ES 1.x版本，官方推荐至少使用jdk1.6的环境，建议使用oracle java，可以去官网下载，本文使用jdk-7u51-linux-i586.gz。ES可以去官网下载，也可以在这里下载，本文使用elasticsearch-1.0.1.tar.gz。

二、安装

1、安装JAVA

关于java的安装，请参照这里。

2、ES安装

（1）解压elasticsearch-1.0.1.tar.gz，sudo tar -zvxf elasticsearch-1.0.1.tar.gz，在当前路径生成目录：elasticsearch-1.0.1；为该目录做一个软连接ln -s elasticsearch-1.0.1 elasticsearch。完成之后，目录结构如下图：

（2）配置es。这里只做最简单的配置，修改ES_HOME/config/elasticsearch.yml文件，将node.name的值设置为“test-node1”，表示当前这个es服务节点名字为test-node1。

（3）启动ES。进入ES安装目录，执行命令：bin/elasticsearch -d -Xms512m -Xmx512m，然后在浏览器输入http://ip:9200/，查看页面信息，是否正常启动。status=200表示正常启动了，还有一些es的版本信息，name为配置文件中node.name的值。

（4）在另外一台机器上，安装同样的步骤安装ES，因为至少2台服务才算集群嘛！注意，在配置时，将node.name的值设置为test-node2，总之必须和之前配置值不同。

两台es服务同时起来，因为配置文件中均默认cluster.name=elasticsearch，所以这两台机器自动构建成一个集群，集群名字为elasticsearch。

3、elasticsearchservicewrapper安装

这个是对elasticsearch执行命令的包装服务，安装之后，方便elasticsearch的启动，停止等等操作。

（1）下载elasticsearchservicewrapper

git clone https://github.com/elasticsearch/elasticsearch-servicewrapper，然后将目录下的service目录拷贝至ES_HOME/bin目录下。

（2）简单配置jvm的内存

修改ES_HOME/bin/service/elasticsearch.conf，set.default.ES_HEAP_SIZE=1024，该值根据机器的配置可自定义。

（3）安装启动服务

执行命令：ES_HOME/bin/service/elasticsearch install

（4）启动/停止/重启服务

执行命令：ES_HOME/bin/service/elasticsearch start/stop/restart

4、插件安装

集群安装成功之后，需要对集群中的索引数据、运行情况等信息进行查看，索引需要安装一些插件，方面后续工作。工欲善其事必先利其器，下面介绍几个实用的插件：

（1）head

和插件名字一样，首推这个插件。通过head，可以查看集群几乎所有信息，还能进行简单的搜索查询，观察自动恢复的情况等等。

执行下面的命令开始安装：sudo elasticsearch/bin/plugin -install mobz/elasticsearch-head

记得两台机器都安装一下哦。安装完成之后，在浏览器输入：http://ip:9200/_plugin/head/ ，可以查看显示效果。如下图：

cluster health:green (2, 20) : 表示该集群目前处于健康状态，集群包含2台机器，索引总共20个分片。粗线绿框表示主分片，细线绿框为备份分片。

还有很多功能，请读者自己去体验。

（2）bigdesk

bigdesk是集群监控插件，通过该插件可以查看整个集群的资源消耗情况，cpu、内存、http链接等等。

执行命令安装：sudo elasticsearch/bin/plugin -install lukas-vlcek/bigdesk

安装完成之后，在浏览器输入：http://ip:9200/_plugin/bigdesk/#nodes ，显示界面如下：

点击test-node1节点，可以查看单个节点的资源使用情况，包括JVM、Thread Pools、OS、Process、HTTP&Transport、Indice、File system。

ES的插件非常之多，请参考ES插件大全。

本文转自gaofeng36599 51CTO博客，原文链接:http://blog.51cto.com/786678398/1627402

微信关注我们

原文链接：https://yq.aliyun.com/articles/554491

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

filebeat 获取nginx日志发送给ElasticSearch

目的：通过filebeat获取nginx日志，发送给ElasticSearch，filebeat可以解析json格式日志，所以设置nginx日志为json格式。 1、配置nginx配置文件 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 log_formatjsonTest '{"@timestamp":"$time_iso8601",' '"host":"$server_addr",' '"service":"nginxTest",' '"trace":"$upstream_http_ctx_transaction_id",' '"log":"log",' '"clientip":"$remote_addr",' '"remote_user":"$remote_user",' '"request":"$request",' '"http_user_agent":"$http_user_agent",' '"size":$body_bytes_sent,' '"responsetime":$request_t...

2017-11-12

582

ELK日志系统介绍开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co/products 1、Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等 2、Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索） 3、Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志安装环境准备首先需要下载好相关的软件安装包官方网站：https://www.elastic.cohttps://artifacts.elastic.co/downloads/logstash/logstash-5.3.1.tar.gzhttps://artifacts.elastic.co...

2017-11-12

618

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。