ElasticSearch入门 —— 集群搭建-低调大师

ElasticSearch入门 —— 集群搭建

2017-11-11 610

一、环境介绍与安装准备

1、环境说明

2台虚拟机，OS为ubuntu13.04，ip分别为xxx.xxx.xxx.140和xxx.xxx.xxx.145。

2、安装准备

ElasticSearch（简称ES）由java语言实现，运行环境依赖java。ES 1.x版本，官方推荐至少使用jdk1.6的环境，建议使用oracle java，可以去官网下载，本文使用jdk-7u51-linux-i586.gz。ES可以去官网下载，也可以在这里下载，本文使用elasticsearch-1.0.1.tar.gz。

二、安装

1、安装JAVA

关于java的安装，请参照这里。

2、ES安装

（1）解压elasticsearch-1.0.1.tar.gz，sudo tar -zvxf elasticsearch-1.0.1.tar.gz，在当前路径生成目录：elasticsearch-1.0.1；为该目录做一个软连接ln -s elasticsearch-1.0.1 elasticsearch。完成之后，目录结构如下图：

（2）配置es。这里只做最简单的配置，修改ES_HOME/config/elasticsearch.yml文件，将node.name的值设置为“test-node1”，表示当前这个es服务节点名字为test-node1。

（3）启动ES。进入ES安装目录，执行命令：bin/elasticsearch -d -Xms512m -Xmx512m，然后在浏览器输入http://ip:9200/，查看页面信息，是否正常启动。status=200表示正常启动了，还有一些es的版本信息，name为配置文件中node.name的值。

（4）在另外一台机器上，安装同样的步骤安装ES，因为至少2台服务才算集群嘛！注意，在配置时，将node.name的值设置为test-node2，总之必须和之前配置值不同。

两台es服务同时起来，因为配置文件中均默认cluster.name=elasticsearch，所以这两台机器自动构建成一个集群，集群名字为elasticsearch。

3、elasticsearchservicewrapper安装

这个是对elasticsearch执行命令的包装服务，安装之后，方便elasticsearch的启动，停止等等操作。

（1）下载elasticsearchservicewrapper

git clone https://github.com/elasticsearch/elasticsearch-servicewrapper，然后将目录下的service目录拷贝至ES_HOME/bin目录下。

（2）简单配置jvm的内存

修改ES_HOME/bin/service/elasticsearch.conf，set.default.ES_HEAP_SIZE=1024，该值根据机器的配置可自定义。

（3）安装启动服务

执行命令：ES_HOME/bin/service/elasticsearch install

（4）启动/停止/重启服务

执行命令：ES_HOME/bin/service/elasticsearch start/stop/restart

4、插件安装

集群安装成功之后，需要对集群中的索引数据、运行情况等信息进行查看，索引需要安装一些插件，方面后续工作。工欲善其事必先利其器，下面介绍几个实用的插件：

（1）head

和插件名字一样，首推这个插件。通过head，可以查看集群几乎所有信息，还能进行简单的搜索查询，观察自动恢复的情况等等。

执行下面的命令开始安装：sudo elasticsearch/bin/plugin -install mobz/elasticsearch-head

记得两台机器都安装一下哦。安装完成之后，在浏览器输入：http://ip:9200/_plugin/head/ ，可以查看显示效果。如下图：

cluster health:green (2, 20) : 表示该集群目前处于健康状态，集群包含2台机器，索引总共20个分片。粗线绿框表示主分片，细线绿框为备份分片。

还有很多功能，请读者自己去体验。

（2）bigdesk

bigdesk是集群监控插件，通过该插件可以查看整个集群的资源消耗情况，cpu、内存、http链接等等。

执行命令安装：sudo elasticsearch/bin/plugin -install lukas-vlcek/bigdesk

安装完成之后，在浏览器输入：http://ip:9200/_plugin/bigdesk/#nodes ，显示界面如下：

点击test-node1节点，可以查看单个节点的资源使用情况，包括JVM、Thread Pools、OS、Process、HTTP&Transport、Indice、File system。

ES的插件非常之多，请参考ES插件大全。

本文转自gaofeng36599 51CTO博客，原文链接:http://blog.51cto.com/786678398/1627402

微信关注我们

原文链接：https://yq.aliyun.com/articles/554491

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

filebeat 获取nginx日志发送给ElasticSearch

目的：通过filebeat获取nginx日志，发送给ElasticSearch，filebeat可以解析json格式日志，所以设置nginx日志为json格式。 1、配置nginx配置文件 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 log_formatjsonTest '{"@timestamp":"$time_iso8601",' '"host":"$server_addr",' '"service":"nginxTest",' '"trace":"$upstream_http_ctx_transaction_id",' '"log":"log",' '"clientip":"$remote_addr",' '"remote_user":"$remote_user",' '"request":"$request",' '"http_user_agent":"$http_user_agent",' '"size":$body_bytes_sent,' '"responsetime":$request_t...

2017-11-11

626

ELK日志系统介绍开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co/products 1、Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等 2、Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索） 3、Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志安装环境准备首先需要下载好相关的软件安装包官方网站：https://www.elastic.cohttps://artifacts.elastic.co/downloads/logstash/logstash-5.3.1.tar.gzhttps://artifacts.elastic.co...

2017-11-11

648

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。