AWS ES服务初体验-低调大师

AWS ES服务初体验

2017-10-01 598

1. ES服务能干什么?

Amazon Elasticsearch Service让您可以轻松部署、操作和扩展Elasticsearch，以便进行日志分析、全文检索和应用程序监控等工作。Amazon Elasticsearch Service是一项完全托管的服务，集成了Kibana、Logstash以及Amazon Kinesis Firehose、AWS Lambda和Amazon CloudWatch等AWS服务，可以快速将原始数据快速转变为可付诸实施的分析结果。

2. Amazon ES包括下列功能：

多种CPU、内存和存储容量配置，也称为实例类型
使用Amazon EBS卷作为数据存储卷
资源具有多个地理位置，也称为区域和可用区
在同一区域的两个可用区之间进行群集节点分配，也称为区域感知
通过AWS Identity and Access Management (IAM)访问控制确保安全性
使用专用主节点提高群集稳定性
使用域快照来备份和恢复Amazon ES域并跨可用区复制域
使用Kibana工具实现数据可视化
与Amazon CloudWatch集成，用于监控Amazon ES域指标
与AWS CloudTrail集成以审核对Amazon ES域的配置API调用
与Amazon S3、Amazon Kinesis和Amazon DynamoDB集成，将流数据加载到Amazon ES
支持各种插件

3. 商业模式：

按资源使用收费：实例+存储+传输

4. 服务使用初体验：

step 1：设置名字和选择版本

可以看出来，支持ES多版本，包括1.5;2.3;5.1;5.3等多个版本

step 2：设置集群相关参数：

支持实例1~20(提工单可以申请扩展到100)
支持master独立节点
支持区域感知特性(跨AZ高可用)

支持本地存储和EBS，EBS可以选SSD，磁盘等种类。

step 3:设置访问策略

多种访问策略：支持基于资源、基于IP和IAM用户和基于角色的访问策略。可以使用基于资源的IAM访问策略通过选择IP地址或IP地址范围配置对Amazon ES域的匿名访问。

step 4:最后整体check

Step5：集群创建完毕，通过console查看和维护集群

1)查看状态

2)实例修改，删除

5. 简单总结

总的来说，ES服务使用还是比较简单的，AWS的特长还是底层硬件丰富，提供给客户充分选择和定制能力，主要目的提供大数据服务去卖硬件。

本文作者：朱洁

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/229611

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark On HBASE

一、前言 MapReduce早已经对接了HBase，以HBase作为数据源，完成批量数据的读写。如今继MapReduce之后的Spark在大数据领域有着举足轻重的地位，无论跑批，流处理，甚至图计算等都有它的用武之地。Spark对接HBase成为不少用户的需求。二、Spark On HBASE 1.可以解决的问题 Spark和HBASE无缝对接意味着我们不再需要关心安全和RDD与HBase交互的细节。更方便应用Spark带来的批处理，流处理等能力。比如以下常见的应用场景：以HBase作为存储，通过Spark对流式数据处理。以HBase作为存储，完成大规模的图或者DAG的计算。通过Spark对HBase做BulkLoad操作同Spark SQL对HBase数据做交互式分析 2.社区相关的工作目前已经有多种Spark对接HBase的实现，这里我

2017-09-28

702

集群机器意外断电重启，导致hbase 无法正常启动，抛出reflect invocation异常，可能是正在执行的插入或合并等操作进行到一半时中断，导致部分数据文件不完整格式不正确或在hdfs上block块不完整。在网上查了一下相关资料，怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整，故把hbase.hlog.split.skip.errors改成true进行尝试。关于这个参数作用的解释：当服务器奔溃，重启的时候，会有个回放的过程，把/hbase/WAL/下面记录的log都回放一遍，合并到每个region中，回放过程中如果有error发生，这个参数又是false，那么exception就会向外层输出，回放失败。但是很遗憾，将此参数修改后hbase集群仍然无法正常启动。然后就琢磨其他原因，先观察hbase启动时的60010监控页面，发现部分region FAILED_OPEN错误，its007-meta表一共200个region，只启动成功199个。似乎想到了什么，对了，很可能是这个region的数据文件格式不正确，那就先检查一下其在hdfs上的...

2017-10-01

590

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。