AWS ES服务初体验-低调大师

AWS ES服务初体验

2017-10-01 518 89

1. ES服务能干什么?

Amazon Elasticsearch Service让您可以轻松部署、操作和扩展Elasticsearch，以便进行日志分析、全文检索和应用程序监控等工作。Amazon Elasticsearch Service是一项完全托管的服务，集成了Kibana、Logstash以及Amazon Kinesis Firehose、AWS Lambda和Amazon CloudWatch等AWS服务，可以快速将原始数据快速转变为可付诸实施的分析结果。

2. Amazon ES包括下列功能：

多种CPU、内存和存储容量配置，也称为实例类型
使用Amazon EBS卷作为数据存储卷
资源具有多个地理位置，也称为区域和可用区
在同一区域的两个可用区之间进行群集节点分配，也称为区域感知
通过AWS Identity and Access Management (IAM)访问控制确保安全性
使用专用主节点提高群集稳定性
使用域快照来备份和恢复Amazon ES域并跨可用区复制域
使用Kibana工具实现数据可视化
与Amazon CloudWatch集成，用于监控Amazon ES域指标
与AWS CloudTrail集成以审核对Amazon ES域的配置API调用
与Amazon S3、Amazon Kinesis和Amazon DynamoDB集成，将流数据加载到Amazon ES
支持各种插件

3. 商业模式：

按资源使用收费：实例+存储+传输

4. 服务使用初体验：

step 1：设置名字和选择版本

可以看出来，支持ES多版本，包括1.5;2.3;5.1;5.3等多个版本

step 2：设置集群相关参数：

支持实例1~20(提工单可以申请扩展到100)
支持master独立节点
支持区域感知特性(跨AZ高可用)

支持本地存储和EBS，EBS可以选SSD，磁盘等种类。

step 3:设置访问策略

多种访问策略：支持基于资源、基于IP和IAM用户和基于角色的访问策略。可以使用基于资源的IAM访问策略通过选择IP地址或IP地址范围配置对Amazon ES域的匿名访问。

step 4:最后整体check

Step5：集群创建完毕，通过console查看和维护集群

1)查看状态

2)实例修改，删除

5. 简单总结

总的来说，ES服务使用还是比较简单的，AWS的特长还是底层硬件丰富，提供给客户充分选择和定制能力，主要目的提供大数据服务去卖硬件。

本文作者：朱洁

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/229611

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark On HBASE

一、前言 MapReduce早已经对接了HBase，以HBase作为数据源，完成批量数据的读写。如今继MapReduce之后的Spark在大数据领域有着举足轻重的地位，无论跑批，流处理，甚至图计算等都有它的用武之地。Spark对接HBase成为不少用户的需求。二、Spark On HBASE 1.可以解决的问题 Spark和HBASE无缝对接意味着我们不再需要关心安全和RDD与HBase交互的细节。更方便应用Spark带来的批处理，流处理等能力。比如以下常见的应用场景：以HBase作为存储，通过Spark对流式数据处理。以HBase作为存储，完成大规模的图或者DAG的计算。通过Spark对HBase做BulkLoad操作同Spark SQL对HBase数据做交互式分析 2.社区相关的工作目前已经有多种Spark对接HBase的实现，这里我

641

hadoop hbase集群断电数据块被破坏无法启动

集群机器意外断电重启，导致hbase 无法正常启动，抛出reflect invocation异常，可能是正在执行的插入或合并等操作进行到一半时中断，导致部分数据文件不完整格式不正确或在hdfs上block块不完整。在网上查了一下相关资料，怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整，故把hbase.hlog.split.skip.errors改成true进行尝试。关于这个参数作用的解释：当服务器奔溃，重启的时候，会有个回放的过程，把/hbase/WAL/下面记录的log都回放一遍，合并到每个region中，回放过程中如果有error发生，这个参数又是false，那么exception就会向外层输出，回放失败。但是很遗憾，将此参数修改后hbase集群仍然无法正常启动。然后就琢磨其他原因，先观察hbase启动时的60010监控页面，发现部分region FAILED_OPEN错误，its007-meta表一共200个region，只启动成功199个。似乎想到了什么，对了，很可能是这个region的数据文件格式不正确，那就先检查一下其在hdfs上的...

525

资源下载

更多资源

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。