AWS ES服务初体验-低调大师

AWS ES服务初体验

2017-10-01 544

1. ES服务能干什么?

Amazon Elasticsearch Service让您可以轻松部署、操作和扩展Elasticsearch，以便进行日志分析、全文检索和应用程序监控等工作。Amazon Elasticsearch Service是一项完全托管的服务，集成了Kibana、Logstash以及Amazon Kinesis Firehose、AWS Lambda和Amazon CloudWatch等AWS服务，可以快速将原始数据快速转变为可付诸实施的分析结果。

2. Amazon ES包括下列功能：

多种CPU、内存和存储容量配置，也称为实例类型
使用Amazon EBS卷作为数据存储卷
资源具有多个地理位置，也称为区域和可用区
在同一区域的两个可用区之间进行群集节点分配，也称为区域感知
通过AWS Identity and Access Management (IAM)访问控制确保安全性
使用专用主节点提高群集稳定性
使用域快照来备份和恢复Amazon ES域并跨可用区复制域
使用Kibana工具实现数据可视化
与Amazon CloudWatch集成，用于监控Amazon ES域指标
与AWS CloudTrail集成以审核对Amazon ES域的配置API调用
与Amazon S3、Amazon Kinesis和Amazon DynamoDB集成，将流数据加载到Amazon ES
支持各种插件

3. 商业模式：

按资源使用收费：实例+存储+传输

4. 服务使用初体验：

step 1：设置名字和选择版本

可以看出来，支持ES多版本，包括1.5;2.3;5.1;5.3等多个版本

step 2：设置集群相关参数：

支持实例1~20(提工单可以申请扩展到100)
支持master独立节点
支持区域感知特性(跨AZ高可用)

支持本地存储和EBS，EBS可以选SSD，磁盘等种类。

step 3:设置访问策略

多种访问策略：支持基于资源、基于IP和IAM用户和基于角色的访问策略。可以使用基于资源的IAM访问策略通过选择IP地址或IP地址范围配置对Amazon ES域的匿名访问。

step 4:最后整体check

Step5：集群创建完毕，通过console查看和维护集群

1)查看状态

2)实例修改，删除

5. 简单总结

总的来说，ES服务使用还是比较简单的，AWS的特长还是底层硬件丰富，提供给客户充分选择和定制能力，主要目的提供大数据服务去卖硬件。

本文作者：朱洁

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/229611

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark On HBASE

一、前言 MapReduce早已经对接了HBase，以HBase作为数据源，完成批量数据的读写。如今继MapReduce之后的Spark在大数据领域有着举足轻重的地位，无论跑批，流处理，甚至图计算等都有它的用武之地。Spark对接HBase成为不少用户的需求。二、Spark On HBASE 1.可以解决的问题 Spark和HBASE无缝对接意味着我们不再需要关心安全和RDD与HBase交互的细节。更方便应用Spark带来的批处理，流处理等能力。比如以下常见的应用场景：以HBase作为存储，通过Spark对流式数据处理。以HBase作为存储，完成大规模的图或者DAG的计算。通过Spark对HBase做BulkLoad操作同Spark SQL对HBase数据做交互式分析 2.社区相关的工作目前已经有多种Spark对接HBase的实现，这里我

2017-09-29

655

集群机器意外断电重启，导致hbase 无法正常启动，抛出reflect invocation异常，可能是正在执行的插入或合并等操作进行到一半时中断，导致部分数据文件不完整格式不正确或在hdfs上block块不完整。在网上查了一下相关资料，怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整，故把hbase.hlog.split.skip.errors改成true进行尝试。关于这个参数作用的解释：当服务器奔溃，重启的时候，会有个回放的过程，把/hbase/WAL/下面记录的log都回放一遍，合并到每个region中，回放过程中如果有error发生，这个参数又是false，那么exception就会向外层输出，回放失败。但是很遗憾，将此参数修改后hbase集群仍然无法正常启动。然后就琢磨其他原因，先观察hbase启动时的60010监控页面，发现部分region FAILED_OPEN错误，its007-meta表一共200个region，只启动成功199个。似乎想到了什么，对了，很可能是这个region的数据文件格式不正确，那就先检查一下其在hdfs上的...

2017-10-02

541

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。