EMR弹性低成本离线大数据分析
场景描述
布式计算框架系统分别为Hadoop、Spark和Storm, Hadoop可以运用在很多商业应用系统,可以轻松集成结构化、半结构化以及非结构化数据集,Spark采用了内存计算,允许数据载入内存作反复查询,融合数据仓库、流处理和图形计算等多种计算范式,Spark能够与Hadoop 很好地结合,Storm用于处理高速、大型数据流的分布式实时计算系用,为Hadoop添加可靠的实时数据处理能力。海量离线数据分析可以应用于多种商业系统环境,例如电商海量日志分析、用户行为画像分析;科研行业例如海量离线计算分析和数据查询;游戏行业的游戏日志分析、用户行为分析。
方案优势
- 高性能、低成本
- 快速部署
- 高弹性
- 多种计算模式
- 无缝对接开源生态
- 一站式管理平台
产品列表
- E-MapReduce EMR
- 日志服务 SLS
- 对象存储 OSS
- 弹性伸缩服务 ESS
- 抢占式 ECS 实例
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
EDAS 专有网络ECS集群应用数据采集实践
对于云上的EDAS用户来说,后端监控日志及调用链信息对定位和应用诊断及其重要,EDAS目前主要分ECS集群和K8S集群,K8S集群部署应用通过ARMS收集应用日志。ECS集群因为大部分ECS都是专有网络,因vpc天然网络环境隔离,所以EDAS针对专业网络ECS集群提供了一个特殊的解决方案:日志采集器(鹊桥)。本文将就日志采集器进行介绍和技术支持遇到的经典案例进行分享 日志采集器示意图 日志采集器分为 Server 端和 Client 端。SProxy 是安装在您应用实例上的日志采集器 Client。Cproxy是安装在EDAS后端集群。通过cproxy->sproxy->hblog 获取日志 日志采集器排查 现象:在 EDAS 的服务中,如果获取不到数据,所有和视图以及调用链相关的服务均变得不可用;这部分功能包括监控(基础监控、服务监控),报警,调用链重要排查方向:1.8002和8182重要端口,安装日志采集服务器执行命令'netstat -ant|grep 8002'检测端口(8002)是否建立成功。应用服务器执行命令'netstat -ant|grep 8182'查看 ...
- 下一篇
基于 ECI 的 ACK 集群高弹性架构
场景描述 用户原有的业务部署在阿里云ACK集群上,在ACK集群上运行常规业务,当业务突发波动(如秒杀活动)时,让突增的业务运行在ECI实例上,随着业务波动动态创建/释放ECI实例,达到成本的最优控制。同时业务方无需管理节点和容量规划,全自动实现容器“无限” 弹性扩容。 解决问题 混合部署,平时业务使用ECS承载,节省成本;弹性业务使用ECI承载,无需执行弹性部分容量规划 与真实节点中的Pod互联互通 弹性部分按使用量付费 秒级弹性扩容 使用预留实例劵降低使用成本 产品列表 容器服务 ACK 弹性容器实例 ECI 专有网络 VPC 文件存储 NAS RDS 数据库 云数据库 Redis 性能测试 PTS 直达最佳实践 》》
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8安装Docker,最新的服务器搭配容器使用
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS7安装Docker,走上虚拟化容器引擎之路