云上Hadoop之优势
云上Hadoop的优势
如果对E-Mapreduce有兴趣,可以访问E-Mapreduce培训系列之基本介绍 这里主要是围绕E-Mapreduce这款云产品展开的。
易用
主要体现在集群的创建、销毁、扩容、缩容等方面,目前一个集群基本4分钟内开启。支持作业的编排、作业执行错误后报警等。hadoop本身提供了基本的软件,目前hue、zeppelin、ooize等虽然提供了网页版本的交互式,任务的编排;但是毕竟不是企业的服务,也没有提供高可用的保证,对于报警,跟组内其它同事的账户也难以集成。emapreduce会提供这方面的服务,不过当前一些还在实现中。
低成本
主要体现在线下购买Hadoop、运维Hadoop集群的高成本。在云上有更好的组合方式,比如把数据放在OSS中,再启动emr集群按需运行。按照客户的业务情况,对于一直hold资源的场景,
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
E-MapReduce(Hadoop)10大类问题之集群规划
集群规划类问题 所有的使用Hadoop或者打算使用Hadoop的人肯定会遇到集群规划的问题,我到底使用多大的集群规模呢?有没有一个标准呢? 本篇文章就为你介绍集群规划。 在云环境E-MapReduce中,各种搭配是比较自由的。当前,cpu跟memory的比例有1:2及1:4的。磁盘是单机4快盘,从不同的性能有普通云盘、高校云盘、SSD云盘,价格也分别不同,单盘的容量也从40g到32T。 对于 有钱的公司,本文就不用看了,直接用最贵最多的肯定是满足需求的。对于广大的创业公司或者本着开源节流的思想来用的公司,还是需要研究下的。 基本原则 离线在线分开,主要是把在线的流式计算(SparkStreamingStorm)、存储服务(Hbase)与离线计算分开。因为两者追求的目标不一样,在线追求qps响应时间,离线追求吞吐。 Hbase需要使用SSD云盘
- 下一篇
云上Hadoop之挑战
引言 在云上云行Hadoop,很多人担心性能。因为一提到虚拟化就会有人想到有成本,往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差。如果单独把10台物理机虚拟化跑Hadoop,这肯定是有部分性能的开销的。但是如果在公共云上,情况就不是这样了。因为公共云虚拟化的开销最终是由平台方来承担的,其一是平台方采购机器有规模优势,其二平台方可以在保证虚拟机性能的情况超卖部分资源。 平台卖给用户8core32g的虚拟机就保证有这个规格的能力的。 结合云上的弹性优势,企业的总体成本是会下降的。 在云上运行Hadoop对平台方还是面临一些挑战的,下面主要讲述这些挑战及平台方怎么解决的。 云上Hadoop的挑战-Shuffle Shuffle分为Push模式,Pull模式。Push模式就是直接通过网络发送到下一个节点,比如:storm、flink。
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Mario游戏-低调大师作品
- 2048小游戏-低调大师作品
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Thymeleaf,官方推荐html解决方案