阿里巴巴大数据运维平台实践
作者介绍:矮鱼,2012年开始从事互联网,现负责阿里大数据计算服务保障和平台研发,在运维领域内有丰富经验积累。秉承 "Service unavailable? Our problem, whatever the reason"的理念,致力于保证线上稳定性和推进团队平台产品的迭代演进。
MaxCompute是阿里巴巴内部唯一的大数据处理平台,且在全球十几个地区提供公有云服务,并为上百家专有云输出计算能力。
作为支撑如此庞大系统的SRE团队,要面对的是EB级数据,TB级带宽,上百万块硬盘,还有上万的客户发工单。
我们在全流程的发布管理,全球的配置同步,高效的监控感知等基础运维领域都实现了高度的自动化。同时,从底层硬件到上层应用各个环节,我们掌握并分析使用了大量的数据来帮助我们突破传统思路的局限。
本次聚焦于近期在平台落地的几项成果,多地域的容
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
基于hadoop的免费大数据平台有哪些?
早些时候(5月28号)由社科文献出版社初版的《大数据蓝皮书:中国大数据发展报告No.2》正式发布了。以“数化万物 智在融合”为主题的中国国际大数据产业博览会也京举行中。基本可以预见,在接下来的一段时期内关于大数据应用开发又将进入到一个新的阶段。 现在市面上围绕大数据的应用开发如火如荼,比如,企业级大数据处理平台开发、政务大数据平台的开发、智慧交通大数据平台开发等。这些大数据处理平台的开发从技术角度上来说都是偏向于底层的,开发难度之大真不是三两个人就可以搞得定的。虽然个人独立开发难度大,但研究下这些平台架构总是可以的,可能对于从事开发方面的技术宅来说,势必是要去研究下的!从我自己身边的这些技术宅身上,这一点我是看的很透彻的。 我接触大数据的时间其实不是很久,也就是从去年开始接触的,算是我这个小圈子里比较早倒腾大数据方面东西的人之一吧。前几天有人问是否有免费的大数据平台可以玩一下。默默回了他,免费的没有,付费的倒是一大把! 免费的也不能说是没有,如果仅仅是作为个人爱好研究一下倒是可以找来一些免费版本的玩一下的,当然作为企业或者一些大平台应用的,自然是需要花大价钱购买更为专业的版本的。那...
- 下一篇
基于Flink流处理的动态实时电商实时分析系统
课程介绍 在开始学习前给大家说下什么是Flink? 1.Flink是一个针对流数据和批数据的分布式处理引擎,主要用Java代码实现。 2.Apache Flink作为Apache的顶级项目,Flink集众多优点于一身,包括快速、可靠可扩展、完全兼容Hadoop、使用简便、表现卓越。 通过以上的描述大家对Flink有了一个基本的认识,本套课程不会讲解基础内容,因此建议有Flink基础的同学进行认购。 开始学习前建议大家认真阅读下文: 随着人工智能时代的降临,数据量的爆发,在典型的大数据的业务场景下数据业务最通用的做法是:选用批处理的技术处理全量数据,采用流式计算处理实时增量数据。在绝大多数的业务场景之下,用户的业务逻辑在批处理和流处理之中往往是相同的。但是,用户用于批处理和流处理的两套计算引擎是不同的。 因此,用户通常需要写两套代码。毫无疑问,这带来了一些额外的负担和成本。阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题,所以阿里就在想,我们能不能有一套统一的大数据引擎技术,用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下,不管是全量数据还是增量数据,...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS7设置SWAP分区,小内存服务器的救世主