阿里云大数据计算平台的自动化、精细化运维之路-低调大师

阿里云大数据计算平台的自动化、精细化运维之路

2017-02-27 778

免费开通大数据服务：https://www.aliyun.com/product/odps

作者简介：

　　 范伦挺

　　 阿里巴巴基础架构事业群-技术专家

　　花名萧一，2010年加入阿里巴巴，现任阿里巴巴集团 大数据计算平台运维负责人。团队主要负责阿里巴巴各类离 在线大数据计算平台（如MaxCompute、AnalyticDB、StreamCompute等）的运维、架构优化及容量管理等

　　1、前言

　　本文主要会从以下四个方面来写，分别是：

　　 阿里大规模计算平台运维面临的一些挑战；

　　阿里自动化平台建设；

　　数据精细化运维；

　　我对运维转型的思考和理解；

　　2、 在阿里我们面对的挑战

　　在讲挑战之前，我们可以简单看一下阿里大数据平台演进历史，我们的 MaxCompute（原ODPS）平台是2011年4月上线的，2013年8月份单集群超过5K

微信关注我们

原文链接：https://yq.aliyun.com/articles/71111

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

揭秘OSS实战优化、UDF追求极致之路

云栖社区2017在线技术峰会，阿里云对象存储服务技术专家杨铭来为大家揭秘存储技术实战优化红包体验。本文主要从红包场景中设计到的存储开始谈起，着重介绍阿里云对象存储OSS的技术架构，以及架构如何支撑红包活动的，最后从存储扩展看看OSS上的计算生态。直播视频以下是精彩内容整理：红包场景中的存储 2017年支付宝红包有两个有趣的玩法，AR实景红包和“扫一扫”扫福字。AR实景红包可以利用手机拍的照片，将红包藏在某个地点，将红包地点和线索图发给好友，好友可以根据线索图找红包；扫福字可以利用手机扫各种福字，集齐五福，下面我们就来看一看整个活动背后蕴含的技术是怎样的。藏红包就是用手机拍照片，拍好照片将照片上传到服务器，服务器要将红包图片特征值提取出来，同时要将图片制成线索图，将两个图片存储到OSS上，当好友来找红包时候，他会从OSS上将线索图下载下来，自己拍张图片作为比对图，比对图会先在客户端做比对，客户端比对通过后会服务端作比对，服务端比对过程就是要把比对图上传到OSS，由服务端程序进行严格的匹配，只有匹配到了才能找到红包。”扫一扫”扫福字更倾向于在客户端将事情做完，用户通过扫一扫拍照，...

2017-02-27

843

智慧海淀与阿里云的合作 2014年底，北京市海淀区建成中国首个统一的综合性政务云平台。政务云平台上线后，海淀区逐步把所有面向企业的审批审核事项以及面向市民的服务事项的智慧政务综合服务平台迁移到云平台上，实现网上统一办理，为老百姓提供智能、高效、便捷的服务。该平台由阿里云计算提供云计算和大数据处理。今天，特别邀请到北京市海淀区经信办主任何建吾与大家分享，智慧海淀与阿里云这段合作背后的故事。 (点击观看视频) 原文链接

2017-02-27

622

资源下载

更多资源

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。