从单租户IaaS到多租户PaaS——金融级别大数据平台MaxCompute的多租户隔离实践-低调大师

从单租户IaaS到多租户PaaS——金融级别大数据平台MaxCompute的多租户隔离实践

2018-02-10 791

摘要：在2017年云栖大会•北京峰会的大数据专场中，来自阿里云的高级技术专家李雪峰带来了主题为《金融级别大数据平台的多租户隔离实践》的演讲。在分享中，李雪峰首先介绍了基于传统IaaS单租户架构做隔离时面临的问题；然后，他重点分享了MaxCompute PaaS层面的多租户的架构以及MaxCompute在安全隔离方面的具体实践。

IaaS单租户大数据产品架构

基于IaaS单租户大数据产品架构如上图所示，架构底层通常利用HDFS2实现；基于HDFS2之上搭建Hadoop Yarn或MESOS等资源管控平台；在其之上再实现具体的计算模型，如MR、Hive、HBASE以及Spark等。在这类生态环境中，IaaS平台通常作为同一租户存在，当用户产生新需求时，通过IaaS平台申请一批集群（虚机），再这些集群上部署相应的开源产品。从隔离的角度出发

微信关注我们

原文链接：https://yq.aliyun.com/articles/466662

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

放心过年的正确姿势：云监控开启一键报警

监控年关，运维同学最关心的是什么？服务千万不要挂，不过服务永远不挂是不可能的。重点是，服务异常了，你可以及时被通知到，以便快速做出反应，及时修复问题。一句话，让云监控通知你，而不是让老板通知你。然而，越来越多的企业上云，使用越来越多的服务、产品，这些产品运维的好不好？有没有风险？如果有风险，我如何能知道？这么多产品，这么多机器，我怎么能快速的甚至一键的弄一个简单监控，满足的需求？好吧，云监控赶在年前，推出了一键报警功能，可以一键开启对[ecs，rds，slb，redis，mongodb，hbase]等6个产品的所有实例的监控，注意是所有实例。且可以定义报警的条件。是不是很便捷，至少多了一层保护。再重复一遍：让云监控通知你，而不是让老板通知你。最后同时，云监控还支持主机监控（提供秒级的丰富的监控指标，支持非阿里云主机，打通线上线下），云服务监控（包括阿里云上30+商业化产品），站点监控，日志监控，自定义监控，错误事件监控，丰富灵活的自定义监控大盘，支持跨产品跨地域的应用资源分组等丰富完善的端到端的监控功能栈。相信一定可以解决您的云上监控需求。云监...

2018-02-11

549

并行计算框架MapReduce编程模型

思想：分而治之 map：对每一部分进行处理 reduce :汇总map结果 map是MapReduce最核心的。 mapreduce编程模型一种分布式计算模型，解决海量数据计算问题 MapReduce把整个并行计算的过程抽象到两个函数，map和reduce函数。 map（映射）：对一些独立元素组成的列表的每一个元素进行指定操作，可以高度并行。（10T分解分解成1T ，1t就是独立元素） Reduce（化简）：对一个列表的元素进行合并。一个简单的mapreduce程序只需要指定map（），reduece（），input和output，剩下的事就是mapreduce框架的事。 mapReduce执行过程 put--map-reduce-output 在put第一个环节，就把文件以map key value形式处理了。当到第2，3,4环节map、的时候实际得到的是处理好的map key value数据。 MapReduce将作业的整个运行过程分为两个阶段 map阶段 map阶段由一定数量的Maptask组成数据数据的格式解析 InputFormat 数据数据处理 mapper 数据分组...

2018-02-11

663

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。