从单租户IaaS到多租户PaaS——金融级别大数据平台MaxCompute的多租户隔离实践-低调大师

从单租户IaaS到多租户PaaS——金融级别大数据平台MaxCompute的多租户隔离实践

2018-02-10 802

摘要：在2017年云栖大会•北京峰会的大数据专场中，来自阿里云的高级技术专家李雪峰带来了主题为《金融级别大数据平台的多租户隔离实践》的演讲。在分享中，李雪峰首先介绍了基于传统IaaS单租户架构做隔离时面临的问题；然后，他重点分享了MaxCompute PaaS层面的多租户的架构以及MaxCompute在安全隔离方面的具体实践。

IaaS单租户大数据产品架构

基于IaaS单租户大数据产品架构如上图所示，架构底层通常利用HDFS2实现；基于HDFS2之上搭建Hadoop Yarn或MESOS等资源管控平台；在其之上再实现具体的计算模型，如MR、Hive、HBASE以及Spark等。在这类生态环境中，IaaS平台通常作为同一租户存在，当用户产生新需求时，通过IaaS平台申请一批集群（虚机），再这些集群上部署相应的开源产品。从隔离的角度出发

微信关注我们

原文链接：https://yq.aliyun.com/articles/466662

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

放心过年的正确姿势：云监控开启一键报警

监控年关，运维同学最关心的是什么？服务千万不要挂，不过服务永远不挂是不可能的。重点是，服务异常了，你可以及时被通知到，以便快速做出反应，及时修复问题。一句话，让云监控通知你，而不是让老板通知你。然而，越来越多的企业上云，使用越来越多的服务、产品，这些产品运维的好不好？有没有风险？如果有风险，我如何能知道？这么多产品，这么多机器，我怎么能快速的甚至一键的弄一个简单监控，满足的需求？好吧，云监控赶在年前，推出了一键报警功能，可以一键开启对[ecs，rds，slb，redis，mongodb，hbase]等6个产品的所有实例的监控，注意是所有实例。且可以定义报警的条件。是不是很便捷，至少多了一层保护。再重复一遍：让云监控通知你，而不是让老板通知你。最后同时，云监控还支持主机监控（提供秒级的丰富的监控指标，支持非阿里云主机，打通线上线下），云服务监控（包括阿里云上30+商业化产品），站点监控，日志监控，自定义监控，错误事件监控，丰富灵活的自定义监控大盘，支持跨产品跨地域的应用资源分组等丰富完善的端到端的监控功能栈。相信一定可以解决您的云上监控需求。云监...

2018-02-11

563

思想：分而治之 map：对每一部分进行处理 reduce :汇总map结果 map是MapReduce最核心的。 mapreduce编程模型一种分布式计算模型，解决海量数据计算问题 MapReduce把整个并行计算的过程抽象到两个函数，map和reduce函数。 map（映射）：对一些独立元素组成的列表的每一个元素进行指定操作，可以高度并行。（10T分解分解成1T ，1t就是独立元素） Reduce（化简）：对一个列表的元素进行合并。一个简单的mapreduce程序只需要指定map（），reduece（），input和output，剩下的事就是mapreduce框架的事。 mapReduce执行过程 put--map-reduce-output 在put第一个环节，就把文件以map key value形式处理了。当到第2，3,4环节map、的时候实际得到的是处理好的map key value数据。 MapReduce将作业的整个运行过程分为两个阶段 map阶段 map阶段由一定数量的Maptask组成数据数据的格式解析 InputFormat 数据数据处理 mapper 数据分组...

2018-02-11

680

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。