从单租户IaaS到多租户PaaS——金融级别大数据平台MaxCompute的多租户隔离实践-低调大师

从单租户IaaS到多租户PaaS——金融级别大数据平台MaxCompute的多租户隔离实践

2018-02-10 819

摘要：在2017年云栖大会•北京峰会的大数据专场中，来自阿里云的高级技术专家李雪峰带来了主题为《金融级别大数据平台的多租户隔离实践》的演讲。在分享中，李雪峰首先介绍了基于传统IaaS单租户架构做隔离时面临的问题；然后，他重点分享了MaxCompute PaaS层面的多租户的架构以及MaxCompute在安全隔离方面的具体实践。

IaaS单租户大数据产品架构

基于IaaS单租户大数据产品架构如上图所示，架构底层通常利用HDFS2实现；基于HDFS2之上搭建Hadoop Yarn或MESOS等资源管控平台；在其之上再实现具体的计算模型，如MR、Hive、HBASE以及Spark等。在这类生态环境中，IaaS平台通常作为同一租户存在，当用户产生新需求时，通过IaaS平台申请一批集群（虚机），再这些集群上部署相应的开源产品。从隔离的角度出发

微信关注我们

原文链接：https://yq.aliyun.com/articles/466662

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

放心过年的正确姿势：云监控开启一键报警

监控年关，运维同学最关心的是什么？服务千万不要挂，不过服务永远不挂是不可能的。重点是，服务异常了，你可以及时被通知到，以便快速做出反应，及时修复问题。一句话，让云监控通知你，而不是让老板通知你。然而，越来越多的企业上云，使用越来越多的服务、产品，这些产品运维的好不好？有没有风险？如果有风险，我如何能知道？这么多产品，这么多机器，我怎么能快速的甚至一键的弄一个简单监控，满足的需求？好吧，云监控赶在年前，推出了一键报警功能，可以一键开启对[ecs，rds，slb，redis，mongodb，hbase]等6个产品的所有实例的监控，注意是所有实例。且可以定义报警的条件。是不是很便捷，至少多了一层保护。再重复一遍：让云监控通知你，而不是让老板通知你。最后同时，云监控还支持主机监控（提供秒级的丰富的监控指标，支持非阿里云主机，打通线上线下），云服务监控（包括阿里云上30+商业化产品），站点监控，日志监控，自定义监控，错误事件监控，丰富灵活的自定义监控大盘，支持跨产品跨地域的应用资源分组等丰富完善的端到端的监控功能栈。相信一定可以解决您的云上监控需求。云监...

2018-02-11

580

思想：分而治之 map：对每一部分进行处理 reduce :汇总map结果 map是MapReduce最核心的。 mapreduce编程模型一种分布式计算模型，解决海量数据计算问题 MapReduce把整个并行计算的过程抽象到两个函数，map和reduce函数。 map（映射）：对一些独立元素组成的列表的每一个元素进行指定操作，可以高度并行。（10T分解分解成1T ，1t就是独立元素） Reduce（化简）：对一个列表的元素进行合并。一个简单的mapreduce程序只需要指定map（），reduece（），input和output，剩下的事就是mapreduce框架的事。 mapReduce执行过程 put--map-reduce-output 在put第一个环节，就把文件以map key value形式处理了。当到第2，3,4环节map、的时候实际得到的是处理好的map key value数据。 MapReduce将作业的整个运行过程分为两个阶段 map阶段 map阶段由一定数量的Maptask组成数据数据的格式解析 InputFormat 数据数据处理 mapper 数据分组...

2018-02-11

698

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。