解析阿里云分布式调度系统伏羲-低调大师

解析阿里云分布式调度系统伏羲

2017-03-20 726

云计算并不是无中生有的概念，它是将普通的单台PC的计算能力通过分布式调度的软件连接起来。其最核心的问题是如何把100台、1千台、1万台机器高效的组织起来，灵活的进行任务调度和管理，从而使得可以像使用台式机一样使用云计算。在云计算中，最核心的模块是分布式调度，它好比于云计算的中央处理器。目前，业界已存在多种分布式调度实现方案，如伏羲、Hadoop MR、YARN、Mesos等系统。

阿里云伏羲

伏羲系统是在前人的基础上进行了一系列的改造，首先与YARN和Mesos系统类似，将资源的调度和任务调度分离，形成两层架构，使其具备以下优势：

（1）规模：两层架构易于横向扩展，资源管理和调度模块仅负责资源的整体分配，不负责具体任务调度，可以轻松扩展集群节点规模；

（2）容错：当某个任务运行失败不会影响其他任务的执行；同时资源调度失败也不影响任务调度；

微信关注我们

原文链接：https://yq.aliyun.com/articles/72526

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

NASA计划被说口出狂言？阿里用开源证明技术实力

NASA计划被说口出狂言？阿里用开源证明技术实力前几天，马云在阿里巴巴的技术大会上称要启动代号“NASA”的科技行动计划，吃瓜群众纷纷表示“what？科技版NASA？阿里不是搞电商的吗？”你看，不知道了吧，其实阿里的真实身份是一家被电商光芒掩盖了的——科技公司！所谓“少年强则中国强，开源强则技术强”，目前，国际上通用的科技公司衡量标准就是开源的态度与能力，而阿里目前的开源能力，说是国内第二，估计没人敢说自己是第一。很多人也许会有疑问，开源是什么？为什么开源强技术就强？凭什么说阿里的开源能力很强？今天我们就来解开层层疑云。所谓开源，用“说人话”的方式来讲，就是和别人共享你的基础代码，这样既给他人调试使用代码的机会，也能让他们帮助你发现代码中的bug并及时修正。目前像Google、苹果、微软、Facebook……所有你能说出来的国际科技巨头都在积极拥抱开源社区和开源技术，最重要的原因就是只有成功的运行在无数种场景之下，才能更好的证明和锤炼一项技术本身。这也是我们说开源强则技术强的根本原因。在国内，阿里在开源这件事情上堪称“劳模”。早在淘宝业务发展初期，阿里就采用了大量开源技术；从2...

2017-03-21

539

目标熟悉Web应用防火墙的架构配置目标站点接入WAF 测试精准防护和日志检索功能 WAF的接入和防护架构 WAF采用反向代理的接入架构，通过修改防护域名的DNS解析到WAF而将流量牵引到WAF，通过各种防护模块过滤掉恶意流量后，再把正常请求转发回源站。配置接入WAF 登录阿里云控制台，找到云盾->Web应用防火墙->域名配置，输入相关的域名及源站信息，并点击“添加域名”按钮：注意事项：支持配置泛域名，如*.aliyundemo.cn，可以匹配相关的二级域名。当同时配置泛域名和精确域名时，转发和防护策略匹配顺序以精确域名优先如果有HTTPS站点，务必勾选HTTPS，同时建议勾选HTTP，以应对HTTP跳转等问题，同时需要在稍后上传源站证书和密钥（实验中我们只勾选HTTP）源站IP可以支持最多20个，WAF会做负载均衡和健康检查，详情见“源站IP负载均衡” 如WAF前面还有CDN、高防等七层代理，务必勾选“是否已使用代理”，这样才能取到客户端真实IP，不然看到的都是上一级代理的IP 添加好域名后，会弹出选择解析方式的弹窗，为了更好的演示接入原理，这里选择手动修改：...

2017-03-21

624

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。