解析阿里云分布式调度系统伏羲-低调大师

解析阿里云分布式调度系统伏羲

2017-03-20 743

云计算并不是无中生有的概念，它是将普通的单台PC的计算能力通过分布式调度的软件连接起来。其最核心的问题是如何把100台、1千台、1万台机器高效的组织起来，灵活的进行任务调度和管理，从而使得可以像使用台式机一样使用云计算。在云计算中，最核心的模块是分布式调度，它好比于云计算的中央处理器。目前，业界已存在多种分布式调度实现方案，如伏羲、Hadoop MR、YARN、Mesos等系统。

阿里云伏羲

伏羲系统是在前人的基础上进行了一系列的改造，首先与YARN和Mesos系统类似，将资源的调度和任务调度分离，形成两层架构，使其具备以下优势：

（1）规模：两层架构易于横向扩展，资源管理和调度模块仅负责资源的整体分配，不负责具体任务调度，可以轻松扩展集群节点规模；

（2）容错：当某个任务运行失败不会影响其他任务的执行；同时资源调度失败也不影响任务调度；

微信关注我们

原文链接：https://yq.aliyun.com/articles/72526

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

NASA计划被说口出狂言？阿里用开源证明技术实力

NASA计划被说口出狂言？阿里用开源证明技术实力前几天，马云在阿里巴巴的技术大会上称要启动代号“NASA”的科技行动计划，吃瓜群众纷纷表示“what？科技版NASA？阿里不是搞电商的吗？”你看，不知道了吧，其实阿里的真实身份是一家被电商光芒掩盖了的——科技公司！所谓“少年强则中国强，开源强则技术强”，目前，国际上通用的科技公司衡量标准就是开源的态度与能力，而阿里目前的开源能力，说是国内第二，估计没人敢说自己是第一。很多人也许会有疑问，开源是什么？为什么开源强技术就强？凭什么说阿里的开源能力很强？今天我们就来解开层层疑云。所谓开源，用“说人话”的方式来讲，就是和别人共享你的基础代码，这样既给他人调试使用代码的机会，也能让他们帮助你发现代码中的bug并及时修正。目前像Google、苹果、微软、Facebook……所有你能说出来的国际科技巨头都在积极拥抱开源社区和开源技术，最重要的原因就是只有成功的运行在无数种场景之下，才能更好的证明和锤炼一项技术本身。这也是我们说开源强则技术强的根本原因。在国内，阿里在开源这件事情上堪称“劳模”。早在淘宝业务发展初期，阿里就采用了大量开源技术；从2...

2017-03-21

556

目标熟悉Web应用防火墙的架构配置目标站点接入WAF 测试精准防护和日志检索功能 WAF的接入和防护架构 WAF采用反向代理的接入架构，通过修改防护域名的DNS解析到WAF而将流量牵引到WAF，通过各种防护模块过滤掉恶意流量后，再把正常请求转发回源站。配置接入WAF 登录阿里云控制台，找到云盾->Web应用防火墙->域名配置，输入相关的域名及源站信息，并点击“添加域名”按钮：注意事项：支持配置泛域名，如*.aliyundemo.cn，可以匹配相关的二级域名。当同时配置泛域名和精确域名时，转发和防护策略匹配顺序以精确域名优先如果有HTTPS站点，务必勾选HTTPS，同时建议勾选HTTP，以应对HTTP跳转等问题，同时需要在稍后上传源站证书和密钥（实验中我们只勾选HTTP）源站IP可以支持最多20个，WAF会做负载均衡和健康检查，详情见“源站IP负载均衡” 如WAF前面还有CDN、高防等七层代理，务必勾选“是否已使用代理”，这样才能取到客户端真实IP，不然看到的都是上一级代理的IP 添加好域名后，会弹出选择解析方式的弹窗，为了更好的演示接入原理，这里选择手动修改：...

2017-03-21

643

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。