首页 文章 精选 留言 我的

精选列表

搜索[智能运营],共10002篇文章
优秀的个人博客,低调大师

世界最大OpenStack私有云是如何运营

现在国内外都不乏大规模采用OpenStack构建企业私有云的用户,例如Best Buy, BMW, EBay, 和Walmart,尽管Forrester仍对OpenStack在企业中的应用前景持怀疑态度。今天我们来学习一下PayPal是怎么做的,它拥有目前业界最大OS私有云(10+可用区、40万个Core、82000台虚拟机)。 首先来看看PayPal做这件事的背景。eBay作为老牌的电子商务公司,曾经和AOL、 Yahoo一样是全球访问量最大的网站,但是最近几年eBay发展缓慢,没有抓住电商市场的迅速崛起的大好时机、被亚马逊等后起之秀抢去了很大份额,龙头地位不复存在。今年早些时候,为了不让eBay继续拖累PayPal的发展,股东们决定将PayPal分拆出来。 PayPal的IT部门任务艰巨,他们一方面要尽快把IT系统从eBay分离出来,另一方面还要准备应对假期消费高峰对系统造成的压力,留给他们的只有7个多月的时间(准确地说,用6个月时间构建新的IT环境,再用10周时间将业务从原有的IT环境中迁移过来)。 一、构建篇 在构建方面,PayPal的工程师最关心扩展性和可用性,具体涉及以下几个方面: 首先是可用性,基于Nova的Cell来实现IT服务的可用性。 其次是弃用那些过时的工具,以负载均衡为例,eBay和PayPal花了几年时间试图自己开发工具以实现LBaaS,最终还是决定改用社区的功能组件,因为社区的组件更开放,合作伙伴更容易在上面开发插件。 在线升级和测试 这一功能对于平台的健壮性和扩展性尤为重要,能够在线升级,才能跟上社区发展的脚步。 实时容量扩展 PayPal的目标是新机架到货之后,只需要1-2天就可以完成部署并上线应用。 二、迁移篇 相对于构建一个新的系统,将应用和数据迁移到新的架构则更具挑战,我们来看看这次迁移任务的细节和面对的挑战: 有限的工作人员; 超过8000台机器; 2PB的公共数据,以及大量存储于虚拟机内的本地数据; 上述应用和数据位于3个不同的地点; 通过迁移将可用性技术从Nova Availability Zone变更为Nova Cell Service以实现更好的可用性和扩展性; 变更防火墙配置,制定访问规则; 检验并解决新硬件的兼容性问题,确保新系统的稳定性。 下面是PayPal通过这一次迁移总结出的经验: 基础架构的可见性对保持配置一致性非常重要 如果你没有一个关于基础架构的完整视图,那将是致命的。比如你在部署应用的过程中如果有虚拟机宕机了,等它重新恢复工作时,上面的应用和配置将是不正确的。 不要指望所有的应用和开发工作都能迁移到新的环境 必然会有无法迁移的部分,在云计算时代,少几个虚拟机应该不是什么大问题。 不要一开始就使用自动化配置工具 PayPal先用手工的方式完成5%-10%的配置工作,在确定一定正常之后才引入自动化的方法完成后绪的工作。 迁移API服务的时候要万分小心 很多自动化操作基于这些API完成,因此你不能随便停止这些API服务,选择关键操作的执行间隙来迁移服务,并且不要指望在一个时间窗口内迁移所有API服务。 要清楚你迁移的是什么 不要为了节省时间而停止你的生产API或实例的虚IP,那样会增加风险。 切记,如果遇到问题,你不一定可以回滚配置。 补充说明一下这个Cell,它是用来替代原来的Zone以更好地解决OpenStack的扩展性问题,这部分内容OS借鉴了AWS的做法。一个OS云首先分为多个Region,不同的Region通常需要不同的地域,多个Region之间只有 KeyStone和Horizon服务是共享的,因此Region可以用来实现隔离和优化访问。Region的下一级就是Cell,每个Cell都有一套独立的数据库和消息队列服务,另外Cell是树形结构,只有树根Cell有Nova-API服务,因此也被称为API-Cell。其它的子Cell都共享这个Nova-API服务,而Nova的其它服务则分布于每一个Cell,子Cell也称计算Cell。 PayPal提到Cell这个组件目前功能还不完整,在数据同步方面还有一些不足,但是因为扩展性和可用性需要,PayPal必须用Cell来代替原有的Zone。 三、工具篇 PayPal使用了一些开源工具: Graphite用于绘图 Puppet和Salt用于配置管理 Zabbix用于监视 Cobbler用于裸机部署 另外PayPal自己开发了一个名为Flyway的迁移工具,用于从eBay云向PayPal云迁移几千台虚拟机和相关资源。它负责完成下述资源的迁移工作: Nova虚拟机 用户、租户、角色、密钥对和限额 镜像和快照 Cinder卷和数据 Trove数据库实例 LBaaS VIP实例和证书 PayPal计划将这一工具开源到GitHub。此外,PayPal还开发了其它一些迁移辅助工具: Stackwatch/Stackmetrics用于健康检查和度量 Reparo用于服务器修复和置备,也负责硬件监测和补丁管理 Cloudinfo用于云的可见性,将各种视图和相关数据汇总到一起,也提供Metric视图。 CloudMinion用于资源回收 通过扫描网络流量发现闲置虚拟机,管理过期时间,发送告警,自动回收资源并提供报告。 CMS 用做中央配置数据库,集中存储和管理物理和虚拟组件,基础架构和应用等所有资源的信息,并可以呈现这些资源之间的关系。 四、未来篇 采用Masterless Puppet构建更具扩展性和可用性的配置管理方案,消除单一故障点。 Infra AZ项目:通过OpenStack来部署OpenStack,开发更好的控制平面,提高容量扩展速度,实现一键扩容。 从H版直接升级到Kilo版,数据平面不能停,控制平台只有几个小时的窗口,部分网络需要从Nova-Network升级到Neutron。 五、西蒙乱谈 采用开源技术要跟对主流,社区是靠一个庞大的群体来支持的,你对社区产品的增强只能是锦上添花,如果那块绣布烂掉了,你的手艺再好也是白搭。 OpenStack成长很快,正在不断完善,可堪大用,但因为它的定位只是一个框架,需要与大量的相关组件进行集成才能落地,因此采用社区版本自主开发云平台并不容易,你需要组建一个与社区联系紧密的专家团队。 OS在监控和运维管理方面相对薄弱,还有很多不足,PayPal在这方面花的功夫最多,如果不能很好地解决这一问题,就不要大规模采用OS,否则你会把自己拖死。 网络也是OpenStack短板之一,PayPal采用Neutron加上NSX来满足业务对网络服务的需求。 本文作者:西蒙 来源:51CTO

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册