首页 文章 精选 留言 我的

精选列表

搜索[世界模型],共10000篇文章
优秀的个人博客,低调大师

世界最大OpenStack私有云是如何运营的

现在国内外都不乏大规模采用OpenStack构建企业私有云的用户,例如Best Buy, BMW, EBay, 和Walmart,尽管Forrester仍对OpenStack在企业中的应用前景持怀疑态度。今天我们来学习一下PayPal是怎么做的,它拥有目前业界最大OS私有云(10+可用区、40万个Core、82000台虚拟机)。 首先来看看PayPal做这件事的背景。eBay作为老牌的电子商务公司,曾经和AOL、 Yahoo一样是全球访问量最大的网站,但是最近几年eBay发展缓慢,没有抓住电商市场的迅速崛起的大好时机、被亚马逊等后起之秀抢去了很大份额,龙头地位不复存在。今年早些时候,为了不让eBay继续拖累PayPal的发展,股东们决定将PayPal分拆出来。 PayPal的IT部门任务艰巨,他们一方面要尽快把IT系统从eBay分离出来,另一方面还要准备应对假期消费高峰对系统造成的压力,留给他们的只有7个多月的时间(准确地说,用6个月时间构建新的IT环境,再用10周时间将业务从原有的IT环境中迁移过来)。 一、构建篇 在构建方面,PayPal的工程师最关心扩展性和可用性,具体涉及以下几个方面: 首先是可用性,基于Nova的Cell来实现IT服务的可用性。 其次是弃用那些过时的工具,以负载均衡为例,eBay和PayPal花了几年时间试图自己开发工具以实现LBaaS,最终还是决定改用社区的功能组件,因为社区的组件更开放,合作伙伴更容易在上面开发插件。 在线升级和测试 这一功能对于平台的健壮性和扩展性尤为重要,能够在线升级,才能跟上社区发展的脚步。 实时容量扩展 PayPal的目标是新机架到货之后,只需要1-2天就可以完成部署并上线应用。 二、迁移篇 相对于构建一个新的系统,将应用和数据迁移到新的架构则更具挑战,我们来看看这次迁移任务的细节和面对的挑战: 有限的工作人员; 超过8000台机器; 2PB的公共数据,以及大量存储于虚拟机内的本地数据; 上述应用和数据位于3个不同的地点; 通过迁移将可用性技术从Nova Availability Zone变更为Nova Cell Service以实现更好的可用性和扩展性; 变更防火墙配置,制定访问规则; 检验并解决新硬件的兼容性问题,确保新系统的稳定性。 下面是PayPal通过这一次迁移总结出的经验: 基础架构的可见性对保持配置一致性非常重要 如果你没有一个关于基础架构的完整视图,那将是致命的。比如你在部署应用的过程中如果有虚拟机宕机了,等它重新恢复工作时,上面的应用和配置将是不正确的。 不要指望所有的应用和开发工作都能迁移到新的环境 必然会有无法迁移的部分,在云计算时代,少几个虚拟机应该不是什么大问题。 不要一开始就使用自动化配置工具 PayPal先用手工的方式完成5%-10%的配置工作,在确定一定正常之后才引入自动化的方法完成后绪的工作。 迁移API服务的时候要万分小心 很多自动化操作基于这些API完成,因此你不能随便停止这些API服务,选择关键操作的执行间隙来迁移服务,并且不要指望在一个时间窗口内迁移所有API服务。 要清楚你迁移的是什么 不要为了节省时间而停止你的生产API或实例的虚IP,那样会增加风险。 切记,如果遇到问题,你不一定可以回滚配置。 补充说明一下这个Cell,它是用来替代原来的Zone以更好地解决OpenStack的扩展性问题,这部分内容OS借鉴了AWS的做法。一个OS云首先分为多个Region,不同的Region通常需要不同的地域,多个Region之间只有 KeyStone和Horizon服务是共享的,因此Region可以用来实现隔离和优化访问。Region的下一级就是Cell,每个Cell都有一套独立的数据库和消息队列服务,另外Cell是树形结构,只有树根Cell有Nova-API服务,因此也被称为API-Cell。其它的子Cell都共享这个Nova-API服务,而Nova的其它服务则分布于每一个Cell,子Cell也称计算Cell。 PayPal提到Cell这个组件目前功能还不完整,在数据同步方面还有一些不足,但是因为扩展性和可用性需要,PayPal必须用Cell来代替原有的Zone。 三、工具篇 PayPal使用了一些开源工具: Graphite用于绘图 Puppet和Salt用于配置管理 Zabbix用于监视 Cobbler用于裸机部署 另外PayPal自己开发了一个名为Flyway的迁移工具,用于从eBay云向PayPal云迁移几千台虚拟机和相关资源。它负责完成下述资源的迁移工作: Nova虚拟机 用户、租户、角色、密钥对和限额 镜像和快照 Cinder卷和数据 Trove数据库实例 LBaaS VIP实例和证书 PayPal计划将这一工具开源到GitHub。此外,PayPal还开发了其它一些迁移辅助工具: Stackwatch/Stackmetrics用于健康检查和度量 Reparo用于服务器修复和置备,也负责硬件监测和补丁管理 Cloudinfo用于云的可见性,将各种视图和相关数据汇总到一起,也提供Metric视图。 CloudMinion用于资源回收 通过扫描网络流量发现闲置虚拟机,管理过期时间,发送告警,自动回收资源并提供报告。 CMS 用做中央配置数据库,集中存储和管理物理和虚拟组件,基础架构和应用等所有资源的信息,并可以呈现这些资源之间的关系。 四、未来篇 采用Masterless Puppet构建更具扩展性和可用性的配置管理方案,消除单一故障点。 Infra AZ项目:通过OpenStack来部署OpenStack,开发更好的控制平面,提高容量扩展速度,实现一键扩容。 从H版直接升级到Kilo版,数据平面不能停,控制平台只有几个小时的窗口,部分网络需要从Nova-Network升级到Neutron。 五、西蒙乱谈 采用开源技术要跟对主流,社区是靠一个庞大的群体来支持的,你对社区产品的增强只能是锦上添花,如果那块绣布烂掉了,你的手艺再好也是白搭。 OpenStack成长很快,正在不断完善,可堪大用,但因为它的定位只是一个框架,需要与大量的相关组件进行集成才能落地,因此采用社区版本自主开发云平台并不容易,你需要组建一个与社区联系紧密的专家团队。 OS在监控和运维管理方面相对薄弱,还有很多不足,PayPal在这方面花的功夫最多,如果不能很好地解决这一问题,就不要大规模采用OS,否则你会把自己拖死。 网络也是OpenStack短板之一,PayPal采用Neutron加上NSX来满足业务对网络服务的需求。 本文作者:西蒙 来源:51CTO

优秀的个人博客,低调大师

现实世界中正在用Java解决的难题

我们采访了11位专业商务人士,他们中大部分人都有从事涉及 Java 生态系统相关的工作。我向他们询问了一些问题,在他们职业生涯中用Java 解决了哪些实际问题。 我们采访了这些人: Anthony Kilman, Tech Lead, AppDynamics |Gil Tene, CTO, Azul Systems |Bhartendu Sharma, Vice President of Operations, Chetu |Charles Kendrick, CTO and Chief Architect, Isomorphic Software | Fred Simon, Co-Founder and Chief Architect, JFrog | Ray Auge, Senior Software Architect, Liferay |Michael Hunger, Lead Developer Advocate, Neo Technology |Brandon Allgood, PhD, CTO, Numerate | Dr. Andy Piper, CTO, Push Technology | Jonas Bonér, Founder and CTO, Typesafe | Toomas Rὅmer, CTO and Founder, ZeroTurnaround | 下面是他们的回答: 1、服务器端、大数据、大型网站、Twitter 后端就是使用 Java 语言。这些都是 Java 最耀眼的领域。物联网、Android 移动平台,你可以使用同一种语言来编写移动端和大数据服务端。 2、Pre-cloud 融合虚拟化和商用硬件逐渐融入云端。可以方便快捷地创建一个计算机网络,而不用考虑软件。先创建一个本地环境,然后推送到需要使用它的地方。分布式计算系统。能够更加迅速在AWS上活跃起来。 3、Java 已经很完善了,任何地方都能看到它的身影。甚至可以在嵌入式系统中找到它。这是一个伟大的软件开发语言,它解决了在软件开发中的管理问题,能够轻松的完成一些事情,而且很容易招到开发人员。 4、Java 是最安全、最稳定且可扩展的企业软件。Twitter 从 Ruby 转移到 Scala 和 Java ,就是因为其扩展性、稳定性和编程速度。 5、Java 平台对于处理复杂任务非常高效。能够在各种平台上运行。 Java 可以在不同的硬件平台上工作。 6、自 1995 年发布以来就没有什么重大的改变。这是一个非常稳定的企业软件。从物联网和移动端又让我们看到 Java 能解决更多不同问题。 Java 更适合长远的发展,而不是快速发展。我们正与大型披萨连锁店合作,开发应用控制他们烤箱的制作温度、 湿度、 烹饪时间以及其它维护。 7、有两个亮点: 1、Java开发库生态系统及开源。我们正在参与那些高质量的库。我们使用这些库很多年了,也不需要我们一直回馈这些库。我们现在作为 Eclipse 基金会和 Apache 成员,会提供力所能及的帮助。这对我们公司和我们的开发者来说是互惠互利的。我们很高兴能够回馈开源项目,甚至“提供资金支持其发展。” 2、Java OSGi 模块化。上世纪 1990 年由 IBM、Sun 等其他公司建立的模块化软件。它作为产品一直在不断发展,变得越来越复杂,无法再保持灵活,越来越难以维护。它使我们能够开发高端功能,并导出到Java,允许我们向极限挑战。 8、Reactive 应用程序可以在很短的时间内获得响应,通过云扩展、收缩规模。弹性系统也可能因为压力过大而无法启动或快速运行。Reactive 应用是易伸缩的,多用于能源等关键行业。 9、在大型企业里,Java 有最大的代码库。它几乎可以用于任何地方,从物联网到服务器——无处不在。人们往往看不到这一点。他们以为所有级别的东西都是用 C 或 C + + 编写的。他们觉得服务器页面在互联网上应该获得更多的关注,像使用 Cobol 编写运行的金融系统后台。 10、Java 影响着 Android OS、Amazon Kindle 以及企业数据库和大数据处理(Hadoop 和 Cassandra 都是用 Java 编写的, Spark 是用 Scala 编写的,一种 JVM 语言)。安全性、稳定性、可扩展都是 Java 平台的特点(如实时交易)。由于其性能、稳定性、并能够跨平台,所以你可以在 Windows 或 OSX 平台上用 Java 开发。 11、在企业服务器端广泛使用,特别是大型、面向数据库的系统、涉及多服务多平台之间的集成以及分布式事务。 作者:光光头去打酱油 来源:51CTO

优秀的个人博客,低调大师

Oracle物联网 (IoT) 云服务的神奇世界

在物联网的大潮下,万物互联已经离我们越来越近,而设备互联也已经不是什么新鲜事儿,多年来,在生产制造、汽车、航空等领域一直在实践。随着技术成本的下降,更方便的互联互通,以及市场预期的改变,物物互联的数量正在急剧的增加,未来五年将会有数百亿设备互联。 Gartner调查显示,2015年有49亿台联网设备,到2020年,2.5亿汽车联网将推动车内服务和自动驾驶,谷歌自动驾驶(无人驾驶)汽车每周平均跑10000英里。IDC调查显示全球可穿戴设备市场增长223%,Fitbit手环发货量为440万台,苹果手表销售360万台。思科调查显示2008年联网的设备数超过了联网的人数,到2020年预计联网设备将达到或者超过500亿台,未来十年物联网云将会在公共部门创造4.6万亿美元价值,在私营部门创造14.4万亿美元价值。谷歌花了32亿美元收购了智能空调制造商Nest Labs,三星花2亿美元收购了智能家居公司SmartThings。Statisca预测,识别和跟踪物体的RFID标签市场,目前为111亿美元,到2020年预计增加到219亿美元。通用GE认为未来20年工业互联网(即工业4.0/中国制造2025)为GDP贡献1-1.5万亿美元。麦肯锡估计截止2025年物联网对经济的贡献总计达11万亿美元。 借助Oracle物联网 (IoT) 云服务,可从各种互连设备针对海量物联网相关信息执行大规模实时分析。Oracle物联网云服务(ID:ydotpub)符合Oracle注重行业的战略,非常适合用于工业制造业的远程设备监视和维护,以及物流/运输业的资产跟踪。Oracle物联网云服务(ID:ydotpub)使企业可以轻松地连接到物联网设备,实时分析数据,以及将应用产品和业务流程与物联网数据无缝集成。它为设备提供了灵活的拓扑来连接到Oracle物联网云服务–可使用客户端库、网关软件或直接使用REST API。该产品通过开箱即用连接器与Oracle PaaS 平台和 SaaS 服务紧密地集成,例如连接到Oracle商务智能云服务,从而使业务用户能够 Oracle物联网云服务处理的数据执行BI分析。 Oracle物联网云服务不仅能将实时监控企业现有物理设备,还能实现和已有应用系统实现数据联通,一扇神奇的大门正在打开。 本文转自d1net(转载)

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册