首页 文章 精选 留言 我的

精选列表

搜索[思考模型],共10000篇文章
优秀的个人博客,低调大师

项目实践中Linux集群的总结和思考

前言:作为一名Linux/unix系统工程师、项目实施工程师,这几年一直在涉及到对外项目,经手过许多小中型网站的架构,F5、LVS及Nginx接触的都比较多,我想一种比较通俗易懂的语气跟大家说明下何谓负载均衡,何谓Linux集群,帮助大家走出这个误区,真正意义上来理解它们,具体项目施工案例请参考我在network.51cto.com上的同类文章。 一、目前网站架构一般分成负载均衡层、web层和数据库层,我其实一般还会多加一层,即文件服务器层,因为现在随着网站的PV越来越多,文件服务器的压力也越来越大;不过随着moosefs、DRDB+Heartbeat+NFS的日趋成熟,这问题也不大了.网站最前端的负载均衡层称之为Director,它起的是分摊请求的作用,最常见的就是轮询。 二、F5是通过硬件的方式来实现负载均衡,它较多应用于CDN系统,用于squid反向加速集群的负载均衡,是专业的硬件负载均衡设备,尤其适用于每秒新建连接数和并发连接数要求高的场景;LVS和Nginx是通过软件的方式来实现的,但稳定性也相当强悍,在处理高并发的情况也有相当不俗的表现。 三、Nginx对网络的依赖较小,理论上只要ping得通,网页访问正常,nginx就能连得通,nginx同时还能区分内外网,如果是同时拥有内外网的节点,就相当于单机拥有了备份线路;lvs就比较依赖于网络环境,目前来看服务器在同一网段内并且lvs使用 direct方式分流,效果较能得到保证。 四、目前较成熟的负载均衡高可用技术有LVS+Keepalived、Nginx+Keepalived,以前 Nginx没有成熟的双机备份方案,但通过shell脚本监控是可以实现的,有兴趣的可具体参考我在51cto上的项目实施方案;另外,如果考虑 Nginx的负载均衡高可用,也可以通过DNS轮询的方式来实现,有兴趣的可以参考张宴的相关文章;但由于我们目前的商务网站要考虑googel收录及域名备案还有其它的因素,暂时只能用单域名,所以只采用了前面的方案;Nginx+keepalived在我们的机房已经稳定运行了一年半了,所以这架构我也一并介绍给大家。 五、集群是指负载均衡后面的web集群或tomcat集群等,但现在的集群意义泛指了整个系统架构,它包括了负载均衡器以及后端的应用服务器集群等,现在许多人都喜欢把Linux集群指为LVS,但我觉得严格意义上应该区分开。 六、负载均衡高可用中的高可用指的是实现负载均衡器的HA,即一台负载均衡器坏掉后另一台可以在<1s秒内切换,最常用的软件就是Keepalived和Heatbeat,成熟的生产环境下的负载均衡器方案有Lvs+Keepalived、 Nginx+Keepalived;如果能保证Heartbeat的心跳线的稳定的话,Heartbeat+DRBD也是成熟的应用,适用于NFS文件服务器或Mysql。 七、LVS的优势非常多:①抗负载能力强;②工作稳定(因为有成熟的HA方案);③无流量;④基本上能支持所有的应用,基于以上的优点,LVS拥有不少的粉丝;但世事无绝对,LVS对网络的依赖性太大了,在网络环境相对复杂的应用场景中,我不得不放弃它而选用Nginx。 八、Nginx对网络的依赖性小,而且它的正则强大而灵活,强悍的特点吸引了不少人,而且配置也是相当的方便和简约,小中型项目实施中我基本是考虑它的;当然,如果资金充足,F5是不二的选择;我到过许多CDN机房,经常能发现F5的身影。 九、大型网站架构中其实可以结合使用F5、LVS或Nginx,选择它们中的二种或三种全部选择;如果因为预算的原因不选择F5,那么网站最前端的指向应该是LVS,也就是DNS的指向应为lvs均衡器,lvs的优点令它非常适合做这个任务。重要的ip地址,最好交由lvs托管,比如数据库的ip、webservice服务器的ip等等,这些ip地址随着时间推移,使用面会越来越大,如果更换ip则故障会接踵而至。所以将这些重要ip交给lvs托管是最为稳妥的。 十、VIP地址是Keepalived虚拟的一个IP,它是一个对外的公开IP,也是DNS指向的IP;所以在设计网站架构时,你必须向你的IDC多申请一个对外IP;如果是做LVS+Keepalived的纯公网的这种架构,呵呵,那就最好是购买一个IP网段吧。 十一、在实际项目实施过程中发现,Lvs和Nginx对https的支持都非常好,尤其是LVS,相对而言处理起来更为简便。 十二、在LVS+Keepalived及Nginx+Keepalived的故障处理中,这二者都是很方便的;如果发生了系统故障或服务器相关故障,即可将DNS指向由它们后端的某台真实web,达到短期处理故障的效果,毕竟广告网站和电子商务网站的PV就是金钱,这也是为什么要将负载均衡高可用设计于此的原因;大型的广告网站我就建议直接上CDN系统算了。 十三、现在Linux集群都被大家神话了,其实这个也没多少复杂;关键看你的应用场景,哪种适用就选用哪种,Nginx和LVS、F5都不是神话,哪种方便哪种适用就选用哪种。 十四、另外关于session共享的问题,这也是一个老生长谈的问题了;Nginx可以用ip_hash机制来解决session的问题,而F5和LVS都有会话保持机制来解决这个问题,此外,还可以将session写进数据库,这也是一个解决session共享的好办法,当然这个也会加重数据库的负担,这个看系统架构师的取舍了。 十五、我现在目前维护的电子商务网站并发大约是1800左右,以前的证券资讯类网站是100左右,大型网上广告网站大约是6000,我感觉web层的并发越来越不是一个问题;现在由于服务器的强悍,再加上Nginx作web的高抗并发性,web层的并发并不是什么大问题;相反而言,文件服务器层和数据库层的压力是越来越大了,单NFS不可能胜任目前的工作,现在好的方案是moosefs和 DRDB+Heartbeat+NFS;而我喜欢的Mysql服务器,成熟的应用方案还是主从;当然我也在尝试一主多从、Master-Master-slaves等多种架构。 十六、现在受张宴的影响,大家都去玩Nginx了(尤其是作web),其实在服务器性能优异,内存足够的情况下,Apache的抗并发能力并不弱(16G内存下Apache过6000问题也不大),整个网站的瓶颈应该还是在数据库方面;我建议可以双方面了解Apache和Nginx,前端用Nginx作负载均衡,后端用Apache作web,效果也是相当的好。 十七、Heartbeat的脑裂问题没有想象中那么严重,在线上环境可以考虑使用;DRDB+Heartbeat算是成熟的应用了,建议掌握。我在相当多的场合用此组合来替代EMC共享存储,毕竟30多万的价格并不是每个客户都愿意接受的。 十八、无论设计的方案是多么的成熟,还是建议要配置Nagios监控机来实时监控我们的服务器情况;邮件和短信报警都可以开启,毕竟手机可以随身携带嘛;有条件的还可以购买专门的商业扫描网站服务,它会每隔一分钟扫描你的网站,如果发现没有alive会向你的邮件发警告信息或直接电话联系。 十九、至少网站的安全性问题,我建议用硬件防火墙,比较推荐的是华赛三层防火墙+天泰web防火墙(或单台Juniper防火墙),DDOS的安全防护一定要到位(国内的DDOS攻击让人烦躁);Linux服务器本身的iptables和SElinux均可关闭,当然,端口开放越少越好。 二十、测试网站的响应时间是用http://tools.pingdom.com,发现上了LVS+Keepalived、Nginx+Keepalived后并不影响速度,这一点大家就不要多虑了,Nginx现在作反向加速也日趋成熟了,大家也可尝试下用Nginx来取代squid。 本文转自 抚琴煮酒 51CTO博客,原文链接:http://blog.51cto.com/yuhongchun/500208,如需转载请自行联系原作者

优秀的个人博客,低调大师

对Serverless架构的一点体验和思考

发端 云计算机经过这么多年的发展,逐渐进化到用户仅需关注业务和所需的资源。通过Swarm、K8S这些编排工具,容器服务让开发者的体验达到很完美的境界。我曾经觉得Docker可以替代虚机,用户只要关注自己的计算和需要的资源就行,不需要操心到机器这一层。但是因为Docker对资源的隔离不够好,各大云厂商的做法还是一个Docker对应一台虚机,不仅成本高,给用户暴露虚机也多余了。 用户为什么需要关注业务运行所需要的CPU、内存、网络情况?还有没有更好的解决方案?Serverless架构应运而生,让人们不再操心运行所需的资源,只需关注自己的业务逻辑,并且为实际消耗的资源付费。可以说,随着Serverless架构的兴起,真正的云计算时代才算到来了。 容器在开发模式方面并没有提出新的想法,大家还是在用传统的那一套开发模式,需要写一个大而全的后端服务

优秀的个人博客,低调大师

巨头的思考:思科的安全与网络业务观

本周,思科将在拉斯维加斯举行Cisco Live conference,这是思科新任CEO Chuck Robbins作为硅谷明星执掌帅印以来的首个大会,在前20年,John Chambers作为思科前CEO,其风采深深的吸引了参会者的眼球。 自去年7月份,Chambers交出了思科的权柄,Robbins一直试图在思科的发展中打上自己的标签。他与爱立信达成了合作关系,并且在思科的发展中做出了很大的改变。 最近,在思科的一系列人事调整中,David Goeckeler在思科的地位悄然上升,似乎成为了Robbins的左膀右臂。Goeckeler的新职位是思科网络和安全工作组高级副总裁、总经理。 关于Goeckeler 几个月前,Goeckeler是思科安全工作组的高级副总裁,他的头衔囊括了思科相当多的业务,根据他在LinkedIn上的资料,他在思科已经工作了16年,现在负责思科超过280亿美元的全球技术业务。 如果这280亿美元的数据是真实的,那么相对于思科年收入490亿美元来说,意味着Goeckeler负责思科公司50%以上的业务。 ZK Research公司独立分析师Zeus Kerravala说:“Chuck Robbins在思科的各个岗位安插自己的人,但是他的管理团队没有Chambers的团队强大。” 在今年的3月份,思科将其工程组重新组合形成了4个部门,分别对应:网络、安全、云计算和应用程序/物联网(IoT),但是现在它看起来只剩下3个部门,网络和安全结合的比较紧密。 今年6月,高盛(Goldman Sachs)组织的一场让高盛分析师与Goeckeler进行对话的投资者大会上,根据高盛分析师发布的一份报告显示思科正在重点发展安全和网络工作组的协同作用。Goeckeler还提到了自Mario Mazzola、Prem Jain、Luca Cafiero、Soni Jiandani离职后的Insieme业务单元。 安全和网络 Goeckeler在与高盛分析师主要就安全问题进行交流,他表示思科的重点在构建一个有机和无机的投资组合。 根据Kerravala公司发布的收购列表,2016年有很多无机投资: Tropo (Collaboration, Cloud, Programmability)Piston (Cloud)Open DNS (Cloud, Security)Maintenance Net (Business Model)Pawaa (Software)Portcullis (Security)ParStream (Analytics)Lancope (Security)1 Mainstream (Cloud video)Acano (Collaboration)Jasper (IoT)CliQr (Cloud)Leaba (Core)Syanata (Collaboration)CloudLock (Cloud, Security) 以上15个收购均发生在Robbins的任期之内,其中收购的3家公司是专业做安全方面的,分别是CloudLock,Lancope,Portcullis。 Goeckeler告诉高盛的分析师说大型的网络承担着部署50到100个厂商的安全产品的重担,思科从中看到了向用户提供安全产品的集成来减少部署的复杂性。 思科也关注基于软件的安全,相对于硬件每三到五年就必须更新一次,基于软件的安全能够提供长期收益。 至于为什么把网络和安全置于一名高管的管理下,这可能是因为安全主导着大型网络的销售。根据高盛分析师的报告“在几笔交易当中,思科在帮助他们的用户升级网络基础设施的安全部署,在某些情况下,一个数百万美元的安全机遇收获的将是更大规模的网络回报,甚至是10倍的收益。” 云计算 在上面的15个收购案例中,有6个是关于云计算的公司,思科云计算方面的工作是由Zorawar Biri Singh负责,他是思科的CTO(思科第三大业务单元——物联网和应用由Rowan Trollope领导。) 在Cisco Live上,Singh将主持对话下一代数据中心和云,或许他将会解释收购的这些云计算公司在思科的产品中扮演的角色。其中一个公司CliQr的技术已经被用在思科的Tetration技术中。 几周前,思科租下了世贸中心的顶层,并邀请分析师和媒体发布了Tetration分析和监测平台。通常情况下,分析和监测被广泛认为是最枯燥的技术,目前尚不清楚为什么思科认为这个平台的发布需要开个发布会。 Kerravala说:“这是一个令人感到困惑的项目,跟我交流过的媒体朋友一开始并不了解它。” Tetration是一个监控数据中心的分析平台,它是基于39个本地安装的rack-unit设备,Tetration项目耗资300万美元,而且用户必须购买全新的Nexus交换机。 可以肯定的是进军存储业务是致命的,但这也只是相对于思科缺乏存储产品而言的,下周我们将在Cisco Live上看思科大显身手。 ====================================分割线================================ 本文转自d1net(转载)

优秀的个人博客,低调大师

智慧城市建设 还要有几点问题要思考

推进新型智慧城市建设,是党中央、国务院立足于我国信息化和新型城镇化发展实际,为提升城市管理服务水平,促进城市科学发展而作出的重大决策,是落实新型工业化、信息化、城镇化、农业现代化、绿色化同步发展的积极实践。 一、智慧城市的概念和内涵 随着智慧城市建设的不断深入,国内外学者、IT企业等开始对智慧城市进行研究,并就智慧城市的内涵提出了自己的观点。智慧城市充分利用信息化相关技术,通过监测、分析、整合以及智能响应的方式,综合各职能部门,整合优化现有资源,提供更好的服务、绿色环境、和谐社会,保证城市可持续发展,为企业及大众建立一个良好的工作、生活和休闲的环境,它包括城市智能交通系统、城市指挥中心、能源管理系统、公共安全、环境保护等;智慧城市充分运用信息和通信技术手段感测、分析、整合城市运行核心系统的各项关键信息,从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能响应,能为人类创造更好的城市生活;智慧城市就是一个网络城市,物联网是智慧城市的重要标志。 二、智慧城市建设的重要意义 1、有利于保持经济持续快速发展,转变增长方式 由于资源紧张,人口膨胀、环境恶化等问题日益严重,我国大多数城市发展遇到了瓶颈,面临的土地、空间、能源、清洁水等压力越来越大,这些都成为制约城市发展的因素。目前发达国家正在研究如何创新性地使用新一代信息技术、知识和智能技术手段来重新审视城市的本质、城市发展目标的定位、城市功能的培育、城市结构的调整、城市形象与特色等一系列现代城市发展中的关键问题,特别是通过智慧传感和城市智能决策平台解决节能、环保、水资源短缺等问题。 2、有利于促进产业升级和结构调整,保持可持续发展 在未来世界,一个城市能否获得可持续发展,关键要看其是否拥有一批具有核心竞争力的企业。目前的资源密集型和劳动密集型产业在未来的发展中是不具备竞争力的。智慧城市建成以后,国内各企业与高校之间将实现产、学、研一条龙资源链,从而达到资源互补,实现强强联合,并建立起协同创新机制和平台,提高创新能力。还可以通过技术引入手段,以行业为单位建立创新协同机制,并整合不同行业之间的协同机制,进一步提升城市内部和城市之间的创新能力,以达到推动产业升级和结构调整的目的。 3、有利于改变人们后工业时代的生活方式 随着近几十年工业化步伐的加快,我国的城市迅速发展,在工业化发展的同时,人们不仅收获了物质财富,同时也彻底改变了以往的生活模式。伴随着历史巨变,生活逐渐社会化和国际化,一些旧有的意识形态和价值观被人们怀疑和背叛,也出现了众多的安全问题。城市规模不断扩大,人员构成复杂,流动人口增多,物流系统遍布各个角落,不安全因素空前增加,传统的由质检部门和居委会进行管理的传统方式已经捉襟见肘。为应对这一现状,城市管理系统必须进行革新,即利用新一代信息技术建立起智能监控和管理系统,实现智慧化管理,维护现代城市的宜居、安全和舒适。智慧社区就是其中一个重点建设目标,它是指充分利用物联网、云计算、移动互联网等新一代信息技术的集成应用,为社区居民提供一个安全、舒适、便利的现代化、智慧化生活环境,从而形成基于信息化、智能化社会管理与服务的一种新的管理形态的社区。城市宜居性的提高也是吸引人才的一个重要元素。 4、有利于迅速和妥善解决突发性事件和应急事件 经济和技术的发展促进了全球的一体化,但全球一体化也带来了许多弊端,如恶性传染病爆发、恶性犯罪事件的增加、国际恐怖主义的威胁等问题。通过其智能化的调控能力和行为意识加快(由城市智能决策平台或由市长)判断和决策的准确性、有效性和及时性,从而实现不同区域和行业的协同和应对能力。同时智慧城市也具备“学习能力”,从而不断提高处理突发性事件和应急事件的水平,使应急预案程序化、智能化。 三、推进智慧城市建设的策略 1、强化智慧城市顶层设计 第一,全面规划。智慧城市顶层设计规划的范围不仅应包括信息通信基础设施、城市信息产业发展战略、城市信息应用系统,还应包括城市建设与运行机制、相关法律法规与网络安全机制。 第二,设计顶层架构。“信息孤岛”造成资源难以高效整合,如何有效利用采集来的信息,如何实现相关信息应用系统效能的整合,以及各信息系统如何实现互联互通,都需要一个完整的体系结构与顶层设计加以协调。 第三,制定实施规划。智慧城市顶层设计不能是纯理论的,而应同时制定切实可行的实施规划。智慧城市建设需分阶段进行,并应针对不同的情况及时做出调整,不能因智慧城市建设而影响到当地社会经济的发展以及居民的正常生活。 2、构建高效综合的协调机制 智慧城市建设涉及领域广泛,包括城市管理、城市运行、城市交通、社会公共服务、电子政府等,因此,需要构建一个高效综合的协调机制对各个领域进行协调。但是,目前我国尚未建立一个高效综合的协调机制对智慧城市建设加以引导规划。实际上,由任何一个单一部门来主导智慧城市建设都难免出现问题。因此,当前我们应以国家信息化领导小组颁布的关于智慧城市建设的指导意见为根本,成立智慧城市建设管理办公室,并定期或不定期地就智慧城市建设中出现的相关问题举行跨部门的协调会议,共同商讨解决对策。 3、有效整合资源 首先,制定统一的行业标准与规范。目前,我国物联网技术缺乏国家标准,在高频领域主要使用国际标准,而关键的超高频领域的标准仍由国外控制。行业标准与规范的缺失,导致我国智慧城市建设存在着诸多问题,如信息孤岛现象严重、信息共享与协同难度大、各地区信息化水平差异大等。因此,在智慧城市建设中我们必须加强技术标准化、行业应用标准化、服务标准化建设,从而实现各部门之间信息的互联互通,尽可能减少“信息孤岛”。我们应充分利用各级管理部门的力量,制定智慧城市建设的标准体系。另外,在制定行业标准与规范过程中,应注意制标队伍的整体素质。 其次,做好智慧城市顶层设计的前期规划。我们应在借鉴西方发达国家智慧城市建设成功经验的基础上,结合我国的具体国情,做好智慧城市顶层设计的规划工作。通过科学规划,明确城市系统内各部门的业务范围以及相应的责任,加强部门之间的分工合作,避免管理分治。另外,应充分整合各部门的信息资源,实现资源优化配置,避免低水平重复建设现象的发生。 再次,进一步完善城市管理运行体系,构建一套全方位的合作机制。当前我国智慧城市建设中城市管理运行体系尚不健全,各部门之间缺乏有效的协同合作,因此,我们必须构建一套全方位的合作机制。从横向上看,同级部门应密切融合;从纵向上看,上下级政府部门应当保持良好的沟通合作关系,省市之间在智慧城市建设中应加强沟通合作,同时还要加强政企之间的沟通合作 总之,建设智慧城市并不轻松,从宏观上需要统一规划,完整的科学标准以及运行体系,从微观上需要丰富的人才储备和强大的技术研发能力,还要有持续不断的资金投入。 本文转自d1net(转载)

优秀的个人博客,低调大师

天安人寿:上云之前,我们有这些思考

在行业政策趋势和云计算热潮的驱动下,金融、保险的企业对于上云有了驱动力和信心,同时又不免有犹豫和担忧。 1月,阿里金融云、阿里云安全和云栖社区请到天安人寿信息技术部总经理姚仁毅和资深架构师山虎,在云栖说做了一次保险行业上云实践的直播访谈。作为金融行业的上云先行者,天安人寿从IT部门的管理、企业安全的策略等几个方面,谈了谈阿里云上如何做好企业的创新和安全,将金融、保险行业上云的经验和误区,分享给更多的企业技术决策人。 点击查看视频回顾:http://v.youku.com/v_show/id_XMTkyMjE0MDQyOA==.html 不要只为了上云而上云 天安人寿近年来业务发展非常迅猛,跻身亚洲保险行业500强,被评为2016年中国十大领军品牌。2016年,天安人寿在阿里金融云上开始搭建自己的云架构,前端使用到了阿里云云盾的安全服务;中

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册