集群管理工具经得起考验吗?
如今集群设计遍地都是。最典型的例子包括软件定义存储、虚拟化架构、超级融合、公有云与私有云,以及众所周知的大数据。集群以横向扩展的方式来构建基础设施,使用商业产品,如服务器和JBOD。横向扩展的设计能够实现容量与性能递增,与大部分纵向扩展的基础架构相比,有着巨大的成本规模效益。
大集群因为其支持大规模融合与整合,可以协助优化整体资本支出,而不断吸引业内目光。那么为什么我们不把现在所有的IT基础设施都集群化呢?大规模集群管理和运维都相当复杂,尤其是在开始将工作负载和租户结合后。如果建造了一个大集群,就必须确保期能充分得到利用,也意味着需要托管大量工作负载。一旦出现这种情况,IT需要搞清楚如何合理的优先或公平分配资源。这从来不是一件简单的事——实施、配置与优化管理共享集群架构的总运营成本,通常会高于部署完全独立或向上扩展产品的总成本。
当集群在虚拟化基础架构中,虚拟化管理程序负责加强共享、隔离吵闹的邻居、动态迁移和/或重新启动受影响,甚至突然飙升的工作负载,还扮演交警的角色。这几年我们发现了该领域的长足进步,可以在虚拟机层面和虚拟存储卷级别(如VMware VVOL)上,动态执行用户指定的服务质量(QoS)。
当然,可以把基础架构云(如OpenStack)作为大型、优化管理集群资源作为整体思路。尽管如此,虚拟化和云基础架构平台需要数年时间才能成熟,目前仍然不完美。在开发云管理工具的路上还有很长的路要走,要实现在专属设备上部署系统的简化。而且在虚拟化环境内,仍然难以确保虚拟机内的应用程序能够提供最终用户可靠的响应时间。
针对大数据的集群管理工具
有效的集群管理设计对大数据尤其重要,这关系到引入企业IT规模扩展的HPC技术。Hadoop、Spark和其他可扩展NoSQL工具旨在让所有人都实现分布式处理。然而,生产大数据应用程序目前要求应用程序性能的一致性。当大数据应用支撑着关键业务流程时,运营与性能的可靠性和稳定性将成为问题。
在种类繁多的大数据工具如Hadoop集群,每个大数据作业都争夺相同的资源。到目前为止,很多Hadoop集群只是简单处理小型单一的大数据处理流程或只对小部分用户服务,通常用于非生产环境的数据科学。但随着大数据集群移入生成环境,就意味着它们需要承载更多的任务并且服务多个租户——就如大型虚拟化或云集群。而当这种集群被共享,管理大数据将成为一大挑战。
经常看到新的大数据集群管理和操作方案并不稀奇。集群管理工具一般分为几类。起步于高性能计算领域的Bright Computing公司,现在正协助企业从裸机上部署、配置与管理大型集群。
但真正的关键在于性能管理,秘诀在于了解都是谁,以及在什么时候做什么事。至少,还有标准的工具可以从集群的日志文件(通常十分巨大)中生成报告。但随着日志的增长,这个方法的效果会降低。而且当谈及运营性能,真正要做的实际上是优化混合租户与混合工作负载环境的QoS和运行时。例如,Pepperdata能生成实时运行视图,展示集群里正在发生什么,然后可以动态的控制和分配集群资源。这样可以保证优先级应用程序满足服务器级别协议,同时最小化集群基础设施的规模。
在更高的级别,大数据需要有自己专属的应用程序性能管理程序。例子之一是Concurrent的Driven,可以跟踪和回溯应用程序执行轨迹,还可以直接监控业务流程和应用程序级的工作流,应用程序之间的内部依赖、运行时和失败。这样有助于识别代码瓶颈,规划和修复工作流执行窗口,并协助数据管理。
随着横向扩展架构在数据中心内落地,集群管理工具的价值将增长——降低资源共享所需的资本支出,同时保障承诺性能和其他大数据处理业务的QoS。在某些情况下,IT没有这些集群专用工具协助,是可能无法有效处理这些大数据集群的。
总的来说,我们认为大型集群管理这十年成熟的非常快,它借鉴了虚拟化管理来解决高优先级的生产工作负载。通过学习这些虚拟化和云计算前辈,甚至可以取代他们,产生一个更为完整的集群数据中心愿景。
作者:Mike Matchett 翻译:陈德文
来源:51CTO

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
《深入理解Nginx:模块开发与架构解析》一1.2 为什么选择Nginx
1.2 为什么选择Nginx 为什么选择Nginx?因为它具有以下特点:(1)更快这表现在两个方面:一方面,在正常情况下,单次请求会得到更快的响应;另一方面,在高峰期(如有数以万计的并发请求),Nginx可以比其他Web服务器更快地响应请求。实际上,本书第三部分中大量的篇幅都是在说明Nginx是如何做到这两点的。(2)高扩展性Nginx的设计极具扩展性,它完全是由多个不同功能、不同层次、不同类型且耦合度极低的模块组成。因此,当对某一个模块修复Bug或进行升级时,可以专注于模块自身,无须在意其他。而且在HTTP模块中,还设计了HTTP过滤器模块:一个正常的HTTP模块在处理完请求后,会有一串HTTP过滤器模块对请求的结果进行再处理。这样,当我们开发一个新的HTTP模块时,不但可以使用诸如HTTP核心模块、events模块、log模块等
- 下一篇
2017年网络安全四个预测
分析过去的网络威胁数据,查找可用以帮助客户更好地应对未来网络威胁的趋势和方法,是很有益的。在过去的一年中,有一些安全趋势是很明显的,我们可以用来为新的一年提供指南和策略。 企业的“存在水平”增强招致网络风险增加 每种产品和服务都依赖某种技术的基础架构。正因为有这种依靠,企业正通过社交媒体、付款业务、客户参与、营销、合作伙伴、供应商等来扩展自己在网络世界的“存在水平”。 在企业不断增加的数字世界中,供应链占据了大部分。合伙人和供应商支持客户、人力资源等,而企业与其分享敏感信息,或者向它们提供对敏感数据的访问,从而扩大了企业的存在。由于这种数字存在水平的增长,企业正运行在一个更高风险的水平上,从而更易成为欺诈、勒索、账户被攻击、漏洞被恶意利用、拒绝服务攻击等的受害者。 对企业来说,日益重要的是不仅要以由内及外的目光来看待IT安全,而是要理解总体安全状态,从而做出有利于未来的安全改进。 勒索软件继续是网络犯罪的赚钱机器 勒索软件攻击在2016年继续疯狂增长,并且没有迹象表明这种攻击在2017年会慢下来。从对手能力的方面看,勒索软件便于操作。从时机方面看,很多企业仍未实施正确的分析和决策来防御...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Linux系统CentOS6、CentOS7手动修改IP地址
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Hadoop3单机部署,实现最简伪集群
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS8编译安装MySQL8.0.19
- SpringBoot2更换Tomcat为Jetty,小型站点的福音