构建大数据网络 需要重视这五个地方
在人们考虑大数据时,人们留意到了“大”这一个字,可是在投建基础架构时,人们还应当留意“分布式”。
实际上,大数据的应用程序需要处理大量信息,并且在出自弹性的考虑将数据拷贝到多个部位时,信息的规模变得越来越大。可是,大数据的最关键属性并非在于它的规模,而在于它将大作业切分成很多小作业的能力,它才能将解决一两个任务的资源细化到好几个位置变成并行处理。
在将大规模和分布式架构组合合为一体时,人们就能发觉大数据网络有一组独特的需求。下边是需要考量的五个层面:
1.网络弹性与大数据的应用程序
假如有一组分布式资源必需通过互联网络开展协调时,可用性就显得尤为重要。假如互联网出现故障,那样导致的不良影响是出现不持续的坏计算资源与数据集。
精确地说,大部分网络结构和工程师的首要侧重点是正常运作时间。可是,网络问题时间的根本原因又不尽相同。他们或者来源于于各个领域,包含机械故障(硬件与软件)、维系和人为错误。故障是无法避免的。尽管网络的高度可用性也很关键,可是想要设计极致可用性是不可能的。
网络架构师不能用故障来躲避目的,而应当设计某些能适应故障的弹性网络。网络的弹性在于路径多样性(资源之间设置多条路径)和故障转移(可以迅速察觉问题和迁移到其他路径上)。除开传统的平均故障时间间隔(MTBF)方法,大数据网络的真正设计标准必须要包括这些性能。
2.处理大数据的应用中的网络拥塞问题
大数据的应用程序不但是规模大,并且也有一种我称之为突发性的特性。当一个作业启动之后,数据就开始调拨。在高流量时间段里,拥塞是一个严重的问题。殊不知,拥塞将会造成更多的队列时间延迟和丢包率。除此之外,拥塞还将会触发重转,这可能让实际上负荷艰巨的互联网没法承受。因而,网络架构设计时应当尽可能减少拥塞点。按照可用性的设计标准,降低拥塞要求网络具有较高的路径多样性,这样才能容许网络将流量分离到很多不一的路径上。
3.大数据中网络一致性要比迟延性更关键
事实上,大部分大数据应用程序对网络延迟不太敏感。假如计算时间的数量级为几秒钟或几分钟,那样即便网络上出现较大延时也是无所谓的——数量级大约为几千毫秒。殊不知,大数据应用程序通常具备较高的同步性。这代表着作业是并行执行的,而各个作业之间较大的性能差异或者会引起程序运行的故障。为此,网络不但要足够高效,并且要在时间与空间上具备相同的性能。
4.目前就要准备大数据将来的可伸缩性
或者令人有点意外的是,大部分大数据集群事实上并不大。或者说,即便每台服务器配置双向冗余,适用全部集群也只需要四个接入交换机(假定是分別有72个10GbE浏览端口的Broadcom交换机)。
可伸缩性并非在于现如今集群目前有多规模性,而是说怎样均衡地拓展支持将来的部署规模。假如基础架构设计目前只合适小规模部署,那样这个架构将怎样随之节点数目的增多而持续进化?在未来某一个时刻,它是不是需要完全重新设计架构?这个架构是不是必须某些短程数据和数据位置信息?重要是要记住,可伸缩性并非取决于绝对规模,而是更关注于实现足够规模解决方案的路径。
5.利用网络分割来处理大数据
网络分割是创建大数据环境的关键条件。在非常简单的形式上,分割将会暗示着要将大数据流量与其余网络流量分离,这样应用程序形成的突发流量才不易影响别的核心任务工作负荷。此外,人们还需要解决运行多个作业的多个租户,以考虑性能、合规性和/或审计的需求。这些工作要求在一些场合中实现网络负荷的逻辑分离,某些场所则还要实现它们的物理分离。架构师必须同时在两个层面上开展规划,可是原始需求最好统一在一起。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
阿里云图数据库GDB交流 资料下载
分享嘉宾 刘显(泽贤) 阿里巴巴高级技术专家存储&数据库领域专家。在基础技术体系深耕10余年,于2015年加入阿里,目前是阿里云图数据库 GDB架构师,负责GDB的架构演进及技术建设相关工作。 直播介绍 第一部分:图数据库GDB基本介绍第二部分:图数据库GDB场景及案例分享第三部分:图数据库GDB关键能力解析 观看回放 回放地址:https://yq.aliyun.com/live/1005 ppt精彩内容一览: ppt下载:https://yq.aliyun.com/download/3524 欢迎进群交流
- 下一篇
为什么SaaS软件集成是未来的必然趋势?
近几年来,移动互联、人工智能、大数据以及云计算等技术的发展,为企业级SaaS应用提供了基础条件,使得SaaS产品的成熟度不断提高。各类产品在不断突破界限,进行跨界和融合,开始渗透在整个企业中。在这样的时代背景下,SaaS在企业应用方面将会呈现怎样的发展趋势呢? 根据国外权威机构 Blissfully 最新发布的2019年SaaS趋势报告显示,企业在SaaS上的平均支出大约为34.3万美元,同比增长了78%,表明SaaS仍在爆炸性增长期。拥有200到500名员工的企业平均使用大约123个SaaS应用软件,并且SaaS应用的更新换代非常普遍,39%的中型公司在去年更换了内部的SaaS应用,企业员工人均至少使用8个应用,企业在SaaS上的支出和部署率保持持续上升的态势。 解决多SaaS应用信息孤岛,一体化SaaS成为未来的必然趋势 基于成本效益及易用性的考虑,企业会将业务管理迁移到云端,从以上报告可以看出,未来SaaS软件在企业应用方面将有巨大的发展空间。但SaaS软件给企业带来便利性的同时也会带来挑战,如产生多个部门为SaaS软件买单、孤儿订购(Orphaned subscriptions...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS8编译安装MySQL8.0.19
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2全家桶,快速入门学习开发网站教程