首页 文章 精选 留言 我的

精选列表

搜索[全基因组选择],共10000篇文章
优秀的个人博客,低调大师

企业应该如何在大数据基础架构方面做出选择?

如果询问十家公司他们为了运行大数据负载需要使用怎样的基础架构,那么可能会得到十种不同的答案。现在这个领域当中几乎没有可以遵循的原则,甚至没有可以参考的最佳实践。 不管是从资源还是从专业性方面来说,大数据分析已经成为基础架构领域当中真正的难题。顾名思义,大数据分析工具所针对的数据集合,规模将会非常庞大,并且需要大量的计算、存储和网络资源来满足性能需求。但是这些大数据工具通常是由超大规模企业开发的,这些企业并不存在普通企业需要考虑的同等级安全问题和高可用性问题,而主流IT企业还没有深入了解这些工具,再加上大数据在投资回报率方面的不确定性,导致只有非常少的企业愿意在大数据方面进行投入。 此外,即便对于曾经在Hadoop、Spark和类似产品上运行过大数据集群的部分企业来说,也会在大数据基础架构方面遇到技术和业务方面的挑战。 大数据带来大问题 一家大型远程通讯提供商正在构建一种新的数字服务,预计在今年年底正式推出,并且准备使用Hadoop来分析这种服务所产生的内容、使用情况和收入(广告服务)数据。但是由于这种服务是全新的,因此很难分析应该使用哪种大数据基础架构,负责这个项目的技术副总裁表示。 “对于一个还没有推出的项目来说,我们不可能进行任何容量规划,”他说。 确实,现在很多大数据项目仍然处于初级阶段。“大多数大数据项目的性质比我们想象的还要低,” 可扩展存储基础架构提供商Coho Data CTO Andrew Warfield表示。 即便企业还不是十分了解大数据技术,但这并不意味着企业不应该在大数据方面投入精力。“但是运行这种技术可能面临着很大风险,提前认识到这点非常重要,” Warfield说,他认为企业应该提前考虑基础架构方面的因素。 对于这家远程通讯提供商来说,他们将会采用一种渐进的方式,使用来自于BlueData Software的软件在商用硬件环境当中运行大数据集群,这样就能够从现有的存储系统上访问数据了。 无处不在的数据 如果数据来自于云,那么当然可以直接在云中进行分析;如果数据全部位于本地,那么底层的基础架构也应该位于本地。但是如果数据分散在不同位置,那么无疑会使得基础架构更加复杂。 远程通讯提供商的服务将会同时使用来自于云和本地的数据。对于任何大数据解决方案来说,考虑到合规性、节省时间和网络带宽等因素,能够同时支持两种数据来源都是十分重要的。“同步生产环境当中的数据是一件非常困难的事情,”这位副总裁说,“我们希望将所有的实例全都指向一个单一数据源。” 此外,虽然数据科学家想要分析的信息是可用的,但是现在还不能进行使用,因为其位于大数据计算工具无法访问的存储基础架构当中,Warfield说。一种解决方案是存储硬件使用Hadoop Distributed File System或者RESTful API这样的协议公开这些数据。 注意延迟 对于特性类型的大数据分析来说,将数据从存储阵列移动到计算环境所花费的时间将会对性能造成严重影响。但是如果不将数据跨越整个网络移动到计算环境当中,而是将应用程序移动到数据附近以降低延迟,将会怎样呢? 将计算环境移动到数据附近并不是一种全新的概念,但是现在出现了一种前所未有的实现方式:Docker。比如Coho Data和Intel通过合作证明了这种概念的有效性,在一个大型金融服务公司当中,使用Docker格式封装计算节点,之后在上面直接运行Hadoop负载。 在存储阵列上直接运行Docker容器,这样做的意义在于直接对附近的数据进行分析,而不再需要跨网络移动数据,同时利用任何可用的计算资源。“相比于其他存储平台来说,大数据平台的CPU使用率通常会很高,” Warfield说。“更何况如果你将闪存加入其中,那么问题就会变成‘我该如何从这种资源当中获得更多价值?’” 直接在存储阵列当中运行容器化应用程序是一件非常有趣的事情,但是需要提前对负载进行认真评估,以确保其能够很好地适应当前环境,为建筑行业提供文档管理服务的Signature Tech Studios公司副总裁Bubba Hines说。这种服务基于Amazon Web Services,使用来自于Zadara Storage的存储服务。这家公司最近开始评估新的Zadara Container Service,其中容器化应用程序运行在存储阵列上,可以直接访问本地磁盘。根据Hines的想法,现在有几种可能的使用情况:在存储阵列上运行其灾难恢复软件的容器版本来持续监控用户数据和工作方面的变化,更改或者验证主要存储数据。 但是如果使用Zadara Container Service处理全部数据将没有什么意义。Signature Tech Studio的系统正在按照计划执行数据转换,并且已经实现大规模容器化了。但是“我们可能不会将所有Docker容器移动到Zadara容器服务当中,因为从体积和规模方面考虑这样做并没有意义,”Hines说。“我们必须寻找能够真正从降低延迟当中获利的负载。” 原文发布时间为:2015年10月26日 本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

优秀的个人博客,低调大师

BAT烧钱圈地“互联网+” 运营商选择跟进

10月22日, 中国联通 广东省分公司副总经理陈孟尝在广州宣布,未来三年广东联通将投资225亿元用于“互联网+”的基础能力建设,其中用于超级网络的建设为182亿元,云计算和移动互联的投资分别为21亿元和15亿元,物联网和大数据则分别为4亿元和3亿元。这是继 中国电信 发布“互联网+”行动白皮书后,运营商在该领域首次明确投资额度。 “什么是互联网+?每个人的答案都不一样,联通希望扮演的是运营专家的角色。”陈孟尝表示,广东联通未来希望在11个重点领域进行“互联网+战略”的布点,包括公共服务、金融、制造、交通、教育、农业等领域。此外,广东联通表示未来还将孵化1000家移动互联小微企业,并且投资10亿元用户移动互联网应用创新和孵化基地。 事实上,面对移动互联网与微信等OTT冲击,2014年三大运营商讲得最多的就是“拥抱互联网”及“去电信化,而在今年,两方阵营战火逐渐向互联网+领域渗透时,运营商的转型则显得更为迫切。 艾媒咨询CEO张毅对《第一财经日报》表示,随着产业互联网化的推进,运营商将面临来自互联网公司、民资宽带运营商的更多挑战,如何掌握在“互联网+”时代的主动权,避免成为跟随者,是运营商当前最应该思考的问题。 从推动产业升级到国务院出台《中国制造2025》,从此前两会热词聚焦点再到国务院常务会议通过的《“互联网+”行动指导意见》,不难看出国家欲以产业技术创新、商业模式创新促进经济新动能的形成。 “而谁能找准切入点提早布局,谁就能获得弯道超车的机会。”张毅对记者说。 可以看到,早在两年前,加大互联网+建设的声音就此起彼伏,而三大运营商也都在相关领域发力。如中国电信明确提出将聚焦现代农业、工业制造、新兴服务和企业运营四大领域推进“互联网+”行动计划,2015年将首先在智能制造试点、能源互联网试点、健康医疗云服务、教育云服务、高效物流平台等十大重点项目上发力。中国联通表示持续构筑高速、宽带、互联的智能网络,打造建设新一代数据中心。中国移动则提出推动4G与互联网+的全面融合。 “但事实上,用户的驱动以及产业的转型升级才让互联网+真正落地。”陈孟尝表示,现阶段各行各业都在经历互联网+的演进过程,此前广东联通完成了全省21个的智慧城市签约,但现在才能真正使(这些项目)从梦想成为现实。 “但让运营商动作缓慢的不仅仅是外部的环境,还有自身体制的问题。”有运营商内部人士对本报记者坦言,为了提升收入,过去运营商只是向企业推广解决方案,而很少考虑企业深层次的需要,简单地将原来的信息化应用包装成互联网+应用,比起BAT等互联网企业,少了互联网运用中所需要的灵活与变通。 相比之下,可以看到,除了加大云计算以及大数据等“互联网+”领域的关键技术布局外,BAT甚至开始涉及基础设施领域,包括宽带网络、云计算、大数据等底层技术,并希望以此吸引更多的生态伙伴。 比如在云计算布局上, 阿里 云在8月份宣布将投入60亿发展阿里云业务;9月8日,百度 开放云就宣布了拥抱中国“3600行”计划;而9月15日上午, 腾讯 高级执行副总裁汤道生宣布,明年将投入20亿元现金,用于腾讯云的基础设施建设和运营,未来5年将保持每年投入20亿元的水平,预计将投入超过100亿元 在腾讯的内参上,腾讯副总裁邱跃鹏这样写道,现在是否还需要从底层开始构建云计算这样的互联网基础设施?我觉得这个时代已经过去,这是上个世纪以来,腾讯这类互联网公司辛辛苦苦做的事情,现在恰恰是互联网基础设施有史以来最好的时代。 “云计算最早起源于互联网公司,互联网产品是云计算的外衣。”邱跃鹏认为,腾讯已经有实力把这种互联网基础设施能力分享出来,给互联网的公司以及传统行业用户。 虽然没有挑明,但从全国智慧城市以及金融、教育等重点垂直领域的“争夺战”中,不难嗅出双方阵营擦出的火药味。 贵州此前作为大数据时代的样板备受关注,阿里云基础设施支撑作用不容忽视。根据公开资料,阿里至少有60多名工程师参与“云上贵州”,并将贵州7个厅局41个系统顺利迁到了“云上贵州”平台,实现了政府部门之间、政府和企业之间的数据交换。 但华为一内部高层则对本报记者表示,运营商在做云计算等业务时具有天然的优势,过去积累的大量的数据基础网络以及全国性的网点,而发力互联网+首先看中的都是云计算、大数据领域,所以运营商在未来互联网+竞争中仍具有优势。 作者:何妍 来源:51CTO

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册