首页 文章 精选 留言 我的

精选列表

搜索[价值断层],共10000篇文章
优秀的个人博客,低调大师

如何让数据价值最大化?阿里全域大数据系统深度解读

2016年,阿里巴巴集团提出中台概念,阿里巴巴数据技术及产品部作为中台战略中的组成部分,承载了集团数据中台的工作,其核心就是建设全域大数据。究竟全域数据到底是什么?又该如何建设? 在云栖大会阿里大数据分论坛,阿里巴巴高级技术专家张磊给出了详细的回答。以下为分享全文实录:阿里巴巴高级技术专家张磊 数据中台阿里巴巴数据技术及产品部定位 2016年阿里巴巴集团提出中台概念,阿里巴巴数据技术及产品部承载了集团数据中台的工作,其核心就是建设全域大数据。 从内容上看,我们管理和运维着阿里巴巴集团最核心的基础数据;从技术上看,我们覆盖了从数据采集、计算加工到数据服务、数据应用等数据链路上的每一个环节,为阿里生态内外的业务、用户、中小企业提供全链路、全渠道的数据服务。举个例子,被大家熟知的双11当天可见炫酷数据大屏就是由我们部门负责的。 数据中台全景图上图

优秀的个人博客,低调大师

国家广电总局借助领先的存储技术释放海量数据的价值

ZDNet至顶网服务器频道 09月16日 新闻消息:国家广电总局监管中心肩负着对全国电视节目、互联网等信息网络视听节目、新媒体视听节目播出内容以及全国无线广播节目的监听监看的重任,监听监看任务涉及业务系统数目较多,数据量大,数据统一管理困难,如何整合这些业务系统实现数据存储、管理、共享一直都是监管行业的技术难题。如何破局,不仅关系着解决广电总局大数据存储管理的困扰,更将势必会引起广电行业新的技术革命。 如今这一难题已经被浪潮海量存储解决方案化解。广电总局监管中心的海量数据实现了“放得下”和“取得出”。 “放得下”和“取得出” 国家广播电影电视总局监管中心,拥有广播电视监测中心、收听收看中心、安全播出调度中心、信息网络视听节目监管中心和中视卫星公司5个单位,同时下设全国15个广播监测台,是我国宣传事业的“千里眼、顺风耳”。全国电视节目、互联网等信息网络视听节目、新媒体视听节目播出内容以及全国无线广播节目,全靠其监听监看。 随着机构的整合,卫星电视、网络视听节目和新媒体业务的不断发展,所需的存储系统规模巨大。 大容量是对存储的第一要求,“放得下”是最基本的。 以 IPTV播控平台为例,向下对接各个试点地区集成播控分平台,分发内容、产品、增值业务、EPG信息等,存储系统用于承担接收、存储内容平台提供的内容,并收集试点地区集成播控分平台的运营数据,现在仅仅实现了10个左右播控平台的直播码流录制和点播节目下载内容的数据存储量就达500TB,数据访问带宽达1GB;而后来,广电总局监管中心将2个直辖市、22个省会城市在内的42个城市也将纳入到监管范围之内,如此之大的监管量,自然需要一套处理能力强、数据存储容量大的系统作为支撑。这个“放得下”并不是简单的容量叠加,而是要能真正实现数据的共享,统一的命名空间。 “取得出”是广电总局对存储的另一个基本要求。 随着三网融合进程不断的推进,广电行业经营的业务从传统的有线电视、卫星电视、无线广播这类传统业务开始向互联网电视、IP电视、新媒体等新兴业务发展。数字电视进入到千家万户,节目的质量越来越清晰,这些都使得电视台电视节目数据量成PB级增长的同时,如何取出这些节目、如何高效的进行节目检索与分析等一系列问题接踵而来,成为制约电视节目数字化的“绊脚石”。 用广电总局监管中心张处长的话说,“我们以前50年产生的数据量都赶不上三网融合以来产生的数据量大,怎么存储、怎么管理这些数据是我们未来很长一般时间要思考的事情”。 因此,将媒体内容作为一种资本来进行管理、挖掘和再利用的要求逐渐迫切,实现媒资系统的分级存储、高速检索,建立高效、安全的存储系统势在必行。 图:浪潮海量存储系统 PB级存储,让数据“放得下,取得出” 各省市电视台、总局批准的七大播控平台以及地方新媒体电视运营商相互独立,又遍布全国各地,要实现紧急状态下对全国广播电视传输覆盖网的运行管理、资源调配和应急指挥工作,必须要打破信息孤岛的壁垒,实现所有业务数据的共享,统一管理,这需要具备“海纳百川”精神的兼容性高的存储设备来担纲。 为此,浪潮为广电总局监管中心提供了海量存储解决方案,主要承担广电广播监测系统、新媒体系统、资源共享系统、信息平台业务系统、卫星电视数据系统、收听收看等业务系统的数据存储任务。 首先解决“放得下” 广电总局监管中心的海量存储方案由在线存储系统、数据库系统、备份系统三大部分组成,在最关键的“生产系统”选择上,采用了浪潮AS10000。 AS10000最大支持64PB海量级的存储数据,64PB的数据管理规模,可以“放得下”广电总局所有业务系统1-2年的音频视频数据,这也就意味着监管中心“怎么存储”的这一难题可以轻松搞定。 然而,对于浪潮AS10000来讲,大容量只是小CASE,它更华丽丽的一个特点,则是它强大的整合能力。 AS10000同时支持NAS、IPSAN及FCSAN功能,融合iSCSI、FC、Infiniband及10Gb万兆主机接口,囊括了目前主流的存储网络架构及主机连接方式。它将广电总局目前的存储网络架构进行高效、合理整合,统一部署和集中管理,真正实现了数据的共享,统一的命名空间,从而更好地服务于广播电视事业。 其次必须“取得出” 对于张处长所提到的“怎么管理”即“取得出”这一问题,浪潮海量存储解决方案也不在话下。 随着我国有线电视数字化工作的全面推广,高清数字电视正在逐步普及,高清数字电视节目制作采用非线性编辑方式,这种方式下不同类型的业务对于数据读写的带宽需求有极大的差异,当前无压缩高清视频码率达100MB/s以上,经常使用的高清压缩码率也在100-300Mb/s之间,而标清视频已经达到50Mbps或25Mbps,每个文件的正常请求时间几分钟到几个小时不等,随着音频视频质量的提高以及并发访问,存储设备就要提供更高的传输码流和访问速度。 浪潮海量存储解决方案采用独有的高性能集群架构设计,可提供极高的带宽,其性能、容量随节点数量增加而线性增加,带宽最高达到64GB/S的速度,这堪称存储系统的“高速路”。可支持数千并发访问,满足了音频视频质量的提高以及并发访问的需求,从而为广电总局监管中心提供了更高的传输码流和访问速度。 迎来效率的提升、监管的加强 伴随着数据“放得下、取得出”这一难题的顺利攻破,广电总局迎来的是效率的提升、监管的加强。 曾经,各省市电视台、总局批准的七大播控平台以及地方新媒体电视运营商各自为政,又遍布全国各地,原来这些复杂的音频视频数据都在各自平台上进行存储一段时间,会删除部分数据,重要的才会迁移到广电总局的系统中来。这种存储模式造成了种种的不便——广电总局在紧急状态下数据管理、资源调配时候,常常陷入要么数据已删除、要么需要长时间的调取的窘境。 如今,广电海量存储解决方案只有“一个中心”,所有的数据都围绕着这“一个中心”进行存储,打破了信息孤岛,实现了多业务之间数据共享,提高了数据存储、管理安全性,满足了广电监管行业未来数据PB级增长的需求。如果需要对音视频数据进行查询检索及监管,无需千里迢迢地索要数据,动动鼠标,即可搞定,在64GB/S的高速带宽的支持下,流畅而轻松,效率大大提升。 而且,兼容并包的海量存储解决方案,多种格式介质并存,解决了经常要转换格式而导致质量下降、效率低下,音视频数据查询检索、上载、下载、审核、编目整体系统速度慢的问题。 随着三网融合与数字化电视高清化的进程,海量存储必将开启广电行业数据存储的新时代。 原文发布时间为: 2014年09月16日 本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

优秀的个人博客,低调大师

谈谈NVMe,谈谈戴尔-EMC,再谈谈价值10亿美元的DSSD

目前行业最为关注的NVMe型阵列是戴尔-EMC所掌握的全闪存1000万IOPS D5产品,这款万众期待的解决方案由其以10亿美元收购DSSD而得来。 NVMe已经在共享式存储阵列生态系统当中产生涟漪 我们因此与DSSD软件副总裁Mike Shapiro进行了交流,询问其DSSD如何看待NVMe这一架构选项。而他作出了如下回应。 在此期间,戴尔旗下EMC事业部总裁接手了DSSD负责人一职,C J Desai以及原DSSD总裁Bill Moore则先后离职。这是否意味着DSSD的发展前景存在问题? 而这又引发了指向EMC的新问题,下面一起来看EMC对于DSSD给出的回应: 关于Bill Moore:“Bill在一年多之前从DSSD转入EMC的CTO办公室。上个月他已经从戴尔-EMC离职。” 在EMC对于DSSD的投资规模方面:“抱歉……我们无法透露具体数字。” 戴尔-EMC是否将DSSD视为规模可观的发展机遇,抑或仅将其作为利基市场产品?“DSSD是一款机架规模闪存阵列,设计目标适用于那些对性能水平要求较高的用例。其将继续在戴尔-EMC的全闪存产品组合以及未来的全闪存发展战略中扮演战略性角色。” DSSD对于EMC拥有战略意义,下面来看软件总裁眼中的NVMe。 记者:直接由SAS/SATA SSD转向NVMe驱动器是否会令现有阵列控制器成为瓶颈?我们是否需要等待下一代控制器以实现更高的处理速度? Mike Shapiro:笼统地讲,NVMe驱动器能够提供更高IOPS与传输带宽水平,但其每IOP所消耗的主机或者存储控制器CPU周期则更少(通过运行较SCSI/SAS/SATA更为简单的软件堆栈)。因此根据各产品线中此类驱动器的实际应用方式、数量以及其它系统设计属性,其可能需要也可能并不需要配合新型控制器。 举例来说,如果大家着眼于行业内专门用于发挥NVMe驱动器性能优势的DSSD系统,就会发现其采用了全新控制器及I/O结构设计,旨在将性能一举提升至新高度。然而其它一些系统则仅利用小规模闪存存储资源作为缓存,例如戴尔-EMC旗下的各中端解决方案。这类产品继续沿用现有架构即可从NVMe驱动器身上获益。 其次,以VMAX为代表的采用模块化控制器与驱动器架构的系统同样无需控制器即可与NVMe相匹配。VMAX目前已经在其控制器内使用NVMe,且由于其自身的模块化架构,VMAX架构将能够在无需等待下一代控制器的前提下发挥NVMe驱动器的性能优势。 记者:我们是否需要负担得起的双端口NVMe驱动器,从而保证阵列控制器能够借此提供高可用性?这里“负担得起”应该如何理解? Mike Shapiro:对于双控制器高可用性系统,我们戴尔-EMC的产品组合中已经提供多种选项。我们当然也将以负担得起的成本推出双端口NVMe驱动器。此类驱动器的硬件成本与其它同类驱动器并无本质区别:其使用的闪存介质与任何SSD相同,PCIe NVMe控制器ASIC全部可为双端口提供PCIe通道及端点。 因此随着NVMe服务器及驱动器外壳生态系统的成形,我们预计以端口NVMe驱动器将很快上市并全面取代我们目前使用的双端口SAS驱动器。从本质上讲,其成本结构与SAS双端口SSD并无区别。我们认为,双端口NVMe驱动器将在2017到2018之间实现与其SAS版本表亲类似的成本水平。 由于VMAX架构当中内置有基于性能的分层特性,因此其在添加下一代(3D XPoint)内存存储层领域拥有特殊地位。 记者:客户是否准备好采用拥有新HBA的NVMeF阵列访问服务器?他们是否计划利用其配合ROCE、DCB交换机并处理端到端拥塞管理?他们是否需要利用ROCE实现可路由性? Mike Shapiro: NVMeF还需要做好一系列准备:其一是交换机生态系统,我们已经在这一领域看到DCB类交换机的广泛部署。其二为客户端RDMA网卡,我们已经在这一领域看到多款新型芯片于2016到2017年推出,旨在面向以太网(包括RoCE与iWarp选项)、Omnipath以及Infiniband提供低成本RDMA网卡。 在以太网方面,新网卡将在提供RDMA的同时实现由1到10、25甚至40 GbitE的转换,这将进一步加快NVMeF的准备速度。 其三为主机软件正逐渐可用于全部操作系统:由于NVMeF规格最近才刚刚确定,我们预计其要到2017年上半年即可快速发展成熟。因此,准备当中的全部必要组成部分都将配合行业的积极势头共同作用于NVMeF。 我们预计在以太网方面,大多数客户将利用RoCEv2实现路由功能——尽管并非全部解决方案皆要求配合路由能力。举例来说,很多高性能存储集群可能在少数机架内包含数十台服务器及共享存储方案,因此其并不需要路由功能。单机架解决方案目前已经可利用我们的DSSD产品线进行构建,采用共享式PCIe之上的NVMe作为架构,而这也是目前速度最快的可行单机架解决方案,其同样不需要配合外部交换机或者路由器。 对于广域路由能力的需求将促使业界继续为RDMA开发端到端拥塞管理方案,而戴尔-EMC亦参与到了与这一领域相关的多个硬件及软件开发项目当中。戴尔-EMC目前占据着优势地位,能够引导业界选择其跨服务器、网络、存储及管理软件的端到端方案。 记者:我们能否在现有阵列控制器内引入缓存机制,从而解决目前存在的内存溢出并提升阵列性能?闪存DIMM在其中将扮演怎样的角色?未来的XPoint DIMM呢? Mike Shapiro:首先,基本所有的企业存储控制器都会提供某种形式的缓存机制,无论是面向元数据还是数据本身。定位较高的工作负载能够在缓存机制的帮助下提升应用程序的响应时间。而新的NVDIMM技术让客户得以享受低成本下的高密度内存资源,从而显著提升缓存容量规模。 因此在目前使用DRAM缓存的各个领域,未来的缓存扩展都将为其带来助益,这些技术也将在未来的产品中得以体现。我们一直在追求新的缓存扩展途径,包括利用DIMM各备选方案以实现系统的性价比提升。 第二,3D XPoint技术也将作为用户数据的一种高速层带来新的性能提升机遇。由于VMAX架构当中内置有基于性能的分层特性,因此其在添加下一代(3D XPoint)内存存储层领域拥有特殊地位。另外,DSSD等专注于性能表现的产品也将以新的存储模块形式对接下一代内存选项。 似乎有充分的理由将NVMeF连接将会至配备NVMe驱动器的高速数据以及数据湖等其它服务类型当中。 记者:NVMeF连接是否同样适用于未使用NVMe驱动器的阵列? Mike Shapiro:是的,大家可以想象这类场景带来的助益,正如此前几代产品利用光纤通道连接不再包含光纤驱动器的阵列。一般来讲,只要客户选择了一套整体服务器/存储部署模式,那么其必然倾向于以接入方式利用其它配合同样协议的产品添加至现有环境当中。 对于那些未来选择NVMeF的客户来说,他们将获得由RDMA提供的高速网络以及融合型存储及网络流量带来的助益,因此NVMeF连接不仅适用于配合NVMe驱动器的调整数据处理体系,同时亦适合数据湖等其它以非NVMe驱动器在非闪存介质或者混合型资源池之上构建的服务类型。 记者:那么配合NVMe驱动器并能够提供企业级数据服务的NVMeF阵列何时才能够筹备完成?供应商需要为其做好哪些准备? Mike Shapiro: 2016年年初,戴尔-EMC启动了业界第一款NVMe企业级共享存储系统,即DSSD D5,其采用业界密度最高的NVMe驱动器并支持甲骨文数据库等企业级应用程序。戴尔方面已经准备好推出行业最为顶尖且能够支持NVMe 2.5英寸SSD的服务器产品组合。 NVMe驱动器与NVMeF协议将继续被添加至戴尔与戴尔-EMC整体产品组合内的各类解决方案当中,而我们也将发布更多软件与硬件平台以支持这项新型技术。这些新的存储方案将包含企业级数据服务所需要的全部补充性因素,足以满足客户需求并帮助其立足戴尔-EMC存储系统完成业务工作。 评论意见 毫无疑问,戴尔-EMC将NVMe驱动器及其架构视为共享式存储阵列市场上的一种必需。然而,其在超融合领域又将扮演怎样的角色? 一种新兴可能性在于利用NVMe类架构通过RDMA实现各超融合型节点间的存储对接,从而加速节点间链接及虚拟SAN操作。美国宇航局艾姆斯中心采用Excelero产品的案例已经证明了这一思路的可行性。 总结来讲,NVMe的阵列访问机制将在未来凭借着出色的延迟水平迎接光明前景,而DSSD则能够充分发挥这一重要优势。 原文发布时间为:2016年12月13日 本文作者:孙博 本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

优秀的个人博客,低调大师

Strategy Analytics: 物联网市场价值数万亿美元?— 市场定义是关键

对于跟物联网相关的计算硬件、软件、系统集成、数据分析、通信、以及专业服务公司来说,明确定义物联网是决定其市场机会的关键。Strategy Analytics 的分析确定,包含所有物联网要素的市场规模在2016年为1500亿美元,到2025年将增长至5500亿美元。 “在技术市场分析的历史中,这是第一次人们以‘数万亿美元规模’这样不同寻常的术语来讨论某个市场,然而却缺乏清晰的市场定义”,Strategy Analytics总裁Harvey Cohen表示,“我们的研究调查了物联网与全球经济的关系、非居民住宅投资以及IT总支出,得出的潜在市场规模数据是建立在具有透明度的假设因素上。” Strategy Analytics在报告《物联网将会成为第一个10万亿美元IT市场 – 真的吗?》中审视了M2M市场向物联网市场机会的演进。“2016年,全球IT市场规模在35万亿美元的范围,物联网市场将达到数十亿美元是非常大胆的假设。” Strategy Analytics物联网战略总监Andrew Brown表示,“我们预计,到2025年时,物联网支出将会增长至IT总支出的11%左右。” Strategy Analytics针对关键垂直市场物联网的采用正在进行深入的用户采购历程研究,以评估企业是否因受益于物联网而增加IT支出,抑或物联网是否正在取代其他优先级较低的IT应用。本文转自d1net(转载)

优秀的个人博客,低调大师

黑莓必须放弃移动OS 苟延残喘已毫无价值

上周,Facebook决定不再支持黑莓的移动操作系统,这意味着Facebook的应用很快将不能在黑莓设备上运行了。一旦Facebook应用从黑莓世界里消失,黑莓设备用户只有访问Facebook网站才能使用这项社交网络服务。 上个月,WhatsApp宣布它将在年底前停止开发适用于黑莓10和BBOS的应用。到目前为止,Facebook应用和WhatsApp应用是黑莓设备上最流行的两款应用。 黑莓已经认识到这样一个事实,即它的移动平台根本无法与竞争对手的移动OS竞争。黑莓在2011年宣布其PlayBook平板电脑将支持Android软件。去年它又升级了黑莓OS,让用户们能够通过Amazon Appstore安装Android应用。 黑莓随后于去年9月发布了基于Android系统的Priv手机。这是一项值得称道的举措,它将黑莓的签名安全功能以及显示各种应用的警告信息的Hub整合到了一起。 这也是黑莓在最近几年里所做的比较正确的事情之一。这意味着黑莓必须专注于未来的发展趋势:Android。 一款在美国智能手机市场上连0.1%的市场份额都拿不到的操作系统是绝对没有发展前景可言的。如果黑莓平台对Facebook这样的富资源巨头来说没有足够的重要性,那就没有必要继续开发下去了。 黑莓去年10月份曾说过,公司并不打算为黑莓OS发布新的SDK工具和API接口,公司发布升级补丁的唯一目的就是修复安全漏洞和改善效率。 与大多数Android手机厂商不同的是,黑莓近几年一直在开发安全设备。除了Blackphone厂商Silent Circle和三星之外,关注这个领域的厂商少之又少。对于像黑莓这样的公司来说,这就是一个巨大的商机。 现在,运行最新版本和安全性最高的Android系统的智能手机还不到Android手机总量的2%,运行Lollipop系统的设备只有34%可以选择全设备加密。可以说,如果圣贝纳迪诺枪击案凶手使用的手机是黑莓手机的话,那么FBI也许早就破解它了。 尽管机会渺茫,但是黑莓还是有机会在当今这个弱肉强食的智能手机市场生存下去的,但它必须接受自己的移动OS已经难堪大任的事实并拿出一项更加可行的计划。 本文转自d1net(转载)

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册