首页 文章 精选 留言 我的

精选列表

搜索[低空时代],共10000篇文章
优秀的个人博客,低调大师

透视大数据时代下的物联网生活

福建省信息经济大讲堂第十期日前在福州三坊七巷严复书院成功举办。“物联网与大数据实例应用之环境感知与信息惠民”为本期大讲堂主题。大讲堂活动由福建省互联网经济促进会、 福建省互联网协会、福建省股权创投协会主办,福建经视、《通信信息报》、严复书院、今日头条、福州市协成智慧科技有限公司承办。 福建省互联网经济促进会执行秘书长吴栢发任本期活动主持人,福建省互联网经济促进会段建祥会长作开场致辞。段建祥会长谈到,近几年来,以物联网、大数据为代表的新一代信息技术飞速发展,并与我国新型工业化、信息化、现代化建设深度交汇,对经济社会绿色、智能、可持续发展具有重要意义。 在大讲堂上,受邀嘉宾为与会人员带来了精彩纷呈的演讲。在福州市协成智慧科技有限公司运营总监王忍和题为《物联网与大数据实例应用之环境感知与信息惠民》的主题演讲中,他指出“大数据”“物联网”等技术的发展给人们的生活带来了深刻的影响和变革。比如随着物联网技术的发展,未来,路灯并不仅仅充当传统照明的角色,而是以“灯”为载体,搭载空气检测、路况提醒等系统,路灯在智能化基础上可以发挥更多作用。 美国宾夕法尼亚州立大学计算机博士邱宝军发表《大数据,大错误?——大数据应用中的陷阱》主题演讲,为与会人员解读了当前易导致误解的大数据流行观点,并表示正确使用大数据的方式应是注重业务导向、数据思维、统计(“小数据”问题)以及相关性 vs. 因果性。 福建省伟思国瑞软件股份有限公司副总经理沈文洪在《物联网与大数据实例应用之环境感知助力环境监管》的主题演讲中提出建设智慧环保平台,将云计算、物联网等技术,应用到环保建设、数据分析等方面,以实现智慧化管理、智慧化决策,为社会提供服务。 上海移远通信技术股份有限公司福建分公司总经理兰世桂《M2M通信模组加速物联网市场发展》的主题演讲则展望了未来物联网市场规模,探讨物联网细分行业应用需求和痛点,并推荐符合对应场景需求的无线通讯解决方案。 中兴通讯股份有限公司技术经理卓伟带来的是《中兴通讯物联网的战略及应用》主题演讲。他着重介绍了中兴LPWA优势及丰富的成熟物联网应用,并谈到物联网技术正不断的应用于各个领域,城市因此变得更智慧。 各位嘉宾精彩的主题演讲,获得了大家的热烈掌声,也为福建省物联网产业的发展提供了有益参考。 福建省信息经济大讲堂从2016年8月开讲至今已成功举办9期,主题涉及分享经济、大数据产业、跨境电商等,在全省已有一定的影响力。2017年,福建省信息经济大讲堂将围绕《福建省“十三五”数字福建专项规划》及《2017年数字福建工作要点》,邀请政府指导单位、专家学者及龙头企业开展活动,在产、学、研、政方面进行探讨和实践,为福建省互联网经济发展作贡献。 本文转自d1net(转载)

优秀的个人博客,低调大师

冷热分治,DT时代的数据存储必由之路

爆炸式增长的数据如何处理? 60秒的时间内可以做那些事呢?打字员可以打80个字,YouTube的用户可上传长达72小时的视频……言归正传,60秒,也就是一分钟内在互联网上到底发生了什么事呢? 在一分钟内,邮箱用户总共发送了2.04亿封邮件,亚马逊官网上的销售额约达到了8.3万美元,再说说社交网络上,Facebook的用户约推送了246万条的内容,Twitter用户发推数量约为27.7万条…… 在这组数字表象的背后,不知道你有没有发现需要哪些支撑?让我们简单算一下,按照目前3.2ZB的数据量,需要至少4.5亿台12盘位采用6T硬盘的服务器来支撑。但是按照现有资料来看,全球运行的服务器总量应该是5000万台左右,这其中有近一个量级的差距!而这是按照较高的存储密度来算,何况有大量的服务器是用于计算而非存储! 据分析称,全球产生的数据量中仅有1%左右的数据能够被保存下来!如何保存更多的数据?最简单方法当然是,采购更多的存储介质--磁带、光盘、硬盘、SSD等,但是如何选择存储介质则成为了另一大难点。 冷热分治,浪潮如何处理海量数据 Google所处理搜索查询是极热的数据处理,需要快速处理海量的并发,而Facebook所面临的挑战则是如何保存每天20万张照片。Youtube似乎面临的问题更为复杂,因为视频的热度不一。举个中国的例子,最近热播的电视剧与1983年的春晚录像相比,热播剧需要更低的延时,而早期春晚的录像则由于热度较低而成为冷数据。 数据量的爆炸式增长以及数据类型的日益细化,让数据分级和冷热数据分治成为降低单位容量数据成本、提升数据存储效率和密度的有效方式。在企业的数据中心中,只有10%~15%的数据是被经常访问的,IOPS要求100K 级别,剩余的则访问频率急剧下降,在10k甚至以下。既然需求不同,那么是不是能够将不同类型的数据存储在不同的介质上,以最大化运用存储的效率? 为了更进一步细分数据等级,能够更好分配资源和提高收益,浪潮按照数据读取的热度,将数据分为寒带、温带、亚热带和热带数据,并通过不同速率的存储介质和不同处理速度的CPU的配比,实现数据存储的成本最优,使数据存储更适合上层业务应用。 高IOPS满足热数据高速、频繁读取 随着数据量的持续增加,单位时间内需要处理的请求越来越多,SATA SSD也显得力不从心,SATA接口6Gb/s的限制已经成为发挥SSD性能的瓶颈,因此各厂商将目光转向拥有更高带宽的PCI-E。 目前主流的PCI-E 3.0 x16的传输速度已经可达16Gb/s,而最新的PCI-E 4.0 x16将能够达到32GB/s!实测数据显示,采用了新的NVM SSD技术优化PCI-E SSD的连续读取和写入速度已经达到惊人的2.8GB/s和2GB/s!IOPS已经突破450000,是SATA SSD的6倍,单位IOPS成本降低71%! 经过测试,在热数据处理应用中,采用PCI-E加速,性能将提升10倍,而投资将减少一半以上! PCI-E接口打破了SSD存储速率上限,但其仍受到接口标准的限制。举个例子,假如你有一辆豪车,时速能到300迈,在乡间小道上,犹豫路窄且泥泞,你只能开到60迈,这就相当于SATA SSD;过了好久,终于开到了高速,由2车道变成6车道,但是路上车多,最高速限制120公里,这就相当于采用AHCI标准的PCI-E SSD;又开了一段时间,已经远离城市,来到荒无人烟的大草原,这里的标准就是自由,限制车速的就是豪车本身。 当然,这个例子并没有把NVMe的特性解释全面,其实相对于AHCI,原生PCI-E主控与CPU直连,并且精简了调用方式,因此延迟大大降低。由于将队列深度从32提升至64000,NVMe提升了SSD的IOPS。另外,采用NVMe标准后,解决了不同PCI-E SSD之间的驱动适用性问题。 目前浪潮互联网定制化服务器SA5112M4、SA5212M4均可支持 NVMe 。其中密度较高的1U机架服务器SA5112M4可支持 4片 NVMe SSD,提供 100k 级别 IOPS,满足极热数据的高并发访问需求,完美解决被数据频繁访问的问题。 平衡的计算与存储配比 对于亚热带数据,SATA SSD 的性能可以满足,且在目前来看价格与PCIe SSD相比仍有一定的差距,因此对于每天访问约几十遍的数据可以使用SATA SSD存储。所以浪潮服务器满足单节点最多配置 8 块 SATA SSD,单盘提供 10k 级别的 IOPS 响应能力。而温带数据相比热数据体量陡然增高,所以相比较需要成本更低的存储方案,使用Intel E5双路服务器+大容量SATA硬盘是主流的配置。但是,温带数据存储目前有了一种新的选择。 去年3月,Intel官方宣布了基于14nm的Xeon首款单芯片产品,家族命名"Xeon D"。Xeon D基于Broadwell-DE架构,是真正的SoC系统,不仅有处理器,还整合了内存、I/O等子系统,定位介于Atom与Xeon E3之间。 今年9月,浪潮在其第三届互联网应用技术峰会上,在业界率先发布了基于Xeon-D SoC处理器的一系列产品,专为温数据存储设计,低功耗和高集成度为构建高密度的云数据中心提供支持。此前,浪潮已经拥有1U8盘、2U12盘、4U36盘等较为完整的数据分级存储产品,这次发布的Xeon-D新品,将为温冷数据存储提供了更多的选择。 Xeon-D产品同样会在浪潮整机柜服务器SR中应用,在1U的空间内支持18块3.5英寸硬盘,单节点可扩展支持一个JBOD,存储密度提升的同时,可进一步降低了存储成本,且支持硬盘休眠,从而实现超低闲置功耗。 寒带数据,更注重容量和能效比 目前,PCI-E SSD也可以做到超大的容量,但是对于温数据和冷数据来说,性能是过剩的。对于冷数据采用SATA硬盘,就足够满足性能需求。以目前国内较大的云存储--金山云为例。借助小米用户的基础,金山云已成为全国最大的云存储服务提供商。预计未来可能每天新增1PB的内容,全年将有1000个PB内容需要存储!如此海量的数据,不仅需要足够的硬盘来存储,也需要大量的机柜以及交换机、负载均衡等网络层来支撑,大规模的服务器集群无疑会增加运维与管理方面的复杂度,使数据中心的TCO不断攀升。 在笔者看来,未来互联网数据中心的存储介质选择上,PCI-E SSD将逐步替代SATA SSD成为热数据和温数据存储的首选。而冷数据存储上,大容量低成本的SATA HDD还将是最具性价比的选择。浪潮根据互联网客户需求,推出业界首款基于SAS协议的资源池化产品--SAS Switch,将从机柜层面推动冷热数据分离,并简化存储设备运维难度! 本文转自d1net(转载)

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册