首页 文章 精选 留言 我的

精选列表

搜索[多模型供给],共10008篇文章
优秀的个人博客,低调大师

换个角度谈边缘计算:电力供给压力与计算能力占比率不高,它是过度炒作吗?

边缘计算近年来日趋火热,互联网公司、电信运营商、设备商等众多领域都在讨论边缘计算。 那么,边缘计算的“火爆”现象是市场炒作还是真实需求?国外“Disruptive Analysis”的创始人兼董事Dean Bubley对此发表了看法,以下是他的观点。 边缘计算是一个微型数据中心的网状网络,可以在本地处理或存储关键数据,并将所有接收的数据推送到中央数据中心或云存储库。 它通常在物联网用例中被提及,其中边缘设备收集数据,并全部发送到数据中心或云进行处理。边缘计算在本地对数据进行分类,由于其中一些数据在本地处理,从而减少了到中央存储库的回程流量。 通常,这是通过IoT设备将数据传输到本地设备来完成的,本地设备包括小尺寸的计算、存储和网络连接。数据在边缘处理,它们全部或部分被发送到公司的数据中心、协同定位设施或IaaS云中的中央处理或存储库。 边缘计算很重要,但它的功能也被夸大了。网络边缘计算只是整个云计算领域的一小部分。由于它很小,它可能只是网络规模云平台的补充(并与之集成)。我们不太可能看到主流的提供商推出“下一代Amazon AWS,仅分发”这样的名号。 从功耗看边缘计算 为什么网络边缘计算的领域很小?下面从不同的角度来观察:功率。边缘计算是计算行业顶端和底端人员使用的指标,但很少被中间的人使用,例如网络所有者。这意味着它们忽略了几个数量级。 数据中心的大功率负载云计算涉及大量数据,比如服务器、处理器、标准尺寸设备机架、占地空间之类的数量指标。但数据中心用户使用最多的数字可能是以瓦特为单位的功耗,或者更常见的是kW、MW和GW。 功率不仅包括计算CPU和GPU的需求,还包括数据中心的存储和网络元素。 粗略地说,全球大数据中心的总功耗约为100GW,典型的数据中心可能有30MW的容量,但是世界上最大的数据中心单独使用的容量已经超过100MW,甚至有计划扩展到600MW甚至1GW。但它们并非全部都在全力运转,任何计算平台都是如此。 这种功耗增长一部分是由于所需服务器和设备机架数量的增加(这也导致了占地面积增加),另一方面也与单个服务器的功耗有关,因为芯片变得更强大。大多数设备机架使用3-5kW的功率,如果可以提供电源和冷却,有些可以高达20kW。 因此,为“云”提供动力需要100GW,并且这个数字正在持续快速增长。我们也看到二线和三线城市的小型区域数据中心有所增长,公司和政府通常也拥有私人数据中心,这些不同区域所需的功率相差很大,通常1-5MW的基准是比较合理的。 “边缘设备”的功耗除了数据中心,设备本身及其内部的组件也将消耗功率。特别是对于需要电池供电的设备,将功率控制在瓦特或毫瓦是至关重要的。比如: 传感器在空闲时的使用可能不到10mW,在主动处理数据时可能使用100mWRaspberry Pi可能会使用0.5W智能手机处理器可能使用1-3W物联网网关(控制各种本地设备)可能是5-10W一台笔记本电脑可能需要50W一个不错的加密设备可能会使用1kW创新正在改变功耗阈值。一些研究人员正在研究亚毫瓦视觉处理器,比如ARM的设计能够在功耗极低的设备上运行机器学习算法。 但也许最有趣的“边缘设备”是未来的高端Nvidia Pegasus主板,针对自动驾驶汽车。它是一台500W的超级计算机。这可能听起来很大,但实际上还不到大多数汽车发动机功率的1%。高端的特斯拉P100D以“ludicrous mode”为车轮提供超过500kW的功率,或1000x。汽车空调可能会使用2kW。 当然,边缘设备计算平台有很多。当我们拥有数十亿的手机、数以亿计的车辆以及个人电脑时,潜在的,我们也将会有数十亿的传感器,但大多数并不协调。 网络中间层的功耗在分布式计算中,接近网络边缘的一端是毫瓦,而在另一端,从设备到云有千兆瓦。那么网络的中间呢? 很多公司都在谈论MEC(多接入边缘计算)和雾计算产品,服务器设计在蜂窝基站、网络聚合点、固定网络节点和其他地方运行。 有些是“微型数据中心”,能够在最大的蜂窝塔附近容纳数个服务器机架。最大的可能是50kW的容器大小的单元,但这些是非常罕见的,并且需要专用的电源。 值得注意的是,典型的宏蜂窝塔可能具有1-2kW的功率。因此,如果我们考虑也许其中10%可以用于计算平台而不是无线(一个慷慨的假设),理论上我们可以得到100-200W。或者换句话说,一个蜂窝塔边缘节点的功率还不到单个车载计算机的一半。 其他是较小的服务器单元,旨在连接到小型蜂窝、家庭网关、电缆街道侧机柜或企业“白盒”,对于这些来说,10-30W更合理。 想象一下2023年 想象一下未来5年,届时,可能会有150GW的大型数据中心,加上相当数量的中型区域数据中心,以及私营企业设施。 我们可能拥有100亿部手机、个人电脑、平板电脑和其他小型终端,为分布式边缘做出贡献,但显然它们会在闲置模式下浪费大量时间。我们也可能拥有1000万辆近乎自动驾驶的车辆,这需要很大的计算量,即使不是完全自动驾驶。 现在,假设我们有1000万“深度”网络计算节点,在大大小小的蜂窝站点上,内置到WiFi AP或控制器中,或者在电缆/固定的街边柜机中。它们的额定功率可能在10W到300W之间,尽管很少有能够达到300w的。大多数都选择100W,以便进行更简单的计算。(坦白地说,这是一个慷慨的预测,但让我们先看一下。) 我们添加20000个容器大小的50kW单元,或者重新设置中央办公室作为数据中心。 换句话说,我们最终可能会有: 150GW大型数据中心50GW区域和企业数据中心20000 x 50kW = 1GW大/聚合点“网络边缘”迷你DC10m x 100W = 1GW“深度”网络边缘节点1bn x 50W = 50GW的PC100亿x 1W = 10GW“小”设备边缘计算节点10m x 500W = 5GW的车载计算节点100亿x 100mW = 1GW的传感器和低端设备这是一个非常粗略的分析。许多设备大部分时间都处于空闲状态,可能需要卸载功能以节省电池电量。笔记本电脑通常完全关闭。但同样,网络边缘计算机也不会以100%,24x7运行。 边缘计算1%的计算能力 因此,在粗略的、数量级的水平上,乐观地讲,总体实际“网络边缘”占总的计算能力还不到1%。而悲观的假设,它可能只有0.1%。 除非对网络基础设施的电力供应进行大规模升级,同时安装5G的回程升级或部署FTTH,否则再也无法供电了。 基于区块链的边缘“雾”也不可能真正解决这个问题,即使它们也使用分散的、基于区块链的供电和管理。 这0.1%-1%的计算工作量将具有如此重要的作用,它们需要把所有的东西带入其轨道和间接控制。 “边缘”真的可以成为新的前沿吗? 答案是并不能,实际上,情况恰恰相反的可能性更大。基于设备的应用程序会选择性地把某些工作负载卸载到网络,或者webscale云将分发某些功能。其中网络边缘是某些垂直或应用程序的控制点。有些安全功能是有意义的,例如,如今CDN的演变。但IoT管理或AI会集中在这些边缘节点上吗?这似乎不太可能。 结论 未来,网络边缘计算架构(如MEC)将变得更加重要。但尽管如此,他们的功能并不像炒作的那样强大。 几乎没有应用程序是仅在网络边缘运行的,它将用于特定工作负载或微服务,作为更广泛的多层应用程序的子集,主要的计算还是在设备上或云上完成。因此,边缘计算提供商和行业/网络规模云之间的协作是必要的,因为网络边缘只是更大解决方案中的组件,并且很少是最重要的组件。 有一件事是肯定的:移动运营商不会成为分布式“准亚马逊”,它们通过5G连接所有附近汽车或其网络中的工业4.0机器人进行图像处理。 MEC节点可以批量托管Amazon Greengrass或其他功能,但很少有开发人员希望在独立的基础上直接编写电信公司的分布式云API,无论是否有网络切片或5G QoS机制。 原文发布时间为:2018-07-06本文作者:Dean Bubley本文来自云栖社区合作伙伴“ SDNLAB”,了解相关信息可以关注“ SDNLAB”

优秀的个人博客,低调大师

qemu-img 将qcow2转换为块设备(openstack image 2 volume)中的瘦供给

1、背景 qemu-img convert 可以将一个镜像里的数据以raw格式的方式写入一个块设备 这里一定要注意,如果convert目标是一个块设备,一定必须带-t none(以及上文中的参数)标记。否则后续的has_write_zeros属性不会开启。 如果convert目标是一个文件时刻,那么不用—t none都会设置discard_zeroes,has_write_zeroes和has _falloccate有了这些属性,写入目标文件时刻使用fallocate来实现文件的打洞。 2、qemu-img convert 在qemu-img convert函数中,如果配置了-t none(以及前述标记off,direct),那么目标设备打开的时候带有BDRV_O_NOCACHE。此标记会将目标设备块驱动(qemu 的blk驱动)设置has_write_zerors属性,当linux反馈块设备支持discardzero时刻再设置discard—zero属性;如果不带 BDRV_O_NOCACHE 那么设置has_write_zeros, discard_zero均不生效。 当qemu-img convert写入设备数据的时候,首先尝试运行清零动作。 在img-convert()主入口,写入真正数据之前调用: 2.1 判定是否使用清理卷: bdrv_can_write_zeroes_with_unmap(out_bs), 1)如果qemu-img convert -S 0 那么就会直接返回false,表示不能通过unmap进行清0动作。 2)在此函数里通过调用bdrv_get_info()--->raw_get_info()取得discard—zero标记判定。 此标记在raw_open_common()里判定块设备没有设置BDRV_O_NOCACHE标记时刻,设置discard-zero标记为Fasle,其他情况块设备如果通过ioctl查linux系统块设备设置BLKDISCARDZEROES标记时设置为True。也就是qemu-img convert -t none或者-t off 或者-t direct,discard-zero为False;或者linux查询设备状态反馈不支持discard-zero 如果discard-zero标记为True就需要清理卷,否则就不需要。此标记为真表示linux支持使用ioctl discard命令来格式化卷为全0. 2.2 如果判定无需清除卷: 那么后续的写入动作,就必须忠实的写入0. 对于qemu-img convert -t writethrough ,它在打开时刻没有设置BDRV_NONE_CACHE.所以discard-zero标记为false,所以判定无需预先使用discard清0. 2.3 如果判定需要清除卷: 如果判定输出块设备支持bdrv_make_zero(out_bs,BDRV_REQ_MAY_UNMAP)对整个卷走清零动作。此函数使用brdv_write_zero(BDRV_REQ_MAY_UNMAP) bdrv_co_write_zeroes(),此函数最终调用到raw-posix driver的hdev_co_write_zeroes().在此函数中检测blk驱动 1)如果没有设置BDRV_REQ_MAY_UNMAP(只有qemu-img convert -s 0此标记才会清理掉,表示不支持unmap清0) 它调用handle _aiocb_write_zeroes(),这个函数最终调用handle_aiocb_write_zeroes_block(),此函数最终判断设置了has_write_zeros 标记就调用ioctl(BLKZEROOUT)发往内核的scsi block。 Qemu-img convert -t none 和-t off -t direct就走的这个流程。 2)如果设置了BDRV_REQ_MAY_UNMAP且设置了disacard_zeros标记,最终调用handle_aiocb_discard() 此函数最终调用ioctl(BLKDISCARD) 内核(3.10) 内核收到BLKZEROOUT以后,将调用blk_ioctl_zeroout()--->blkdev_issue_zeroout-->blkdev_issue_write_same() 写入内容全部为零的页面。blkdev_issue_write_same()生成一个bio(块io请求),带REQ_WRITE_SAME. 当这个请求最终由内核的scsi driver驱动处理(ks3200 的iscsi lun在内核中最终体现为一个scsi disk)时,它产生一个WRITE_SAME 的scsi命令。 硬件 总结 qemu-img 转换为文件时刻,由于本地文件系统支持,所以即便目标是raw文件,原始镜像中的连续0也是不会占用实际物理空间的。 转换目标可以是一个块设备,按照raw格式将数据写入块设备。此时当块设备支持discard特性的时候(ssd设备),qemu 使用设备的blkdiscardzeros,最终落实到scsi的unmap命令,此时数据也不会被真正被写入;此时内核意识得到写入的零没有真正写入。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册