首页 文章 精选 留言 我的

精选列表

搜索[知识库增强],共10000篇文章
优秀的个人博客,低调大师

增强模型鲁棒性!博世提出元对抗训练方法

介绍一篇对抗学习最新论文Meta Adversarial Training ,作者来自德国博世公司。 引言 深度学习模型中一个很致命的弱点就是它容易遭到对抗样本攻击。在真实物理世界中,通用对抗样本可以低成本的对深度模型进行对抗攻击,这种对抗攻击可以在各种环境中欺骗模型。 到目前为止对抗训练是针对对抗攻击最有效的防御手段,但问题在于训练对抗模型是一件成本很高的事情,而且防御通用对抗样本难度会更大。 在该论文中作者提出了一种元对抗训练方式,它将对抗训练和元学习的结合在一起,不仅降低训练成本,而且大大提高了深度模型对通用对抗样本的鲁棒性。 背景介绍 通用对抗扰动于2017年的《Universal adversarial perturbations》中被首次提出。 通用对抗扰动与单一图片的对抗扰动有很大的区别。通用对抗扰动最大的一个特点就是该扰动与输入图片无关,它与模型本身和整个数据集相关; 而单一图片的对抗扰动只是针对于它的输入图片,对数据集其它的图片攻击性几乎没有。 如上图所示,假如有一个动物数据集和经该数据集上训练得到神经网络分类器,经过对抗攻击生成了针对于该动物数据集和该模型的通用对抗扰动Universal perturbation。 将该对抗扰动加在选取出的猫,狗,兔子,猴子,鸟的图片,并输入到分类器中,分类器全部分类出错。 模型介绍 假定 是 维向量数据点 和相应标签 上的分布, 为待优化模型参数, 为损失函数, 为对抗扰动集合, 为对数据点施加扰动 的函数, 为随机扰动向量。 对于通用对抗扰动,对抗扰动的集合表示为: 对于通用Patch 扰动,函数 b表示为: (1) 其中,mask为 ,对抗扰动的空间为 ,随机变换 为 。 根据公式(1),作者重新定义了通用对抗损失为: (2) 目的是找到使通用对抗损失最小化的模型参数即 ,这与标准对抗训练的思路一致,即内部最大化(生成对抗样本),外部最小化(利用对抗样本更新模型参数)。 作者通用对抗扰动的初始值进行元学习,并使用基于梯度的元学习来处理优化问题 ,在更新对抗目标函数的外部最小化的 的同时,作还对对初始化 进行元学习。这样做的好处在于用尽量少的梯度步长来近似 的内部优化问题。 为了鼓励元扰动生成集的多样性,对于每个元扰动,需要随机分配一个目标,并执行有针对性的I-FGSM攻击。这避免了许多扰动收敛到类似的模式,可以愚弄模型预测相同的效果,还需要将随机选择的固定步长 分配给每个元扰动。 较大的步长对应于元扰动,元扰动更全局地探索允许的扰动空间,而较小的步长导致更细粒度的攻击。 为了能够更加清晰的展示出该论文中关于元对抗训练的过程,综合上述的算法介绍,我将论文中的算法流程图进行了重新进行了整理,如下框图所示: 实验结果 鲁棒性评估 该论文中的鲁棒性评估方法其实是扩展了于2018年Madry等人在PGD论文中的鲁棒性评估的方法。具体公式如下所示: 根据上式利用蒙特卡洛则有如下的估计公式: 其中数据采样 ,随机向量 。另外作者将随机投影(S-PGD)的对抗扰动的公式定义为: 定性定量结果 作者利用覆盖大约占比图像14%(24x24像素)的通用Patch来评估鲁棒性,并且对于每个Patch从图像中心最多随机平移26个像素。每个模型利用SGD训练75轮,初始学习率为0.033,学习衰减率设置为0.9,Batch_Size为128。 定量的结果如下图所示为对Tiny ImageNet(图片尺寸的大小为64x64,ImageNet的图片大小为256x256)分类器的攻击成功率。 其中CL代表的是干净样本数据,RI是带有随机初始化的Patch的样本,DI是带有裁剪的Patch的样本,LF是低频滤波器样本,Tr是从其它模型中迁移过来的对抗样本。可以直观的发现,该论文中提出的MAT是在防御对抗攻击中效果最好的。 防御通用对抗Patch的定性的结果如下图所示,在AT,SAT,UAT,以及本文提出的MAT的对抗训练方法中,只用MAT起到了抵御对抗攻击的效果。 防御通用对抗扰动的定性的结果如下图所示,在AT,SAT,UAT,以及本文提出的MAT的对抗训练方法中,AT和MAT都完美的抵御对抗攻击。 整体综合来看,MAT在抵御通用对抗扰动中是最出色的。 论文: https://arxiv.org/abs/2101.11453代码: http://github.com/boschresearch/meta-adversarial-training END 备注:对抗 对抗学习交流群 扫码备注拉你入群。 我爱计算机视觉 微信号:aicvml QQ群:805388940 微博知乎:@我爱计算机视觉 投稿:amos@52cv.net 网站:www.52cv.net 在看,让更多人看到 本文分享自微信公众号 - 我爱计算机视觉(aicvml)。如有侵权,请联系 support@oschina.cn 删除。本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

优秀的个人博客,低调大师

通过NPD在kubernetes集群上增强节点的错误检测能力

根源 在kubernetes集群上,通常我们只是管制集群本身以及容器的稳定运行。但是这些稳定性都是强依赖节点node的稳定的。可是node的管理,在kubernetes是比较弱的,因为可能对于kubernetes的初始设计来说,这些应该是IaaS的事。但是随着kubernetes的发展,它越来变成了一个操作系统,它管理的内容将越来越多,所以对于node的管理也将纳入kuberntes里管理。所以延伸出了node problem detector(参考1)这个项目。 Node的主要影响kuberntes稳定性的因素 硬件错误 CPU坏了 Memory坏了 磁盘坏了 kernel问题 kernel deadlock (内核死锁) corrupted file systems (文件系统崩溃) unresponsive runtime daemons (系

优秀的个人博客,低调大师

人工智能如何增强数据中心的安全性

IT服务的安全性分为很多层次。例如,安全层包括防火墙、入侵检测和访问控制。基础设施层包括电力、网络及服务器的状态和冷却。但最重要的还是运维层。经验丰富的工作人员能够采用正确的流程,以确保数据中心运行一切正常。人工智能通过简化相应的步骤提高效率,对数据中心运维产生重大影响。 在互联网快速发展的今天,人工智能和深度学习将成为解析数据中心所生成大量数据的技术保障,通过人工智能可以更有效地管理服务交付,同时减少数据中心宕机等风险。这些都源于交付应用程序工作负载的转变。 数据太多? 在过去的10年中,人们已经从单一服务器单一应用程序演进到在容器中运行的分布式应用程序。这些正在由运行在前提和云中的微服务交付,这些服务都是由自动化工具管理的。基础设施已经成为应用程序的一部分。如果企业正在使用像Amazon S3或Google Maps这样的平台作为其服务交付的一个组成部分,那么就将经历这样的转变。 这种转变对数据中心管理造成的影响是显著的,电力和制冷只是需要工作人员定期关注的一部分。环境控制、物理设备、虚拟机和公共云都需要工作人员全天候进行监控和管理,以降低成本并提高效率。因此,了解特定工作负载迁移变得至关重要。 企业通过监控、分析收集来的数据量,来确保业务的正常发展。其中数据大都是从传感器、应用、门禁系统、配电单元、UPS、发电机和太阳能电池板产生的数据。如果外部数据源想要进行存储,例如应用程序漏洞信息,电费和天气预报。则需要强大的数据中心基础架构管理(DCIM)工具来存储所有这些数据,进行分析并将其转化为可操作的信息。 人工智能和深度学习在数据中心管理中变得不可或缺。以下是较为显著的领域: 获知动态 具有趋势、相关性分析和推荐操作的活动指示板。 预防性维护 深度学习用于识别和关联预测电源,存储或网络连接故障的数据。这样,在进行维护的同时,数据中心运营商可以积极主动将工作负载移至更安全的区域。 追踪故障分析 机器学习用于跟踪多个服务的故障根本原因。这被学习并用于将来的预防性维护。 网络安全和入侵检测 机器学习和深度神经网络用于现场应用传感器,访问控制系统和网络系统中发现异常模式,并提供更好的信噪比和积极的解决措施。学习神经网络用于不断提高企业的安全态势和管理相关问题的能力。 自动化 配备各种自动处理技术的"窄范围定义的人工智能",例如如果自主驾驶汽车在行驶中即将发生碰撞,则采取刹车措施。 深度神经网络和机器学习算法将随着时间的推移而改进,从而实现更高的效率和性能,以配合快速增长的应用工作负载。随着这一切的即将到来,人工智能将对企业如何管理数据中心产生巨大影响。 本文转自d1net(转载)

优秀的个人博客,低调大师

增强型服务器能否取代交换机?

由于越来越多的服务器被虚拟化,因此服务器之间的连接也自然而然地主要通过运行在服务器上的虚拟交换机来进行。如此便出现了一个问题:架顶式数据中心交换机(ToR)最终会被并入服务器吗? 支持者们认为答案是肯定的,尤其是因为现在的服务器一般都是多核、二层智能和高密度光接口的,因此上行的内核连接可由光交叉连接来提供,这不过是把流量从服务器转移到方向引导器上而已。 比较保守的人则认为答案是否定的,或者说短期内不可能。虽然服务器将越来越多地承担虚机间的交换责任,但架顶式交换机将继续存在下去。 在问及服务器是否最终会取代ToR交换机时,Dell’Oro的交换机分析师Alan Weckel说: “简单的回答是不。归根结底,机架服务器还是要连接到ToR交换机上去的。这就是目前80%的市场现状。所以说,ToR不会很快消失。” Fiber Mountain公司的观点与此不同。这家新创企业专门设计软件控制的光交叉连接。“我们正准备摈弃层的概念:交换机层、交换机之间的链路层,等等,”Fiber Mountain的创始人兼CEO MH Raza说。“交换作为一种功能正在从交换机盒子里分离出来,成为服务器盒子里与其他功能共存的功能。假如我们把交换功能放入服务器里,其逻辑就和机架前端的很多服务器一样,服务器内置交换机就跟内置了众多的虚机一样。为何不能在服务器上进行交换呢?这在服务器上是可以做到的。” Raza说,他知道有一家厂商制作的英特尔多核主板就带博通的Trident II交换芯片和一个高容量光纤连接器。这个1U设备有一个光纤接口,可支持最多64个25Gbps通道,容量可从800G到1.6Tbps——这一容量与英特尔和康宁 MXC连接器的一样。利用MXC以及相同的硅光子技术,服务器之间也能直接通信,而无须使用任何交换机。 “交换是可以由服务器来做的,”他说。“我可以分配数据包走右边的通道。它还需要去多少个地方?10个、12个,还是40个?都不成问题。只要你有MXC连接器,你就能让数据包去32个不同的目的地。” Raza称,实现这一点现在就是可能的,而之所以没人谈论它,是因为这一前景极具颠覆性。我们依然还带着传统网络思维的眼罩。“有没有人谈论它,要取决于市场采用硅光子技术的速度有多快,”Raza说。“但它现在肯定是可以做到的。具体时间表要取决于技术和市场方面的投资与迁移。” 鉴于VMware的NSX产品是专门用于在VMware虚拟服务器环境中处理虚拟交换,你或许会认为该公司就是服务器最终包含交换机这一概念的最大支持者。但VMware网络安全事业部的首席技术战略官Guido Appenzeller称,尽管服务器作为ToR交换机架构模式是为超大规模环境而提出的,但也从未见到它被实际使用过。 “总之,如果想放弃ToR,那服务器就得增加类似包分类引擎的新芯片,”Appenzeller说。“可能需要在服务器内增加一个微型交换机。但今天的服务器架构还无法支持它。”微型交换机应该是以太网设备,能够实现服务器和服务器的直连。另一种选择是一层交叉连接和服务器主板上的多路复用器。Appenzeller说。 Appenzeller之所以赞成以太网微型交换机,是因为此类交换机对于服务器圈子来说相当熟悉,而且它对VLAN的分隔能力也是有些光交叉连接无法做到的。“但我从未见到有谁部署过这种模式。”Appenzeller说:“可能是因为ToR交换机的端口价格下跌得很快,而使两者都显得不太可行吧。” Dell’Oro集团对此也表赞同。该咨询机构的报告称,2011年到2016年间,10G以太网的平均端口售价从715美元跌到212美元。 据Cumulus网络公司CEO兼联合创始人JR Rivers说,网络芯片厂商如Broadcom和Mellanox所提供的网络处理器的性价比要高于通用CPU。还有,带网络功能会使得中央CPU的性能下降,从而会降低其价值。就像Rivers所言:“如果在CPU上多增加模块,那么回报肯定会受损。” River称,之前光纤互连和背板的方式也曾被评估过,但由于成本太高,太过复杂其市场没能启动。英特尔的RackScale架构解耦和池化了计算、网络及存储资源,从而通过软件让IT机架更为灵活、敏捷,而利用硅光子互连架构可将所有这些池化资源都连接起来。 然而,这种方式仍可能被证明过于复杂而不切实际。Rivers说:“光背板太过复杂,所以才没能普及开来,而 RackScale与今天的数据中心环境耦合得相当紧密,而且是经过良好设计的系统,这一点与能够在全网上快速迁移的松耦合系统是不同的。RackScale似乎想一招鲜吃遍天,但这是不可能的,而且其客户往往也无法从中获益。” 他将这种努力比喻做嵌入刀片服务器中的刀片式交换机,用户一般都会忽略其存在,仍然会继续让刀片与思科的交换机端口连接。 依照同样的思路,River对数据中心绕开ToR交换机、使用光技术直连服务器的做法也表示了怀疑:“很难看到这种技术的好处,光交叉技术想成为永久改变网络的基础技术要素很困难,更何况它们已存在了相当一段时间了。” 按照英特尔的说法,即便服务器将会承担更多的交换智能和本地功能,但ToR仍将作为物理上独立的交换机存在。 “ToR仍将在数据中心内部发挥重要作用,”英特尔通信基础设施部门总经理Steve Price说。“目前的一个趋势是,在服务器机架上会不断增加网络智能。例如,策略执行和多租户隧道功能今天或者发生在vSwitch上,或者发生在ToR上。随着机架内计算密度的增加,以及服务器上SDN和NFV的出现,每个托架上跨虚拟和物理交换机的东西向流量将会增加。服务器将会成为能够通过IA架构上的软件来处理数据包的混合平台,利用托架级交换可汇聚和管理跨多台服务器的工作负载。” Price说,托架级交换可以为本托架内的多台服务器提供低延迟的连接性,然后通过100G以太网将流量汇聚给ToR。不过他也承认,在每个服务器托架上提供高密度端口的交换会增加布线成本,所以英特尔建议可将所有服务器托架上的流量汇聚起来,通过100G以太网上行链路传给ToR交换机。 英特尔的战略就是增加在Open vSwitch社区项目上的投入,关注数据平面开发工具套件(DPDK),同时提升IA架构上虚拟交换的性能,在需要的时候可以让硬件卸载流量给NIC(网卡)或物理交换机。Price称,DPDK目前已计划纳入Open vSwitch 2.4。他还认为,RackScale架构更关注的是超大规模数据中心,此类数据中心的管理者希望降低TCO,提高资源的灵活性和敏捷性。 思科计算系统产品事业部的技术营销总监Dan Hanson说,英特尔和思科之间已对RackScale架构和对服务器/交换机的解耦以及分布式内存体系都进行了讨论。Hanson认为,思科对交换机解耦的观点是与英特尔互补的,但在如何最佳实现解耦方面存在分歧。“这个概念包含了很多承诺,也有很多人在推动这件事情,”Hanson说。“思科只是想寻找到实现它的最佳途径。” Hanson认为,英特尔的DPDK是一种可能的途径,因为它可以用一些硬件来辅助思科的UCS服务器在网络功能虚拟化(NFV)应用中能力的发挥,而通用的x86平台则性能不够。但如何最佳地实现分布式、非汇聚交换以及内存管理,以及业界何时才能做好这方面的准备,目前依然处在开放性讨论阶段。 “我们之所以跟英特尔讨论RackScale架构的原因就在于这是一种补充架构,我们可以从中寻找到向服务器扩展更多功能的途径,在机架内进行分发和解耦。”Hanson说。“到目前为止,我们还只是在UCS机架内共享这些组件中的一部分,但或许尚未扩展到英特尔所关注的内存层面。” Hanson指出,思科数个月前所发布的在其UCS M系列服务器上所使用的System Link技术就有可以映射到RackScale上的功能。System Link是一块芯片,可以为M系列提供连接解耦的子系统到fabric架构的能力,这里的fabric是软件定义的、基于策略配置的、可部署和管理每个应用资源的架构。 作者:波波编译 来源:51CTO

优秀的个人博客,低调大师

沃达丰概述5G前夕物联网功能增强的潜力

据悉,沃达丰日前解释了如何通过加强现有2G和4G网络技术,从而提前实现5G网络所预测的一些物联网的优势。 除了大幅度增加速度、提高覆盖范围以及降低延迟,5G技术最关键的预期优势之一是能够促进新兴物联网技术的发展。但是,我们不需要等到2020年商用5G才能享受到这些物联网提供的好处。 尽管目前正在与华为、诺基亚、爱立信、因特尔以及高通合作推动5G的发展,沃达丰认为窄带物联网(NB-IoT)对现有网络的支持将早于预期时间带来5G类似的好处。 NB-IoT是不久前由3GPP确定的一种窄带无线技术。它是专门设计的,通过低成本提高室内网络覆盖并支持大量低功率设备来解决物联网需求。也许其最重要的特点是能在现有GSM和LTE频谱上进行部署。 沃达丰集团研发总监Luke Ibbetson表示:“我们预计将尽快在2017年初实现NB-IoT商业部署,并支持连接设备所需的覆盖范围。升级网络以便使用NB-IoT的路径非常清晰。沃达丰预计,通过软件升级,位于欧洲4G基站的85%将能支持NB-IoT。” 目前全球有20多家大型网络运营商都表示了对NB-IoT的支持,看起来未来5G技术将提供的物联网服务将会提前实现。 ====================================分割线================================ 本文转自d1net(转载)

资源下载

更多资源
Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册