首页 文章 精选 留言 我的

精选列表

搜索[CEL策略],共10000篇文章
优秀的个人博客,低调大师

从巡检策略、风险控制到异常闭环的技术实践

自动化巡检的价值并不是“把人工登录服务器的动作自动执行一次”,而是建立一套可持续、可审计、可闭环的主动检查机制。现代企业的IT环境通常同时包含服务器、网络设备、数据库、中间件、虚拟机、容器和信创环境,单纯依靠人工巡检很难覆盖全部对象。本文从巡检对象、检查项设计、执行编排、结果分析、安全控制、信创适配和异常闭环几个方面,拆解自动化巡检平台的核心技术问题,并给出可以通过POC验证的方法。

优秀的个人博客,低调大师

校园电子邮件钓鱼攻击风险与防御策略研究 —— 基于学区预警案例的实证分析

教育机构内部电子邮件系统承担行政办公、师生信息传递、教学业务流转等多重功能,同时也成为网络钓鱼攻击的重点目标。以美国 Sunnyside 学区发布的邮件钓鱼诈骗风险预警事件作为分析样本,本文梳理校园场景下电子邮件钓鱼攻击的实施路径、危害传导逻辑,剖析教育组织在技术防护、人员认知、应急处置层面暴露的现实短板。结合案例呈现的攻击特征,反网络钓鱼技术专家芦笛指出,校园钓鱼攻击并非单纯的技术对抗,而是攻击者利用组织管理漏洞与人员心理弱点开展的复合型欺骗行为。本文从技术架构优化、人员安全能力建设、事件闭环处置机制三个维度,探讨适配教育机构的防御体系建设路径,客观分析各类防护手段的适用边界,为各级教育单位防范同类网络安全事件提供可参照的分析框架与实践思路。

优秀的个人博客,低调大师

AI不会取代你,但“会用AI的人”会——技术从业者的五种生存策略

他的焦虑不无道理。同样的疑问,在客服、翻译、初级编程、基础设计、文案编辑等岗位的从业者中间,几乎每天都在被重复提问。但如果我们拨开这些焦虑的表层,去观察真实的技术演进节奏和产业需求结构,会发现一个更接近事实的结论:AI从来不是按“职业”来消灭工作机会的,它是按“任务单元”来重新分配价值的。

优秀的个人博客,低调大师

千卡利用率超98%,详解JuiceFS在权威AI测试中的实现策略

2023 年 9 月,AI 领域的权威基准评测 MLPerf 推出了Storage Benchmark。该基准测试通过模拟机器学习 I/O 负载的方法,在不需要 GPU 的情况下就能进行大规模的性能压测,用以评估存储系统的在 AI 模型训练场景的适用性。 目前支持两种模型训练:BERT (自然语言模型) 和 Unet3D(3D医学成像)。虽然目前不支持大语言模型如 GPT、LLaMA,但 BERT 与大语言模型同为多层 transformer 结构,大语言模型的用户仍可从 BERT 训练结果获得一定的参考。 高性能存储产品厂商 DDN、Nutanix、Weka 和 Argonne National Laboratory(简称 ANL)发布了 MLPerf 的测试结果作为行业参考,我们也使用 JuiceFS 企业版进行了测试,让用户了解它在模型训练中的表现。 测试中最直观的指标是 GPU 利用率,大于 90% 为测试通过,表示存储系统能够满足训练业务的性能需求。JuiceFS 在 Unet3D 的 500 卡规模测试中,GPU 利用率保持在 97% 以上;在 BERT 的1000 卡规模测试中,GPU 利用率保持在 98% 以上。 01 测试准备 JuiceFS 企业版是基于对象存储的并行文件系统,相比社区版它提供了更强的元数据引擎和缓存管理能力,它的架构图如下: 我们在华为云上搭建了一套企业版 JuiceFS 文件系统,使用华为云 OBS 作为数据持久层,部署了 3 节点的元数据集群和多节点的分布式缓存集群,硬件规格如下: 元数据节点:m7.2xlarge.8 | 8vCPUs | 64GiB 对象存储:OBS,带宽上限 300 Gb/s 客户端节点:ir7.16xlarge.4 | 64vCPUs | 256GiB | Local SSD 2*1,600GiB | 网卡带宽 25 Gbps (以太网) 准备好文件系统后,我们使用 mlperf 的脚本生成后续模拟训练所需要的数据集,所有的测试中 batch size 和 steps 均采用默认设置。目前仅支持模拟 NVIDIA v100 GPU,后文中提到的 GPU 均是模拟 v100。 02 BERT 模型 MLPerf 为 BERT 模型生成数据集时,会按照每个数据集文件包含 313,532 个样本的规则来生成,每个样本大小为 2.5 KB。训练过程中每个模拟 v100 GPU 每秒能处理 50 个样本,即每个 GPU 的 IO 吞吐需求为 125 KB/s,绝大部分存储系统都能轻松满足它的模型训练需要,JuiceFS 也是一样的,能够满足 1000 卡规模的模型训练需要。 我们汇集了 MLPerf 的主要公开结果,包括 ANL、DDN、Weka 的数据,并新增了本次测试中 JuiceFS 的结果。 JuiceFS 在 1000 GPU 规模下保持 98% 以上 GPU 利用率。 ANL 的结果依然非常优秀,考虑到 ANL 测试的网络条件是高带宽低延迟的 Slingshot 网络,能有这样的成绩也是意料之中的。 03 Unet3D 模型 Unet3D 模型的训练对带宽的需求高于 BERT 模型。我们首先在没有任何缓存(包括分布式缓存和单机缓存)的条件下测试了训练 Unet3D 模型的情况。在这种设置下,JuiceFS客户端将直接从对象存储中读取数据。 无缓存测试 如下图所示,随着节点数的增加,GPU 利用率(图中的绿色线条)会缓慢下降。当 GPU 增至 98 卡时,它出现了一个明显的拐点,随后 GPU 利用率随节点数的增加而急剧降低。 下图是根据 OBS 监控数据和 MLPerf 的结果绘制出来的曲线图,可以看到 OBS 带宽在 98 卡及更大规模的训练中已经不再增加,成为性能瓶颈。 因此,在没有缓存的情况下,OBS 提供的 300Gb/s 带宽在 98 卡同时训练时就已经满载。根据 MLPerf 90% 的测试通过标准来看,可以满足最多 110 卡同时训练 Unet3D 模型。 在对大型数据集进行多机多卡训练时,单机缓存由于其空间限制仅能缓存数据集的一小部分;同时,由于训练过程中数据访问的随机性,缓存命中率较低。因此,这种情况下,单机缓存对于提升整体 I/O 性能的贡献有限(如上图绿线,能看到单机的内核缓存对读带宽有提升作用,虽然内核缓存空间多达 200GB ,但效果有限),因此我们没有进行单机缓存的针对性测试。 开启分布式缓存 相比本地缓存,分布式缓存可以提供更大的缓存容量以支撑更大的训练集和更高的缓存命中率,从而提升整个 JuiceFS 集群的读带宽。 JuiceFS 的分布式缓存架构如下图所示,机器学习训练集群和 JuiceFS 的缓存集群可以是两批独立的机器组成的集群,它们通过高速网络连接。这两个集群都挂载了JuiceFS 客户端。训练任务通过 JuiceFS 在本地的挂载点访问数据。当本地挂载点需要数据时,它会首先从缓存集群请求数据;如果缓存集群中缺失所需数据,系统则会从对象存储中获取数据并更新到缓存中。如果训练集群中的 GPU 节点自身也配置了充足的 SSD 存储,那么它们可以直接用作 JuiceFS 的缓存盘并组成缓存集群,无需部署独立的缓存集群。这种配置实际上是将训练集群和缓存集群的功能合并在一起。在本次测试中,我们采用了这种混合部署方式。 分布式缓存及其容量对 GPU 利用率的影响 之前的测试表明,未开启缓存时,110 卡时的 GPU 利用率不足 90%。为了直观展示分布式缓存对性能的影响,我们对 JuiceFS 进行了进一步的测试。我们选择 180 卡 GPU 规模的集群作为测试对象进行新一轮的测试,以评估 JuiceFS 的缓存命中率时跟 GPU 利用率关系。 下图中,横坐标表示缓存空间与数据集大小的比例,纵坐标表示缓存命中率和 GPU 使用率。当完全没有缓存时,GPU 的使用率只有 49%。随着缓存空间比例的增加,缓存命中率(蓝色线条)逐渐提高,进而带动 GPU 利用率(绿色线条)上升,当缓存命中率到 85% 时, GPU 利用率到了 93.1%, 已经能够满足 180 卡的训练使用。当缓存命中率达到 100% 时,GPU 利用率达到最高的 98.8%,几乎满载运行。 为了验证 JuiceFS 的缓存系统的扩展能力,我们按照数据集的大小调整了缓存集群的容量,确保了缓存命中率达到 100%。这样,所有训练所需数据均可直接从缓存中读取,而不必从速度较慢的对象存储中读取。在这种配置下,我们测试了最多约 500 卡规模的训练任务,随着测试规模的增大,GPU 利用率的变化如下图所示。 从图中红色线条可以看到,开启分布式缓存的 JuiceFS 突破了带宽瓶颈的限制, GPU 利用率会随着集群规模变大仅缓慢线性下降。按照上图的变化趋势估计,在当期的网络配置 (25Gbps) 下,JuiceFS 可以支撑约 1500 卡训练 Unet3D 时保持 GPU 利用率在 90% 以上。 对比 Unet3D 的测试结果:JuiceFS/ANL/DDN/Weka DDN、Weka 公布的数据中最大规模的模拟 GPU 总数低于 200。 ANL 在 512 卡的规模下依然没有明显衰减,GPU 利用率能够达到 99.5%。ANL 的读写带宽为 650 GBps,理论上最多能支撑 1500 卡训练 Unet3D, 它的出色表现与充足的硬件配置密切相关,具体内容可以前往ANL 的文章了解。 JuiceFS 的 GPU 利用率随着集群规模变大,缓慢线性下降,在 500 卡规模时保持 97% 以上。JuiceFS 遇到的性能瓶颈主要来自于缓存节点的网络带宽。由于缓存节点的机型数量和网络带宽有限,本次测试达到的最大规模为 483 卡。在这种规模下,JuiceFS 集群的聚合带宽为 1.7 Tb,而 ANL 集群的带宽是 5.2 Tb 。 04 小结 在 BERT 测试中,JuiceFS 在 1000 GPU 规模的训练中能保持 98% 以上 GPU 利用率; 在 Unet3D 测试中,随着集群规模变大,JuiceFS 在接近 500 GPU 训练中保持 97% 以上 GPU 利用率。若云服务商可以提供更高的网络带宽或更多的机器,这一规模还可进一步提高; 分布式缓存的优势在于极强的扩展性,可以利用更多节点上的 SSD 存储聚合更大的缓存空间,提高整个存储系统的读带宽;当然它也会带来一些 CPU 开销,但在 AI 训练场景中,使用闲置的 CPU 资源提升系统带宽是值得,甚至必要的。 在云上进行机器学习训练时,高性能 GPU 机型通常都具有高性能的 SSD 和高带宽的网卡,这些设备还可以作为分布式缓存节点。因此,相比于专有的高性能存储产品,使用 JuiceFS ,更具性价比,更易扩展。 大规模的 AI 训练场景中,通常都需要专有高性能存储,或是基于全闪架构和内核态的并行文件系统才能满足性能需求。但随着计算负载增加、集群增大,全闪的高昂成本和内核客户端的运维复杂度会成为用户面临的一大挑战。而 JuiceFS ,作为一款全用户态的的云原生分布式文件系统,借助分布式缓存来大幅提升系统的 IO 吞吐量,使用便宜的对象存储完成数据存储,更适合大规模 AI 业务的整体需要。 关于 MLPerf MLPerf 是一套基准测试套件,它主要用于评估机器学习在本地和云平台上的训练及推理性能,为软件框架、硬件平台和机器学习的云平台提供了一个独立且客观的性能评估标准。该套件的测试包括测量机器学习模型训练到目标准确度所需的时间以及训练完成的神经网络在新数据上执行推理任务的速度。这个套件是由 30 多个与 AI 相关的组织共同创建的。点击此处了解详情。 希望这篇内容能够对你有一些帮助,如果有其他疑问欢迎加入JuiceFS 社区与大家共同交流。

优秀的个人博客,低调大师

Chrome浏览器新默认安全策略的两面性

从Chrome 90开始,用户将会被自动引导到任何网站的安全版本。这听上去很好,但它或许并不像我们想象的那么好。 HTTPS也可能保护钓鱼网站 Chrome新版本的好处显而易见。在新版本中,Chrome浏览器将默认尝试加载经过传输层安全(TLS)保护的网站版本。这些网站在Chrome Omnibox中显示出一个封闭的锁,也就是我们大多数人所熟知的Chrome地址(URL)栏。但坏消息是,一个网站如果仅仅因为被HTTPS保护就完全信任它,是不合理的。 数年前,知名WordPress安全公司WordFence发现,证书颁发机构(CA)向冒充其他网站的钓鱼网站颁发了SSL证书。因为这些证书是有效的,所以即使它们是钓鱼网站,Chrome仍然会将这些网站报告为安全的网站。 当然,CA不应该向这些虚假网站办法证书,然而事件已经发生了,往者不可谏。据悉,这个名为Let's Encrypt的免费CA,曾被用来为非法使用 "PayPal "作为其名称一部分的钓鱼网站创建数千张SSL证书。 此外,零信任安全公司MetaCert的创始人兼首席执行官、万维网联盟(W3C)URL分类标准的联合创始人保罗·沃尔什认为,如果认为仅靠HTTPS就足以保证互联网连接的安全,将会产生很多问题。 "当基于DNS的安全服务刚推出时,大多数网络都没有加密,黑客也没有使用谷歌、微软、GitHub等可信的域名,所以它们在过去是有效的,但在今天就不那么有效了。" 在今天,82.2%的网站已经被HTTPS保护。 理论上的巨人,行为上的矮子 除了上述存在的客观情况,沃尔什认为谷歌的执行力也是一个问题。 他认为,谷歌是理论上的巨人,行动上的矮子。他在分析网站安全时发现,基本的URL挂锁是为了告诉用户他们与网站的链接是加密的。但是,一个挂锁并不代表任何信任或身份的信息。Chrome的UI设计师应该让网站身份更加明显,比如在工具栏上设置一个单独的图标来与挂锁区别开。 换句话说,谷歌现在的设计,可以让用户“安全”地进入一个钓鱼网站,这样的安全性不过是徒有其表罢了。 这种情况的发生不仅仅是因为那些拥有真实HTTPS证书的虚假网站。 Modlishka攻击会在用户和其想访问的网站之间创建一个反向代理。它使用户以为自己连接到了真实的网站,因为可以从合法的网站获得真实的内容,但反向代理默默地将用户所有的流量重定向到Modlishka服务器。 这样就导致了,用户的凭证和敏感信息,如用户输入的密码或加密钱包地址会自动传递给黑客。反向代理也会在网站提示要求用户提供2FA令牌,黑客就可以实时收集这些2FA令牌,来访问受害者的账户。 除此之外,沃尔什也完全不相信免费和简易的HTTPS证书是一件好事。 在他看来,大量使用自动发放的免费DV证书的网络攻击已经削弱了互联网的可信计算基础(TCB)。免费DV证书对网络安全是一种生存威胁。 沃尔什认为: CA应该收紧他们的身份验证过程; CA应该减少获取身份验证的成本、时间和精力; 谷歌应该为浏览器工具栏设计一个有意义的身份验证图标区别于挂锁; 谷歌应该改善用户体验,使网站的真实身份能够被直观地显示出来。 只有这样,网络才会走上真正安全的道路。 来源:zdnet 【责任编辑:赵宁宁 TEL:(010)68476606】

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册