首页 文章 精选 留言 我的

精选列表

搜索[OPE范式],共3213篇文章
优秀的个人博客,低调大师

从重复搭建到高效生产,RollCode的H5开发新范式

营销活动页的需求像潮水般涌来,电商大促、节日品牌宣传、招聘专场、新品发布…… 对于中小企业和初创团队的前端团队而言,两三个人要支撑全公司的 B 端 H5 开发需求,一边赶工新页面,一边维护旧页面,80% 的时间都耗费在重复的布局搭建、样式调整和基础逻辑编写上。不少团队寄希望于低代码工具解放双手,可实际用起来却陷入两难:要么是模板化工具千篇一律,满足不了品牌定制化的传播需求;要么是低代码平台代码结构不可控,想做个性化开发比纯手写代码更费劲。

优秀的个人博客,低调大师

信息获取全链路时代:GEO研究的范式转移与关键挑战

GEO 这个词正在被两种力量拉扯:一边是大量从业者还在把它当“新 SEO”来理解,另一边是生成式引擎的信息获取机制已经走完了从检索到组织答案的全链路。我(王涛)最近一次与 GPT 的深度对话,沿着 Anthropic 的 Context Engineering、TREC 2025 的 RAG 评测方向、斯坦福/Manning 的长上下文对比工作往前梳理,得出了一个无法回避的判断:GEO 的重心应当从经典 RAG 机制转向信息获取全链路。

优秀的个人博客,低调大师

从“算法”到“架构”:AI时代软件设计师的范式转移

当大语言模型将代码生成的门槛降至“小学生水平”时,软件设计师的真正价值反而被凸显出来——不是写代码的速度,而是构建系统的能力。AI并未削弱软件设计的必要性,而是将其推向了一个新的高度:从设计“逻辑确定的程序”,到设计“概率驱动的智能系统”。这对软件设计师提出了四个维度的架构挑战。

优秀的个人博客,低调大师

破局软硬协同之困:鲲鹏DevKit如何重构性能调优范式

——从“经验玄学”到“科学体系”,揭秘调优工具的底层创新 当前算力已成为驱动各行业创新发展的核心引擎,在金融交易、工业仿真、生产调度等场景下,服务器就是精密运转的“计算引擎”。然而服务器承载着大量复杂行业应用,性能瓶颈可能存在于任何层次,包括硬件(如CPU、内存、网卡)、内核调度、系统库、应用程序等众多配置和指标的合集,任何一个指标出现问题都可能导致系统运行缓慢。特别是在集群环境下,单个节点或网络瓶颈都可能会导致整个集群的性能下降。 传统调优的困境:现代系统的复杂性与盲人摸象 面对多层级的性能谜题,业界通常依赖于开源工具链的组合使用。然而,这套方法在今天的复杂环境下正面临严峻挑战: ➣数据采集的局限性:常规工具如perf、vmstat、iostat等,往往只擅长观测单一维度。并且许多深层的硬件性能事件(如缓存一致性失效、内存控制器竞争)因为采集开销过大,在实际生产环境中不敢开启; ➣分析过程的依赖经验:CPU使用率高,可能是应用算法问题,也可能是内核调度不当,或库函数效率低下。工程师需要像侦探一样,在不同工具的输出间人工关联线索,这个过程高度依赖个人经验,且效率低下; ➣优化措施的片面性:即使定位到“内存访问是瓶颈”,也难以回答:是NUMA架构下的远程访问问题?是缓存行伪共享?还是TLB未命中率过高?缺乏精准的根因定位和明确的指导建议; 鲲鹏DevKit的解题思路:从“工具集合”到“调优系统”,从“经验玄学”走向“数据科学” 鲲鹏DevKit性能调优方法论构建了覆盖“硬件诊断—指标采集—定界剖析—AI自治”的闭环体系,提供低负载性能采集工具libkperf、鲲鹏硬件健康度检查工具Kspect(Kunpeng Health Spector)、鲲鹏自动调优工具KAT(Kunpeng Automatic Tuning)、鲲鹏系统性能分析工具等能力,将性能优化从零散的、碎片化的操作升级为系统化工程。用户能够在系统层面综合地、全面地了解鲲鹏硬件、操作系统、应用软件及集群间的运行情况,分析各模块配置和资源占用,并进一步调节系统内部及跨模块间的资源关系,实现整体性能的最大化。在方法论上,鲲鹏硬件健康度检查工具能够快速排除由于硬件故障或配置错误导致的性能劣化;鲲鹏系统性能分析工具则提供性能定位与定界,帮助用户明确性能瓶颈大致位置与可达上界,并针对关键子系统和核心路径提供深度性能剖析,通过多维度的专项分析逐层还原性能问题根因;而鲲鹏自动调优工具面向复杂参数空间,实现自动化的 AI 调优,根据性能指标提供可配置的最优参数集合。三者相互协同形成从硬件诊断、性能定界剖析到AI优化的完整闭环,使性能调优可量化、可复用、可持续,并实现系统整体性能的最优提升。 1.硬件“CT检查”:鲲鹏健康度检查工具Kspect先排除硬件故障 现场性能调优之前,需要先排除由于硬件故障或配置错误导致的性能劣化,避免在软件层面反复定位而找不到问题所在;而当前业界缺乏有效轻量的工具快速对服务器进行体检完成定位定界。Kspect能够快速收集CPU、内存、网卡、PCIe等硬件信息,给出完整的鲲鹏健康度检查报告及优化建议,帮助用户在软件调优前精准排除硬件“隐形杀手”,让性能瓶颈无所遁形。 Kspect采用独立发包架构,不依赖复杂三方库,兼容各类Linux内核操作系统,无需繁琐部署,使用即插即用,数据采集全面却对整机性能影响小于5%,真正做到“无感体检”;Kspect不仅能识别硬件异常状态,还能发现不合理静态参数配置,提供整体体检报告,通过精准定位可疑点,帮助用户节省试错时间,整体诊断效率提升高达30%,让问题诊断事半功倍;支持不同服务器之间的硬件配置与静态参数对比,直观展示差异点,确保调优基准一致,避免后续调优工作因硬件和配置差异而走弯路;支持远程批量采集数百台服务器的硬件信息,一“键”搞定全集群健康检查,自动生成检查报告与优化建议,助力高效运维管理,告别“单点排查”的低效时代。 2. 软件全系统透视:超低负载采集工具libkperf看清每个“齿轮”运转状态 全面、系统的采集性能指标数据是调优的前提和关键,传统开源工具采集性能数据时通常会造成IO操作频繁,端到端采集+分析开销高,尤其是高性能计算等资源受限场景;libkperf能够以极低负载采集硬件/OS/应用等多维度性能数据,为性能调优、业务监控、日志记录等调优场景提供完善的性能数据来源;以MySQL极端场景压测场景为例,10s采样,~100万条采样记录,实验室测试结果显示libkperf单核CPU占用仅20%,系统CPU占用仅0.16%。该工具提供简单易用的API接口(C/Python/Go)、灵活控制采集流程;目前已在AtomGit社区开源,用户可下载编译使用或直接构建到镜像中做为基础工具包,对于互联网行业大多已有自研的性能分析平台的企业来说,可以更加便捷的集成到现有系统中,完善鲲鹏调优能力; 3.参数最优“营养搭配”:鲲鹏自动调优工具KAT摈弃“经验玄学”、自动迭代寻参、软件开箱即优 实际业务系统中,软件性能与稳定性高度依赖于大量分布在操作系统、中间件、运行时环境以及应用层的配置参数,这些参数规模从几十个到成千上万个不等,彼此间高度耦合且呈现强非线性关系。但在现实场景中,系统往往只在极其狭窄的参数组合区域内达到最优表现,稍有偏离就可能导致性能劣化甚至不稳定;同时,配置参数与性能指标之间缺乏明确映射,性能调优高度依赖于专家经验,人工调参通常每次只能尝试少量参数,反复试错、效率极低,且不同业务场景、不同硬件与软件栈对参数的敏感性差异巨大,调优策略难以复用和迁移。 因此,作为一款面向多类业务场景的性能参数调优工具,KAT工具覆盖所有依赖参数配置的系统或软件,并通过标准化配置文件模板实现对不同应用调优需求的快速适配。其以内置的AI算法为核心,以业务场景的关键性能指标作为回归目标,在不同实际场景下学习并建立性能指标与多层次配置参数之间的映射关系,从而在庞大的参数空间中聚焦性能收益密度最高调优区域。在调优过程中,KAT对性能参数的智能化、动态化调整,在大多数场景下 1 天内便可完成 100 轮以上自动化迭代,并通过参数重要性分析、性能复测、任务续调等多维度分析与调优能力,自动选取并固化最优参数组合完成快速落地,将性能调优从依赖经验的人工试错,升级为可学习、可迁移、可规模化的通用参数配置优化能力。当前已在TOP 10 的数据库/大数据/中间件的应用中实现开箱性能提升10%+。 4.病灶精准定界与根因剖析:鲲鹏系统性能分析工具构建从问题定位到根因识别的分析闭环 在复杂业务系统中,缺乏性能定界与深度分析能力往往会导致性能瓶颈分析与调优停留在经验层面:无法判断当前的性能指标是接近系统极限还是仍有优化空间,业务软件的性能波动、系统环境的抖动与硬件架构的瓶颈难以进行区分,调优效果最终也难以复现。性能定界的核心,在于通过稳态识别、多维指标采集与跨层的关联分析,明确系统在特定的业务与架构条件下的性能上界、稳定区间以及其主要的制约因素,为后续调优和架构决策提供可信基线。 鲲鹏系统性能分析工具,覆盖从业务层到操作系统再到鲲鹏底层硬件的全栈性能观测能力,支持面向复杂业务与多样化负载场景的系统级性能分析与定界。工具支持一键采集 cache miss、访存统计、NUMA 流量、CPU Top-down、Miss Latency、热点函数、I/O、PA2Ring、Ring2PA 等多维性能指标,并沿时间线与业务指标进行对齐整合,帮助快速识别性能拐点与瓶颈来源;同时Workload稳态判断以及基于Blocked Sample实现的 on/off CPU 热点聚合分析能力能够准确刻画真实的性能边界,为性能定界提供可信分析,并支持与 x86 平台的对比分析。在此基础上,工具进一步支持针对关键子系统的深度性能剖析能力,通过将硬件性能事件、系统行为与软件调用栈进行统一采集与关联分析,逐层还原性能问题的因果关系。工具针对 HPC、Java、Python 等专项领域分析均提供充分的能力支持,其中,Java 专项分析能力支持对运行在鲲鹏服务器上的 Java 程序进行堆、线程、锁与垃圾回收行为的图形化展示,结合热点函数与线程状态分析,精准定位 Java 业务中的性能瓶颈。 在实际使用中,鲲鹏系统性能分析工具以性能定界为起点、深度剖析为手段,帮助用户逐步收敛性能问题范围:先通过全维度指标采集分析,准确刻画系统在当前业务与鲲鹏平台下的真实性能边界;再围绕已识别的关键子系统或问题路径,开展针对性的精细化剖析,定位限制性能的关键根因。结合鲲鹏处理器平台上长期积累的性能优化实践经验,工具能够针对常见的性能问题(如 NUMA 流量访问不合理、CPU Pipeline 受限、锁竞争严重、I/O 行为异常等)给出可执行的优化思路与调优建议,帮助用户将复杂的底层指标分析转化为明确的优化行动,使性能分析真正服务于业务决策与工程项目优化。 鲲鹏DevKit实战解码:某数据库审计与风控场景的“降本增效之路”- 鲲鹏性能调优方法论高效、科学的实践与落地 以某数据库审计与风控场景为例,在业务规模持续增长、性能要求不断提升的背景下,传统数据库审计与风控系统面临着资源投入高、单位性能成本偏大、性价比不高问题。单纯依赖硬件扩容或经验式调优,已难以支撑长期的成本控制与性能目标。在围绕降本增效与整体性价比提升的核心诉求,鲲鹏DevKit系统性地引入并实践了性能调优方法论:通过明确系统性能边界、精准定位关键瓶颈,并在此基础上开展针对性的深度剖析与自动化的参数调优,推动性能优化从零散试错升级为可度量、可复用的工程体系,最终实现业务性能提升 66%+,基于鲲鹏性能调优方法论的整体调优效率提升 40%+。该方法论的使能,使系统在现有硬件投入下显著释放性能潜力,有效提升了单位资源的产出能力。 写在最后:软硬协同调优是释放算力效率的关键武器 当前算力效率正成为企业核心竞争力的关键组成。单纯的硬件堆砌已触及边际效益递减的拐点,通过系统化性能工程释放的“隐性算力”,将成为企业数字化能力的关键武器。鲲鹏DevKit提供的正是这样一套将深奥的性能优化技术转化为可复制、可传承、可迭代的工程实践体系,让每一支技术团队,都能在鲲鹏平台上,将硬件投资的每一分价值,通过软件优化发挥到极致: ➣软件开发人员可自上而下地分析热点函数、并发与锁、CPU微架构的使用情况,从代码与算法层面解决性能问题; ➣系统管理与运维人员可从系统资源或集群资源使用情况出发,分析系统参数配置、性能指标与资源饱和度,消除操作系统与鲲鹏硬件平台层面的性能瓶颈; ➣同时,系统架构师与平台规划人员则可基于性能定界与跨平台对比结果,评估架构设计与资源配置的合理性,为容量规划、平台选型与架构演进提供数据支撑。 鲲鹏DevKit性能调优方法论以工程化的方式,将性能优化从“被动救火”转变为“主动治理”,实现复杂系统已最优的性能长稳运行。这不仅是技术的进步,更是方法论的升级——在自主创新算力生态构建的关键时期,这样的系统化工具链,或许比任何单一的技术突破,都更能加速整个产业从“可用”到“好用”的质变进程。

优秀的个人博客,低调大师

🚨 企业数字化工具新范式:从代码到 AI 生成引擎

🚨震惊程序圈:这款国产低代码新品,居然能“读懂代码、生成系统、智能拆页”?! 没错,你没有看错,这不是套壳 GPT 的 IDE 插件,也不是一堆组件拖拽的玩具系统。今天我们来聊一聊: 👉 VTJ.PRO——一个真正能为开发者减负、为团队提效、为 CTO 降本的国产 AI 开发平台 🧩 为什么 VTJ.PRO 爆了? 说到底,现在前端界的焦虑有三种: 业务复杂度爆炸:一边是前后端业务混乱耦合,一边还要做运营端、管理端、移动端。 人力紧张:不会 Vue3 的招不到,会 Vue3 的又不懂业务。 协作低效:一个页面多个接口、多个版本、文档没有、测试补漏洞…… 而 VTJ.PRO,像是一个无声出现的妙手回春者,把这些问题一个个治了。 🤖 它,不止是低代码。 很多人一听“低代码”就摇头:“这东西,实战能用吗?” VTJ.PRO 的回答是: ✅ 能手搓代码,也能 AI 生成页面 ✅ 既能导入旧项目,也能一键全局生成后台系统界面 ✅ 所有源码开源透明,不黑箱、可维护、可拆分 它本质其实是一个:支持前端工程师深度嵌入、可以 AI 合作开发的超级生产引擎 ⚙️ 到底有哪些核心功能? 功能模块 描述 爆点 🔧 拖拽可视化配置 Vue3 组件级封装 + 拖拽搭建逻辑 所见即所得,支持响应式布局 ✨ AI 原子能力生成 输入自然语言,就能生成页面、表格、接口绑定 真·无门槛上手编程 🧱 智能组件识别导入 旧项目页面一键读取、重构、维护 极大减少维护旧代码代价 🔁 代码双向可视 可视化生成 ⇄ 源码自由切换 无缝协作,不受平台束缚 🔒 集成企业权限系统 对标若依,多菜单、多角色、数据权限控制内置 直接落地「企业级后台」 🧪 可自定义 Mock + 流程模拟 内建数据模拟、本地测试、多人测试调试机制 解决前后端联调痛点 💥真实开发场景中的神操作 【场景 ①:老板突然要 5 套管理系统后天上线】 平时团队要 2 周,现在只需: 拖拽生成主骨架 AI 生成 CRUD 表格代码 自动扫描后端接口并匹配字段 快速完成登陆、权限、路由、角色系统搭建 🎉1 小时产出 MVP 系统,代码可读可维护! 【场景②:引入新员工,老项目一言难尽】 用旧 Vue2 写的项目,还套着各式混乱的 UI 框架。 VTJ.PRO 的“智能导入”模块可: 🧠 自动识别视图树 🧠 匹配旧页面组件结构 🧠 转为 Vue3 格式供重新拖拽 & 修改 📈 无需重写,快速上手继续维护,团队知识沉淀不流失! 🔍 市面唯一做到这些的国产平台: 对比项 VTJ.PRO 某搭建平台A 某数据平台B 是否开源 ✅ 完全开源 ❌ ❌ 可插拔部署 ✅ 支持私有 + 嵌入 ❌ 只能托管 ❌ 是否 AI 原生 ✅ AI助力+识别+生成 ❌ ❌ 可维护性 ✅ 支持手写代码自由切换 ❌ ⚠️ 有限 是否支持拆分打包 ✅ 可拆分组件、按需打包 ❌ ❌ 🎓 技术栈支持全景解析: 全面基于 Vue3 + Vite + TypeScript 框架驱动逻辑明确:Router + Store + API 模块分层清晰 所有页面可导出为 IDE 工程结构(src/views、components、utils…) 💬 开发者说: “用了很多平台,要么玩具,要么封闭。VTJ.PRO 是第一个让我觉得舒服到能长期替代自己写代码的。” — 来自某中台开发 leader “我们用它,直接让 3人团队扛下了原来 7-8 人的系统开发,全靠 AI + 可视切换的那套。” — 某远程创业 CTO 🧪 想用?现在就可以开撸! 🚀 立即体验官方项目:https://gitee.com/newgateway/vtj 📦 安装方式简单易懂:npm create vtj@latest -- -t app 🛠 可私有化部署 / 嵌入现有项目,零迁移! ✅ 结语 别让“低代码”只停留在“好像效率高”,也不要等到“要死命维护老代码”时才后悔没有工具。 让 AI 成为你开发的一部分,而不是你工作的对立面。 👉 现在,是时候试试真正为开发者设计的 VTJ.PRO 了!

优秀的个人博客,低调大师

当空间与数据联动,会展中心如何打造智慧运营新范式?

​在城市更新与产业升级的背景下,会展经济正在重新被定义。它不再是单一场馆的短期活动,而是城市产业链中高密度、高频次的流量集聚点。尤其对于旅游城市而言,如何通过会展带动人流、联动消费、延伸服务,成为政府必须要深度思考的命题。 某地级市作为该省重点发展区域,在加快构建现代产业体系的过程中,选择将5A级景区核心区内的会展中心作为数字化转型试点,希望以此带动文化、旅游、商业、城市服务等相关产业联动升级。但转型并非空喊口号,问题从一开始就摆在了台面上:这座会展中心建成多年,系统零散,数据割裂,管理部门各自为政,参展者与运营者之间信息不对称,无法支撑高密度会展场景下的快速响应与精细服务,更难满足政府在"展示区域治理水平"上的期待。 因此,项目的目标也逐渐清晰:不仅要解决信息化程度低、管理效率低、体验质量低的问题,更要打造一个"可看、可用、可运营"的数字化园区平台,把会展中心作为整个城市服务能力的一次缩影与能力呈现。 平台建设思路:从空间建模到业务联动,重构治理底座 该项目由易知微与会展运营方联合推进,以"空间数字化 + 数据可视化 + 业务联动化"为设计思路,从城市空间与产业活动的交汇处,重塑会展中心的管理逻辑与服务方式。平台依托先进的三维数字孪生引擎和云渲染技术,整合矢量栅格、倾斜摄影、BIM模型等多源异构数据,构建起一套覆盖展馆空间、设备资源、服务流程、应急体系的全景视图。再叠加业务运营数据,包括展位招商、展商信息、人员流动、服务请求等,实现"空间+业务"的一体化联动展示。 整个系统围绕"空间管理、展位监控、服务保障、培训导览、应急处置"五大主题模块展开,通过场景化、角色化、交互式的方式,打通了过去分散在多个子系统中的数据,真正实现了"一个入口看全局、一张图管运营"的能力落地。 项目落地路径:问题导向、场景聚焦、系统整合 项目初期,团队对原有运营体系进行了深入梳理。会展中心此前的数据分散在多个系统中:空间布局靠设计图纸,招商情况靠线下沟通,人流监测依赖单点设备,参展服务缺乏统一入口。这种"多源异构"不仅导致信息共享效率低,也让管理难以形成闭环。尤其是在高峰时段,一旦发生问题,往往需要人工调度、口头沟通、纸质流转,既耽误响应,也损害体验。 因此,团队明确三项工作优先级: 第一,统一空间视图与数据坐标。平台以三维建模为基础,将设备点位、展位编号、服务设施等信息全部与空间坐标绑定,实现"看到哪、查到哪",将数据从表格中还原回物理空间,方便管理者快速定位、判断和响应。 第二,增强信息透明度与访问效率。平台面向不同用户提供差异化的交互入口。工作人员可进行虚拟漫游,辅助熟悉场馆结构,提升培训效率;参展者可通过手机端查询展位、导航、了解展品,提高观展体验;管理者可在统一后台查看"展位状态"、"设备监控"、"服务设施"等数据图层,通过数据的联动分析,提升运营管理效率。 第三,提升突发事件的模拟与应对能力。平台支持应急演练功能,可模拟火情、拥堵等事件的发生路径与应对流程,帮助完善安防机制、优化疏散路线,增强园区的应急响应能力。 项目成效:一次全面可见的园区管理能力跃升 平台上线后,最直观的变化体现在操作效率与管理清晰度上。 原来需多系统切换、反复调取数据的管理动作,如今可在单一系统中完成。将设备位置、展位状态等业务数据与空间坐标绑定,事务响应时间大幅缩短,管理环节更流畅。 招商运营也因信息集中展现而变得更具说服力。客户可在三维地图中查看展位分布、周边配套与当前状态,招商沟通更具直观性和时效性,资源配置也更加合理。 对公众而言,服务获取更为便捷。通过虚拟导览功能,参展者在进入场馆前就能预览路线、查找展位,展中服务反馈也可直接在平台中流转,形成"问题---响应---处理"的闭环,提升整体满意度。 更重要的是,这套系统也为会展中心的未来发展打开了空间。平台搭建了统一的数据资产管理框架,各类数据可以持续沉淀、调用与优化,具备进一步叠加AI分析、客流预测、商业趋势研判等高阶能力的基础。 当空间与数据联动,服务就有了全新边界 会展中心的数字化,并不是一场单纯的信息系统建设,而是管理理念的更新与服务能力的拓展。当空间不再是纸上图纸,而是实时、可操作、能响应的数字映射;当数据不再孤立堆积,而是贯穿感知、决策、执行的运行体系,会展中心也就真正具备了"精细化运营"的能力底座。 今天,该景区的这座会展中心,已经不仅仅是一个展示窗口,更成为城市数字治理的一个样板。这种能力,既来自于数字孪生的技术底座,也源于组织敢于打破既有体系、重新定义业务逻辑的决心。 而这,恰恰是所有希望实现高质量增长的城市与园区管理者,必须迈出的第一步。

优秀的个人博客,低调大师

仅有 0.1M 可训参数,AIOps 日志异常检测新范式

一、前言 AIOps(Artificial Intelligence for IT Operations)即智能运维,基于已有的运维数据(日志、监控信息、应用信息等),将 AI 应用于运维领域,来解决自动化运维无法解决的问题。日志异常检测作为 AIOps 中的一个重要研究方向,旨在通过日志了解系统运行中的异常。由于日志数据的数据量巨大,因此一旦发生日志异常,运维人员需要在大量的日志数据中查找异常,这是一个工作量巨大并非常消耗成本的工作。因此通过将人工智能引入到日志异常检测中可以有效减少运维人员的工作量。有关日志异常检测更为详细的内容,可以参照云智慧学术论坛第一期的内容。 二、Translog 模型 尽管现在已经有很多利用日志序列(log sequence)中的语义信息,进行日志异常检测的深度学习模型,如 HDFS、BGL 或 Thunderbird,但这些模型都只能在单一日志源上进行,语义信息仅适用于当前日志,无法泛化到其他日志源。而当前大型系统通常由多个不同组件构成,且不同组件打印的日志不尽相同,因此异常检测时需要针对每个日志源分别训练一个新模型,即保存多个模型的拷贝,参数量巨大。同时,当系统更新或升级引入新日志模式的组件时,现有的模型将无法适配新组件打印的日志。 为解决上述问题,论文首先指出,虽然日志的来源不同但实际上却有着相同的异常类型。尽管它们在词法和句法上有所不同,但在语义上却是相似的。如上图中三个来源的日志(BGL,Thunderbird,Red Storm)都有着”unusual end of program“类型的异常。因此,该论文认为如果模型能够学习到不同日志源间可共享的异常语义知识,就能够在所有日志源中识别出这一类型的异常。 基于此,该论文基于迁移学习的思想提出了一种名为 Translog 的日志异常检测框架。与现有针对新日志源需要从零开始训练一个新的模型的异常检测方法不同,该框架通过 adapter 结构中的少量参数(<1M),将语义上的异常知识迁移到目标日志源,或通过继续学习适配新的日志源,使得模型在多个日志源上都能有很好的表现。 三、方法 整体框架如上图所示。日志异常检测分为 pretraining 与 adapter-based tuning 两个阶段。对于新引入的日志源,模型首先在当前日志源上学习日志序列中可共享异常语义信息,再通过 adapter-based tuning 方式在新日志源上进行微调,学习新的知识。需要说明的是,在这里默认日志已经过解析处理,即模型的输入为每条日志所对应的模板。 在 Feature Extractor 部分,论文使用 sentence-bert 提取每个日志所对应模板的语义信息,将模板序列转换为具有相同维度的向量序列。目前已有的方法中有的直接通过 BERT 对日志进行编码,以达到减少日志模式解析过程中的信息损失的目的,但是考虑到海量的日志数据,用 BERT 对每一条日志进行词嵌入是不现实的。 Translog 模型的主要结构是多层 transformer encoder。之所以选用多层 transformer encoder 结构,一是因为该结构已经被 BERT 证实可以学习到通用的语言特征,并且可以被不同的下游任务所使用;二是因为在 transformer 结构中插入 adapter 进行扩展更加易操作。 在 pretraining 阶段,因为已经对模板进行了语义信息提取,模型会从语义层面学习异常。这一阶段训练时的目标函数是二分类的 BCE loss,所有 transformer 中的参数都会更新,这些参数将会共享至下一阶段中,提供异常的语义知识,并不再更新。 在 adapter-based tuning 阶段,为了适应目标日志源,将会在 transformer 中插入 adapter,并且在训练过程中仅有 adapter 中的参数进行更新。由于 transformer 的参数包含了原日志源中异常的语义信息,同时 adapter 中具有残差连接结构,adapter 中的参数将重点学习 target domain 中独有的异常信息。其结构的灵活性还可以不断插入更多的 adapter 以适应不断新引入的日志源。 四、实验结果 论文首先展示了模型 pretraining 阶段的表现。从上图可以看到,即使没有经过 adapter-based tuning,Translog 在三个数据集上都取得了最高的 F1 score,这证明了模型主要框架的有效性。 论文首次讨论了不同日志源之间迁移的可行性。为了进一步了解模型在 pretraining 阶段是否学习到了可共享的异常语义信息,作者选取了由随机参数和预训练的参数初始化的两个模型,通过实验对两个模型在新引入的日志源上训练过程的 loss 与 F1 进行了对比。在训练过程中对模型的全部参数进行更新。实验结果表明由于 Translog 框架的优异表现,两者最终都能够取得>0.99 的 F1 score,难以通过最终结果进行比较,因此本论文通过对训练过程中的表现进行对比分析。 通过上图可以发现,使用预训练参数初始化的模型在两个数据集上都表现出更快的收敛速度并且收敛过程更加平滑。可能是由于 Thunderbird 与 BGL 日志都来自于超级计算机,知识可以很好地共享,这一表现在 Thunderbird 数据集上更为突出。上述结果表明通过第一阶段预训练得到的参数,具有可共享的异常语义知识,使得模型在不同数据集之间迁移成为可能。 在上述实验虽然使用了预训练参数进行知识迁移,但仍需要微调整个模型,不仅训练开销大,还很容易在新的日志源上过拟合并遗忘之前的知识。因此,论文继续尝试使用 adapter,通过增加少量的参数使原模型适应新的日志源,并讨论通过 adapter 适应新日志源的可行性。 实验对比了 fine-tuning 与 adapter-based tuning 在迁移到新日志源时的表现。上图为两种方法在不同层数 transformer 下的结果,参数栏为模型需要更新的参数量。对比发现,插入 adapter 后,仅用大约 3%-5%的可训练参数,就能够取得与 fine-tuning 相似的成绩。单层 Transformer 就能够取得很好的表现,继续堆叠更多的 Transformer 作用不大。 上述结果表明每个日志源中的异常信息十分有限,只需要 adapter 中的少量参数就足以达到微调整个模型的表现,由此可得,通过 adapter 使原模型适应新日志源的方法是可行且高效的。 五、总结 该研究展示了日志异常检测领域中,不同日志源之间进行知识迁移的可能性。让我们更期待日志领域出现更多大型预训练模型,可以对多种日志源进行融合处理,使得日志异常检测不再局限于单一日志源。 开源福利 云智慧已开源数据可视化编排平台 FlyFish 。通过配置数据模型为用户提供上百种可视化图形组件,零编码即可实现符合自己业务需求的炫酷可视化大屏。 同时,飞鱼也提供了灵活的拓展能力,支持组件开发、自定义函数与全局事件等配置, 面向复杂需求场景能够保证高效开发与交付。 点击下方地址链接,欢迎大家给 FlyFish 点赞送 Star。参与组件开发,更有万元现金等你来拿。 GitHub 地址: https://github.com/CloudWise-OpenSource/FlyFish Gitee 地址:https://gitee.com/CloudWise/fly-fish 万元现金活动:http://bbs.aiops.cloudwise.com/t/Activity 微信扫描识别下方二维码,备注【飞鱼】加入AIOps社区飞鱼开发者交流群,与 FlyFish 项目 PMC 面对面交流~

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册