新鲜出炉|基于深度学习的运维日志领域新进展
作者:云智慧算法工程师 Hugo Guo 运维日志领域研究方向主要包含异常日志检测、日志模式解析、日志内容分类、日志告警等。本篇文章介绍了热门异常检测模型 DeepLog、A2Log 等模型,以及云智慧自研模型 Translog 等。与此同时,在文章最后介绍了未来基于深度学习的运维日志领域主要研究方向。 日志研究概述 日志任务与数据 日志是运维领域中的必不可少的一种半结构化数据类型,基于此开展的研究任务也多种多样。 日志数据实时处理主要包含以下几方面: Log Compression:在运行时压缩软件日志。 Log Parsing:从软件日志中自动提取事件模板和关键参数。 Log Mining:提高系统的可靠性,主要关注异常检测。 日志模式解析 海量日志数据之间语义相似性较高,实际需求需要将日志表示化。因此学者期望对日志提取出固定的模版以求代表整个日志数据库。 下方为四个经典的日志模式解析算法: Drain(基于树结构相似度) Spell(最长公共子序列) AEL (常数和变量的发生频率) IPLoM(迭代分区策略,根据消息长度、令牌位置和映射关系等) 下图为日志模版提取过程,从上到下...






