Categories
程式開發

智能运维系列(十一)| 日志文本异常聚类及相似度检测


互联网公司在实际运营过程中,所维护的各项业务随时可能会遇到各种各样的问题,将各系统的运行日志记录在文件中,从而方便排查和定位问题,是目前普遍采用的做法。

但是,在目前已经广泛流行的分布式架构的系统中,复杂的配置仍然缺乏灵活性,很难形成统一的标准,且对运维人员不够友好。

因此,微众技术团队提出了基于机器学习算法进行日志分类、聚类、并转化为时间序列的日志异常检测解决方案。

本文收录在专题《智能时代下的运维》系列 。

互联网公司在实际运营过程中,所维护的各项业务随时可能会遇到各种各样的问题,将各系统的运行日志记录在文件中,从而方便排查和定位问题,是目前普遍采用的做法。

但是,在实际应用过程中,日志中有用的信息隐藏在冗余的日志文本中,目前常用的处理机制很难从中提炼有价值的信息。

为了解决以上痛点,目前业界较为良好的开源日志处理框架ELK可以解决了部分需求。总的来讲,ELK的解决方案是通过在采集端配置预设的日志正则表达式模板,将匹配到的日志解析成各种范式,然后在后台进行时间、日志级别、主机ip地址等维度的汇总,从而实现日志的解析和统计功能。

智能运维系列(十一)| 日志文本异常聚类及相似度检测 1

图1 ELK的处理方案,采用配置模板进行日志解析

另外,阿里云也有类似的解决方案。 阿里云的解决方案在ELK中更进了一步,即通过设置一个“日志分类灵敏度”的功能控件,来决定应该以什么样的粒度来进行日志的聚类和收敛。

原文链接:【https://www.infoq.cn/article/KyNuvJMfxHTomMVdo35T】。未经作者许可,禁止转载。