日志易 1.10.1 重磅发布,机器学习让运维更智能

shuiyundaoren 坐标: 88540 目录:婚姻家庭

以下是的一些我们精选的 日志易 1.10.1 重磅发布,机器学习让运维更智能

近日,日志易成功推出 1.10.1 版本,距离 1.10 版发布仅仅过去 2 个月。1.10.1 版本进一步加入了对机器学习技术的应用,主要了智能的模式发现功能,大幅增强了对复杂结构数据的处理和分析能力,完善了对告警事件的分析处理功能。此外,该版本还添加了全新的知识库模块、告警插件的管理模块,改善了统计图表配置,仪表盘实时统计和 Agent 管理界面等模块的交互体验。

下面就让我们跟随本文了解 1.10.1 版本的新特性:

机器学习让运维更智能

在上一版本发布时,未来展望中提到了机器学习的应用,这并不是一个噱头,1.10.1 就新增了第一个机器学习应用场景——基于聚类算法的日志模式发现。

新版本在搜索界面上,添加了一个切换标签 " 模式 "。根据搜索结果的数据间相似度,该功能采用聚类算法对日志进行聚类合并,形成一个个包含相似数据的数据集,方便用户在查看种类繁多的搜索结果时,进行快捷的模式行为分析。

通过算法快速帮助使用者找到数据中隐藏的规律,这将大大节省工作量,提高分析效率。

SPL 也支持处理嵌套数组啦

如果要问日志易和其它产品有什么不同点,SPL 支持处理嵌套数组绝对算一个。对层级关系复杂的、尤其是包含多层嵌套数组的 JSON 或 XML 数据,普通的搜索引擎只支持相对笨拙的平铺查询。

日志易新版本 SPL 中添加了 jpath 指令和 multivalue 处理函数的支持。全新的 jpath 指令可直接获得到指定位置的字段值,multivalue 处理函数实现了对多值字段的各种常见数组操作。二者配合,即可完成对多层嵌套数组的精准过滤与统计功能。

不仅仅 SPL,字段提取规则也支持处理嵌套数组了,新版本中字段提取规则统一增强了对复杂结构数据的处理能力。新版本中 JSON 解析和 XML 解析规则均添加了对 jsonpath 的支持,还新增了几个解析规则,如 " 字段重命名 " 规则。这样一来,用户在面对嵌套数组时,不需要一再重复使用冗长的嵌套语句来提取字段,也减少了在搜索过程中字段名称输入的工作量。

运维也可 " 偷懒 ":统计图表自动填充配置字段

在日志易的旧版本中,需在选择好可视化图表类型后,下一步点击 " 设置 ",并手动录入配置项对应字段,才可完成图表的绘制。而在本次发布的 1.10.1 中,日志易实现了自动填充部分可视化图表配置字段的功能。用户在遵循特定的搜索语句书写规则前提下,无需考虑配置字段的设置,这一优化帮用户省去了一步配置步骤,缩短了完成一个图表配置所需的时间。

新增报警管理界面,轻松搞定报警处理与统计

新版本对告警管理和统计的页面做了重点改进。 使用户可以非常直观的看到不同优先级别的告警的数量占比与处理进程。

● 在 " 最新状态 " 页面中,不同等级的告警事件由不同颜色高亮出来,在排查完毕后,用户可以选择忽略该事件,或确认该事件并处理完成。对比较重要或有代表性的故障,还可以填写更详细的填写意见。

为应对告警风暴,日志易设有一套告警合并规则,根据告警的属性来分类并收起,保证用户能够直观的浏览到最新告警的概况。

● 除了对最新告警处理状态的控和管理外,用户还可以在 " 分组统计 " 页面查看告警根据类型分组后,各组类内部不同等级的告警占比和同环比变化走势。

● 面对管理人员,新版本中还 " 人员处理情况 " 页面,查看告警处理人员的工作效率,根据每位人员反馈时间和工作量得出个人工作的及时率等等。

可视化的操作界面,让运维人员轻松应对层出不穷的报警,避免遗漏。也让运维团队管理者通过清晰的报表,随时把控整体工作状态,评估运维人员工作成果。

动态实时变化的仪表盘

仪表盘在本次更新中优化了配置栏,用户在选择仪表盘整体或某个图表的时间范围时,新添了实时数据的选择项。由此形成的仪表盘就是一个动态实时变化的界面。

Agent 升级,新增 Packetbeat 采集和共济动环系统 Socket 协议接入

新版本中 Agent 数据接入方案里新增了 Packetbeat 采集和共济动环系统 Socket 协议接入。

Packetbeat 的主要功能为网络嗅探抓包和协议分析,新版本内置集成了 Packetbeat,无需额外部署。

共济动环系统是金融业广泛采用的数据中心环境控方案,日志易可以通过其专属 Socket 协议进行数据采集和集中分析展示。

其它新特性

1. 告警插件模块

新版本里,告警插件成为一个独立的资源,可以通过界面上传和删除,也配有对应的权限管理,确保相关用户只能修改或者查看到自己权限内的插件。

2. 入库优先级配置模块

对于入库优先级实现可配置,满足了对数据实时性要求较高且资源紧张的用户群体的需求。

3. 新增 " 结构体解析 " 规则:

对于系统输出日志的过程中出现的不可见字符,不可预计的空格,或是由于编码不同导致字符长度不一等复杂的情况,新增的规则 " 结构体解析 " 使得用户可以通过直接定义准备提取的字符编码、字节长度、数据类型、字段名称等结构体,来定义需要解析的数据内容。

4. 报表、定时任务、告警均新增了一个配置项 " 运行用户 "。在原创建者的权限发生变动时,可以通过修改运行用户的方式,确保任务继续正确执行。

5. 报表邮件发送可选的附件类型里添加了对 docx 格式的支持。

6. Agent 实时状态控:

Agent 在启动的状态下,只要把光标移动到对应位置上就能随时查看该 Agent 进程当前的性能开销信息,包含表格的默认新速度为 5 秒一次,保证数据实时更进,不遗漏任何变动。

1. 知识库

为了方便给用户更详尽的设备日志描述,数据库错误码解决办法,运维事件相关处理方案的存储与检索功能等等,日志易在导航菜单又添加了一大模块 ---" 知识 ",其中内容还可以作为标准资源的一种进行导入导出。

7. 用户禁用和登录错误后的锁定

用户禁用和登录频繁失败后锁定的两大功能提升了用户信息和系统的安全性,禁用状态会及时反馈到涉及到的资源列表,并且有相应的提醒帮助用户做判断

8. SPL 新增 map ( ) 指令,类似 Python 中的 map ( ) 函数。方便用户通过变量直接引用主查询里的结果值,也就是直接将上一段搜索结果内容作为输入,通过指定的搜索批量返回新的结果。

从这些更新可以看到,日志易 1.10.1 既有对新技术的应用与探索,如基于机器学习的日志模式发现,也有对行业实用功能的支持,如 Agent 支持金融业共济动环系统 Socket 的接入,还有多处用户交互的改进,每一项更新都围绕着更好的服务用户这个初衷,这也是日志易一直坚持的价值理念:产品以人为本,用户的需求,就是日志易的努力方向。

专题栏目
最新