搜索
确认
取消

数字化转型趋势下,如何实现日志统一管理?

  • 发布时间:2021-04-29

数字化转型趋势下,如何实现日志统一管理?

【概要描述】面对业务系统微服务化给日志管理带来的巨大挑战,蓝鲸日志平台应运而生,蓝鲸日志平台是为解决分布式架构下日志统一收集、清洗、存储、分析、查询困难等问题的一款日志产品。

  • 分类:产品动态
  • 作者:
  • 来源:
  • 发布时间:2021-04-29 16:26
  • 访问量:
详情

 

企业日志管理面临的挑战

 

 

背景

 

早期在系统规模较小的时候,系统的运维主要靠运维人员手工完成。随着业务的急剧膨胀、微服务化,运维面临巨大的挑战,日志数据管理也面临各种问题:

 

  • 日志不集中

    日志散落在不同的设备和组件上,排查问题需要登录到相应设备;

 

  • 查看方式落后

    大部分情况采用终端命令查看,在集群、分布式、微服务模式下,日志查找麻烦而且耗时;

 

  • 日志无法联合分析

    服务请求需要横跨网络、主机、数据库、应用,传统模式下无法将所有日志数据组合进行联合分析;

 

  • 数据无权限控制

    很多系统故障需要交由外部人员查看原始日志,带来一定的安全风险;

 

  • 故障感知迟滞

    往往都在用户反馈后才发现系统、应用故障,缺乏基于日志的监控告警,无法提前感知故障;

 

  • 缺乏基于日志的分析挖掘

    日志数据包含大量的应用和业务信息,基于日志的分析挖掘可以为运维和运营驱动决策。

 

 

蓝鲸日志平台

 

面对业务系统微服务化给日志管理带来的巨大挑战,蓝鲸日志平台应运而生,蓝鲸日志平台是为解决分布式架构下日志统一收集、清洗、存储、分析、查询困难等问题的一款日志产品,以下是日志平台的业务流程:

 

▲  日志平台业务流程

 

 

产品架构

 

蓝鲸日志平台已实现了日志统一管理需求:

 

日志采集对接蓝鲸CMDB,使用日志采集器实现Linux、Windows、AIX系统上日志数据的统一采集上报;

 

日志清洗使用蓝鲸Transfer组件清洗,将非结构化的日志清洗成结构化数据;

 

日志存储使用ES分布式存储,也支持接入企业已有日志数据存储;

 

日志检索支持强大的ES QueryString语法和正则匹配;

 

日志监控:使用蓝鲸监控进行日志关键字监控告警;

 

日志分析:集成Grafana进行可视化分析;

 

日志提取:日志文件下载和权限管理;

 

权限管理:对接蓝鲸权限中心实现日志数据细颗粒度权限控制。

 

▲  日志平台产品全景图

 

 

产品功能

 

日志采集

对接蓝鲸CMDB,使用日志采集器实现Linux、Windows、AIX系统上日志数据统一采集上报,蓝鲸日志采集特点:

 

1、对接蓝鲸CMDB,实现静态拓扑&IP、动态拓扑节点采集;

2、支持Linux、Windows、AIX多种操作系统;

3、支持多路径、多文件采集;

4、支持在采集端进行简单的日志过滤,如字符串过滤、分隔符过滤;

5、多编码支持。

 

▲  日志采集配置

 

日志清洗

使用蓝鲸Transfer组件清洗,将非结构化的日志清洗成结构化数据;

清洗方法:json、分隔符、正则表达式。

 

▲ 日志平台日志清洗

 

日志存储

日志平台用Elasticsearch存储日志数据,ES是一个分布式可扩展的实时搜索和分析引擎,用户可自定义设置日志储存集群、日志数据保留周期、用户查看权限。

 

▲ 日志平台日志数据存储配置

 

 

日志检索

日志查询功能:

1、功能强大查询语法,支持QueryString语法和正则表达式;

2、灵活选择查询时间范围,快速添加搜索条件;

3、搜索统计视图展示;

4、实时日志滚动;

5、日志上下文;

6、日志数据导出;

7、自定义字符显示和排序规则。

 

过滤查询:

▲ 日志平台日志检索

 

实时日志:

▲ 日志平台实时日志

 

日志上下文:

▲ 日志平台日志上下文

 

日志监控

支持多监控维度并可对数据进行筛选过滤,内置常用的邮件、微信、短信、语音通知方式,并支持自定义告警模板。

 

▲ 日志平台日志监控

 

日志分析

集成开源产品Grafana进行日志可视化分析。

 

安全日志分析:

▲ 日志平台安全日志分析

 

Tomcat日志分析:

▲ 日志平台tomcat日志分析

 

容器日志分析:

▲ 日志平台容器日志分析

 

日志提取

你是否还受困于没有服务器权限,无法获取日志数据;你是否还烦于需要经常给第三方提供日志文件?

日志提取功能:

1、日志文件权限管理;

2、支持日志文件日志筛选;

3、日志子目录遍历;

4、多服务器、多日志文件下载;

5、日志文本过滤:关键字过滤、关键字访问、最新行数、按行过滤。

 

▲ 日志提取

 

▲ 日志提取

 

索引集管理

1、索引集是日志平台的检索和监控单元;

2、索引集可以实现第三方ES集群数据分析查询和监控;

3、通过索引集可以实现不同应用日志联合分析查询和监控。

 

▲ 索引集流程图

 

▲ 对接第三方ES数据

 

▲ 日志联合查询

 

权限管理

按日志平台提供的功能进行查看和管理两种基本的划分,最小粒度到索引集。

▲ 日志平台权限管理

 

 

收益和价值

 

 

日志统一管理

1、实现企业日志数据集中管理;

2、实现日志数据结构化存储,方便故障定位和分析;

3、细颗粒度权限控制保障日志数据安全性;

4、为未来企业进行大数据分析提供数据源。

 

提升运维质量

1、提供一种高效、灵活、全局快速的检索日志方式,便于快速定位故障;

2、基于日志关键字告警,可以提前介入处理,减少事故发生;

3、事后通过日志分析,可以对日志做审计和问题分析,减少故障发生。

 

数据分析可视化

通过丰富的可视化组件实现日志数据分析视图,便于运维和业务人员直观发现、分析数据中所隐藏的问题,及时应对风险和机会。

为什么选择嘉为蓝鲸?

嘉为拥有强大的技术实力,深耕企业IT服务20年,充分掌握企业IT研发、运维、运营管理需求,为企业数字化转型提供建设思路。做为腾讯蓝鲸全国首家技术授权合作伙伴,嘉为与腾讯进行联合研发,将先进的蓝鲸技术体系在企业快速落地,让IT效能为企业创造无限价值!

研运至简,无限可为!

落地嘉为蓝鲸研发运营一体化平台,逐步实现自动化、数据化、智能化IT运营,实现数字化转型!

嘉为蓝鲸微信公众号

嘉为蓝鲸微信公众号

Copyright 广州嘉为科技有限公司版权所有 粤ICP备06004568号