破解政府云系统的困局,实现Docker环境下数据实时采集

擎创科技,成立于2016年,是国内首家智能运维AIOps落地解决方案的供应商。公司专注于将人工智能赋能运维管理,激活运维数据智慧,助力客户数字化转型。自主研发的产品夏洛克AIOps智慧运营平台,已广泛应用于金融、制造、能源及交通运输等多个行业,包括银联、中信登、交行、方正证券、上海铁路局、东航和海尔等。

01客户现状及痛点

在这里插入图片描述
该政府云系统,在实现政府信息流通和共享、保障信息安全、提升政府为民服务能力等方面得到了长足发展,逐渐成为了电子政务集约化发展的有力支撑。

不过随着政务应用的不断发展,系统数据量也以指数级方式增长,尤其在部署Docker容器化管理后,更需要将IT运维工作智能化,以便应对业务压力。但与传统的虚拟机Agent方式进行数据采集不同,Docker环境下的数据采集、归类、存储均面临着巨大的挑战:

  • Docker动态变化,性能及告警数据难以抓取:政府云系统很早便已部署Docker,虽然解决了轻量化问题,但是Docker的产生和消亡,以及数量和IP地址却一直处于动态变化中,数据抓取变得十分困难。

  • 系统关联政府多个应用,复杂度非同寻常:政府云系统关联到多个委办局的多个应用,架构十分复杂,且数据规模庞大,要做到实时采集动态数据并加以存储和分析,是个不小的挑战。

  • Docker仅提供标准数据输出,数据归类困难:基于Docker的采集Agent,仅需安装在宿主机上。虽然方便,但Docker只提供标准数据输出,不包含相应应用的信息,采集到的日志数据虽然完整,却无法定位到某个委办局、某个实际应用。

02擎创解决方案

在这里插入图片描述
针对当前政府云系统的现状,擎创科技通过夏洛克AIOps平台为该系统部署了AIOps服务,完成了从传统的虚拟机到Docker容器采集的重要跨越,加强了政府信息化建设的集约化与资源共享。

  • 容器数据标签化:对生成的Docker容器添加相应的标签,并归类到所属的类别中,便于文件的存储和精确定位。

  • 多维数据全量采集:不仅采集常见的日志数据,还会采集性能、告警等机器数据,以此监测数据运行状况,为之后的异常检测、根因定位进行综合分析。

  • 动态数据实时分析:对于机器性能数据,按照默认60秒时间进行采集,而对于实时性要求更高的日志和告警数据,则可以秒级采集。

03解决方案价值

在这里插入图片描述
擎创科技通过本次AIOps服务的部署,成功地帮助用户解决了以下问题:

实时采集动态数据:基于夏洛克AIOps多样且弹性化的数据采集方法,采集Docker环境下日志、告警、性能等不同类型的数据,并实现高频次、实时性的数据采集。

数据统一分析处理:将云系统的告警事件、性能数据和用户的CMDB和IT服务平台系统相结合,并进行关联分析,帮助用户快速进行问题根因定位,提高运维效率。

保障业务平稳运行:解决业务分析处理能力,并完善告警机制,提高了用户业务可用性,保障了业务健康运行。

04客户评价及期望

在这里插入图片描述
夏洛克AIOps在该政府云系统上线之后,该系统在Docker环境下的数据采集效率有了明显提高,有力促进了政府信息化建设。政府云系统的负责人对于AIOps服务的部署大为赞赏:“我们这个平台,在之前安装了许多虚拟机,后来也部署了Docker进行数据管理,但是当前的容器环境下数据都是动态的,很难做到实时采集、归类、存储和分析。

在应用了AIOps之后,数据管理工作轻松了很多,而数据管理效率却不断在提升。下个阶段,我们将继续加强政府云系统的智能化建设工作,进一步提升为人民服务的能力。”