日志采集是日志管理系统的重要部分,目前在日志处理流程上都是串行处理,从而影响了采集速率,存在采集瓶颈,且在日志输出端出现故障时,会导致整个管道阻塞,进而阻塞整体日志的采集、上传。
国家知识产权局官网显示,作业帮公开了一项名为“日志的采集方法及装置、电子设备和存储介质”的发明专利。此项专利由作业帮旗下北京云思智学科技有限公司于提出申请并公开,申请公布号为CN118426938A。

本专利涉及数据处理技术领域,主要技术方案包括:首先,生成与目标服务实例对应的日志采集线程;其次,根据所述日志采集线程,对所述目标服务实例的日志数据进行采集;最后,根据预设规则确定目标上传管道,并基于所述目标上传管道将采集到的日志数据上传至数据库。
通过在确定目标服务实例后,为目标服务实例创建单独的日志采集线程,并根据创建出的日志采集线程采集目标服务实例的日志数据,实现了日志采集的并行化处理,各服务实例的日志采集互不影响,提升了日志采集性能,避免因部分日志出现故障,导致的阻塞整体日志的采集、上传。