工单分类方法、装置、计算机设备和计算机可读存储介质

技术领域

本申请属于智能运维技术领域，特别是涉及一种工单分类方法、工单分类装置、计算机设备和计算机可读存储介质。

背景技术

电信各类系统交错复杂，例如电信各类系统中的工单处理依旧依赖大量人力，导致人员无法释放；针对于复杂问题的排查、端到端运营分析、调优等工作，需高阶运维人员(熟悉业务、懂技术)持续性投入，运维事情过于繁杂，高阶人力忙于琐事，难以释放从事高阶工作。如果依靠人力沟通解决，将会导致诸如：沟通成本高、耗时长、支撑效率不足、营业感知下降、支撑一线营业受理问题效率不足等问题。

随着AI技术发展，智能运维机器人产品逐步在市场上落地，一定程度上释放了密集性劳动力。但是通用的自动化工单分类算法泛化效果差，分类成功率低，在特定领域内的适配能力差，并不能完整覆盖运维人员的实际需求。智能运维场景中，由于工单数量多、受理流程长、工单聚类难等问题，依靠人工的方式已经无法满足客户对服务质量和时效性的要求。如何高效对工单分类，是本领域技术人员亟待解决的技术问题。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

发明内容

基于此，有必要针对上述问题，提出了一种工单分类方法、工单分类装置、计算机设备和计算机可读存储介质，能够高效地对工单进行全自动分类。

本申请解决其技术问题是采用以下的技术方案来实现的：

本申请提供了一种工单分类方法，包括如下步骤：根据处理对象的业务类别和业务需求获取对应数据集，数据集用于训练模型；按照预设算法建立第一分类模型，根据数据集对第一分类模型进行训练；将完成训练的第一分类模型标记为第二分类模型；对第二分类模型进行模型蒸馏处理，以得到第三分类模型，第三分类模型的模型体量小于第二分类模型；按照预设方法部署第三分类模型以得到分类模型；获取工单数据并输入分类模型中，根据分类模型的处理以得到分类结果。

在本申请一可选实施例中，根据处理对象的业务类别和业务需求获取对应数据集，包括：根据业务类别和业务需求确定目标数据库；从目标数据库中获取预设数量的历史工单数据，对历史工单数据执行数据集预处理操作，数据集预处理操作包括数据清洗、数据标注或质量标注中的至少一项；将完成数据集预处理操作的历史工单数据汇总得到全量标注数据集；对全量标注数据集进行随机拆分得到数据集，数据集包括训练数据集、验证数据集和测试数据集。

在本申请一可选实施例中，按照预设算法建立第一分类模型，根据数据集对第一分类模型进行训练，包括：按照ERNIE语言模型建立第一分类模型；对数据集执行格式化处理，使数据集适配第一分类模型，数据集包括训练数据集；设置训练需求后，将训练数据集输入第一分类模型中以进行迭代训练直至满足训练需求。

在本申请一可选实施例中，训练需求为以下任意一种：训练迭代次数大于预设次数阈值；第一分类模型根据训练数据集处理输出的工单类别和训练数据集人工标注的工单类别相同；第一分类模型根据训练数据集处理输出的工单类别进行验证后得到的识别概率大于预设概率值，其中，训练数据集中包括多个待测试工单文本数据，训练数据集中的每一待测试工单文本数据具有人工标注的工单类别。

在本申请一可选实施例中，完成训练的第一分类模型标记为第二分类模型，包括：获取完成训练的第一分类模型输出的静态图模型；根据数据集中的验证数据集对静态图模型进行验证，以确定完成训练的第一分类模型的分类性能；获取经过验证数据集验证后输出的验证结果，根据验证结果对完成训练的第一分类模型进行调优，以使调优后第一分类模型的分类性能满足预设需求；将完成调优的第一分类模型标记为第二分类模型。

在本申请一可选实施例中，对第二分类模型进行模型蒸馏处理，以得到第三分类模型，包括：将第二分类模型标记为教师模型，并初始化建立一学生模型，学生模型的模型体量小于教师模型；将数据集分别输入教师模型和学生模型中处理，获取教师模型处理输出的第一推理结果，获取学生模型处理输出的第二推理结果；确定第一推理结果和第二推理结果的差异，并根据差异反向传播更新学生模型的参数以进行训练；获取数据集中的测试数据集对完成训练的学生模型进行性能评估，将性能最优的学生模型标记第三分类模型。

在本申请一可选实施例中，按照预设方法部署第三分类模型以得到分类模型，包括：获取部署端的模型需求，根据模型需求对第三分类模型进行设置以打包在预定容器中；按照模型需求将预定容器配置在部署端，将在部署端完成配置的预定容器标记为分类模型；向部署端发送启动请求，当获取到部署端返回正常启动结果时，确定分类模型完成了部署。

本申请还提供了一种工单分类装置，包括：获取模块，用于根据处理对象的业务类别和业务需求获取对应数据集，数据集用于训练模型；训练模块，用于按照预设算法建立第一分类模型，根据数据集对第一分类模型进行训练；将完成训练的第一分类模型标记为第二分类模型；蒸馏模块，用于对第二分类模型进行模型蒸馏处理，以得到第三分类模型，第三分类模型的模型体量小于第二分类模型；部署模块，用于按照预设方法部署第三分类模型以得到分类模型；获取工单数据并输入分类模型中，根据分类模型的处理以得到分类结果。

本申请还提供了一种计算机设备，包括处理器和存储器：处理器用于执行存储器中存储的计算机程序以实现如前述的方法。

本申请还提供了一种计算机可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现如前述的方法。

采用本申请实施例，具有如下有益效果：

本申请能够根据业务的需求对应获取数据集进行适应性训练，使得最终获取的分类模型能针对性对相应业务进行工单的分类，使其更加适应工单分类任务的特定任务，提高工单分类的准确性和效率。所得分类模型需要经过算法模型蒸馏技术处理，使得模型体量更加轻量化，再结合预设方法进行部署，使得模型的部署更加灵活，具备高适宜性，适用于更大、更广的应用场景和设备，可以快速进行模型的迭代更新和推广，提升客户感知，赋能一线高效运营。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一实施例提供的一种工单分类方法的流程示意图；

图2为一实施例提供的一种工单分类装置装置的内部功能模块关系图；

图3为一实施例提供的一种计算机设备的内部结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有企业中，各个系统都由工单参与实现企业业务的实现。然而工单流程必然需要进行分类，从而对接后续的工作。但现有工作中，依旧采用大量人工进行分类，无法满足现有需求。且现有技术即使采取了AI识别参与，但由于工单数量多、受理流程长、工单聚类难等问题，实际效果并不尽如人意。为此，本申请提出了一种工单分类方法。为了清楚描述本实施例提供的工单分类方法，请参考图1，包括有步骤S110～S140。

步骤S110：根据处理对象的业务类别和业务需求获取对应数据集，数据集用于训练模型。

在一实施方式中，步骤S110：根据处理对象的业务类别和业务需求获取对应数据集，包括：根据业务类别和业务需求确定目标数据库；从目标数据库中获取预设数量的历史工单数据，对历史工单数据执行数据集预处理操作，数据集预处理操作包括数据清洗、数据标注或质量标注中的至少一项；将完成数据集预处理操作的历史工单数据汇总得到全量标注数据集；对全量标注数据集进行随机拆分得到数据集，数据集包括训练数据集、验证数据集和测试数据集。

在一实施方式中，实际可能应对的业务多种多样，彼此之间工单将会具备显著的差异，对于分类的需求更是格式各样。因此分类模型需要根据实际的运维场景，也即确定处理对象所面对的业务类别和业务需求获取用于训练的数据集。从而最终得到的分类模型可以根据不同类型的工单描述和系统标签进行准确的分类，从而为运维人员提供更精准的问题解决方案。这种全面覆盖的分类能力使得方法在处理各种类型的工单时更加高效和准确。

具体的，可以通过分析运维场景中的实际工单数据，结合运维人员业务需求制定工单标准类别规范表。从每日提交到数据库的客户工单中提取数据，将无效的、质量差的数据过滤后参照标准类别规范对数据进行打标。从而制作深度学习所用的数据集，其中数据集可以包括有训练数据集、验证数据集以及测试数据集。首先可以根据业务类别和业务需求确定目标数据库，再利用SQL语句从目标数据库中抽取预设数量的历史工单数据，例如两万条。历史工单数据还是较为原生的工单数据，其中质量良莠不齐，并不能直接用于对模型进行训练，因此可按照需求执行包括数据清洗、数据标注或质量标注中至少一项的数据集预处理操作。

对于数据集预处理操作，在较佳的实施方式中可以通过如下流程进行处理：先行以设定清洗条件，从而筛选掉历史工单数据中的状态异常工单，对于状态异常工单可以包括但不限于有内容过少工单、无类别工单、无效工单或作废工单。具体清洗条件可根据需求任意设定，此处仅是对技术的简单说明。将清洗后的工单数据进行整理，再分配给AI标注工程师进行工单数据打标，打标过程参照指定的工单标准类别规范表，在此不做具体限制。数据标注完成后进行交叉验证、抽检等质量检查工作，标注质量打标后输出得到全量标注数据集。依据需求对全量标注数据集进行随机拆分得到供模型训练实用的数据集，其中数据集包括有训练数据集、验证数据集和测试数据集。

步骤S120：按照预设算法建立第一分类模型，根据数据集对第一分类模型进行训练；将完成训练的第一分类模型标记为第二分类模型。

在一实施方式中，步骤S120：按照预设算法建立第一分类模型，根据数据集对第一分类模型进行训练，包括：按照ERNIE语言模型建立第一分类模型；对数据集执行格式化处理，使数据集适配第一分类模型，数据集包括训练数据集；设置训练需求后，将训练数据集输入第一分类模型中以进行迭代训练直至满足训练需求。

在一实施方式中，训练需求为以下任意一种：训练迭代次数大于预设次数阈值；第一分类模型根据训练数据集处理输出的工单类别和训练数据集人工标注的工单类别相同；第一分类模型根据训练数据集处理输出的工单类别进行验证后得到的识别概率大于预设概率值，其中，训练数据集中包括多个待测试工单文本数据，训练数据集中的每一待测试工单文本数据具有人工标注的工单类别。

在一实施方式中，可以通过训练ERNIE(Enhanced Representation throughkNowledge Integration)语言模型完成自动化工单分类。首先按照ERNIE语言模型建立初始化的第一分类模型。将数据集格式化，使其中的训练数据集、验证数据集和测试数据集能够与初始化的第一分类模型适配。设定训练需求后，即可开始训练。其中训练需求包括有两种，第一个是训练进行的需求，一个是训练结束的需求。对于训练进行的需求，也即是要如何进行训练，具体的参数可以包括但不限于有：数据批次大小、训练轮次、学习率、最大字段长度、正则项力度、随机种子等超参数。而对于训练结束的需求，也即是确定何时停止训练，和先前的训练进行的需求存在部分的相同，例如训练轮次，也即训练迭代次数大于预设次数阈值后停止训练。还可以是训练效果，其中，训练数据集中包括多个待测试工单文本数据，训练数据集中的每一待测试工单文本数据具有人工标注的工单类别。因此可以在每轮次训练之后，对训练后的第一分类模型进行检测，如果第一分类模型根据训练数据集处理输出的工单类别和训练数据集人工标注的工单类别相同，则可以停止训练。然而如此设置的要求较高，一般而言的模型难以训练到完全正确分类的情况，因此可以设定一预设概率阈值。当第一分类模型根据训练数据集处理输出的工单类别进行验证后得到的识别概率大于预设概率值时，同样可以停止训练。

在一实施方式中，完成训练的第一分类模型标记为第二分类模型，包括：获取完成训练的第一分类模型输出的静态图模型；根据数据集中的验证数据集对静态图模型进行验证，以确定完成训练的第一分类模型的分类性能；获取经过验证数据集验证后输出的验证结果，根据验证结果对完成训练的第一分类模型进行调优，以使调优后第一分类模型的分类性能满足预设需求；将完成调优的第一分类模型标记为第二分类模型。

在一实施方式中，完成训练的第一分类模型中包括有静态图模型和动态图模型，其中可以将动态图训练结果将保存到指定目录中，随后使用脚本将动态图模型转化为静态图供后续推理部署。获取数据集中的验证数据集，通过运行测试代码检测静态图模型在测试集中的验证结果，具体可以包括有工单分类效果，分析模型的准确率、召回率和综合F1值，通过微调参数的方式对模型进行调优。调优完成后，可调用最优的静态图模型标记为实际进行预测的第二分类模型。

步骤S130：对第二分类模型进行模型蒸馏处理，以得到第三分类模型，第三分类模型的模型体量小于第二分类模型。

在一实施方式中，步骤S130：对第二分类模型进行模型蒸馏处理，以得到第三分类模型，包括：将第二分类模型标记为教师模型，并初始化建立一学生模型，学生模型的模型体量小于教师模型；将数据集分别输入教师模型和学生模型中处理，获取教师模型处理输出的第一推理结果，获取学生模型处理输出的第二推理结果；确定第一推理结果和第二推理结果的差异，并根据差异反向传播更新学生模型的参数以进行训练；获取数据集中的测试数据集对完成训练的学生模型进行性能评估，将性能最优的学生模型标记第三分类模型。

在一实施方式中，步骤S120得到的第二分类模型虽然具备良好的分类性能，但是模型体量还是较大的，不便于在小型设备，例如移动端设备上进行部署。具体地，对于移动终端具体形式例如可以但不限于手机、平板电脑、个人数码助理(英文：personal digitalassistant，缩写：PDA)、移动互联网设备(英文：mobile Internet device，缩写：MID)和可穿戴设备(例如智能手表)等。移动终端上可以通过的应用程序(例如APP)来对相应的信息进处理和展示，以及执行相应的操作，从而提升使用效率。为了工程应用，需要进行蒸馏将大模型蒸馏小模型满足推理速度的需要，最后在CPU上实现毫秒级推理。具体的可以与先前建立第一分类模型近似的，使用大规模无监督数据对原始的ERNIE模型进行预训练，以学习语言模型的表示能力和语义理解能力。该部分工作可加载官方提供的预训练语言模型。从预训练好的ERNIE模型中选择一个作为教师模型。通常况下，选择在相关分类任务上表现良好的模型作为教师模型。在一实施方式中可以直接将第二分类模型标记为教师模型，并初始化建立一学生模型。学生模型初始化，初始化一个浅层的学生模型，作为初始状态。以教师模型作为引导，使用教师模型对训练数据集进行推理，获取其输出第一推理结果作为学生模型处理输出的第二推理结果的目标。具体可以通过最小化学生模型与教师模型之间第一推理结果和第二推理结果的差异来训练。使用均方误差(MSE)作为损失函数，将学生模型的输出与教师模型的输出进行比较，并反向传播更新学生模型的参数。将蒸馏训练完成后的学生模型进行微调，以进一步适应目标任务的特定需求。并根据测试数据集对调优过后的学生模型进行评估，检查其在目标任务上的性能表现。针对性的微调和重复，将性能最优的学生模型标记第三分类模型。

步骤S140：按照预设方法部署第三分类模型以得到分类模型；获取工单数据并输入分类模型中，根据分类模型的处理以得到分类结果。

在一实施方式中，步骤S140：按照预设方法部署第三分类模型以得到分类模型，包括：获取部署端的模型需求，根据模型需求对第三分类模型进行设置以打包在预定容器中；按照模型需求将预定容器配置在部署端，将在部署端完成配置的预定容器标记为分类模型；向部署端发送启动请求，当获取到部署端返回正常启动结果时，确定分类模型完成了部署。

在一实施方式中，部署端可以为前文所描述的移动设备，可以为服务器等，具体不做限制。可知，不同的部署端性能具备显著差异，因此可以获取部署端的模型需求，根据模型需求对第三分类模型进行配置，例如将其设置于Docker中，采用容器化技术使得模型的部署过程更加便捷和灵活，避免了传统部署中依赖程序包多、安装部署繁琐的问题。之后再借助Paddle Serving完成在线服务部署，以实现高效的工单分类服务。具体而言，可以将保存的inference模型转换为serving易于部署的模型，即将静态图参数模型转换为serving格式。并在部署端完成配置的预定容器标记为分类模型，具体可以为修改配置文件config.yaml，指定服务推理设备(GPU或CPU)、服务端口号等。并想部署端发送测试指令，以控制启动部署端，当部署端正常启动将会返回表征分类模型被正常调用的正常启动结果，从而确定了分类模型完成了在部署端的部署工作。

因此，本申请能够根据业务的需求对应获取数据集进行适应性训练，使得最终获取的分类模型能针对性对相应业务进行工单的分类，使其更加适应工单分类任务的特定任务，提高工单分类的准确性和效率。所得分类模型需要经过算法模型蒸馏技术处理，使得模型体量更加轻量化，再结合预设方法进行部署，使得模型的部署更加灵活，具备高适宜性，适用于更大、更广的应用场景和设备，可以快速进行模型的迭代更新和推广，提升客户感知，赋能一线高效运营。

图2示出了一种工单分类装置装置的内部功能模块关系图。工单分类装置装置20包括获取模块21、训练模块22、蒸馏模块23和部署模块24。获取模块21，用于根据处理对象的业务类别和业务需求获取对应数据集，数据集用于训练模型。训练模块22，用于按照预设算法建立第一分类模型，根据数据集对第一分类模型进行训练。将完成训练的第一分类模型标记为第二分类模型。蒸馏模块23，用于对第二分类模型进行模型蒸馏处理，以得到第三分类模型，第三分类模型的模型体量小于第二分类模型。部署模块24，用于按照预设方法部署第三分类模型以得到分类模型。获取工单数据并输入分类模型中，根据分类模型的处理以得到分类结果。

图3示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图3所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现工单分类方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行工单分类方法。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请还提出了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如前述方法的步骤，

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。