一种基于大模型的催收敏感词质检方法和装置

技术领域

本发明涉及金融技术领域，具体而言，涉及一种基于大模型的催收敏感词质检方法和装置。

背景技术

随着金融行业的监管力度加大，对催收行为的合规性要求越来越高。企业需要对催收过程中的敏感词进行识别和过滤，以确保催收行为符合相关法律法规和行业标准，降低潜在的法律风险。贷后催收是金融机构在做风险管理的重要环节，也是人工介入最多的环节。尤其是传统催收质检领域，主要依靠人工进行，成本高且效率低，不能满足金融催收行业的发展需求。

发明内容

鉴于上述问题，本发明提供了一种基于大模型的催收敏感词质检方法和装置，解决了传统催收质检领域，主要依靠人工进行，成本高且效率低的问题。

为解决上述技术问题，本发明采用的技术方案是：一种基于大模型的催收敏感词质检方法，包括如下步骤：获取线上生成的催收录音；调用翻译模型API接口将所述催收录音转换出录音文本；对所述录音文本进行预处理，并对所述录音文本中的长文本进行分割，获得输入文本；将所述输入文本导入原始模型中进行质检，输出第一质检结果；构建本地催收合规向量知识库，基于大语言模型调用所述向量知识库，并将所述输入文本导入大语言模型进行质检，输出第二质检结果；根据历史催收录音数据，并基于大语言模型进行P-tuning训练，获得定制大语言模型；将所述输入文本导入定制大语言模型中进行质检，获得第三质检结果；若第一质检结果、第二质检结果和第三质检结果中存在至少一项不合规，则最终的质检结果为不合规。

作为优选方案，所述构建本地催收合规向量知识库，包括:基于专家经验或历史客户投诉案例,收集催收录音；将所述催收录音转成录音文本后，筛选出催收员的讲话部分；使用编码软件将所述录音文本转化成512维的向量，并将转化后的向量存储在数据库中；将待评估的录音文本转化成512维向量后，与数据库中的所有向量进行内积计算，内积越大，相似度越高；若相似度超过设定阈值，则说明对应录音存在历史发生过的不合规问题。

作为优选方案，在将所述输入文本导入大语言模型进行质检之前，还包括：读取内容，获取与用户请求相关的上下文；使用请求内容和上下文内容填充模板，获得提示词；将所述提示词输入到大语言模型中。

作为优选方案，对所述录音文本进行预处理，包括：去除小于30秒的录音文本，并增加基于专家经验和历史投诉信息的目标标签信息。

作为优选方案，所述根据历史催收录音数据，并基于大语言模型进行P-tuning训练，获得定制大语言模型，包括：收集催收领域的录音和文本数据，并对数据预处理；利用ASR技术识别录音数据，区分出催收人员和逾期用户，并把录音数据转换成文本数据；使用专家打标签区分所述文本数据，根据是否合规打上正负标签，生成训练样本；将所述训练样本划分为训练集和测试集，所述训练集用于p-tuning训练，测试集用于评估模型效果；配置p-tuning模型参数，当模型效果达到设定阈值时，定制大语言模型训练完成；将所述定制大语言模型部署在生产环境，可供催收系统通过API的方式进行调用。

作为优选方案，所述利用ASR技术识别录音数据，区分出催收员和逾期用户，并把录音数据转换成文本数据，包括：利用whisperX模型，指定语言为中文，讲话人为2人；输入录音文件至whisperX模型，输出讲话人和讲话内容文本；根据催收员的固定开场白筛选出催收员的讲话文本数据。

作为优选方案，将所述定制大语言模型部署在生产环境，包括：将所述定制大语言模型导入到生产环境，模型状态调整为eval模式；使用fastapi接口对外提供API服务；在API上提供需评估的加上提示词的录音文本，即可返回录音文本的评估结果。

本发明还提供了一种基于大模型的催收敏感词质检装置，包括：获取模块，用于获取线上生成的催收录音；录音转换模块，用于调用翻译模型API接口将所述催收录音转换出录音文本；预处理模块，用于对所述录音文本进行预处理，并对所述录音文本中的长文本进行分割，获得输入文本；第一质检模块，用于将所述输入文本导入原始模型中进行质检，输出第一质检结果；第二质检模块，用于构建本地催收合规向量知识库，基于大语言模型调用所述向量知识库，并将所述输入文本导入大语言模型进行质检，输出第二质检结果；模型训练模块，用于根据历史催收录音数据，并基于大语言模型进行P-tuning训练，获得定制大语言模型；第三质检模块，用于将所述输入文本导入定制大语言模型中进行质检，获得第三质检结果；质检结果模块，若第一质检结果、第二质检结果和第三质检结果中存在至少一项不合规，则最终的质检结果为不合规。

与现有技术相比，本发明的有益效果包括：通过对金融机构催收业务中积累的非结构化催收录音数据进行挖掘，经过数据清洗等预处理操作后，识别出讲话对象，进而生成催收敏感词的模型，更加精准的识别到讲话内容的敏感内容，并最终完成质检标准核对，输出催收语音中可能涉及到的敏感词风险情况。利用催收敏感词质检技术，可以通过自动化方式对催收语音和文本进行分析，降低人工成本。利用大语言模型技术，通过对催收语音和文本数据的分析，可以发现敏感词，有助于提高催收效率。质检人员可以更有针对性地进行抽检，减少人工质检的工作量，提高工作效率。本发明提供的催收敏感词质检方法可以保障合规、提高效率、降低成本、减少纠纷，促进大语言模型技术在金融领域的发展。

附图说明

参照附图来说明本发明的公开内容。应当了解，附图仅仅用于说明目的，而并非意在对本发明的保护范围构成限制。在附图中，相同的附图标记用于指代相同的部件。其中：

图1为本发明实施例催收敏感词质检方法的流程示意图；

图2为本发明实施例催收敏感词质检方法的另一流程示意图；

图3为本发明实施例催收敏感词质检装置的结构示意图。

具体实施方式

容易理解，根据本发明的技术方案，在不变更本发明实质精神下，本领域的一般技术人员可以提出可相互替换的多种结构方式以及实现方式。因此，以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。

根据本发明的一实施方式结合图1和2示出。一种基于大模型的催收敏感词质检方法，包括如下步骤：

S101，获取线上生成的催收录音。

S102，调用翻译模型API接口将催收录音转换出录音文本。

S103，对录音文本进行预处理，并对录音文本中的长文本进行分割，获得输入文本。对分割后的文本分别进行分段质检预测，可以解决大语言模型输入限制的瓶颈。

其中，对录音文本进行预处理，包括：去除小于30秒的录音文本，并增加基于专家经验和历史投诉信息的目标标签信息。

S104，将输入文本导入原始模型中进行质检，输出第一质检结果。调用原始模型可以识别一部分明显的NSFW(不文明或不合适)词语。

S105，构建本地催收合规向量知识库，基于大语言模型调用向量知识库，并将输入文本导入大语言模型进行质检，输出第二质检结果。通过大预言模型调用本地敏感词的向量知识库能够识别出来业务不合规内容。

具体的，上述构建本地催收合规向量知识库，包括:

(1)基于专家经验或历史客户投诉案例,收集催收录音，扩充预训练的大语言模型可用的催收合规领域信息。

(2)将催收录音转成录音文本后，筛选出催收员的讲话部分；

(3)使用编码软件将录音文本转化成512维的向量，并将转化后的向量存储在数据库中。该编码软件为google-universal-encode。

(4)将待评估的录音文本转化成512维向量后，与数据库中的所有向量进行内积计算，内积越大，相似度越高；

(5)若相似度超过设定阈值，则说明对应录音存在历史发生过的不合规问题。例如：设定相似度阈值为0.8，如有超过该相似度阈值，则说明本条录音存在历史发生过的不合规问题。

本发明实施例中，在将输入文本导入大语言模型进行质检之前，还包括：读取本地向量知识库的内容，获取与用户请求相关的上下文，再使用请求内容和上下文内容填充模板，得到提示词，然后将提示词输入到大语言模型中。

S106，根据历史催收录音数据，并基于大语言模型进行P-tuning训练，获得定制大语言模型。

具体的，包括如下步骤：

1)收集催收领域的录音和文本数据，并对数据预处理。预处理包括对数据进行清洗、去噪、标注等操作。例如：去除小于30秒的录音文本，并增加基于专家经验和历史投诉信息的目标标签信息。

2)利用ASR技术识别录音数据，区分出催收人员和逾期用户，并在本地批量把录音数据转换成文本数据。

该ASR技术具体为whisperX模型的DiarizationPipeline模块。识别录音时，指定语言为中文，讲话人为2人；输入录音文件(wav或MP3格式)至whisperX模型，模型直接输出讲话人和讲话内容文本。可以根据催收员的固定开场白筛选出催收员的讲话文本数据。固定开场白可以为“我是XX银行。。。”。

3)使用专家打标签区分文本数据，根据是否合规打上正负标签，生成训练样本。

例如：模型的训练样本格式为：

{“input”：“请判断以下催员录音中是否合规：【催员录音文本】”，

“output”：“不合规”}

4)将训练样本划分为训练集和测试集，训练集用于p-tuning训练，测试集用于评估模型效果。一般数千条有标签的样本即可进行预训练。

5)配置p-tuning模型参数，当模型效果达到设定阈值时，定制大语言模型训练完成。对结果影响比较大的模型参数为学习率，读入训练数据在GPU上进行训练，训练完成后在测试集上进行评估。

采用P-tuning的技术对大语言模型进行微调，不改变预训练大语言模型中的基础参数值，仅针对大语言模型中提示词embedding层进行微调训练，因可训练参数较少，可以在单卡GPU上完成。经过P-tuning的定制模型可以输出敏感词质检结果，模型输出稳定性和准确性比仅使用预训练模型有大幅提升。

基于历史催收录音对大语言模型使用P-tuning技术进行模型微调，微调后的定制模型可以端到端的识别录音中用户的质检风险。

6)将定制大语言模型部署在生产环境，可供催收系统通过API的方式进行调用。采用基于深度学习算法的敏感词检测方法，能够高效地检测出催收领域的敏感词，减少漏检和误检的情况。

将定制大语言模型部署在生产环境，包括：将定制大语言模型导入到生产环境，模型状态调整为eval模式；使用fastapi接口对外提供API服务；在API上提供需评估的加上提示词的录音文本，即可返回录音文本的评估结果。

S107，将输入文本导入定制大语言模型中进行质检，获得第三质检结果。通过调用定制大语言模型能够识别出较难识别的语音。

S108，若第一质检结果、第二质检结果和第三质检结果中存在至少一项不合规，则最终的质检结果为不合规。

具体的，第一质检结果、第二质检结果和第三质检结果中，只要有一个不合规，则最终的质检结果就是不合规。三个质检的评估是从三个不同的角度，侧重点不同：第一质检是简单的通过大语言模型识别明显的脏话；第二质检是找到和历史中相似的不合规案例；第三质检是通过模型可以扩展预测之前未出现过的潜在不合规情况。通过三个质检流程，可以有效针对不同对象进行精准质检，提高了质检效率和准确率。

例如：催收员直接在电话中骂人可以直接被第一质检识别出来。催收员在电话中要求客户还钱到催收员私人账户(历史上经常出现的不合规案例)用户还款，可以被第二质检识别。一些可能不那么容易明确定义的的暗示和诱导行为可能会被第三质检识别。

可选的，可以将检测到的敏感词与质检标准进行比对，从而优化质检流程，提高质检效率和准确率。通过对语料库进行调整与优化，根据行业最新要求和金融机构自带的规范，不断优化语料库内容。

参见图3，本发明还提供了一种基于大模型的催收敏感词质检装置，包括：

获取模块101，用于获取线上生成的催收录音；

录音转换模块102，用于调用翻译模型API接口将催收录音转换出录音文本；

预处理模块103，用于对录音文本进行预处理，并对录音文本中的长文本进行分割，获得输入文本；

第一质检模块104，用于将输入文本导入原始模型中进行质检，输出第一质检结果；

第二质检模块105，用于构建本地催收合规向量知识库，基于大语言模型调用向量知识库，并将输入文本导入大语言模型进行质检，输出第二质检结果；

模型训练模块106，用于根据历史催收录音数据，并基于大语言模型进行P-tuning训练，获得定制大语言模型；

第三质检模块107，用于将输入文本导入定制大语言模型中进行质检，获得第三质检结果；

质检结果模块108，若第一质检结果、第二质检结果和第三质检结果中存在至少一项不合规，则最终的质检结果为不合规。

综上所述，本发明的有益效果包括：通过对金融机构催收业务中积累的非结构化催收录音数据进行挖掘，经过数据清洗等预处理操作后，识别出讲话对象，进而生成催收敏感词的模型，更加精准的识别到讲话内容的敏感内容，并最终完成质检标准核对，输出催收语音中可能涉及到的敏感词风险情况。利用催收敏感词质检技术，可以通过自动化方式对催收语音和文本进行分析，降低人工成本。利用大语言模型技术，通过对催收语音和文本数据的分析，可以发现敏感词，有助于提高催收效率。质检人员可以更有针对性地进行抽检，减少人工质检的工作量，提高工作效率。本发明提供的催收敏感词质检方法可以保障合规、提高效率、降低成本、减少纠纷，促进大语言模型技术在金融领域的发展。

本发明为智能语音识别、大语言模型项目在金融领域的针对性应用优化，是金融领域大模型在催收质检合规领域的创新尝试。应用场景广泛，该技术可以应用于催收领域的语音、文本等数据的质检，有效识别敏感词，提高质检效率和准确率，有助于保护消费者权益和提升行业形象。同时该技术方法同样可适用于其他需要合规管控的领域，如理财产品推荐、直播等一些新兴产业。本专利中的技术方法除了大语言模型训练输出结果外，保留了专家打标等知识库规则判断方案，综合给出质检结果，有效结合了人工和大模型的优点。

本发明提出了一种基于大模型的催收敏感词质检方法和装置，利用机器学习算法对催收领域的语音、文本等数据进行检测，具有较高的技术创新性。并且本专利公开了基于大模型的催收敏感词质检技术及应用方法的具体实现过程，有助于促进技术交流与合作，推动相关技术的发展。本专利可以助力催收领域降本增效，提高质检效率，降低人工成本；通过使用大模型进行催收敏感词和合规质检，可以大量减少人工质检的工作量，提高质检效率。大语言模型具有较高的检测准确率，可以有效地发现催收领域的敏感词和合规问题，提高质检准确率。本专利通过基于大语言模型的催收敏感词和合规质检技术，可以更好地监管催收行业的合规性，保护消费者权益。对于催收行业来说，本专利的催收敏感词和合规质检技术可以提高行业形象，增强社会对催收行业的信任。本专利的技术方法推广后，可以规范催收行业的操作，防止一些不正当的催收行为，促进行业健康发展。

应理解，所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明的技术范围不仅仅局限于上述说明中的内容，本领域技术人员可以在不脱离本发明技术思想的前提下，对上述实施例进行多种变形和修改，而这些变形和修改均应当属于本发明的保护范围内。