一种融合规则的文本数字抽取装置

技术领域

本发明涉及金融技术领域，具体涉及一种融合规则的文本数字抽取装置。

背景技术

在文本处理中，一个通用的需求是将一段文本中有价值的信息提取出来。如知识图谱的构建需要从非结构的文本信息提取出三元组。在金融领域各个业务场景中同样有从非结构文本信息中提取有价值信息的需求，与一般的文本处理中，提取信息不同；在一些私有(如金融)领域，存在比较特殊的文本，它包含大量的数字类信息，并且这些数字信息很相似，需要有专业或者有经验的人员才能识别其中的信息。

现券交易中的一个成交的文本信息，是需要将里面的信息提取，这个问题对当前的信息抽取模型来说，有两个难点：a)数字信息为0-9，可以随意组合成任意的数值，不像中文字符，每个字符有明确的意义，并且有一定的排列顺序。b)专业或者有经验的人员，基于长期在私有(如金融)领域的习惯、或者额外的经验知识，是能够识别其中意思的，但是一个算法模型，只是基于当前的训练语料，没有额外的辅助知识，是很难判断其信息的

现有技术中，信息抽取在文本处理领域是一个比较成熟的技术。主要是基于神经网络模型，对文本进行系列标注，把文本中的要素信息识别出来。早期有LSTM+CRF、BiLSTM+CRF等模型，随着预训练模型Bert的出现，以及相关变种的推出，有Bert+BiLSTM+CRF,Bert+CRF等一系列的算法模型，且达到了比较高的准确率。随着不同领域对技术要求的提高，如中文的歧义问题，抽取中的边界漂移问题，随着算法模型的发展，如图神经网络模型的出现，出现了如FLAT、LGN、Graph4CNER等算法，解决中文信息抽取中的歧义、边界漂移等问题。主要解决的是针对一段文本，能够提取出里面的有价值的信息。但是现有的技术方案中存在两个难点：一是对于需要额外经验信息的，在一些私有领域、需要训练样本之外的经验或专业知识的信息抽取任务，目前并不能很好的解决。二是对于数字类的，如金融领域的一个数字“2.78”，有可能是期限，也可能是投标的标位信息，或者是现券交易的票面值。这种数字，不仅需要语境，还需要对数值大小的判断，等相关的信息辅助判断的。这对于当前的技术来说，是一个难点问题，并不能有效解决。

采用已有的技术，在标准的训练语料下，模型大概的准确率在85％-90％左右，针对金融行业，对算法模型要求高的行业中，这样的信息抽取准确率难于达到商用的标准。

发明内容

本发明的目的在于针对现有技术中不足与缺陷，提供一种融合规则的文本数字抽取装置，对有大量数字类数据的文本抽取，在针对金融领域的数据抽取中准确率能提升2％-3％以上。

为实现上述目的，本发明采用以下技术方案是：一种融合规则的文本数字抽取装置，它包括信息输出层模块1、解码层模块2、标签融合层模块3、编码层模块4、预处理提取模块5，所述预处理提取模块5连接编码层模块4，所述编码层模块4与标签融合层模块3相连接，所述标签融合层模块3通过解码层模块2与信息输出层模块1相连接。

作为本发明更为优化的，所述预处理提取模块5的提取规则为：将专家的经验或者专业知识总结出来，变成一套逻辑函数库；采用逻辑程序，对于输入的文本信息，先做预处理，通过正则表达式，将满足一定规则的各种数字信息、中文加数字信息提取出来；对规则提取出的文本信息，进行逻辑运算，判断其满足哪些规则，并贴上相应的“规则标签”,对于一段信息，有可能是多标签的情况，则将两个标签直接拼接，形成第三种标签；标签转换，将“规则标签”转换为唯一的标签ID，标签ID采用四位数的字符串，保障标签转换过程中，能确保不同的“规则标签“对应唯一的“标签ID”即可。

作为本发明更为优化的，所述编码层模块4的编码方式包括当不限于：字符的编码，采用经典的编码方式，首先是通过利用金融数据进行预训练后的albert对字符进行编码训练，再在上层拼接上一个LSTM层，对文本中的字符和数字进行特征训练，最后获得每个字符的特征向量Xi；对于“规则标签”的编码，采用one-hot的形式，同样可以采用word2vec或bert等预训练模型获得的编码形式。

作为本发明更为优化的，所述标签融合层模块3上增加了Rule-self-attention的网络层,来融合文本标签和规则标签的信息；

对任意一个句子，形成的词向量为X，规则标签形成的编码为R，则Rule-self-attention的定义为

在attention之后，在拼接上归一化函数，进行一次全连接层：

利用上面的Rule-self-attention函数，将“规则标签”信息融合到文本的编码中，形成每个字符最终编码结果。

作为本发明更为优化的，所述解码层模块2同样采用的是CRF算法，对编码的字符向量进行序列标注，输出最终的抽取结果。

作为本发明更为优化的，所述预处理提取模块5的提取规则a中具体规则以金融的数字为例：标位值的大小在0到20的范围内；票面的价格通常在90-110的范围内；债券代码是4位-6位的纯数字。

本发明的工作原理：首先建立一套规则逻辑库；在预处理提取阶段，先通过规则提取出文本中满足一定规则的信息，将满足不同规则的文本数据贴上不同的“规则标签”；其次在模型训练阶段，将“规则标签”和文本一起放入神经网络模型中训练学习。在融合上，基于文本的attention机制，将“规则标签”信息融合到文本的特征学习中，最后执行下游的解码任务，获得信息提取的序列标注结果，对“规则标签”的编码，采用one-hot编码，或者预训练模型进行编码，同时可采用其它词向量化方式，以及未来出现的新技术；当前提供的示例为金融领域的数据，但是不限于金融业务，也包括其它包含大量数字类数据信息；这种融合“规则标签”的模型编码方式，还可以拓展到其它的需要结合“外部规则”的相关任务中。

采用上述技术方案后，本发明有益效果为：对有大量数字类数据的文本抽取，在针对金融领域的数据抽取中准确率能提升2％-3％以上，针对金融行业，对算法模型要求高的行业中，使其信息抽取准确率更好的达到商用的标准。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的网络模型示意图。

附图标记说明：信息输出层模块1、解码层模块2、标签融合层模块3、编码层模块4、预处理提取模块5。

具体实施方式

参看图1所示，本具体实施方式采用的技术方案是：它包括信息输出层模块1、解码层模块2、标签融合层模块3、编码层模块4、预处理提取模块5，所述预处理提取模块5连接编码层模块4，所述编码层模块4与标签融合层模块3相连接，所述标签融合层模块3通过解码层模块2与信息输出层模块1相连接。

作为本发明更为优化的，所述预处理提取模块5的提取规则为：将专家的经验或者专业知识总结出来，变成一套逻辑函数库；采用逻辑程序，对于输入的文本信息，先做预处理，通过正则表达式，将满足一定规则的各种数字信息、中文加数字信息提取出来；对规则提取出的文本信息，进行逻辑运算，判断其满足哪些规则，并贴上相应的“规则标签”,对于一段信息，有可能是多标签的情况，则将两个标签直接拼接，形成第三种标签；标签转换，将“规则标签”转换为唯一的标签ID，标签ID采用四位数的字符串，保障标签转换过程中，能确保不同的“规则标签“对应唯一的“标签ID”即可。

作为本发明更为优化的，所述编码层模块4的编码方式包括当不限于：字符的编码，采用经典的编码方式，首先是通过利用金融数据进行预训练后的albert对字符进行编码训练，再在上层拼接上一个LSTM层，对文本中的字符和数字进行特征训练，最后获得每个字符的特征向量Xi；对于“规则标签”的编码，采用one-hot的形式，同样可以采用word2vec或bert等预训练模型获得的编码形式。

作为本发明更为优化的，所述标签融合层模块3上增加了Rule-self-attention的网络层,来融合文本标签和规则标签的信息；

对任意一个句子，形成的词向量为X，规则标签形成的编码为R，则Rule-self-attention的定义为

在attention之后，在拼接上归一化函数，进行一次全连接层：

利用上面的Rule-self-attention函数，将“规则标签”信息融合到文本的编码中，形成每个字符最终编码结果。

作为本发明更为优化的，所述解码层模块2同样采用的是CRF算法，对编码的字符向量进行序列标注，输出最终的抽取结果。

作为本发明更为优化的，所述预处理提取模块5的提取规则a中具体规则以金融的数字为例：标位值的大小在0到20的范围内；票面的价格通常在90-110的范围内；债券代码是4位-6位的纯数字。

本发明的工作原理：首先建立一套规则逻辑库；在预处理提取阶段，先通过规则提取出文本中满足一定规则的信息，将满足不同规则的文本数据贴上不同的“规则标签”；其次在模型训练阶段，将“规则标签”和文本一起放入神经网络模型中训练学习。在融合上，基于文本的attention机制，将“规则标签”信息融合到文本的特征学习中，最后执行下游的解码任务，获得信息提取的序列标注结果，对“规则标签”的编码，采用one-hot编码，或者预训练模型进行编码，同时可采用其它词向量化方式，以及未来出现的新技术；当前提供的示例为金融领域的数据，但是不限于金融业务，也包括其它包含大量数字类数据信息；这种融合“规则标签”的模型编码方式，还可以拓展到其它的需要结合“外部规则”的相关任务中。

以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。