一种基于Transformer的信用风险评估方法

技术领域

本发明涉及互联网金融信用评估领域，特别涉及一种基于Transformer的信用风险评估方法。

背景技术

个人信用风险评估是指信用评估机构利用信用评分模型对消费者个人信用信息进行量化分析，其结果以分数形式展示个人信用高低。提升信用评分模型效果的关键是，在更多的数据维度上提取更多的信贷相关信息，并把这些信息用一种适合模型学习地方式表示。

目前最主流的是评分卡模型，主要使用逻辑回归。有简单、稳定、可解释性强、监管认可等优势。另外行业上也有应用XGBoost、LightGBM等集成学习模型。这类集成学习模型对比评分卡来说模型性能更好，但是有模型复杂，可解释性较差，稳定性可能较差等缺点。

但是上述模型在面对复杂的数据结构，如各应用自己的用户行为数据时，需要大量构造人工特征，在没有领域专家的情况下可能只能达到次优解。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于Transformer的信用风险评估方法，基于Transformer的网络可以更好的提取复杂数据结构中的信息，模型性能会更优，同时给出了多空间维度的特征同时训练的方式。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明一种基于Transformer的信用风险评估方法，包括Transformer的网络，所述Transformer的网络分为三大部分，Embedding部分和Encoder部分和分类器部分，其中行为日志输入Embedding由三部分组成：(1)用户当前的操作，(2)用户当前操作的时间，(3)用户操作时的授信及账单状态，所述Encoder部分由六个Encoder Block堆叠而成，同时Encoder Block会把上一层的输入和结果同时拼接到一起作为本层的输入；在每个所述Encoder Block的内部结构中，输入先经过一层CNN提取特征，再经过LayerNorm层，之后经过由一层ReLU和一层线性激活全连接组成的Feed Forward层，最后再经过LayerNorm层、Dropout层后得到输出，所述分类器用于最后输出用户是否为黑样本。

与现有技术相比，本发明的有益效果如下：

1.相对于逻辑回归和LightGBM等模型，基于Transformer的网络可以更好的提取复杂数据结构中的信息，模型性能会更优。

2.相对于Transformer：(1)目前主流的基于Attention的特征抽取器，使用CNN训练速度快，结构简单，易于并行，易于训练调参，同时在资源受限条件下有较强的应用优势且在小数据集上表现更优；(2)使用行为发生时间的Embedding来代替PositionEmbedding，更好的描述动作之间时间间隔关系；(3)Block层之间引入残差网络的思想，来解决深层级带来的网络退化问题。

3.同时给出了多空间维度的特征同时训练的方式。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的整体网络架构图；

图2是本发明的每个Encoder Block中内部结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

如图1所示，整个网络分为三大部分，Embedding部分和Encoder部分和分类器部分。

行为日志输入Embedding由三部分组成：(1)用户当前的操作(如登陆、支用、交易等)(2)用户当前操作的时间；(3)用户操作时的授信及账单状态(如：当前授信金额、当前支用金额、当前在贷金额、当前逾期金额等)。注意这几部分特征并不在同一特征空间内，传统方式无法直接处理；每次用户进行业务操作时，便生成一条行为日志，我们使用一个用户全部的行为日志序列来表征这个用户。

Encoder部分由六个Encoder Block堆叠而成，同时Encoder Block会把上一层的输入和结果同时拼接到一起作为本层的输入，这会减轻模型衰弱带来的性能下降，使得我们可以构建深层的CNN网络，而深层CNN可以更好的捕捉序列中的长距离特征。

图2是每个Encoder Block中内部结构，输入先经过一层CNN提取特征，再经过LayerNorm层，之后经过由一层ReLU和一层线性激活全连接组成的Feed Forward层，最后再经过LayerNorm层、Dropout层后得到输出。

分类器则用来最后输出用户是否为黑样本。

与现有技术相比，本发明的有益效果如下：

1.相对于逻辑回归和LightGBM等模型，基于Transformer的网络可以更好的提取复杂数据结构中的信息，模型性能会更优。

2.相对于Transformer：(1)目前主流的基于Attention的特征抽取器，使用CNN训练速度快，结构简单，易于并行，易于训练调参，同时在资源受限条件下有较强的应用优势且在小数据集上表现更优；(2)使用行为发生时间的Embedding来代替PositionEmbedding，更好的描述动作之间时间间隔关系；(3)Block层之间引入残差网络的思想，来解决深层级带来的网络退化问题。

3.同时给出了多空间维度的特征同时训练的方式。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。