一种单据审核方法和装置

技术领域

本发明涉及电子商务技术领域，尤其涉及一种单据审核的方法和装置。

背景技术

随着电子商务的发展，为给电子商务平台的用户提供更全面、可依赖的服务，电子商务平台为用户开通了多样化的申诉服务，包括售后服务申请、投诉、咨询、异常处理等。为防止恶意用户的恶意操作同时保证用户申诉的处理效率，需要相应的人工客服对用户提出的申请单据进行审核及处理。但随着电子商务平台的发展以及用户的与日俱增，客服人员的需求量也在急剧增加，大大增加了电子商务平台的人力成本。

目前，为提高用户申请单据的审核效率，减少人工的介入，常通过自动审核装置对用户申请单据进行审核。但在实现本发明过程中，发明人发现现有技术中至少存在如下问题：目前对是否采用自动审核方式的判断不够准确，通常只在某些商品品类的审核通过率和用户满意度较高的情况下才会针对该商品品类，使得自动审核的用户申请单据数量偏少；在自动审核开通后，只在出现恶性事件或造成损失后才不再采用自动审核，未区分自动审核方式对不同用户申请单据的适用性。

发明内容

有鉴于此，本发明提供一种单据审核方法和装置，能够通过训练好的审核预测模型，判定每一个用户申请单据是否适用于自动审核，既保证了用户申请单据的准确性，又保证了用户申请单据的审核效率。

为实现上述目的，根据本发明的第一方面，提供了一种单据审核方法，包括：

从服务端接收用户申请单据；

从所述用户申请单据中提取所述用户单据对应的特征值，所述特征值包括商品品类、商品价格、申请类型；

根据所述商品品类、商品价格、申请类型，从训练好的一个或多个审核预测模型中选取适用于所述用户申请单据的审核预测模型；

根据所述特征值，使用所选取的审核预测模型预测所述用户申请单据审核方式对应的数值；

根据所述用户申请单据审核方式对应的数值，判断所述用户申请单据是否适用于自动审核，并将判断结果发送至审核终端。

可选地，还包括：

在选取适用于所述用户申请单据的审核预测模型之前，判断所述用户申请单据是否符合第一预设规则，所述第一预设规则包括下述一种或多种：用户是否为黑名单用户、申请类型是否为申请客服、商品是否为虚拟商品；

在所述用户申请单据符合第一预设规则的情况下，根据所述商品品类、商品价格、申请类型，从训练好的一个或多个审核预测模型中选取适用于所述用户申请单据的审核预测模型。

可选地，还包括：

在使用所选取的审核预测模型判断所述用户申请单据适用于自动审核的情况下，在将判断结果发送至审核终端之前，判断所述用户申请单据是否符合第二预设规则，所述第二预设规则包括下述一种或多种：所述商品品类是否已开通自动审核、所述商品价格是否已开通自动审核、当前时间是否为自动审核开启时间段、所述审核预测模型确定的所述用户申请单据适用于自动审核的概率值是否大于阈值概率；

在所述用户申请单据符合第二预设规则的情况下，自动审核所述用户申请单据。

可选地，还包括：

获取用户申请单据审核记录，所述审核记录指示了一个或多个用户申请单据及对应的审核方式，所述审核方式为人工审核或自动审核；

从所述用户申请单据中提取所述特征值，以获取训练数据集，所述训练数据集指示了所述特征值、所述特征值对应的审核方式；

根据所述商品品类、商品价格、申请类型将所述训练数据集划分为一个或多个训练数据子集；

根据所述训练数据子集，使用分类模型进行训练，以获取一个或多个所述审核预测模型。

可选地，还包括：

在使用所选取的审核预测模型判断所述用户申请单据是否适用于自动审核的情况下，

判断所述审核预测模型确定的审核方式与人工确定的审核方式是否一致，若不一致，则根据人工确定的审核方式对所述审核预测模型进行优化。

为实现上述目的，根据本发明的第二方面，提供了一种单据审核装置，包括：单据接收模块、特征提取模块、模型确定模块、审核预测模块、结果发送模块；其中，

所述单据接收模块，用于从服务端接收用户申请单据；

所述特征提取模块，用于从所述用户申请单据中提取所述用户申请单据对应的特征值，所述特征值包括商品品类、商品价格、申请类型；

所述模型确定模块，用于根据所述商品品类、商品价格、申请类型，从训练好的一个或多个审核预测模型中选取适用于所述用户申请单据的审核预测模型；

所述审核预测模块，用于根据所述特征值，使用所选取的审核预测模型预测所述用户申请单据审核方式对应的数值；

所述结果发送模块，用于根据所述用户申请单据审核方式对应的数值，判断所述用户申请单据是否适用于自动审核，并将判断结果发送至审核终端。

可选地，所述模型确定模块，还用于，

在选取适用于所述用户申请单据的审核预测模型之前，判断所述用户申请单据是否符合第一预设规则，所述第一预设规则包括下述一种或多种：用户是否为黑名单用户、申请类型是否为申请客服、商品是否为虚拟商品；

在所述用户申请单据符合第一预设规则的情况下，根据所述商品品类、商品价格、申请类型，从训练好的一个或多个审核预测模型中选取适用于所述用户申请单据的审核预测模型。

可选地，所述审核预测模块，还用于，

在使用所选取的审核预测模型判断所述用户申请单据适用于自动审核的情况下，在将判断结果发送至审核终端之前，判断所述用户申请单据是否符合第二预设规则，所述第二预设规则包括下述一种或多种：所述商品品类是否已开通自动审核、所述商品价格是否已开通自动审核、当前时间是否为自动审核开启时间段、所述审核预测模型确定的所述用户申请单据适用于自动审核的概率值是否大于阈值概率；

在所述用户申请单据符合第二预设规则的情况下，自动审核所述用户申请单据。

可选地，所述模型确定模块，还用于，

获取用户申请单据审核记录，所述审核记录指示了一个或多个用户申请单据及对应的审核方式，所述审核方式为人工审核或自动审核；

从所述用户申请单据中提取所述特征值，以获取训练数据集，所述训练数据集指示了所述特征值、所述特征值对应的审核方式；

根据所述商品品类、商品价格、申请类型将所述训练数据集划分为一个或多个训练数据子集；

根据所述训练数据子集，使用分类模型进行训练，以获取一个或多个所述审核预测模型。

可选地，所述模型确定模块，还用于，

在使用所选取的审核预测模型判断所述用户申请单据是否适用于自动审核的情况下，判断所述审核预测模型确定的审核方式与人工确定的审核方式是否一致，若不一致，则根据人工确定的审核方式对所述审核预测模型进行优化。

为实现上述目的，根据本发明的第三方面，提供了一种用于单据审核的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述单据审核方法中任一所述的方法。

为实现上述目的，根据本发明的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述单据审核方法中任一所述的方法。

上述发明中具有如下优点或有益效果：通过预先训练好的审核预测模型，判定每一个用户申请单据是否适用于自动审核，既保证了用户申请单据的准确性，又保证了用户申请单据的审核效率。此外，还通过判断是否符合第一预设规则、第二预设规则，进一步保证了审核预测模型确定的用户申请单据适用审核方式的准确性。在训练审核预测模型时，可通过不同用户申请单据的特征值的组合，训练得到适用于不同特征值或用户申请单局的审核预测模型，进一步提高了审核预测模型的准确定。同时，还通过人工判定审核方式与审核预测模型判定审核方式的对比，实现了对审核预测模型的持续监测及优化。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的单据审核方法的主要流程的示意图；

图2是根据本发明实施例的另一单据审核方法的主要流程的示意图

图3是根据本发明实施例的审核预测模型的训练方法的主要流程的示意图；

图4是根据本发明实施例的单据审核装置的主要模块的示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的单据审核方法的主要流程的示意图；如图1所示，该单据审核方法具体可以包括的步骤如下：

步骤S101，从服务端接收用户申请单据。

用户申请单据是指用户向电子商务平台提出的退货、换货、投诉、商品咨询、购物操作出现异常以及申请人工客户等任何申请单据。

步骤S102，从所述用户申请单据中提取所述用户单据对应的特征值，所述特征值包括商品品类、商品价格、申请类型。其中，商品品类包括手机、自行车、包包、水杯、珠宝等；申请类型则是指退货、换货、保修等。

除此之外，不同的用户申请单据，还包括下述一种或多种特征值：申请原因、退货或换对应的取件方式、用户态度、商品体积、商品重量、商品是否易碎、商品是否享受七天无理由退换货、商品品牌、商品数量、商品优惠、用户购物等级、用户风险等级、用户历史售后记录。在实际的操作过程中，由于用户申请单据所指示的特征值繁多，而不同特征值与用户申请单据是否适用于自动审核的相关度不同，因此，可以根据实际需要选择与用户申请单据是否适用于自动审核相关度高的一个或多个不同特征值，如商品品类、商品价格、申请类型、用户风险等级等，进而根据所选取的特征值进行训练以获取对应的审核预测模型，从而可根据用户申请单据的特征值使用该审核预测模型判断用户申请单据是否适用于自动审核。

在一种可选的实施方式中，获取用户申请单据审核记录，所述审核记录指示了一个或多个用户申请单据及对应的审核方式，所述审核方式为人工审核或自动审核；从所述用户申请单据中提取所述特征值，以获取训练数据集，所述训练数据集指示了所述特征值、所述特征值对应的审核方式；根据所述商品品类、商品价格、申请类型将所述训练数据集划分为一个或多个训练数据子集；根据所述训练数据子集，使用分类模型进行训练，以获取一个或多个所述审核预测模型。

具体地，以从多个用户申请单据中提取的特征值仅包括商品品类、商品价格、申请类型为例进行说明，则根据用户申请单据获取的训练数据集如表1所示，其中，一个用户申请单据中的商品价格为2000元、申请退货的手机对应的审核方式是自动审核，而另一个用户申请单据中的商品价格为8000元、申请退货的手机对应的审核方式是人工审核。在此基础上，可根据表1中的训练数据集，使用LightGBM等分类模型进行训练以得到审核预测模型。

表1 训练数据集示例

更进一步地，由于用户申请单据中提取的商品品类、商品价格等的实际取值繁多、差别较大，为使得审核预测模型的预测结果更加准确、适用性更强，考虑根据商品品类、商品价格、申请类型等将训练数据集划分为一个或多个训练数据子集，进而基于LightGBM等分类模型分别根据训练数据子集，以分别获取适用于不同特征值也即不同用户申请单据的审核预测模型。如可以根据商品品类(即手机、包包)将表1中所示的训练数据集划分为商品品类分别手机、包包的两个训练数据子集，进而基于LightGBM等分类模型分别进行训练，以分别得到手机审核预测模型、包包审核预测模型；也可以根据申请类型(即退货、换货)将表1中所示的训练数据集划分为申请类型分别退货、换货的两个训练数据子集，进而基于LightGBM等分类模型分别进行训练，以分别得到退货审核预测模型、换货审核预测模型；也可以基于商品价格，如以商品价格是否小于1000元，将表1中所示的训练数据集划分为商品价格分别为低价(即小于1000元)、高价(不小于1000元)两个训练数据子集，进而基于LightGBM等分类模型分别进行训练，以分别得到低价审核预测模型、高价审核预测模型。除此之外，还可以同时根据商品品类、申请类型、商品价格中的任一两个或三个将表1中所示的训练数据集划分为多个训练数据子集，如划分为手机退货、手机换货、包包退货、包包换货对应的四个训练数据子集，进而基于LightGBM等分类模型分别进行训练，以分别得到手机退货审核预测模型、手机换货审核预测模型、包包退货审核预测模型、包包换货审核预测模型。

在一种可选的实施方式中，在使用所选取的审核预测模型判断所述用户申请单据是否适用于自动审核的情况下，判断所述审核预测模型确定的审核方式与人工确定的审核方式是否一致，若不一致，则根据人工确定的审核方式对所述审核预测模型进行优化。也即是说，为能够持续优化或者更新现有的审核预测模型，在使用审核预测模型判断新的用户申请单据是否适用于自动审核的同时，人工判断该用户申请单据是否适用于自动审核，并以人工判断的结果为正确结果对审核预测模型进行监控及优化。

步骤S103，根据所述商品品类、商品价格、申请类型，从训练好的一个或多个审核预测模型中选取适用于所述用户申请单据的审核预测模型。

可以理解的是，由于在训练得到审核预测模型过程中，为使得审核预测模型的预测结果更加准确、适用性更强，根据商品品类、商品价格、申请类型等分别训练得到了适用于不同特征值也即不同用户申请单据的一个或多个审核预测模型，因此，在使用审核预测模型之前，需要根据用户申请单据的商品品类、商品价格、申请类型选取最适用的审核预测模型。如以训练得到的审核预测模型包括：手机审核预测模型、包包审核预测模型为例进行说明，若用户申请单据的商品品类为手机，则选择手机审核预测模型判断该用户申请单据是否适用于自动审核；若用户申请单据的商品品类为包包，选择包包审核预测模型判断该用户申请单据是否适用于自动审核。

在一种可选的实施方式中，在选取适用于所述用户申请单据的审核预测模型之前，判断所述用户申请单据是否符合第一预设规则，所述第一预设规则包括下述一种或多种：用户是否为黑名单用户、申请类型是否为申请客服、商品是否为虚拟商品；在所述用户申请单据符合第一预设规则的情况下，根据所述商品品类、商品价格、申请类型，从训练好的一个或多个审核预测模型中选取适用于所述用户申请单据的审核预测模型。由于用户申请单据种类繁多且数量巨大，为降低审核预测模型需处理的用户申请单据的数量以及判断的用户申请单据审核方式的实用性，在使用审核预测模型之前，先根据用户黑名单、虚拟商品等对用户申请单据进行初步筛选，以筛选出只适用于人工审核的用户申请单据，如商品为会员时长、充值卡等虚拟商品的用户申请单据、申请人工客服的用户申请单据或无法享受自动审核权限的黑明单用户提供的用户申请单据等。

步骤S104，根据所述特征值，使用所选取的审核预测模型预测所述用户申请单据审核方式对应的数值。

可以理解的是，在实际的模型训练或者模型预测过程中，将从用户申请单据中获取的特征值以及审核方式数值化，如以x表示用户申请单据对应的特征值，y表示用户申请单据审核方式，则可以得到(x

步骤S105，根据所述用户申请单据审核方式对应的数值，判断所述用户申请单据是否适用于自动审核，并将判断结果发送至审核终端。

可以理解的是，在用户申请单据适用于自动审核的情况下，则使用审核终端现有的用户申请单据自动审核装置对用户申请单据进行自动审核，若用户申请单据不适用于自动审核，则通知审核终端相关审核人员人工审核用户申请单据。在用户申请单据审核通过后，则可以根据用户申请单据指示的申请类型或用户的期望，进行相关的处理，如为用户提供退货或换货服务等。值得注意的是，在将用户申请单据是否适用于自动审核的判断结果发送至审核终端后，相关工作人员可以根据判断结果人为地选择是否遵从判断结果对用户申请单据进行审核，以进一步保证选用的审核方式的可靠性。

在一种可选的实施方式中，在使用所选取的审核预测模型判断所述用户申请单据适用于自动审核的情况下，判断所述用户申请单据是否符合第二预设规则，所述第二预设规则包括下述一种或多种：所述商品品类是否已开通自动审核、所述商品价格是否已开通自动审核、当前时间是否为自动审核开启时间段、所述审核预测模型确定的所述用户申请单据适用于自动审核的概率值是否大于阈值概率；在所述用户申请单据符合第二预设规则的情况下，自动审核所述用户申请单据。

可以理解的是，审核预测模型虽可以大幅度降低人工客服的人员需求以及工作量，但由于审核预测模型的判断结果与理想结果存在一定的偏差，因此，为进一步确保审核预测模型确定的审核方式的正确性，在审核预测模型确定用户申请单据适用于自动审核的情况下，进一步判断用户申请单据是否符合第二预设规则，即是否确实适用于自动审核。如，为降低自动审核的风险，对于珠宝、大家电等商品价格偏高的商品一般采用人工审核不采用自动审核，因此，需进一步判断该用户申请单据对应的商品品类是否一个开通自动审核。同时，还可以根据审核预测模型确定的所述用户申请单据适用于自动审核的概率值，判断该审核方式的可靠性，如以阈值概率为90％为例进行说明，若审核预测模型确定用户申请单据适用于自动审核对应的概率值为85％，则审核预测模型确定的审核方式不可靠，采用人工审核该用户申请单据，若审核预测模型确定用户申请单据适用于自动审核对应的概率值为94％，则审核预测模型确定的审核方式可靠，可自动审核该用户申请单据。除此之外，为平衡自动审核与人工审核的用户申请单据的数量，可以根据时间如白天、黑夜或商品品类等，选择性开通或者关闭自动审核，因此在审核预测模型确定用户申请单据适用于自动审核的情况下，可根据当前时间段、商品品类进一步对可采用自动审核的用户申请单据进行筛选。

基于上述实施例，通过预先训练好的审核预测模型，判定每一个用户申请单据是否适用于自动审核，既保证了用户申请单据的准确性，又保证了用户申请单据的审核效率。此外，还通过判断是否符合第一预设规则、第二预设规则，进一步保证了审核预测模型确定的用户申请单据适用审核方式的准确性。在训练审核预测模型时，可通过不同用户申请单据的特征值的组合，训练得到适用于不同特征值或用户申请单局的审核预测模型，进一步提高了审核预测模型的准确定。同时，还通过人工判定审核方式与审核预测模型判定审核方式的对比，实现了对审核预测模型的持续监测及优化。

参见图2，在上述实施例的基础上，本发明实施例提供了另一种单据审核方法，该方法具体可以包括的步骤如下：

步骤S201，从服务端接收用户申请单据。该用户申请单据是指用户向电子商务平台提出的退货、换货、投诉、商品咨询、购物操作出现异常以及申请人工客户等任何申请单据。

步骤S202，从所述用户申请单据中提取所述用户单据对应的特征值，所述特征值包括商品品类、商品价格、申请类型。其中，商品品类包括手机、自行车、包包、水杯、珠宝等；申请类型则是指退货、换货、保修等。除此之外，不同的用户申请单据，还包括下述一种或多种特征值：申请原因、退货或换对应的取件方式、用户态度、商品体积、商品重量、商品是否易碎、商品是否享受七天无理由退换货、商品品牌、商品数量、商品优惠、用户购物等级、用户风险等级、用户历史售后记录。

步骤S203，判断所述用户申请单据是否符合第一预设规则。若符合，则继续执行下述步骤S204，若不符合，则执行步骤S208，即通知审核人员人工审核用户申请单据。第一预设规则包括下述一种或多种：用户是否为黑名单用户、申请类型是否为申请客服、商品是否为虚拟商品。

步骤S204，根据所述商品品类、商品价格、申请类型，从训练好的一个或多个审核预测模型中选取适用于所述用户申请单据的审核预测模型。也即是说，在训练得到的审核预测模型具有一个或多个，由于在训练审核预测模型时，根据商品品类、商品价格、申请类型等划分不同的训练数据，进而得到不同的审核预测模型，如手机审核预测模型、包包审核预测模型等，因此，在实际使用审核预测模型之前，可以根据商品品类、商品价格、申请类型选择最适用于当前用户申请单据的审核预测模型，以提高审核预测模型的准确率。

步骤S205，根据所述特征值，使用所选取的审核预测模型判断所述用户申请单据是否适用于自动审核。以从用户申请单据中提取的商品品类、商品价格、申请类型等特征值为输入，通过审核预测模型确定该特征值也即用户申请单据对应的审核方式。

步骤S206，判断所述用户申请单据是否符合第二预设规则。若符合，则继续执行下述步骤S207，若不符合，则执行步骤S208，即通知审核人员人工审核用户申请单据。可以理解的是，审核预测模型虽可以大幅度降低人工客服的人员需求以及工作量，但由于审核预测模型的判断结果与理想结果存在一定的偏差，因此，为进一步确保审核预测模型确定的审核方式的正确性，在审核预测模型确定用户申请单据适用于自动审核的情况下，进一步判断用户申请单据是否符合第二预设规则，即是否确实适用于自动审核。可采用的第二预设规则包括但不限于所述商品品类是否已开通自动审核、所述商品价格是否已开通自动审核、当前时间是否为自动审核开启时间段、所述审核预测模型确定的所述用户申请单据适用于自动审核的概率值是否大于阈值概率等。

步骤S207，自动审核所述用户申请单据。

步骤S208，通知审核人员人工审核用户申请单据。

可以理解的是，不管是自动审核还是人工审核用户申请单据，在审核通过后电子商务平台则需根据用户申请单据中的申请类型或期望，如退货、换货等进行相应的处理，以提升用户体验。

参见图3，在上述实施例的基础上，本发明实施例提供了一种审核预测模型的训练方法，该方法具体包括的步骤如下：

步骤S301，获取用户申请单据审核记录，所述审核记录指示了一个或多个用户申请单据及对应的审核方式，所述审核方式为人工审核或自动审核。

步骤S302，从所述用户申请单据中提取所述特征值，以获取训练数据集，所述训练数据集指示了所述特征值、所述特征值对应的审核方式。特征值包括但不限于商品品类、商品价格、申请类型、商品品牌、商品数量、用户购物等级等。训练数据集则指示了同一用户申请单据中提取的特征值与审核方式的对应关系(如表1所示)。可以理解的是，由于不同用户在提交用户申请单据时，对同一商品问题的描述采用的文字描述不同，涉及的用户态度(如情感词等)亦不同，因此，在从用户申请单据中提取特征值时，需要对提取的信息进行归一化等处理。

步骤S303，根据所述商品品类、商品价格、申请类型将所述训练数据集划分为一个或多个训练数据子集。由于用户申请单据中提取的商品品类、商品价格等的实际取值繁多、差别较大，为使得审核预测模型的预测结果更加准确、适用性更强，考虑根据商品品类、商品价格、申请类型等将训练数据集划分为一个或多个训练数据子集，进而基于LightGBM等分类模型分别根据训练数据子集，以分别获取适用于不同特征值也即不同用户申请单据的审核预测模型。

步骤S304，根据所述训练数据子集，使用分类模型进行训练，以获取一个或多个所述审核预测模型。如根据商品品类、申请类型、商品价格中的任一两个或三个将表1中所示的训练数据集划分为多个训练数据子集，如划分为手机退货、手机换货、包包退货、包包换货对应的四个训练数据子集，进而基于LightGBM等分类模型分别进行训练，以分别得到手机退货审核预测模型、手机换货审核预测模型、包包退货审核预测模型、包包换货审核预测模型。基于此，在使用审核预测模型确定新的用户申请单据的审核方式时，则可以根据从用户申请单据获取的商品品类、申请类型、商品价格选取适用于该用户申请单据的审核预测模型，以提高审核预测模型的准确率及适用性。

在此基础上，在使用所选取的审核预测模型判断所述用户申请单据是否适用于自动审核的情况下，判断所述审核预测模型确定的审核方式与人工确定的审核方式是否一致，若不一致，则根据人工确定的审核方式对所述审核预测模型进行优化。也即是说，为能够持续优化或者更新现有的审核预测模型，在使用审核预测模型判断新的用户申请单据是否适用于自动审核的同时，人工判断该用户申请单据是否适用于自动审核，并以人工判断的结果为正确结果对审核预测模型进行监控及优化。

参见图4，在上述实施例的基础上，提供了一种审核装置400，包括：单据接收模块401、特征提取模块402、模型确定模块403、审核预测模块404、结果发送模块；其中，

所述单据接收模块401，用于接收用户申请单据；

所述特征提取模块402，用于从所述用户申请单据中提取所述用户申请单据对应的特征值，所述特征值包括商品品类、商品价格、申请类型；

所述模型确定模块403，用于根据所述商品品类、商品价格、申请类型，从训练好的一个或多个审核预测模型中选取适用于所述用户申请单据的审核预测模型；

所述审核预测模块404，用于根据所述特征值，使用所选取的审核预测模型预测所述用户申请单据审核方式对应的数值；

所述结果发送模块，用于根据所述用户申请单据审核方式对应的数值，判断所述用户申请单据是否适用于自动审核，并将判断结果发送至审核终端。

在一种可选的实施方式中，所述特征值还包括下述一种或多种：申请原因、退货或换对应的取件方式、用户态度、商品体积、商品重量、商品是否易碎、商品是否享受七天无理由退换货、商品品牌、商品数量、商品优惠、用户购物等级、用户风险等级、用户历史售后记录。

在一种可选的实施方式中，所述模型确定模块403，还用于，

在选取适用于所述用户申请单据的审核预测模型之前，判断所述用户申请单据是否符合第一预设规则，所述第一预设规则包括下述一种或多种：用户是否为黑名单用户、申请类型是否为申请客服、商品是否为虚拟商品；

在所述用户申请单据符合第一预设规则的情况下，根据所述商品品类、商品价格、申请类型，从训练好的一个或多个审核预测模型中选取适用于所述用户申请单据的审核预测模型。

在一种可选的实施方式中，所述审核预测模块404，还用于，

在使用所选取的审核预测模型判断所述用户申请单据适用于自动审核的情况下，在将判断结果发送至审核终端之前，判断所述用户申请单据是否符合第二预设规则，所述第二预设规则包括下述一种或多种：所述商品品类是否已开通自动审核、所述商品价格是否已开通自动审核、当前时间是否为自动审核开启时间段、所述审核预测模型确定的所述用户申请单据适用于自动审核的概率值是否大于阈值概率；

在所述用户申请单据符合第二预设规则的情况下，自动审核所述用户申请单据。

在一种可选的实施方式中，所述模型确定模块403，还用于，

获取用户申请单据审核记录，所述审核记录指示了一个或多个用户申请单据及对应的审核方式，所述审核方式为人工审核或自动审核；

从所述用户申请单据中提取所述特征值，以获取训练数据集，所述训练数据集指示了所述特征值、所述特征值对应的审核方式；

根据所述商品品类、商品价格、申请类型将所述训练数据集划分为一个或多个训练数据子集；

根据所述训练数据子集，使用分类模型进行训练，以获取一个或多个所述审核预测模型。

在一种可选的实施方式中，所述模型确定模块403，还用于，

在使用所选取的审核预测模型判断所述用户申请单据是否适用于自动审核的情况下，判断所述审核预测模型确定的审核方式与人工确定的审核方式是否一致，若不一致，则根据人工确定的审核方式对所述审核预测模型进行优化。

在一种可选的实施方式中，所述分类模型为LightGBM。

图5示出了可以应用本发明实施例的单据审核方法或单据审核装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(单据是否适用于自动审核)反馈给终端设备。

需要说明的是，本发明实施例所提供的单据审核方法一般由服务器505执行，相应地，单据审核装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括单据接收模块、特征提取模块、模型确定模块、审核预测模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，单据接收模块还可以被描述为“用于接收用户申请单据的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收用户申请单据；从所述用户申请单据中提取所述用户单据对应的特征值，所述特征值包括商品品类、商品价格、申请类型；根据所述商品品类、商品价格、申请类型，从训练好的一个或多个审核预测模型中选取适用于所述用户申请单据的审核预测模型；根据所述特征值，使用所选取的审核预测模型判断所述用户申请单据是否适用于自动审核。

根据本发明实施例的技术方案，通过预先训练好的审核预测模型，判定每一个用户申请单据是否适用于自动审核，既保证了用户申请单据的准确性，又保证了用户申请单据的审核效率。此外，还通过判断是否符合第一预设规则、第二预设规则，进一步保证了审核预测模型确定的用户申请单据适用审核方式的准确性。在训练审核预测模型时，可通过不同用户申请单据的特征值的组合，训练得到适用于不同特征值或用户申请单局的审核预测模型，进一步提高了审核预测模型的准确定。同时，还通过人工判定审核方式与审核预测模型判定审核方式的对比，实现了对审核预测模型的持续监测及优化。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。