金属物料渣点检测方法、装置、设备、介质和程序产品

技术领域

本申请涉及汽车发动机制造领域，特别是涉及一种金属物料渣点检测方法、装置、设备、介质和程序产品。

背景技术

随着汽车发动机制造领域的发展，越来越多的技术人员选择将计算机视觉技术应用于汽车发动机生产线上游的原材料质量检测环节，以提高进行金属料物料渣点检测的效率，从而降低发动机缸体成品次品率。

然而，现有技术主要通过手动测量的方式进行金属物料渣点检测，虽然该方式在一定程度上能够检测出金属物料中的渣点，但其检测结果的准确率受测量人员的主观因素影响较大，所需检测时间也相对较长。

发明内容

基于此，有必要针对上述技术问题，提供一种适用于汽车发动机生产线上游的原材料质量检测环节的金属物料渣点检测方法、装置、设备、介质和程序产品。

第一方面，本申请提供了一种金属物料渣点检测方法。所述方法包括：

将金属物料的截面图像输入至卷积神经网络模型，得到含渣截面图像；

通过逐行扫描的方式处理所述含渣截面图像，获取所述含渣截面图像的窗口图像；

将所述窗口图像输入至BP神经网络模型，得到含有渣点的窗口图像的窗口坐标；

根据所述窗口坐标，基于非极大值抑制算法获取所述含渣截面图像的渣点检测结果。

第二方面，本申请还提供了一种金属物料渣点检测装置。所述装置包括：

目标获取模块，将金属物料的截面图像输入至卷积神经网络模型，得到含渣截面图像；

窗口扫描模块，通过逐行扫描的方式处理所述含渣截面图像，获取所述含渣截面图像的窗口图像；

坐标获取模块，将所述窗口图像输入至BP神经网络模型，得到含有渣点的窗口图像的窗口坐标；

结果输出模块，根据所述窗口坐标，基于非极大值抑制算法获取所述含渣截面图像的渣点检测结果。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

将金属物料的截面图像输入至卷积神经网络模型，得到含渣截面图像；通过逐行扫描的方式处理所述含渣截面图像，获取所述含渣截面图像的窗口图像；将所述窗口图像输入至BP神经网络模型，得到含有渣点的窗口图像的窗口坐标；根据所述窗口坐标，基于非极大值抑制算法获取所述含渣截面图像的渣点检测结果。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

将金属物料的截面图像输入至卷积神经网络模型，得到含渣截面图像；通过逐行扫描的方式处理所述含渣截面图像，获取所述含渣截面图像的窗口图像；将所述窗口图像输入至BP神经网络模型，得到含有渣点的窗口图像的窗口坐标；根据所述窗口坐标，基于非极大值抑制算法获取所述含渣截面图像的渣点检测结果。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

将金属物料的截面图像输入至卷积神经网络模型，得到含渣截面图像；通过逐行扫描的方式处理所述含渣截面图像，获取所述含渣截面图像的窗口图像；将所述窗口图像输入至BP神经网络模型，得到含有渣点的窗口图像的窗口坐标；根据所述窗口坐标，基于非极大值抑制算法获取所述含渣截面图像的渣点检测结果。

上述金属物料渣点检测方法、装置、计算机设备、存储介质和计算机程序产品，首先，将金属物料的截面图像输入至卷积神经网络模型，得到含渣截面图像。然后，通过逐行扫描的方式处理所述含渣截面图像，获取所述含渣截面图像的窗口图像。接着，将所述窗口图像输入至BP神经网络模型，得到含有渣点的窗口图像的窗口坐标。最后，根据所述窗口坐标，基于非极大值抑制算法获取所述含渣截面图像的渣点检测结果。该方案采用卷积神经网络模型和BP神经网络模型网络相结合的方法进行金属物料渣点检测，避免了传统人工检测法受测量人员的主观因素影响较大、所需检测时间相对较长的问题，不仅提高了进行金属物料渣点检测的效率，还能有效提升金属物料渣点检测结果的准确率。

附图说明

图1为一个实施例中金属物料渣点检测方法的流程示意图；

图2为一个实施例中获取含渣截面图像的渣点检测结果的方式的流程示意图；

图3为一个实施例中基于非极大值抑制算法在含渣截面图像中标注渣点区域的方式的流程示意图；

图4为一个实施例中采用BP神经网络模型处理窗口图像的方式的流程示意图；

图5为一个实施例中确定金属物料的截面图像是否为含渣截面图像的方式的流程示意图；

图6为一个实施例中金属物料渣点检测装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的金属物料渣点检测方法，可以应用于服务器执行。其中，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图1所示，提供了一种金属物料渣点检测方法，以该方法应用于服务器为例进行说明，包括以下步骤：

步骤S101，将金属物料的截面图像输入至卷积神经网络模型，得到含渣截面图像。

本步骤中，金属物料可以是能够用于进行渣点检测的任意种类的金属物料；卷积神经网络模型可以是经训练得到的卷积神经网络模型；采用卷积神经网络模型确定金属物料的截面图像是否为含渣截面图像的方式，可以是由卷积神经网络模型对输入的金属物料的截面图像进行预处理及特征提取，并依据提取出的特征确定输入的金属物料的截面图像是否为含渣截面图像；金属物料的截面图像的背景颜色可以是任意颜色，但为了提高渣点检测结果的准确率，增强图像背景与金属物料的截面的色彩对比度，输入至卷积神经网络模型的金属物料的截面图像的背景可以是纯白色。

步骤S102，通过逐行扫描的方式处理含渣截面图像，获取含渣截面图像的窗口图像。

本步骤中，针对含渣截面图像进行逐行扫描操作的具体形式可以是滑动窗口；针对含渣截面图像进行逐行扫描操作的起始位置可以是含渣截面图像中的任意位置，例如含渣截面图像的任意顶点；针对含渣截面图像进行逐行扫描操作的方向可以是含渣截面图像的任意方向；通过逐行扫描的方式处理含渣截面图像时，进行逐行扫描的总体范围需要覆盖整个含渣截面图像；含渣截面图像的窗口图像尺寸，可以根据预先设定的用于切分含渣截面图像的窗口图像的滑动窗口尺寸来确定。

步骤S103，将窗口图像输入至BP神经网络模型，得到含有渣点的窗口图像的窗口坐标。

本步骤中，窗口图像是指含渣截面图像的窗口图像；BP神经网络模型可以是经训练得到的BP神经网络模型；含有渣点的窗口图像的窗口坐标，可以是含有渣点的窗口图像在含渣截面图像中对应的位置坐标。

步骤S104，根据窗口坐标，基于非极大值抑制算法获取含渣截面图像的渣点检测结果。

本步骤中，窗口坐标是指含有渣点的窗口图像在含渣截面图像中对应的位置坐标；渣点检测结果可以是根据窗口坐标初步确定含渣截面图像的渣点区域，并基于非极大值抑制算法对前述初步确定的渣点区域之间的重叠部分进行优化显示从而获得的渣点检测结果。

上述金属物料渣点检测方法，首先，将金属物料的截面图像输入至卷积神经网络模型，得到含渣截面图像。然后，通过逐行扫描的方式处理所述含渣截面图像，获取所述含渣截面图像的窗口图像。接着，将所述窗口图像输入至BP神经网络模型，得到含有渣点的窗口图像的窗口坐标。最后，根据所述窗口坐标，基于非极大值抑制算法获取所述含渣截面图像的渣点检测结果。该方案采用卷积神经网络模型和BP神经网络模型网络相结合的方法进行金属物料渣点检测，避免了传统人工检测法受测量人员的主观因素影响较大、所需检测时间相对较长的问题，不仅提高了进行金属物料渣点检测的效率，还能有效提升金属物料渣点检测结果的准确率。

对于获取含渣截面图像的渣点检测结果的方式，在一个实施例中，如图2所示，上述步骤S104具体包括：

步骤S201，根据窗口坐标，基于非极大值抑制算法在含渣截面图像中进行标注，得到渣点区域。

本步骤中，窗口坐标是指含有渣点的窗口图像在含渣截面图像中对应的位置坐标；基于非极大值抑制算法在含渣截面图像中进行标注的方式，可以是根据窗口坐标初步确定含渣截面图像中的渣点区域，以矩形框的形式在含渣截面图像中初步进行渣点区域标注，最后基于非极大值抑制算法去除相互之间的重叠率超过预设阈值的矩形框在含渣截面图像中进行的渣点区域标注。

步骤S202，根据渣点区域，确定含渣截面图像的渣点面积率。

本步骤中，渣点区域是指含渣截面图像中含有渣点的图像区域；确定含渣截面图像的渣点面积率的方式，可以是计算渣点区域在含渣截面图像中所占据的实际面积。进一步的，获取到含渣截面图像的渣点面积率之后，可以根据含渣截面图像的渣点面积率计算该含渣截面图像对应的金属物料的含渣量。

本实施例通过根据窗口坐标在含渣截面图像中进行渣点区域标注，并根据渣点区域计算含渣截面图像的渣点面积率的方式，有效地提高了金属物料渣点检测结果的准确率。

对于基于非极大值抑制算法在含渣截面图像中标注渣点区域的方式，在一个实施例中，如图3所示，上述步骤S201具体包括：

步骤S301，形成针对窗口坐标的第一窗口坐标数组，并基于非极大值抑制算法对第一窗口坐标数组进行去重处理，得到第二窗口坐标数组。

本步骤中，第一窗口坐标数组是指由各个含有渣点的窗口图像对应的窗口坐标组成的窗口坐标数组；第二窗口坐标数组中是指基于非极大值抑制算法对第一窗口坐标数组中的各个窗口坐标进行去重处理之后得到的窗口坐标数组；基于非极大值抑制算法对第一窗口坐标数组进行去重处理的具体方式，可以是根据第一窗口坐标数组中的各个窗口坐标在含渣截面图像中以矩形框的形式进行渣点区域标注，并基于非极大值抑制算法去除与可作为渣点区域的可能性最大的矩形框之间的重叠率超过预设阈值的矩形框。其中，重叠率是指两个矩形框之间的重叠区域面积所占的比例，预设阈值可以是根据金属物料渣点检测的检测精度要求确定的任意值。例如，若根据金属物料渣点检测的检测精度要求，预设阈值可以设定为0.3至0.5之间的任意数，则预设阈值可以设定为0.3。

步骤S302，根据第二窗口坐标数组中的各个坐标，在含渣截面图像中进行标注，得到渣点区域。

本步骤中，在含渣截面图像中进行标注的方式，可以是将第二窗口坐标数组中的各个窗口坐标对应的矩形框两两相邻的部分合并为同一区域，并根据前述合并后的区域在含渣截面图像中进行标注；渣点区域是指含渣截面图像中的含有渣点的图像区域。

结合上述步骤S301至步骤S302，并以包含六个窗口坐标的第一窗口坐标数组为例，对基于非极大值抑制算法在含渣截面图像中标注渣点区域的具体方式做整体说明：

首先，根据第一窗口坐标数组中的各个窗口坐标，在含渣截面图像中以矩形框形式初步进行渣点区域标注。前述标注进行完毕后，含渣截面图像中会出现六个矩形框，分别是矩形框A，B，C，D，E和F。其中，前述六个矩形框的位置坐标对应的含渣截面图像区域均具有可作为渣点区域的可能性。

然后，使用基于SVM或R-CNN原理的分类器对前述六个矩形框的位置坐标对应的含渣截面图像区域可作为渣点区域的可能性大小进行降序排序，得出前述六个矩形框可作为渣点区域的可能性大小排序为F>E>D>C>B>A。

接着，找出位置坐标对应的含渣截面图像区域可作为渣点区域的可能性最大的矩形框F，分别判断矩形框A，B，C，D和E与矩形框F之间的重叠率是否大于预设的重叠率阈值0.3。根据前述判断结果，可知矩形框B，D与矩形框F之间的重叠度均超过预设阈值0.3，于是在含渣截面图像中去除矩形框B和D对应的标注，并将矩形框F的位置坐标对应的含渣截面图像区域确定为含渣截面图像的渣点区域之一。

之后，从剩余的矩形框A，C和E中找出其位置坐标对应的含渣截面图像区域可作为渣点区域的可能性最大的矩形框E，分别判断矩形框A，C与矩形框E之间的重叠率是否大于预设的重叠率阈值0.3。根据前述判断结果，可知矩形框A，C与矩形框E之间的重叠度均超过预设阈值0.3，于是在含渣截面图像中去除矩形框A和C对应的标注，并将矩形框E的位置坐标对应的含渣截面图像区域确定为含渣截面图像的渣点区域之一。

最后，将矩形框E和F的位置坐标对应的含渣截面图像区域作为含渣截面图像的渣点区域，并进行相应的标注。

本实施例通过基于非极大值抑制算法对含有渣点的窗口图像对应的窗口坐标进行去重处理的方式，有效提升了根据含有渣点的窗口图像对应的窗口坐标在含渣截面图像中进行渣点区域标注的精确度，进而保障了金属物料渣点检测结果的准确率。

对于采用BP神经网络模型处理窗口图像的方式，在一个实施例中，如图4所示，上述步骤S103具体包括：

步骤S401，将当前的窗口图像输入至BP神经网络模型，判断当前的窗口图像是否含有渣点。

本步骤中，当前的窗口图像是指由含渣截面图像切分得到的、当前输入至BP神经网络模型判断是否含有渣点的窗口图像；BP神经网络模型可以是经训练得到的BP神经网络模型；判断当前的窗口图像是否含有渣点的方式，可以是由预训练好的BP神经网络模型输出表征当前的窗口图像是否含有渣点的标签值。例如，若预训练好的BP神经网络模型输出的标签值为0，则表征当前的窗口图像不含渣点；若预训练好的BP神经网络模型输出的标签值为1，则表征当前的窗口图像含有渣点。

步骤S402，若判断的结果为是，则更新含有渣点的窗口图像的数量，并将当前的窗口图像在含渣截面图像中的位置坐标，确定为当前的窗口图像对应的窗口坐标。

本步骤中，若判断的结果为是，则更新含有渣点的窗口图像的数量，并将当前的窗口图像在含渣截面图像中的位置坐标，确定为当前的窗口图像对应的窗口坐标；若判断的结果为否，则将当前的窗口图像的下一图像输入至BP神经网络模型，判断其中是否含有渣点；含有渣点的窗口图像的数量可以用于验证上述第一窗口坐标数组中的坐标数量是否正确。

本实施例通过预训练好的BP神经网络模型记录含有渣点的窗口图像的对应窗口坐标，并统计含有渣点的窗口图像的数量的方式，获取到了用于形成第一窗口坐标数组的含有渣点的窗口图像信息，为后续根据含有渣点的窗口图像对应的窗口坐标在含渣截面图像中进行渣点区域标注提供了合理性依据，进而保障了金属物料渣点检测结果的准确率。

对于确定金属物料的截面图像是否为含渣截面图像的方式，在一个实施例中，如图5所示，上述步骤S101具体包括：

步骤S501，将当前的截面图像输入至卷积神经网络模型，确认当前的截面图像是否含有渣点。

本步骤中，卷积神经网络模型可以对当前输入至其中的截面图像进行预处理及特征提取，并根据提取出的特征判断该截面图像中是否含有渣点；确定当前的截面图像是否含有渣点的方式，可以是由预训练好的卷积神经网络模型输出表征当前的截面图像是否含有渣点的标签值。例如，若预训练好的卷积神经网络模型输出的标签值为0，则表征当前的截面图像不含渣点；若预训练好的卷积神经网络模型输出的标签值为1，则表征当前的截面图像含有渣点。

步骤S502，若确认当前的截面图像含有渣点，则将当前的截面图像作为含渣截面图像。

本步骤中，确认当前的截面图像含有渣点，是指通过预训练好的卷积神经网络模型确定当前的截面图像中含有渣点；将当前的截面图像作为含渣截面图像，是指将当前的截面图像作为用于执行上述步骤S102至步骤S104的含渣截面图像。

步骤S503，若确认当前的截面图像不含渣点，则结束当前检测流程。

本步骤中，确认当前的截面图像不含渣点，是指通过预训练好的卷积神经网络模型确定当前的截面图像中不含渣点；结束当前检测流程，是指由于经预训练好的卷积神经网络模型确定当前的截面图像不能作为用于执行上述步骤S102至步骤S104的含渣截面图像，故需结束针对当前的截面图像进行的渣点检测流程。

本实施例通过预训练好的卷积神经网络模型确定当前的截面图像是否为可用于进行后续渣点检测步骤的含渣截面图像的方式，准确获取到了用于进行金属物料渣点检测的目标截面图像，有效提高了进行金属物料渣点检测的效率。

对于获取含渣截面图像的窗口图像的方式，在一个实施例中，上述步骤S102具体包括：

基于扫描起点和扫描步长，对含渣截面图像进行逐行扫描，得到具有预设窗口尺寸的窗口图像。

其中，扫描起点可以是含渣截面图像中可用于进行逐行扫描的任意位置，可以根据实际需求进行设定；扫描步长是指在含渣截面图像中每进行一次扫描所经过的距离，可以根据实际需求进行设定；取得窗口图像的方式可以是通过滑动窗口进行切分，通过滑动窗口切分得到的窗口图像尺寸与滑动窗口尺寸是一致的；预设窗口尺寸是指用于在金属物料的含渣截面图像中获取窗口图像的滑动窗口尺寸，该尺寸可以根据金属物料渣点检测的精度要求进行确定。例如，假如已知用于取得金属物料的含渣截面图像的相机分辨率为H*W(像素/piex)、芯片尺寸为m*n(毫米/mm)，拍摄距离为WD(毫米/mm)，本次进行金属物料渣点检测要求的检测精度为δ(毫米/mm)，则为了满足本次进行金属物料渣点检测要求的检测精度，确定滑动窗口尺寸h*w(像素/piex)时，需要保证如下关系成立：

进一步的，根据以上关系可以推知，确定用于在金属物料的含渣截面图像中获取窗口图像的滑动窗口尺寸h*w(像素/piex)时，还需要保证如下关系成立(一般采用向下取整的方式确定滑动窗口尺寸h和w的具体值)：

本实施例通过根据进行金属物料渣点检测的检测精度要求，确定用于获取含渣截面图像的窗口图像的滑动窗口尺寸方式，保障了用于进行金属物料渣点检测的窗口图像符合进行金属物料渣点检测的检测精度要求，进而保障了金属物料渣点检测结果的准确性。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的金属物料渣点检测方法的金属物料渣点检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个金属物料渣点检测装置实施例中的具体限定可以参见上文中对于金属物料渣点检测方法的限定，在此不再赘述。

在一个实施例中，如图6所示，提供了一种金属物料渣点检测装置，该装置600包括：

目标获取模块601，将金属物料的截面图像输入至卷积神经网络模型，得到含渣截面图像；

窗口扫描模块602，通过逐行扫描的方式处理所述含渣截面图像，获取所述含渣截面图像的窗口图像；

坐标获取模块603，将所述窗口图像输入至BP神经网络模型，得到含有渣点的窗口图像的窗口坐标；

结果输出模块604，根据所述窗口坐标，基于非极大值抑制算法获取所述含渣截面图像的渣点检测结果。

在一个实施例中，结果输出模块604，用于根据所述窗口坐标，基于非极大值抑制算法在所述含渣截面图像中进行标注，得到渣点区域；根据所述渣点区域，确定所述含渣截面图像的渣点面积率。

在一个实施例中，结果输出模块604，用于形成针对所述窗口坐标的第一窗口坐标数组，并基于非极大值抑制算法对所述第一窗口坐标数组进行去重处理，得到第二窗口坐标数组；根据所述第二窗口坐标数组中的各个坐标，在所述含渣截面图像中进行标注，得到所述渣点区域。

在一个实施例中，坐标获取模块603，用于将当前的窗口图像输入至BP神经网络模型，判断所述当前的窗口图像是否含有渣点；若所述判断的结果为是，则更新所述含有渣点的窗口图像的数量，并将所述当前的窗口图像在所述含渣截面图像中的位置坐标，确定为所述当前的窗口图像对应的所述窗口坐标。

在一个实施例中，目标获取模块601，用于将当前的截面图像输入至所述卷积神经网络模型，确认所述当前的截面图像是否含有渣点；若确认所述当前的截面图像含有渣点，则将所述当前的截面图像作为所述含渣截面图像；若确认所述当前的截面图像不含渣点，则结束当前检测流程。

在一个实施例中，窗口扫描模块602，用于基于扫描起点和扫描步长，对所述含渣截面图像进行逐行扫描，得到具有预设窗口尺寸的所述窗口图像。

上述金属物料渣点检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储金属物料的截面图像等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种金属物料渣点检测方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。