用户界面验收方法及装置

技术领域

本发明涉及计算机领域，尤其涉及用户界面验收方法及装置。

背景技术

随着企业数字化的不断深化以及应用程序开发的快速迭代，为了确保开发的用户界面(User Interface，UI)尽可能还原设计稿给出的UI设计方案，UI验收成为了应用程序研发过程中的一个关键环节。

UI验收，会将样稿与开发的网页UI页面进行比对，往往会存在页面布局，字体字号，线体，色彩等不一致的情况。如果不能及时发现差异，会影响用户体验。传统人工比对效率低下且不易察觉差异所在，极易漏检。因此，催生了一批自动化UI验收平台，支持大批量智能化验收。然而，由于样稿的样式多种多样，难以穷举，同时由于样稿与网页UI存在类似或重复的样式，因此现有的UI验收平台无法有效地去定位异常数据，难以表征两幅图像之间的共性特征，容易造成误匹配。

发明内容

本发明旨在至少解决相关技术中存在的技术问题之一。为此，本发明提出一种用户界面验收方法，通过差异比对模型实现待处理用户界面图像和模板图像的像素级匹配，输出差异标注图像并进行自动化验收，实现UI验收全流程的自动化。

本发明还提出一种用户界面验收装置。

本发明还提出一种电子设备。

本发明还提出一种非暂态计算机可读存储介质。

本发明还提出一种计算机程序产品。

根据本发明第一方面实施例的一种用户界面验收方法，包括：

获取待处理用户界面图像和所述待处理用户界面对应的模板图像；

将所述待处理用户界面图像和所述模板图像输入差异比对模型，得到所述待处理用户界面图像与所述模板图像的差异标注图像；

基于所述差异标注图像进行验收，得到所述待处理用户界面的验收结果。

根据本发明实施例的用户界面验收方法，能够自动采集待处理用户界面图像和模板图像，并将其输入差异比对模型得到特征组并进行差异定位。相较于现有技术通过特征描述子的相似度进行匹配的方式，本方法考虑到样稿与网页UI具有整体偏移以及缩放的情况，能够找到两幅图像间的共性特征，在页面存在类似或重复的样式的前提下提高了匹配的精确度。同时，基于匹配结果进行差异标注后，可以方便后续自动化地进行验收并收获验收结果。

根据本发明的一个实施例，所述差异比对模型包括特征提取模块、特征匹配模块、差异定位模块和标注模块；所述将所述待处理用户界面图像和所述模板图像输入差异比对模型，得到所述待处理用户界面图像与所述模板图像的差异标注图像，包括：

将所述待处理用户界面图像和所述模板图像输入至所述特征提取模块中，通过所述特征提取模块对所述待处理用户界面图像和所述模板图像分别进行特征提取和特征分类，得到所述第一特征组和所述第二特征组；

将所述第一特征组和所述第二特征组输入至所述特征匹配模块，通过所述特征匹配模块中预设的注意力机制图神经网络，得到所述待处理用户界面图像和所述模板图像的变换矩阵以及所述待处理用户界面图像的配准图像；

将所述配准图像与所述模板图像输入至所述差异定位模块进行对比，得到差异坐标；

将所述变换矩阵和所述差异坐标所述标注模块，得到所述差异标注图像。

根据本发明的一个实施例，所述对所述待处理用户界面图像和所述模板图像分别进行特征提取和特征分类，得到所述第一特征组和所述第二特征组，包括：

将所述待处理用户界面图像和所述模板图像通过共享编码结构进行特征提取，得到所述待处理用户界面图像的原始特征图和所述模板图像的原始特征图；

将所述待处理用户界面图像的原始特征图通过特征点检测分支和描述符检测分支进行特征分类，得到所述第一特征组，将所述模板图像的原始特征图通过所述特征点检测分支和所述描述符检测分支进行特征分类，得到所述第二特征组。

根据本发明的一个实施例，所述通过所述特征匹配模块中预设的注意力机制图神经网络，得到所述待处理用户界面图像和所述模板图像的变换矩阵以及所述待处理用户界面图像的配准图像，包括：

对所述第一特征组和所述第二特征组分别进行编码，得到对应的第一特征匹配向量和第二特征匹配向量；

将所述第一特征匹配向量和所述第二特征匹配向量输入所述预设的注意力机制图神经网络，得到目标特征匹配矩阵；

基于所述目标特征匹配矩阵，得到所述待处理用户界面图像和所述模板图像的变换矩阵，以及所述待处理用户界面图像的配准图像。模板图像模板图像

根据本发明的一个实施例，所述将所述变换矩阵和所述差异坐标所述标注模块，得到所述差异标注图像，包括：

基于所述变换矩阵，得到所述待处理用户界面图像和所述模板图像的整体差异量；

将所述差异坐标和所述整体差异量在所述配准图像上标注，得到所述差异标注图像。

根据本发明的一个实施例，所述基于所述差异标注图像，得到所述待处理用户界面的验收结果，包括：

基于所述差异标注图像，通过预设规则计算所述待处理用户界面图像的缺陷评分，并生成所述待处理用户界面图像的验收报告；

基于所述待处理用户界面图像的验收报告，确定所述待处理用户界面的验收结果。

根据本发明的一个实施例，所述获取待处理用户界面图像和所述待处理用户界面对应的模板图像，还包括：

获取初始待处理用户界面图像和所述初始待处理用户界面对应的初始模板图像；

对所述初始待处理用户界面图像和所述初始模板图像进行重叠校验，得到所述初始待处理用户界面图像相对于所述初始模板图像的重叠偏差量；

对所述初始重叠偏差量进行修复，得到所述待处理用户界面图像与所述模板图像。

根据本发明第二方面实施例的一种用户界面验收装置，包括：

采集模块，用于获取待处理用户界面图像和所述待处理用户界面对应的模板图像；

差异标注模块，用于将所述待处理用户界面图像和所述模板图像输入差异比对模型，得到所述待处理用户界面图像与所述模板图像的差异标注图像；

验收模块，用于基于所述差异标注图像进行验收，得到所述待处理用户界面的验收结果。

根据本发明实施例的用户界面验收装置，能够自动采集待处理用户界面图像和模板图像，并将其输入差异比对模型得到特征组并进行差异定位。相较于现有技术通过特征描述子的相似度进行匹配的方式，本装置考虑到样稿与网页UI具有整体偏移以及缩放的情况，能够找到两幅图像间的共性特征，在页面存在类似或重复的样式的前提下提高了匹配的精确度。同时，基于匹配结果进行差异标注后，可以方便后续自动化地进行验收并收获验收结果。

根据本发明第三方面实施例的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述用户界面验收方法的步骤。

根据本发明第四方面实施例的非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述用户界面验收方法的步骤。

根据本发明第五方面实施例的计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述用户界面验收方法的步骤。

本发明实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：通过差异比对模型可以在线自动对待处理用户界面和设计稿之间的差异性进行AI验收分析，生成的差异标注图像中可以标注出待处理用户界面中网页元素位置、字体大小、尺寸大小、颜色有偏差的地方，生成详细的差异标注图像图，使得各种UI缺陷一目了然。

进一步的，通过对待处理用户界面和设计稿进行重叠校验，实现了预验收。这种自测的方式，在能够在交付差异比对模型进行准确UI验收之前，提前发现明显的UI缺陷，并对这些缺陷进行及时修复。

更进一步的，由于模板图像的样式多种多样，难以穷举的特点，相比于现有技术中正样本算法的缺陷，本发明实施例的差异比对模型，无需采集大量的样稿数据就能够实现对不同待处理用户界面和对应样稿之间的有效差异识别，具有较强的泛化能力。

再进一步的，对差异标注图像进行验收时，针对不同网页预设规则，能够智能分析UI缺陷等级，并对缺陷进行分类、打分，生成一份详细的UI验收报告。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的用户界面验收方法的流程示意图；

图2是本发明实施例提供的差异比对模型的结构示意图；

图3是本发明实施例提供的特征提取模块的结构示意图；

图4是本发明实施例提供的特征匹配模块的结构示意图；

图5是本发明实施例提供的预验收流程示意图；

图6是本发明实施例提供的用户界面全自动化验收方法的流程示意图；

图7是本发明实施例提供的用户界面验收装置的结构示意图；

图8是本发明实施例提供的差异标注图像移动端示意图；

图9是本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请实施例的至少一个实施例或示例中。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

传统人工UI验收方式的流程一般为：肉眼分析->工具截图->截图上传->截图标注->excel与截图描述UI缺陷->聊天工具发送开发者，过程非常繁琐且耗时。针对当下UI验收效率低，成本高的问题。本发明实施例提出一种用户界面验收方法，彻底实现在线化、智能化、精细化的智能巡检，对于待处理UI与样稿的差异进行像素级还原，如图1所示，该方法至少包括如下步骤：

步骤101、获取待处理用户界面图像和待处理用户界面对应的模板图像；

步骤102、将待处理用户界面图像和模板图像输入差异比对模型，得到待处理用户界面图像与模板图像的差异标注图像；

模板图像步骤103、基于差异标注图像进行验收，得到待处理用户界面的验收结果。

针对步骤101，需要说明的是，本发明实施例的待处理用户界面图像即终端待处理的网页UI，可以是移动端的UI如手机应用程序界面，也可以是PC端的网页界面。其中，终端例如个人计算机、手机、平板电脑、笔记本电脑、电子书阅读器、智能语音交互设备、智能家电、车载终端等。模板图像是每个用户界面的原始设计图，由设计端设计人员创建并在开发端存储。

针对步骤102，需要说明的是，差异比对模型前期通过一定量样本数据训练得到的，兼备特征提取、特征匹配、差异定位和标注功能的神经网络模型。该模型可以在线自动化对需验收网页和设计稿之间的差异性特征进行提取和分析，输出差异标注图像并进行AI验收分析，解决了UI验收的差异识别难题。

具体的，在特征提取时，需要对待处理用户界面图像和模板图像分别提取，提取到的第一特征组和第二特征组分别包含两幅图像的多种类型特征，例如图像的布局、大小、形状、色差和亮度等，经过特征提取后可以得到输入图像的特征点以及完备的描述符。

在特征匹配时，输入的是模板图像与待处理用户界面图像中的特征点以及完备描述符，得到变换矩阵以及变换后的配准图像，即目标图像。

在差异定位时，输入的是模板图像与配准图像，经过对比可以找到差异的掩膜，并据此得到每个差异的差异坐标。

在最终进行差异标注时，根据变换矩阵可以计算出两张图片的相对位姿得到待处理用户界面图像相对于模板图像的整体变换量，然后根据差异坐标可以得到细节的变换位置，因此根据这两个特征匹配结果和差异定位结果即可得到最终输出的差异标注图像。

针对步骤103，需要说明的是，差异标注图像中包含了待处理用户界面图像相比其对应模板图像的差异，如图8所示，直接对其进行验收是指通过分类或评分等方式，对当前待处理用户界面图像的缺陷进行直观描述，进一步获得验收结果。该验收结果还可以反馈给相应的开发者，令开发者根据验收结果进行缺陷修复后，重新申请UI验收。

本发明实施例的用户界面验收方法，相比于传统方法，通过将分析、标注和描述的过程集成在差异比对模型内，通过AI算法，可以节约验收人员大量的验收时间，有效提高开发人员以及验收人员的效率并提升UI还原度，实现自动化巡检。

可以理解的是，如图2所示，差异比对模型包括特征提取模块、特征匹配模块、差异定位模块和标注模块；将待处理用户界面图像和模板图像输入差异比对模型，得到待处理用户界面图像与模板图像的差异标注图像，包括：

将待处理用户界面图像和模板图像输入至特征提取模块中，通过特征提取模块对待处理用户界面图像和模板图像分别进行特征提取和特征分类，得到第一特征组和第二特征组；

将第一特征组和第二特征组输入至特征匹配模块，通过特征匹配模块中预设的注意力机制图神经网络，得到待处理用户界面图像和模板图像的变换矩阵以及待处理用户界面图像的配准图像；

将配准图像与模板图像输入至差异定位模块进行对比，得到差异坐标；

将变换矩阵和差异坐标标注模块，得到差异标注图像。

模板图像模板图像模板图像需要说明的是，如图2所示，本发明实施例的差异比对模型是预先通过样本的用户界面图像和对应模板图像进行训练后得到的，训练过程中，根据样本的网页UI和样稿之间的差异，构造样本问答语料对应的损失函数，并基于损失函数更新差异比对模型的模型参数。训练的停止条件为更新后的差异比对模型收敛，或者更新次数达到预设更新次数。由于本发明实施例的差异比对模型通过提取两张图像的相似特征而非标注特征来训练网络，因此该模型在不需要前期对大量样本数据进行人工标注的同时具有较强的泛化能力。

具体的，差异比对模型处理并输出差异标注图像的过程包括：

步骤201、将待处理用户界面图像(网页UI图)和样稿输入特征提取模块，分别得到网页UI图的第一特征组和样稿的第二特征组，每个特征组中都包括对应的特征图和特征描述符；

步骤202、将第一特征组和第二特征组输入特征匹配模块结合注意力算法进行特征匹配，得到配准图像和变换矩阵；

步骤203、将配准图像和样稿输入差异定位模块，输出差异坐标位置；

步骤204、将差异坐标位置和变换矩阵输入标注模块，实现对每个差异坐标处的差异类型标注，得到差异标注图像。

可以理解的是，将待处理用户界面图像和模板图像分别进行特征提取和特征分类，得到第一特征组和第二特征组，包括：

将待处理用户界面图像和模板图像通过共享编码结构进行特征提取，得到待处理用户界面图像的原始特征图和模板图像的原始特征图；

将待处理用户界面图像的原始特征图通过特征点检测分支和描述符检测分支进行特征分类，得到第一特征组，将模板图像的原始特征图通过特征点检测分支和描述符检测分支进行特征分类，得到第二特征组。

需要说明的是，如图3所示，在特征提取模块中包括共享编码结构、特征点检测分支以及描述符检测分支。共享编码结构可以对输入图像进行降维，提取特征，此结构包括卷积层和池化层。其中，通过设置三个最大池化层，得到8倍降采样的特征图。

共享编码结构输出的特征图将分别经过特征点检测分支以及描述符检测分支，特征点检测分支用于得到此像素为特征点的概率，然后将其映射成与输入图像具有相同尺寸的特征图，获得感兴趣的特征分布。输出的特征图可以包括图像的布局特征、尺寸特征、形状特征等块状属性特征。而特征描述符检测分支用于进行双三次插值算法得到完备描述符，基于L2标准化得到单位图像的特征描述符。特征描述符包括了图像的色差、色温和亮度等属性特征。待处理用户界面图像的所有特征图和特征描述符为第一特征组，模板图像的所有特征图和特征描述符为第二特征组。

可以理解的是，通过特征匹配模块中预设的注意力机制图神经网络，得到待处理用户界面图像和模板图像的变换矩阵以及待处理用户界面图像的配准图像模板图像，包括：

对第一特征组和第二特征组分别进行编码，得到对应的第一特征匹配向量和第二特征匹配向量；

将第一特征匹配向量和第二特征匹配向量输入预设的注意力机制图神经网络，得到目标特征匹配矩阵；

基于目标特征匹配矩阵，得到待处理用户界面图像和模板图像的变换矩阵，以及待处理用户界面图像的配准图像。

需要说明的是，如图4所示，特征匹配模块输入的是样稿模板与网页UI目标图像中各自的特征图以及完备的特征描述符，最终输出的是仿射变换矩阵以及变换后的配准图像。特征匹配模块的结构包括注意力机制的图神经网络以及最优化匹配层。

预设的注意力机制的图神经网络能将每张图像对应的特征图以及特征描述符编码成一个特征匹配向量，然后送入基于自我注意力以及交叉注意力的神经网络，通过注意力聚合将样稿与网页UI图的特征点构建为一张完全图，其节点是两幅图像的各个特征点，注意力机制用于增强匹配性能。

假设待处理用户界面图像为图像A，模板图像为图像B，图像A和B对应的特征匹配向量输入特征匹配模块后的工作流程包括如下步骤：

步骤301、计算图像A在图神经网络第n层上第i个元素，表示为

其中，MLP表示多层感知机，||表示串联操作，p

步骤302、通过计算图像A与图像B的匹配描述子的内积获得得分矩阵S

式2所示：

其中，

步骤303、通过最大化总体得分∑

步骤304、基于目标特征匹配矩阵W

可以理解的是，将变换矩阵和差异坐标标注模块，得到差异标注图像，包括：

基于变换矩阵，得到待处理用户界面图像和模板图像的整体差异量；

将差异坐标和整体差异量在配准图像上标注，得到差异标注图像。

模板图像需要说明的是，由变换矩阵可以得到网页UI图片与样稿之间的整体差异量，包括整体的相对平移量、缩放量以及旋转量。同时，在差异定位模块中，计算差异坐标可以将模板图像和配准图像作一次按位相减运算，得到差异的掩膜。然后从掩膜中可以计算最小外接矩形坐标，以及差异点的轮廓坐标，从而定位差异点的位置，即差异坐标。此差异定位模块可以得到因为组件样式、字体字号、线体粗细等等不同所产生的差异。最终差异标注图像上还可以显示网页不同元素位置、字体大小、尺寸大小、颜色与模板图像相比有偏差的地方。

可以理解的是，基于差异标注图像进行验收，得到待处理用户界面的验收结果，包括：

基于差异标注图像，通过预设规则计算待处理用户界面图像的缺陷评分，并生成待处理用户界面图像的验收报告；

基于待处理用户界面图像的验收报告，确定待处理用户界面的验收结果。

需要说明的是，预设规则是由差异的种类和程度的对应关系构建的规则引擎，差异标注图像上的不同差异对应不同的UI缺陷，针对不同网页设置特定规则引擎，可以智能分析UI缺陷等级，并对缺陷进行分类和打分，生成一份详细的UI验收报告。对于验收报告评分低的网页，在线通知对应的开发者，并自动发送验收报告。开发者根据报告，进行缺陷修复后，重新申请执行UI验收。整个过程实现了闭环验收，保证了全流程的自动化。

具体的，规则引擎可以设置两个门限值，在报告打分高于第一门限值时，表明该报告为合规报告直接反馈给用户，第一门限值可以设置为80分。在报告打分低于第一门限值且高于第二门限值时，表明该报告中有部分问题，此时需要向用户触发预警并判断比对的两个图像是否匹配，第二门限值可以设置为60分。在报告打分低于第二门限值时，说明该报告出现异常不合格，需要重新上传文件进行评判。

可以理解的是，获取待处理用户界面图像和待处理用户界面对应的模板图像之后，还包括：

对待处理用户界面图像和模板图像进行重叠校验，得到待处理用户界面图像相对于模板图像的重叠偏差量；

对重叠偏差量进行修复后，将修复后的待处理用户界面图像和模板图像输入差异比对模型，得到待处理用户界面图像与模板图像的差异标注图像。

需要说明的是，本发明实施例可以在开发端集成预验收分析工具，通过简化的神经网络模型对设计稿与网页进行重叠校验。通过预验收可以在在交付UI正式验收之前，通过自测的方式，提前发现和修复明显的UI缺陷。具体的，预验收分析工具可以采用canvas图形匹配实现重叠校验还可以采用如图5所示的预验收工具执行预验收流程，为了提高计算效率，可以初步高效地判断两张图片的相似度，并得到差异的大致位置。该工具包括尺寸调整模块、灰度化模块、滑动窗口模块、结构相似度计算模块。

预验收分析工具的工作流程包括：

输入模板图与待测图，首先基于尺寸调整模块对待测图进行调整，使得待测图与模板图的尺寸大小一致。基于灰度化模块对待测图以及模板图进行灰度化，得到其相应的灰度图像。高斯加权函数作为加权滑动窗口，设将w*h图像划分为n*m份，得到宽度为w/n，高度为h/m的子图，滑动窗口横向步长为w/n，纵向步长为h/m。基于结构相似度计算模块，计算两张图对应的子图，计算其亮度、对比度、结构等参数，其中亮度以图像平均灰度作为估量值，对比度以图像的标准差作为估量值，协方差作为结构相似程度的度量，得到局部的SSIM指数结果，由此可得每个子图差异信息。基于n*m份子图的局部SSIM结果计算平均SSIM指数作为整张图像的结构相似度结果。同时计算图像差分，突出显示图像的变换部分，并通过轮廓提取、最小外接矩形初步定位差异，待处理用户界面图像相对于模板图像的重叠偏差量。

可以理解的是，如图6所示，本发明实施例还提供了一种全自动的用户界面验收方法，包括：

步骤a、上传待处理用户界面图像和模板图像的UI源文件；

步骤b、判断模板图像上是否有差异标注；

步骤c、若有差异标注，则判断待处理用户界面图像和模板图像是否匹配；

步骤d、若匹配，则通过差异比对模型进行AI计算，输出差异标注图像给规则引擎；

步骤e、规则引擎将计算出当前差异标注图像的报告评分，在报告评分处于不同分值区间时，分别触发预警、向开发端报告异常或向用户发送合规报告。

步骤f、若待处理用户界面图像和模板图像是否匹配不匹配，报错并返回步骤a；

步骤g、若无差异标注，则通过预验收直接进行重叠校验，并将完成修正后的图像返回步骤d进行判断。

本发明实施例通过增加了预验收步骤，可以在模板图像无标注的情况下，先进行较大差异的识别，修正重叠偏差后再送去差异比对模型进行识别，提高了差异识别的准确性。

下面对本发明提供的用户界面验收装置进行描述，下文描述的用户界面验收装置与上文描述的用户界面验收方法可相互对应参照。如图7所示，应用发布装置包括：

采集模块701，用于获取待处理用户界面图像和待处理用户界面对应的模板图像；

差异标注模块702，用于将待处理用户界面图像和模板图像输入差异比对模型，得到待处理用户界面图像与模板图像的差异标注图像；

验收模块703，用于基于差异标注图像进行验收，得到待处理用户界面的验收结果。

本发明实施例的用户界面验收装置，能够自动采集待处理用户界面图像和模板图像，并将其输入差异比对模型得到特征组并进行差异定位。相较于现有技术通过特征描述子的相似度进行匹配的方式，本装置考虑到样稿与网页UI具有整体偏移以及缩放的情况，能够找到两幅图像间的共性特征，在页面存在类似或重复的样式的前提下提高了匹配的精确度。同时，基于匹配结果进行差异标注后，可以方便后续自动化地进行验收并收获验收结果。

可以理解的是，差异比对模型包括特征提取模块、特征匹配模块、差异定位模块和标注模块；

特征提取模块用于对待处理用户界面图像和模板图像分别进行特征提取和特征分类，得到第一特征组和第二特征组；

特征匹配模块用于将第一特征组和第二特征组，输入预设的注意力机制图神经网络，得到待处理用户界面图像和模板图像的变换矩阵以及待处理用户界面图像的配准图像；

差异定位模块用于将配准图像与模板图像进行对比，得到差异坐标；

标注模块用于基于变换矩阵和差异坐标，得到差异标注图像。

可以理解的是，将待处理用户界面图像和模板图像分别进行特征提取和特征分类，得到第一特征组和第二特征组，包括：

将待处理用户界面图像和模板图像通过共享编码结构进行特征提取，得到待处理用户界面图像的原始特征图和模板图像的原始特征图；

将待处理用户界面图像的原始特征图通过特征点检测分支和描述符检测分支进行特征分类，得到第一特征组，将模板图像的原始特征图通过特征点检测分支和描述符检测分支进行特征分类，得到第二特征组。

可以理解的是，将第一特征组和第二特征组，输入预设的注意力机制图神经网络，得到待处理用户界面图像和模板图像的变换矩阵以及待处理用户界面图像的配准图像，包括：

第一特征组和第二特征组分别进行编码，得到对应的第一特征匹配向量和第二特征匹配向量；

将第一特征匹配向量和第二特征匹配向量输入预设的注意力机制图神经网络，得到目标特征匹配矩阵；

基于目标特征匹配矩阵，得到待处理用户界面图像和模板图像的变换矩阵，以及待处理用户界面图像的配准图像。

可以理解的是，基于变换矩阵和差异坐标，得到差异标注图像，包括：

基于特征匹配模块输出的变换矩阵，得到待处理用户界面图像和模板图像的整体差异量；

将差异坐标和整体差异量在配准图像上标注，得到差异标注图像。

可以理解的是，基于差异标注图像进行验收，得到待处理用户界面的验收结果，包括：

基于差异标注图像，通过预设规则计算待处理用户界面图像的缺陷评分，并生成待处理用户界面图像的验收报告；

基于待处理用户界面图像的验收报告，确定待处理用户界面的验收结果。

可以理解的是，装置还包括预验收模块，该模块用于：

对待处理用户界面图像和模板图像进行重叠校验，得到待处理用户界面图像相对于模板图像的重叠偏差量；

对重叠偏差量进行修复后，将修复后的待处理用户界面图像和模板图像输入差异比对模型，得到待处理用户界面图像与模板图像的差异标注图像。

图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如下方法：

获取待处理用户界面图像和待处理用户界面对应的模板图像；

将待处理用户界面图像和模板图像输入差异比对模型，得到待处理用户界面图像与模板图像的差异标注图像；

基于差异标注图像进行验收，得到待处理用户界面的验收结果。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例公开一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：

获取待处理用户界面图像和待处理用户界面对应的模板图像；

将待处理用户界面图像和模板图像输入差异比对模型，得到待处理用户界面图像与模板图像的差异标注图像；

基于差异标注图像进行验收，得到待处理用户界面的验收结果。又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：

获取待处理用户界面图像和待处理用户界面对应的模板图像；

将待处理用户界面图像和模板图像输入差异比对模型，得到待处理用户界面图像与模板图像的差异标注图像；

基于差异标注图像进行验收，得到待处理用户界面的验收结果。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是，以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明范围中。