图像处理方法、装置、存储介质以及终端

技术领域

本说明书实施例涉及计算机视觉技术领域，尤其涉及一种图像处理方法、装置、存储介质以及终端。

背景技术

近年来，随着计算机科学与技术的快速发展，计算机视觉技术逐渐成为人们采集信息以及传递信息的重要技术手段。计算机视觉技术使得终端以及电子设备能够模拟生物视觉对各种信息进行拍摄，以此实现信息的采集处理，而由于设备采集图像时存在环境等多种影响因素，采集到的图像相较于生物视觉感知的信息可能会出现偏差，因此当需要使用图像中的信息时，通常还需要对已采集的图像进行进一步处理。

发明内容

本说明书实施例提供一种图像处理方法、装置、存储介质以及终端，可以解决相关技术中图像处理效率低、图像处理结果差的技术问题。

第一方面，本说明书实施例提供一种图像处理方法，该方法包括：

获取待处理图像，确定所述待处理图像中的目标文档区域，以及确定所述目标文档区域的第一关键点；

获取所述待处理图像对应的标准处理区域的第二关键点，基于所述第一关键点以及所述第二关键点确定所述目标文档区域对应的转换矩阵；

基于所述转换矩阵对所述目标文档区域进行变换处理，得到所述待处理图像对应的目标文档图像。

第二方面，本说明书实施例提供一种图像处理装置，该装置包括：

关键点检测模块，用于获取待处理图像，确定所述待处理图像中的目标文档区域，以及确定所述目标文档区域的第一关键点；

转换计算模块，用于获取所述待处理图像对应的标准处理区域的第二关键点，基于所述第一关键点以及所述第二关键点确定所述目标文档区域对应的转换矩阵；

图像处理模块，用于基于所述转换矩阵对所述目标文档区域进行变换处理，得到所述待处理图像对应的目标文档图像。

第三方面，本说明书实施例提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或所述处理器执行上述的方法的步骤。

第四方面，本说明书实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法的步骤。

第五方面，本说明书实施例提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序适于由处理器加载并执行上述的方法的步骤。

本说明书一些实施例提供的技术方案带来的有益效果至少包括：

本说明书实施例提供一种图像处理方法，获取待处理图像，确定待处理图像中的目标文档区域以及目标文档区域的第一关键点；获取待处理图像对应的标准处理区域的第二关键点，基于第一关键点以及第二关键点确定图像处理需要的转换矩阵；基于转换矩阵对目标文档区域进行变换处理，得到目标文档图像。首先对确定出待处理图像中的目标文档区域，这样可以去除待处理图像中可能对关键点判定产生干扰的图像区域，进一步确定第一关键点，并根据第一关键点与标准处理区域的第二关键点确定出处理目标文档区域的转换矩阵，由于标准处理区域为符合预设处理、展示要求的区域，那么基于转换矩阵对目标文档区域进行转换之后，可以得到与标准处理区域规格相同的目标文档图像，这样对图像进行处理可以将不规则摆放的文档图像矫正为符合标准的清晰图像，以使得能够准确获取文档图像中的文字信息。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书实施例提供的一种图像处理方法的示例性系统架构图；

图2为本说明书实施例提供的一种图像处理方法的流程示意图；

图3为本说明书实施例提供的一种图像处理结果示意图；

图4为本说明书实施例提供的一种图像处理方法的流程示意图；

图5为本说明书实施例提供的一种图像处理方法的流程示意图；

图6为本说明书实施例提供的一种图像处理方法的流程示意图；

图7为本说明书实施例提供的一种图像处理装置的结构框图；

图8为本说明书实施例提供的一种终端的结构示意图。

具体实施方式

为使得本说明书的特征和优点能够更加的明显和易懂，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而非全部实施例。基于本说明书中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在日常生活中，人们的很多重要信息以纸质的形式记录保存，而随着近年来计算机科技的发展，用户可以通过网络获得大量服务，而对于需要根据用户的输入大量且复杂的信息来提供服务的场景，例如，证明材料、文章等大篇幅且可能包括专业知识的文本信息，若通过用户手动输入来采集信息，则会导致用户消耗大量时间且无法保证信息准确性，就可以使用计算机视觉技术来进行信息采集，计算机视觉技术通过模拟生物视觉来对物体进行识别，以实现信息的采集和分析。而在信息采集过程中，图像质量影响后续对信息的分析结果的准确率，为了保证信息分析的效率，可以首先对图像进行一系列处理，使得图像变得清晰、规范，便于后续信息分析。

通常采集环境、资料摆放、拍摄角度等因素都影响图像的采集质量，因此获取图像后还需要对图像进行处理，以使得图像中携带信息的文档区域能够完整、清晰、规范的显示，便于后续对图片中携带的信息进行准确分析。在一些常见的图像处理方法中，会首先对图像进行预处理，获得灰度图像，在灰度图的基础上对文档部分的线段进行识别，识别出线段以及端点后计算出当前文档区域的拍摄焦距和旋转角度，通过计算得到文档区域对应的变换公式，对文档区域进行变换矫正，得到规范的文档信息。

由于在常规的图像处理过程中，需要先识别线段进行文档区域的判定，但当有多个文档资料重叠或交错出现在图像中时，会出现多个线段，此时可能会将干扰线段识别为有效线段，导致文档区域的识别结果不准确，进而导致后续文档信息分析的结果不准确，使得需要多次重复提供资料图像，且对提供资料图像的背景环境要求较苛刻，不便于用户操作，影响用户使用体验。

因此本说明书实施例提供一种图像处理方法，确定待处理图像中的目标文档区域以及第一关键点，获取标准处理区域的第二关键点，基于第一关键点以及第二关键点确定转换矩阵，基于转换矩阵对目标文档区域进行变换处理得到目标文档图像，以解决上述图像处理效率低、图像处理结果差的技术问题。

请参阅图1，图1为本说明书实施例提供的一种图像处理方法的示例性系统架构图。

如图1所示，系统架构可以包括终端101、网络102和服务器103。网络102用于在终端101和服务器103之间提供通信链路的介质。网络102可以包括各种类型的有线通信链路或无线通信链路，例如：有线通信链路包括光纤、双绞线或同轴电缆的，无线通信链路包括蓝牙通信链路、无线保真(Wi re less-Fide l ity，Wi-Fi)通信链路或微波通信链路等。

终端101可以通过网络102与服务器103交互，以接收来自服务器103的消息或向服务器103发送消息，或者终端101可以通过网络102与服务器103交互，进而接收其他用户向服务器103发送的消息或者数据。终端101可以是硬件，也可以是软件。当终端101为硬件时，可以是各种电子设备，包括但不限于智能手表、智能手机、平板电脑、膝上型便携式计算机和台式计算机等。当终端101为软件时，可以是安装在上述所列举的电子设备中，其可以实现呈多个软件或软件模块(例如：用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不作具体限定。

可选地，在图像处理过程中，终端101可以获取待处理图像，以及确定出待处理图像中的目标文档区域和目标文档区域对应的第一关键点，以去除待处理图像中可能对关键点判定产生干扰的图像区域；终端101可以获取待处理图像对应的标准处理区域的第二关键点，根据第一关键点与标准处理区域的第二关键点确定出处理目标文档区域的转换矩阵，进而终端101可以实现基于转换矩阵对目标文档区域进行变换处理，得到待处理图像对应的目标文档图像。

服务器103可以是提供各种服务的中心服务器。需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不做具体限定。

应理解，图1中的终端、网络以及服务器的数目仅是示意性的，根据实现需要，可以是任意数量的终端、网络以及服务器。

请参阅图2，图2为本说明书实施例提供的一种图像处理方法的流程示意图。本说明书实施例的执行主体可以是执行图像处理的终端，也可以是执行图像处理方法的终端中的处理器，还可以是执行图像处理方法的终端中的图像处理服务。为方便描述，下面以执行主体是终端中的处理器为例，介绍图像处理方法的具体执行过程。

如图2所示，图像处理方法至少可以包括：

S201、获取待处理图像，确定待处理图像中的目标文档区域，以及确定目标文档区域的第一关键点。

可选地，当用户办理线上服务需要提交文档资料时，越来越多的用户开始使用手机摄像头扫描生活中常见的文档如书籍、票据、证明资料等，然后通过光学识别技术和自然语言处理技术完成文档资料的数字化扫描和分析。然而，当使用便捷式摄像头拍摄文本图像时，由于拍摄场景的多样性和复杂性，容易出现扭曲、堆叠、褶皱或者含有复杂的背景等问题，这些问题通常会严重影响资料图像识别的准确度，进而影响后续信息采集分析的准确度，因此，对获取到的初始文档图像需要进行文档图像透视矫正，以将图像中的文档区域调整至规范、整齐，易于信息提取和分析。

可选地，对图像进行处理之前，首先需要获取待处理图像，待处理图像也即上述包括有至少一个文档区域的图像，在本说明书实施例中，获取待处理图像时，可以是通过相册或图片集上传的已拍摄好的图像，也可以是通过摄像头实时拍摄得到的。由于待处理图像中，可能因为拍摄角度、光线等影响因素，待处理图像中的各个文档区域可能存在堆叠、弯曲、遮挡等不规范展示的情况，此时从用户的拍摄的需求动机考虑，用户需要上传的目标文档资料可能是存在于堆叠文件最上方的文档，也可能是在图像画面中占比最大、完整度最高的文档，那么在待处理图像中目标文档资料所处区域就是与图像处理需求对应的目标文档区域。非目标文档区域中可能会存在另外的文字或图片信息对目标文档信息造成干扰，因此获取待处理图像之后，首先需要确定待处理图像中的目标文档区域，以使得后续图像矫正在目标文档区域的基础上进行，避免待处理图像中的无效信息对目标信息的干扰。

可选地，确定待处理图像中的目标文档区域时，有多种可行的方式，其中，可以基于图像中目标文档区域部分和其他部分的色彩差异进行目标文档区域提取；也可以基于目标文档区域的边缘部分进行目标文档区域提取。确定出目标文档区域之后，由于目标文档区域内的文档图像由于拍摄视角可能会存在透视畸变，导致文档中各类信息的清晰度和尺寸大小出现不一致，因此为了准确获取文档区域中的信息，需要对目标文档区域进行透视矫正，以使得目标文档区域中的文档内容能够进行准确分析，高效为用户提供相关服务。

可选地，对目标文档区域进行矫正处理时，为了将目标文档的图像调整至标准的透视角度，可以将具有标准透视角度的区域预设为标准处理区域，当图像调整为标准透视区域的规格时，能够符合正常、清晰的透视角度要求，以标准处理区域为基准来适应性处理目标文档区域，以使得目标文档区域中的目标文档能调整为标准透视角度，便于后续准确获取分析文档内容。容易理解的，图像中包括了大量像素点，各像素点的排列、颜色决定了图像的最终显示效果，而调整目标文档区域的透视角度时，也相当于调整目标文档区域的各像素点的坐标位置，而各像素点之间的排列具有一定关系规律，因此对于目标文档区域中的所有像素点坐标都要进行转换时，可以首先通过目标文档区域和标准处理区域之间相互对应的部分关键点来确定转换关系，以使得目标文档区域中的各像素点都能基于该转换关系转换至标准处理区域。

可选地，获取目标文档区域与标准处理区域之间的转换关系时，可以基于目标文档区域的关键点和该关键点在标准处理区域中对应的关键点，确定关键点之间的转换关系，基于此，可以首先确定目标文档区域的第一关键点，将目标文档区域的关键点作为目标文档区域矫正变换的基准点，获取目标文档区域的关键点与标准区域中对应关键点之间的变换关系，进而将目标文档区域按照同样的变换关系对应变换至标准处理区域，最终使得目标文档区域调整至规范、清晰，提升目标文档图像的质量，增强用户体验感。

S202、获取待处理图像对应的标准处理区域的第二关键点，基于第一关键点以及第二关键点确定目标文档区域对应的转换矩阵。

可选地，根据上述实施例的介绍可以知道，由于拍摄角度、拍摄环境等条件的限制，获取到的目标文档区域可能存在透视畸变，而透视畸变会导致后续图像内容分析不准确，因此为了矫正目标文档区域的透视角度，可以预设标准透视角度的标准处理区域作为目标文档区域的透视矫正基准，也即将目标文档区域转换至标准处理区域，以使得目标文档中的文档内容处于标准透视角度。

进一步地，在转换目标文档区域至标准处理区域时，考虑到目标文档区域中的各像素点遵循同样的转换关系，那么可以通过目标文档区域的第一关键点和在标准处理区域中对应的关键点之间的转换坐标获取转换关系。基于此，需要获取标准处理区域的第二关键点，此时就可以基于第一关键点以及第二关键点确定目标文档区域对应的转换关系，以使得目标文档区域中的各像素点都按照该转换关系进行转换时，可以将目标文档区域转换至标准处理区域。

可选地，在进行透视转换时，同一物体的不同视角之间的转换关系可以理解为单应性变换，其中对应像素点之间存在的映射关系可以用转换矩阵进行计算，在本说明书实施例中，获取目标文档区域的第一关键点和标准处理区域的第二关键点之后，基于两个关键点可以确定出将目标文档区域转换至标准处理区域所需要的转换矩阵，转换矩阵使得目标文档区域各像素点都可以映射至标准处理区域中的对应像素点。

S203、基于转换矩阵对目标文档区域进行变换处理，得到待处理图像对应的目标文档图像。

可选地，确定目标文档区域对应的转换矩阵之后，目标文档区域中的个像素点都可以基于转换矩阵进行计算，映射至标准处理区域中对应的像素点位置处，最终得到透视角度标准的目标文档图像，基于标准的目标文档图像可以获取清晰、准确的文档内容，便于后续基于文档内容准确高效的响应用户需求，增强用户体验。

可选地，请参阅图3，图3为本说明书实施例提供的一种图像处理结果示意图。如图3所示，在图3(A)中包括终端300，其中，终端300的显示界面中包括待处理图像310，在待处理图像310中，包括存在堆叠情况的文档材料，此时待处理图像310中的阴影部分为各文档区域中最上方的文档区域，基于用户上传需求确定阴影区域为目标文档区域320，此时目标文档区域320为畸变透视角度的图像区域；在图3(B)的终端300中，包括符合预设透视角度要求的标准处理区域330，目标文档区域320经过对应关键点以及转换矩阵的计算之后，实现将目标文档区域320透视角度转换至符合标准处理区域330的尺寸规格，显示界面中显示出最终的目标文档图像340。

在本说明书实施例中，提供一种图像处理方法，获取待处理图像，确定待处理图像中的目标文档区域以及目标文档区域的第一关键点；获取待处理图像对应的标准处理区域的第二关键点，基于第一关键点以及第二关键点确定图像处理需要的转换矩阵；基于转换矩阵对目标文档区域进行变换处理，得到目标文档图像。由于首先对确定出待处理图像中的目标文档区域，并且在目标文档区域的基础上确定第一关键点，这样去除了待处理图像中可能对关键点判定产生干扰的图像区域，进一步根据第一关键点与标准区域的第二关键点确定出处理目标文档区域的转换矩阵，基于转换矩阵对目标文档区域进行转换，在标准处理区域得到目标文档图像，这样对图像进行处理可以将不规则摆放的文档图像矫正为符合标准的清晰图像，以使得能够准确获取文档图像中的文字信息。

请参阅图4，图4为本说明书实施例提供的一种图像处理方法的流程示意图。

如图4所示，图像处理方法至少可以包括：

S401、获取待处理图像。

可选地，进行图像处理之前，首先基于用户需求获取待处理图像，为了保证后续目标文档区域的中包括的文档内容足以用于进行分析，就可以获取待处理图像时，首先对所有当前获取的图像进行初步筛选，选择文档部分在图像中占比达到预设阈值的图像作为待处理图像，同时还可以将清晰度作为预筛选的条件之一，将满足预设清晰度条件的图像作为待处理图像。在预筛选时，若存在不满足待处理图像条件的图像，则可以向用户发送提示信息以及资料上传引导，使得用户获知当前图像上传要求，方便用户成功上传可用的待处理图像。

S402、将待处理图像的分辨率调整至预设分辨率，预设分辨率根据文档区域检测模型的计算精度确定。

可选地，由于用户上传资料时，图像画面中可能会出现多个文档资料堆叠、遮挡等现情况，为了避免无关文档信息的干扰、准确获取目标文档的图像以及内容，需要首先确定待处理图像中的目标文档区域，以使得目标文档区域中只包括目标文档内容而不包括其他干扰文档信息。容易理解的，经过针对特定任务进行训练的网络模型可以在实际场景中准确的输出对应结果，释放设备在对重复任务进行重新计算时的计算压力，那么当需要完成大量目的一致的任务时，可以使用预设网络模型来实现快速高效的计算，并获得准确的计算结果，也即在本说明书实施例中，就可以通过文档区域检测模型来获取待处理图像中的目标文档区域，以快速准确的实现获取大量待处理图像中的目标文档区域。

进一步地，文档区域检测模型通常根据其算力以及设备环境，设置有固定的最适合本身计算精度的输入分辨率，分辨率越高模型需要的计算量越大精度越高，分辨率越低模型需要的计算量越小精度越低；因此可以预先基于文档区域检测模型的计算精度设置预设分辨率，并且在将待处理图像输入文档区域检测模型前，先将待处理图像的分辨率调整为预设分辨率，以使得文档区域检测模型能够进行直接输出目标文档区域。其中，预设分辨率的具体数值可以根据实际需求进行设置，在本说明书实施例中对预设分辨率数值不作具体限定。

S403、将待处理图像输入至文档区域检测模型，得到待处理图像中的目标文档区域。

可选地，从上述实施例的介绍可以知道，对待处理图像中的目标文档区域进行处理时，需要在保证目标文档区域完整的前提下，去除目标文档区域外的干扰图像，因此可以提前训练用于自动区分图像中目标文档区域的神经网络模型，神经网络模型可以模拟生物神经网络，通过对样本数据的学习收集目标特征和目标知识，学习到较好效果后实现自动完成任务。基于此，在本说明书实施例中可以预先获得文档区域检测模型，将待处理图像输入文档区域检测模型，得到待处理图像中的目标文档区域。

具体地，预先获得文档区域检测模型时，首先需要基于包括文档区域的样本图像对模型进行训练以使得文档区域检测模型学习目标文档区域的特征，也即文档区域检测模型基于至少一个第一样本图像训练得到，第一样本图像中包括至少一个文档区域，同时考虑到实际应用场景中目标文档区域在图像中的完整度占比达到预设完整度时才能够作为待处理图像，那么对于样本图像也可以预设完整度条件，使得样本图像中各文档区域中的目标文档区域的完整度满足预设完整度条件，此时样本图像能够将文档区域检测模型训练为准确完成实际场景的文档区域检测任务的模型。

进一步地，将待处理图像输入至文档区域检测模型，文档区域检测模型中预设框选区域可以在待处理图像中进行移动和缩放，基于已学习到的目标文档检测特征输出各文档区域为目标文档区域的第一置信度，置信度为模型通过对图像中各类物体进行识别计算，所得到的各类物体为目标物体的可能性，对于文档区域检测模型，第一置信度可以用于表征各文档区域的完整度，完整度越高则置信度越高，因此置信度可以衡量文档区域检测模型对待处理图像中目标文档区域的识别结果，也即获取文档区域检测模型输出的个文档区域的第一置信度，将第一置信度最高的文档区域确定为目标文档区域，这样可以避免在材料堆叠情况下非目标文档区域的文档内容对识别结果造成的干扰，保证最完整的文档区域作为目标文档区域。

S404、确定目标文档区域的第一关键点。

可选地，确定目标文档区域之后，可以对目标文档区域进行透视矫正，由于目标文档区域中的关键点与标准处理区域中对应关键点之间存在唯一对应的映射关系，因此可以基于关键点之间的转换关系确定目标文档区域与标准处理区域之间的转换关系，那么需要首先确定目标文档区域的第一关键点，将目标文档区域的关键点作为目标文档区域矫正变换的基准点，从而获取目标文档区域的关键点与标准区域中对应关键点之间的变换关系，最终使得目标文档区域调整至规范、清晰，提升目标文档图像的质量，增强用户体验感。

S405、获取待处理图像对应的标准处理区域的第二关键点，基于第一关键点以及第二关键点确定目标文档区域对应的转换矩阵。

S406、基于转换矩阵对目标文档区域进行变换处理，得到待处理图像对应的目标文档图像。

关于步骤S405-S406，请参阅步骤S202-S204中的详细记载，此处不再赘述。

在本说明书实施例中，提供一种图像处理处理方法，通过文档区域检测模型来对待处理图像中的目标文档区域进行检测识别，文档区域检测模型基于包括目标文档区域的样本图像训练得到，在使用文档区域检测模型时，首先对待处理图像进行预处理，调整为文档区域检测模型对应的预设分辨率，基于文档区域检测模型针对待处理图像中各个文档区域输出的置信度，将置信度最高的文档区域确定为目标文档区域，实现在材料堆叠情况下去除非目标文档区域的文档内容对识别结果造成的干扰，保证最完整的文档区域作为目标文档区域。

请参阅图5，图5为本说明书实施例提供的一种图像处理方法的流程示意图。

如图5所示，图像处理方法至少可以包括：

S501、获取待处理图像，确定待处理图像中的目标文档区域。

可选地，根据上述实施例可以理解，为了准确获取待处理图像中的信息，通常需要对待处理图像进行透视矫正，那么获取待处理图像之后需要确定待处理图像中的目标文档区域，此时可以基于样本图像预先训练用于检测目标文档区域的文档区域检测模型，使用文档区域检测模型直接输出目标文档区域的检测结果，确定目标文档区域之后，便于后续对目标文档区域的透视矫正，使得能够准确获取文档内容用于响应用户需求，提升用户体验。

S502、将目标文档区域输入至关键点检测模型，得到目标文档区域的第一关键点。

可选地，由于同一物体的不同视角中，对应的像素点之间的映射关系为唯一固定的，而计算映射关系时，特殊关键点可以作为基准点进行计算，从而得到区域之间的转换关系，例如，目标文档区域的四个角点与标准处理区域的四个顶点之间存在唯一对应关系，那么为了将目标文档区域调整至标准透视角度，可以首先获取目标文档区域的第一关键点，以使得能够通过第一关键点以及在标准处理区域中对应关键点之间的映射关系计算出目标文档区域与标准文档区域之间的转换关系。

进一步地，为了准确快速地获取第一关键点，可以通过使用包括关键点的样本图像预先训练神经网络模型，也即可以基于至少一个第二样本图像训练得到关键点检测模型，同时第二样本图像中包括至少一个像素点。得到的关键点检测模型能够基于目标文档区域输出目标文档区域对应的热力图，在热力图中各像素点会由于不同的曲率、位置等产生不同的像素特征值，考虑到关键点相较于普通像素点的特殊性，其在热力图中的特征值会相对较高，因此样本图像中各像素点中的关键点在热力图中的像素特征值也需要满足预设像素特征值条件，以使得关键点检测模型能够顺利学习关键点特征识别规律，这样通过关键点检测模型可以基于关键点特征知识快速的在目标文档区域的大量像素点中确定出关键点。

具体地，将目标文档区域输入关键点检测模型，关键点检测模型可以生成目标文档区域对应的热力图，在热力图中，各像素点中像素特征值越高的则越有可能是目标文档区域的第一关键点，也即第一关键点在热力图中的置信度相对较高，那么在获取第一关键点时，关键点检测模型可以得到目标文档区域中各像素的第二置信度，第二置信度用于表征各像素点在热力图中的像素特征值，其中可以预设像素特征值条件，将满足预设像素特征值条件的第二置信度对应的像素点确定为第一关键点。

S503、获取待处理图像对应的标准处理区域的第二关键点。

可选地，在转换目标文档区域至标准处理区域时，需要基于目标文档区域的第一关键点以及标准处理区域的第二关键点之间对应的映射转换关系来确定区域之间的转换关系。基于此，需要获取标准处理区域的第二关键点，此时就可以基于第一关键点以及第二关键点确定目标文档区域对应的转换关系，以使得目标文档区域中的各像素点都按照该转换关系进行转换可以将目标文档区域转换至标准处理区域。

S504、基于第一关键点以及第二关键点确定目标文档区域对应的转换矩阵。

可选地，确定目标文档区域的第一关键点以及标准处理区域的第二关键点之后，基于第一关键点与第二关键点之间的关联对应关系，可以通过第一关键点以及第二关键点确定将目标文档区域转换至标准处理区域所需要的转换矩阵，转换矩阵使得目标文档区域各像素点都可以映射至标准处理区域中的对应像素点，进而使得目标文档区域中的图像转换至标准处理区域所对应的标准透视规格。

S505、基于转换矩阵对目标文档区域进行变换处理，得到待处理图像对应的目标文档图像。

关于步骤S505，请参阅步骤S203中的详细记载，此处不再赘述。

在本说明书实施例中，提供一种图像处理处理方法，通过关键点检测模型，可以快速准确地获取目标文档区域中的特殊角点作为进行透视转换的第一关键点，进而根据第一关键点与标准处理区域的第二关键点之间的关联对应关系，可以获取目标文档区域转换至标准处理区域所需要的转换矩阵，并基于转换矩阵实现目标文档区域的透视矫正，获得标准处理、展示角度的目标文档图像。

请参阅图6，图6为本说明书实施例提供的一种图像处理方法的流程示意图。

如图6所示，图像处理方法至少可以包括：

S601、获取待处理图像，确定待处理图像中的目标文档区域，以及确定目标文档区域的第一关键点。

关于步骤S601，请参阅步骤S201中的详细记载，此处不再赘述。

S602、获取待处理图像对应的标准处理区域的第二关键点。

可选地，从上述实施例介绍可以知道，在转换目标文档区域至标准处理区域时，考虑到目标文档区域中的各像素点遵循同样的转换关系，那么可以通过目标文档区域的第一关键点和在标准处理区域中对应的关键点之间的转换坐标获取转换关系。基于此，需要获取标准处理区域的第二关键点，此时就可以基于第一关键点以及第二关键点确定目标文档区域对应的转换关系，以使得目标文档区域中的各像素点都按照该转换关系进行转换时，可以将目标文档区域转换至标准处理区域。

S603、获取第一关键点在预设参考系中的第一坐标以及第二关键点在预设参考系中的第二坐标。

可选地，基于第一关键点和第二关键点计算转换矩阵时，可以通过计算第一关键点的坐标与第二关键点的坐标之间的映射距离，来确定目标文档区域对应的转换矩阵，那么此时需要获取第一关键点的第一坐标以及第二关键点的第二坐标，需要注意的是，为了保证第一坐标与第二坐标之间的映射关系可用，需要基于同一预设参考系获取第一坐标和第二坐标，通过坐标可以直接计算出对应关键点之间的距离以及映射，便于后续计算目标文档区域对应的转化矩阵。

S604、基于第一坐标和第二坐标计算目标文档区域对应的转换矩阵。

可选地，获取第一关键点的第一坐标和第二关键点的第二坐标之后，根据坐标数值可以计算出目标文档区域对应的转换矩阵。由于目标文档区域中的各第一关键点在标准处理区域中都存在唯一对应的第二关键点，因此为了计算准确可用的转换矩阵，需要首先确定第一关键点与第二关键点之间的唯一对应关系，便于后续基于对应关系计算得到准确的转换矩阵。

进一步地，根据第一坐标、第二坐标以及第一坐标和对应第二坐标之间的唯一对应关系，可以基于相互对应的第一坐标和第二坐标确定相互对应的第一关键点与第二关键点的映射关系，进而基于映射关系可以计算出目标文档区域对应的转换矩阵，以使得目标文档区域可以根据转换矩阵实现透视变换，矫正为标准透视角度。

S605、确定目标文档区域中的各像素点坐标，根据转换矩阵计算各像素点坐标对应至标准处理区域中的转换坐标。

可选地，在对目标文档区域的透视角度进行转换时，需要将目标文档区域中的所有像素点都按照对应的转换矩阵映射至标准处理区域中的对应坐标位置处，因此计算得到转换矩阵之后，需要确定目标文档区域中各像素点坐标，再根据转换矩阵计算各像素点坐标对应至标准处理区域中的转换坐标，各像素点的转换坐标就是在标准透视角度下的文档图像中各像素点的坐标。

S606、将转换坐标作为待处理图像对应的目标文档图像的各像素点坐标。

可选地，根据转换矩阵对目标文档区域中的所有像素点坐标都进行计算后，得到各像素点对应至标准处理区域的转换坐标，此时可以将转换坐标作为由目标文档区域转换至标准处理区域的目标文档图像中各像素点的坐标，各像素点按照转换坐标排列，则得到待处理图像对应的目标文档图像。

S607、在展示区域展示目标文档图像，其中，展示区域根据标准处理区域确定。

可选地，将目标文档区域中各像素点都基于对应的转换坐标矫正至标准处理区域之后，得到透视角度标准的目标文档图像，此时可以在展示区域展示目标文档图像，以使得用户能够查验矫正后的目标文档图像，对目标文档图像中的信息进行二次确认，这样用户可以直观的看到图像处理结果，便于用户自主查验上传图像与所需求的服务之间的匹配度，并对图像更改等操作，需要注意的是，展示区域根据用户所使用的设备的标准处理区域确定，保证处理至标准处理区域内的目标文档图像能够以标准展示形式展示至对应的展示区域。

在本说明书实施例中，提供一种图像处理方法，在获取待处理图像中的目标文档区域之后，基于关键点检测模型得到目标文档区域的第一关键点，并且确定第一关键点的第一坐标，以及在标准处理区域中对应第二关键点的第二坐标，基于第一坐标和第二坐标之间的映射关系计算得到目标文档区域对应的转换矩阵，将目标文档区域的各像素点坐标按照转换矩阵进行计算得到在标准处理区域对应的转换坐标，从而得到目标文档图像，并且将目标文档图像展示至展示区域，以使得用户可以直观的看到图像处理结果，便于用户自主查验上传图像与所需求的服务之间的匹配度，提升用户使用体验。

请参阅图7，图7为本说明书实施例提供的一种图像处理装置的结构框图。如图7所示，图像处理装置700包括：

关键点检测模块710，用于获取待处理图像，确定待处理图像中的目标文档区域，以及确定目标文档区域的第一关键点；

转换计算模块720，用于获取待处理图像对应的标准处理区域的第二关键点，基于第一关键点以及第二关键点确定目标文档区域对应的转换矩阵；

图像处理模块730，用于基于转换矩阵对目标文档区域进行变换处理，得到待处理图像对应的目标文档图像。

可选地，关键点检测模块710，还用于将待处理图像输入至文档区域检测模型，得到待处理图像中的目标文档区域。

可选地，文档区域检测模型基于至少一个第一样本图像训练得到，第一样本图像中包括至少一个文档区域，且各文档区域中的目标文档区域的完整度满足预设完整度条件。

可选地，关键点检测模块710，还用于将待处理图像输入至文档区域检测模型，得到待处理图像中各文档区域的第一置信度，第一置信度用于表征各文档区域的完整度；将第一置信度最高的文档区域确定为目标文档区域。

可选地，关键点检测模块710，还用于将待处理图像的分辨率调整至预设分辨率，预设分辨率根据文档区域检测模型的计算精度确定。

可选地，关键点检测模块710，还用于将目标文档区域输入至关键点检测模型，得到目标文档区域的第一关键点。

可选地，关键点检测模型基于至少一个第二样本图像训练得到，第二样本图像中包括至少一个像素点，各像素点中的关键点在热力图中的像素特征值满足预设像素特征值条件。

可选地，关键点检测模块710，还用于将目标文档区域输入至关键点检测模型，得到目标文档区域中各像素的第二置信度，第二置信度用于表征各像素在热力图中的像素特征值；将满足预设像素特征值条件的第二置信度对应的像素确定为第一关键点。

可选地，转换计算模块720，还用于获取第一关键点在预设参考系中的第一坐标以及第二关键点在预设参考系中的第二坐标；基于第一坐标和第二坐标计算目标文档区域对应的转换矩阵。

可选地，转换计算模块720，还用于确定第一关键点与第二关键点之间的唯一对应关系；根据第一坐标、第二坐标以及唯一对应关系，确定第一关键点与第二关键点的映射关系；基于映射关系计算目标文档区域对应的转换矩阵。

可选地，图像处理模块730，还用于确定目标文档区域中的各像素点坐标，根据转换矩阵计算各像素点坐标对应至标准处理区域中的转换坐标；将转换坐标作为待处理图像对应的目标文档图像的各像素点坐标。

可选地，图像处理装置700还包括：展示模块，用于在展示区域展示目标文档图像，其中，展示区域根据标准处理区域确定。

在本说明书实施例中，提供一种图像处理装置，关键点检测模块，用于获取待处理图像，确定待处理图像中的目标文档区域，以及确定目标文档区域的第一关键点；转换计算模块，用于获取待处理图像对应的标准处理区域的第二关键点，基于第一关键点以及第二关键点确定目标文档区域对应的转换矩阵；图像处理模块，用于基于转换矩阵对目标文档区域进行变换处理，得到待处理图像对应的目标文档图像。由于首先对确定出待处理图像中的目标文档区域，并且在目标文档区域的基础上确定第一关键点，这样去除了待处理图像中可能对关键点判定产生干扰的图像区域，进一步根据第一关键点与标准区域的第二关键点确定出处理目标文档区域的转换矩阵，基于转换矩阵对目标文档区域进行转换，在标准处理区域得到目标文档图像，这样对图像进行处理可以将不规则摆放的文档图像矫正为符合标准的清晰图像，以使得能够准确获取文档图像中的文字信息。

本说明书实施例提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或所述处理器执行上述实施例中任一项的方法的步骤。

本说明书实施例还提供了一种计算机存储介质，计算机存储介质可以存储有多条指令，指令适于由处理器加载并执行如上述实施例中的任一项的方法的步骤。

请参见图8，图8为本说明书实施例提供的一种终端的结构示意图。如图8所示，终端800可以包括：至少一个终端处理器801，至少一个网络接口804，用户接口803，存储器805，至少一个通信总线802。

其中，通信总线802用于实现这些组件之间的连接通信。

其中，用户接口803可以包括显示屏(Di sp l ay)、摄像头(Camera)，可选用户接口803还可以包括标准的有线接口、无线接口。

其中，网络接口804可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

其中，终端处理器801可以包括一个或者多个处理核心。终端处理器801利用各种接口和线路连接整个终端800内的各个部分，通过运行或执行存储在存储器805内的指令、程序、代码集或指令集，以及调用存储在存储器805内的数据，执行终端800的各种功能和处理数据。可选的，终端处理器801可以采用数字信号处理(Digita l Signa l Process ing，DSP)、现场可编程门阵列(Fie ld-Programmab le Gate Array，FPGA)、可编程逻辑阵列(Programmab le Logic Array，PLA)中的至少一种硬件形式来实现。终端处理器801可集成中心处理器(Centra l Process ing Un it，CPU)、图像处理器(Graph ics Process ingUn it，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到终端处理器801中，单独通过一块芯片进行实现。

其中，存储器805可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-On ly Memory，ROM)。可选的，该存储器805包括非瞬时性计算机可读介质(non-trans itory computer-readab le storage med ium)。存储器805可用于存储指令、程序、代码、代码集或指令集。存储器805可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器805可选的还可以是至少一个位于远离前述终端处理器801的存储装置。如图8所示，作为一种计算机存储介质的存储器805中可以包括操作系统、网络通信模块、用户接口模块以及图像处理程序。

在图8所示的终端800中，用户接口803主要用于为用户提供输入的接口，获取用户输入的数据；而终端处理器801可以用于调用存储器805中存储的图像处理程序，并具体执行以下操作：

获取待处理图像，确定待处理图像中的目标文档区域，以及确定目标文档区域的第一关键点；

获取待处理图像对应的标准处理区域的第二关键点，基于第一关键点以及第二关键点确定目标文档区域对应的转换矩阵；

基于转换矩阵对目标文档区域进行变换处理，得到待处理图像对应的目标文档图像。

在一些实施例中，终端处理器801在执行确定待处理图像中的目标文档区域时，具体执行以下步骤：将待处理图像输入至文档区域检测模型，得到待处理图像中的目标文档区域。

在一些实施例中，文档区域检测模型基于至少一个第一样本图像训练得到，第一样本图像中包括至少一个文档区域，且各文档区域中的目标文档区域的完整度满足预设完整度条件。

在一些实施例中，终端处理器801在执行将待处理图像输入至文档区域检测模型，得到待处理图像中的目标文档区域时，具体执行以下步骤：将待处理图像输入至文档区域检测模型，得到待处理图像中各文档区域的第一置信度，第一置信度用于表征各文档区域的完整度；将第一置信度最高的文档区域确定为目标文档区域。

在一些实施例中，终端处理器801在执行将待处理图像输入至文档区域检测模型之前，还具体执行以下步骤：将待处理图像的分辨率调整至预设分辨率，预设分辨率根据文档区域检测模型的计算精度确定。

在一些实施例中，终端处理器801在执行确定目标文档区域的第一关键点时，具体执行以下步骤：将目标文档区域输入至关键点检测模型，得到目标文档区域的第一关键点。

在一些实施例中，关键点检测模型基于至少一个第二样本图像训练得到，第二样本图像中包括至少一个像素点，各像素点中的关键点在热力图中的像素特征值满足预设像素特征值条件。

在一些实施例中，终端处理器801在执行将目标文档区域输入至关键点检测模型，得到目标文档区域的第一关键点时，具体执行以下步骤：将目标文档区域输入至关键点检测模型，得到目标文档区域中各像素的第二置信度，第二置信度用于表征各像素在热力图中的像素特征值；将满足预设像素特征值条件的第二置信度对应的像素确定为第一关键点。

在一些实施例中，终端处理器801在执行基于第一关键点以及第二关键点确定目标文档区域对应的转换矩阵时，具体执行以下步骤：获取第一关键点在预设参考系中的第一坐标以及第二关键点在预设参考系中的第二坐标；基于第一坐标和第二坐标计算目标文档区域对应的转换矩阵。

在一些实施例中，终端处理器801在执行基于第一坐标和第二坐标计算计算目标文档区域对应的转换矩阵时，具体执行以下步骤：确定第一关键点与第二关键点之间的唯一对应关系；根据第一坐标、第二坐标以及唯一对应关系，确定第一关键点与第二关键点的映射关系；基于映射关系计算目标文档区域对应的转换矩阵。

在一些实施例中，终端处理器801在执行基于转换矩阵对目标文档区域进行变换处理，得到待处理图像对应的目标文档图像时，具体执行以下步骤：确定目标文档区域中的各像素点坐标，根据转换矩阵计算各像素点坐标对应至标准处理区域中的转换坐标；将转换坐标作为待处理图像对应的目标文档图像的各像素点坐标。

在一些实施例中，终端处理器801在执行得到待处理图像对应的目标文档图像之后，还具体执行以下步骤：在展示区域展示目标文档图像，其中，展示区域根据标准处理区域确定。

在本说明书所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时，全部或部分地产生按照本说明书实施例上述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者通过上述计算机可读存储介质进行传输。上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digita l Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字多功能光盘(Digita l Versati le Di sc，DVD))、或者半导体介质(例如，固态硬盘(So l id State Di sk，SSD))等。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本说明书所提供的一种图像处理方法、装置、存储介质以及终端的描述，对于本领域的技术人员，依据本说明书实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本说明书的限制。