掌桥专利:专业的专利平台
掌桥专利
首页

目标对象的检测方法、装置、可读存储介质及电子设备

文献发布时间:2023-06-19 18:37:28


目标对象的检测方法、装置、可读存储介质及电子设备

技术领域

本发明涉及目标检测领域,具体而言,涉及一种目标对象的检测方法、装置、可读存储介质及电子设备。

背景技术

相关技术中,在对增值税普通发票、增值税专用发票、增值税电子普通发票、增值税电子专用发票等票据中的印章进行检测时,对票据印章的检测难度较高,使得票据印章检测的准确率不高,误检、漏检的情况较严重。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题。

为此,本发明的第一方面提供了一种目标对象的检测方法。

本发明的第二方面提供了一种目标对象的检测装置。

本发明的第三方面提供了一种可读存储介质。

本发明的第四方面提供了一种电子设备。

有鉴于此,本发明的第一方面提出了一种目标对象的检测方法,检测方法包括:获取多个目标对象,并选择与多个目标对象中的一个目标对象进行合并的背景图像;根据多个目标对象,以及目标对象进行合并的背景图像确定多个标注图像;建立目标检测模型,并将多个标注图像输入至目标检测模型进行训练;获取目标图像,使用训练后的目标检测模型识别目标图像中的目标对象。

在本发明的技术方案中,系统获取多个目标对象,并选择与多个目标对象中任意一个目标对象进行合并的背景图像,使得多个目标对象可以与多个背景图像进行合并,以确定多个标注图像,而后使用多个标注图像对系统建立的目标检测模型进行训练,使得训练后的目标检测模型可以对目标图像中的目标对象进行识别。

在上述技术方案中,多个目标对象与多个背景图像确定标注图像,其中,标注图像是模拟目标图像并用于对目标检测模型进行训练的图像,即目标对象用来模拟被识别的目标对象,通过使用系统合成的多个标注图像对目标检测模型进行训练,由于目标对象以及背景图像的数量与样式为多个,因此在满足进行训练的图像多样性的情况下,使得训练后的目标检测模型可以适应各种复杂的背景图像,对多种背景图像下的目标对象进行识别。

在上述任一技术方案中,多个目标对象可以是印章、二维码、人像等需要被识别的对象,背景图像可以是与印章结合的票据背景、与人像结合的简历背景等与上述被识别对象相结合的背景图,目标图像以及目标图像中的目标对象可以是系统获取的真实的票据、简历以及真实的票据、简历中需要被识别的印章、人像。

在上述技术方案中,将目标对象、目标对象以印章为例,目标图像以票据为例,背景图像以票据背景为例,示例性地,可以通过收集全国各省市行政或商业组织机构的名称来获取目标对象,并确定与目标对象对应合并的背景图像,将目标对象与背景图像进行合并并进行信息的标注,以形成用于训练的票据图像,即标注图像,使得通过此方式多个标注图像的背景图像与目标对象均不相同,增加训练样本的难度和多样性,将多个标注图像输入至目标检测模型进行模型的训练,使得训练后的模型可以避免模型过拟合现象,提升模型的鲁棒性。

在上述技术方案中,将目标对象以印章为例,示例性地,系统可以获取全国各省市行政或商业组织机构的名称通过PIL(Python Imaging Library,一个python的图像处理库)生成的目标对象,具体地,将上述名称通过PIL在模型的底板上生成上述名称,并对该底板进行裁切、旋转、排版融合,最终生成完整印章,即目标对象,通过系统获取目标对象以及选择背景图像合成标注图像,避免了人工获取训练目标检测模型的训练图像,降低了获取标注图像的成本。

在上述任一技术方案中,将目标图像以票据为例,训练后的目标检测模型可以对多个种类的目标图像中的目标对象进行识别,其识别种类可以是增值税普通发票、增值税专用发票、增值税电子普通发票、增值税电子专用发票、出租车票、定额发票、航空行程单等票据种类。

在上述任一技术方案中,目标检测模型可以是YOLO模型(You Only Look Once,目标检测模型),或是其他轻量级的目标检测模型。

根据本发明提供的目标对象的检测方法,还可以具有以下附加技术特征:

在上述任一技术方案中,根据多个目标对象,以及目标对象进行合并的背景图像确定多个标注图像,具体包括:将背景图像以及目标对象合并为训练图像;确定多个目标对象分别在对应的训练图像中的位置信息;根据位置信息对位置信息对应的训练图像进行信息标注,确定多个标注图像。

在上述技术方案中,根据目标对象以及背景图像确定标注图像的具体步骤为,将目标对象以及背景图像合并为训练图像,此时的训练图像为未进行信息标注的图像,由于目标对象与背景图像之间是任意位置进行合并,因此需要确定目标对象在训练图像中的位置信息,并根据位置信息对训练图像进行信息标注,得到标注图像,标注图像即为指示目标对象在训练图像中位置关系的训练图像,使得目标检测模型可以根据确定后的标注图像进行训练,进而可以确定目标图像中目标对象的位置信息。

在上述任一技术方案中,将背景图像以及目标对象合并为训练图像,具体包括:确定目标对象的旋转角度;将目标对象以旋转角度进行旋转后合并在背景图像上,得到训练图像。

在上述技术方案中,在将背景图像和目标对象进行合并为训练图像时,需要确定目标对象的旋转角度,并对目标对象进行旋转角度的旋转后合并在背景图像上,得到训练图像,通过对训练图像中目标对象姿态的调整,即不同旋转角度下的目标对象与背景图像合并的训练图像并不是同一个训练图像,在未增加目标对象以及背景图像的情况下增加了训练样本的数量以及多样性,可以提供大量的不同种类的标注数据对目标检测模型进行训练,减小运行资源的占用。

在上述技术方案中,将目标对象以旋转角度进行旋转后合并在背景图像上具体为,确定目标对象的旋转角度,示例性地,旋转角度可以是0°至360°中任意的一个角度,将目标对象通过固定的旋转中心根据旋转角度进行旋转,当目标对象旋转到固定的旋转角度的情况下,将目标对象合并到背景图像上形成训练图像。

在上述任一技术方案中,示例性地,在对训练图像中的目标对象进行姿态调整,除上述对目标对象进行旋转外,还可以对目标对象进行错切处理,以此增加训练样本的数量以及多样性。

在上述任一技术方案中,确定多个目标对象分别在对应的训练图像中的位置信息,具体包括:分别确定多个目标对象在对应的训练图像中的图像中心;根据图像中心确定多个目标对象在对应的训练图像中的坐标信息;根据坐标信息与旋转角度确定多个目标对象在对应的训练图像中的位置信息。

在上述技术方案中,训练图像是目标对象经旋转角度旋转后与背景图像合并后的图像,系统确定多个目标对象分别在对应的训练图像中的位置信息的具体步骤为,以一个训练图像中包括一个目标对象为例,确定训练图像中目标对象的图像中心,根据图像中心确定目标对象在训练图像中的坐标信息,而后根据坐标信息与旋转角度确定目标对象的具体位置信息,在对目标对象的位置信息确定时增加了对目标对象在训练图像中姿态的确定,以此增加了对目标对象不同变体检测的准确率。

在上述技术方案中,示例性地,将目标对象以印章为例,在系统确定目标对象在训练图像中的图像中心后,根据图像中心确定目标对象的边界框,进而确定目标对象的边界框的坐标信息(即目标对象的坐标信息),通过对目标对象坐标信息的确定,避免了人工标注定位不准确以及定位冗余或者不足的情况,而后在综合姿态调整后的目标对象的旋转角度确定目标对象在训练图像中的位置信息,使得训练后的目标检测模型可以根据目标图像中目标对象的位置信息以及目标图像中目标对象的姿态进行检测和识别,提升了训练后的目标检测模型泛化能力,能够实现对目标的不同变体进行检测。

在上述任一技术方案中,示例性地,确定多个目标对象分别在对应的训练图像中的位置信息还包括,以一个训练图像中包括多个目标对象为例,系统分别确定在训练图像中多个目标对象的图像中心,进而确定每个目标对象在该训练图像中的坐标信息,再通过结合每个目标对象的旋转角度确定每个目标对象在训练图像中的位置信息,其中,在训练图像中的多个目标对象的旋转角度可以相同也可以不同,进一步增加了样本多样性。

在上述任一技术方案中,将多个标注图像输入至目标检测模型进行训练,具体包括:将多个标注图像输入至目标检测模型后,对多个标注图像进行数据增强处理;控制目标检测模型对数据增强处理后的多个标注图像进行训练。

在上述技术方案中,将多个标注图像输入目标检测模型后,还需要对标注图像进行数据增强处理,经数据增强处理后的标注图像的多样性以及识别难度有所增加,即可以增加目标检测模型对标注图像的处理难度,进而避免模型过拟合现象,提升模型的鲁棒性。

在上述技术方案中,示例性地,对标注图像进行数据增强处理的方法可以为尺度缩放处理、旋转处理、错切处理、透视变换处理、马赛克处理、mixup处理(一种数据增强方法)等数据处理方式,可以进一步的提升处理后的标注图像的多样性。

在上述任一技术方案中,使用训练后的目标检测模型检测目标图像中的目标对象,具体包括:控制目标检测模型识别目标图像中的目标对象;基于目标图像中包括目标对象,目标检测模型输出第一指示信息,第一指示信息用于指示目标对象的位置信息;基于目标图像中不包括目标对象,目标检测模型输出第二指示信息,第二指示信息用于指示未识别出目标对象。

在上述技术方案中,系统控制经多个标注图像训练后的目标检测模型识别目标图像中的目标对象,目标检测模型根据不同的识别结果输出不同的指示信息。

具体地,在目标检测模型识别到目标图像中包括目标对象的情况下,输出用于指示目标对象在目标图像中的位置信息的第一指示信息,通过输出目标对象的位置信息,方便系统后续根据目标对象的位置信息对目标对象的提取、切割等操作;在目标检测模型没有识别到目标图像中包括目标对象的情况下,则输出用于指示未识别出目标对象的第二指示信息。通过使用训练后的目标检测模型对目标图像中的目标对象进行识别,增加了对目标对象识别的准确率,避免了误检、漏检等情况的发生。

在上述技术方案中,示例性地,目标检测模型在识别到目标对象的情况下,除了输出目标对象的位置信息外,还可以输出目标对象的类别信息,以目标对象为印章为例,其输出的类别信息可以是公章、财务专用章、合同专用章、发票专用章等印章的类别。

在上述任一技术方案中,选择与多个目标对象中的一个目标对象进行合并的背景图像,具体包括:建立背景信息库,信息库中包括多个背景图像;基于获取目标对象,在背景信息库的多个背景图像中选择一个背景图像,与目标对象进行合并。

在上述技术方案中,系统将多个不同种类的背景图像集合成为背景信息库,在系统获取到目标对象时,系统在集合形成的背景信息库中的多个背景图像中选择其任意一个背景图像,用于与获取到的目标对象进行合并,以此使得目标对象与背景图像均是随机选择,在目标对象与背景图像合并为标注图像后,增加了待训练的标注图像的多样性。

本发明的第二方面提供了一种目标对象的检测装置,检测装置包括:获取模块,用于获取多个目标对象,并选择与多个目标对象中的一个目标对象进行合并的背景图像;处理模块,用于根据多个目标对象,以及目标对象进行合并的背景图像确定多个标注图像;训练模块,用于建立目标检测模型,并将多个标注图像输入至目标检测模型进行训练;识别模块,用于获取目标图像,使用训练后的目标检测模型识别目标图像中的目标对象。

在本发明的技术方案中,获取模块获取多个目标对象,并选择与多个目标对象中任意一个目标对象进行合并的背景图像,使得多个目标对象可以与多个背景图像进行合并,以使处理模块确定多个标注图像,而后训练模块使用多个标注图像对系统建立的目标检测模型进行训练,使得识别模块使用训练后的目标检测模型对目标图像中的目标对象进行识别。

在上述技术方案中,多个目标对象与多个背景图像确定标注图像,其中,标注图像是模拟目标图像并用于对目标检测模型进行训练的图像,即目标对象用来模拟被识别的目标对象,通过使用系统合成的多个标注图像对目标检测模型进行训练,由于目标对象以及背景图像的数量与样式为多个,因此在满足进行训练的图像多样性的情况下,使得训练后的目标检测模型可以适应各种复杂的背景图像,对多种背景图像下的目标对象进行识别。

在上述任一技术方案中,多个目标对象可以是印章、二维码、人像等需要被识别的对象,背景图像可以是与印章结合的票据背景、与人像结合的简历背景等与上述被识别对象相结合的背景图,目标图像以及目标图像中的目标对象可以是系统获取的真实的票据、简历以及真实的票据、简历中需要被识别的印章、人像。

在上述技术方案中,将目标对象、目标对象以印章为例,目标图像以票据为例,背景图像以票据背景为例,示例性地,可以通过收集全国各省市行政或商业组织机构的名称来获取目标对象,并确定与目标对象对应合并的背景图像,将目标对象与背景图像进行合并并进行信息的标注,以形成用于训练的票据图像,即标注图像,使得通过此方式多个标注图像的背景图像与目标对象均不相同,增加训练样本的难度和多样性,将多个标注图像输入至目标检测模型进行模型的训练,使得训练后的模型可以避免模型过拟合现象,提升模型的鲁棒性。

在上述技术方案中,将目标对象以印章为例,示例性地,系统可以获取全国各省市行政或商业组织机构的名称通过PIL(Python Imaging Library,一个python的图像处理库)生成的目标对象,具体地,将上述名称通过PIL在模型的底板上生成上述名称,并对该底板进行裁切、旋转、排版融合,最终生成完整印章,即目标对象。

在上述任一技术方案中,将目标图像以票据为例,训练后的目标检测模型可以对多个种类的目标图像中的目标对象进行识别,其识别种类可以是增值税普通发票、增值税专用发票、增值税电子普通发票、增值税电子专用发票、出租车票、定额发票、航空行程单等票据种类。

在上述任一技术方案中,目标检测模型可以是YOLO模型(You Only Look Once,目标检测模型),或是其他轻量级的目标检测模型。

根据本发明提供的目标对象的检测装置,还可以具有以下附加技术特征:

在上述任一技术方案中,处理模块具体用于:将背景图像以及目标对象合并为训练图像;确定多个目标对象分别在对应的训练图像中的位置信息;根据位置信息对位置信息对应的训练图像进行信息标注,确定多个标注图像。

在上述技术方案中,根据目标对象以及背景图像确定标注图像的具体步骤为,将目标对象以及背景图像合并为训练图像,此时的训练图像为未进行信息标注的图像,由于目标对象与背景图像之间是任意位置进行合并,因此需要确定目标对象在训练图像中的位置信息,并根据位置信息对训练图像进行信息标注,得到标注图像,标注图像即为指示目标对象在训练图像中位置关系的训练图像,使得目标检测模型可以根据确定后的标注图像进行训练,进而可以确定目标图像中目标对象的位置信息。

在上述任一技术方案中,处理模块具体还用于:确定目标对象的旋转角度;将目标对象以旋转角度进行旋转后合并在背景图像上,得到训练图像。

在上述技术方案中,在将背景图像和目标对象进行合并为训练图像时,需要确定目标对象的旋转角度,并对目标对象进行旋转角度的旋转后合并在背景图像上,得到训练图像,通过对训练图像中目标对象姿态的调整,即不同旋转角度下的目标对象与背景图像合并的训练图像并不是同一个训练图像,在未增加目标对象以及背景图像的情况下增加了训练样本的数量以及多样性,可以提供大量的不同种类的标注数据对目标检测模型进行训练,减小运行资源的占用。

在上述技术方案中,将目标对象以旋转角度进行旋转后合并在背景图像上具体为,确定目标对象的旋转角度,示例性地,旋转角度可以是0°至360°中任意的一个角度,将目标对象通过固定的旋转中心根据旋转角度进行旋转,当目标对象旋转到固定的旋转角度的情况下,将目标对象合并到背景图像上形成训练图像。

在上述任一技术方案中,示例性地,在对训练图像中的目标对象进行姿态调整,除上述对目标对象进行旋转外,还可以对目标对象进行错切处理,以此增加训练样本的数量以及多样性。

在上述任一技术方案中,处理模块具体还用于:分别确定多个目标对象在对应的训练图像中的图像中心;根据图像中心确定多个目标对象在对应的训练图像中的坐标信息;根据坐标信息与旋转角度确定多个目标对象在对应的训练图像中的位置信息。

在上述技术方案中,训练图像是目标对象经旋转角度旋转后与背景图像合并后的图像,系统确定多个目标对象分别在对应的训练图像中的位置信息的具体步骤为,以一个训练图像中包括一个目标对象为例,确定训练图像中目标对象的图像中心,根据图像中心确定目标对象在训练图像中的坐标信息,而后根据坐标信息与旋转角度确定目标对象的具体位置信息,在对目标对象的位置信息确定时增加了对目标对象在训练图像中姿态的确定,以此增加了对目标对象不同变体检测的准确率。

在上述技术方案中,示例性地,将目标对象以印章为例,在系统确定目标对象在训练图像中的图像中心后,根据图像中心确定目标对象的边界框,进而确定目标对象的边界框的坐标信息(即目标对象的坐标信息),通过对目标对象坐标信息的确定,避免了人工标注定位不准确以及定位冗余或者不足的情况,而后在综合姿态调整后的目标对象的旋转角度确定目标对象在训练图像中的位置信息,使得训练后的目标检测模型可以根据目标图像中目标对象的位置信息以及目标图像中目标对象的姿态进行检测和识别,提升了训练后的目标检测模型泛化能力,能够实现对目标的不同变体进行检测。

在上述任一技术方案中,示例性地,确定多个目标对象分别在对应的训练图像中的位置信息还包括,以一个训练图像中包括多个目标对象为例,系统分别确定在训练图像中多个目标对象的图像中心,进而确定每个目标对象在该训练图像中的坐标信息,再通过结合每个目标对象的旋转角度确定每个目标对象在训练图像中的位置信息,其中,在训练图像中的多个目标对象的旋转角度可以相同也可以不同,进一步增加了样本多样性。

在上述任一技术方案中,训练模块具体用于:将多个标注图像输入至目标检测模型后,对多个标注图像进行数据增强处理;控制目标检测模型对数据增强处理后的多个标注图像进行训练。

在上述技术方案中,将多个标注图像输入目标检测模型后,还需要对标注图像进行数据增强处理,经数据增强处理后的标注图像的多样性以及识别难度有所增加,即可以增加目标检测模型对标注图像的处理难度,进而避免模型过拟合现象,提升模型的鲁棒性。

在上述技术方案中,示例性地,对标注图像进行数据增强处理的方法可以为尺度缩放处理、旋转处理、错切处理、透视变换处理、马赛克处理、mixup处理(一种数据增强方法)等数据处理方式,可以进一步的提升处理后的标注图像的多样性。

在上述任一技术方案中,识别模块具体用于:控制目标检测模型识别目标图像中的目标对象;基于目标图像中包括目标对象,目标检测模型输出第一指示信息,第一指示信息用于指示目标对象的位置信息;基于目标图像中不包括目标对象,目标检测模型输出第二指示信息,第二指示信息用于指示未识别出目标对象。

在上述技术方案中,系统控制经多个标注图像训练后的目标检测模型识别目标图像中的目标对象,目标检测模型根据不同的识别结果输出不同的指示信息。

具体地,在目标检测模型识别到目标图像中包括目标对象的情况下,输出用于指示目标对象在目标图像中的位置信息的第一指示信息,通过输出目标对象的位置信息,方便系统后续根据目标对象的位置信息对目标对象的提取、切割等操作;在目标检测模型没有识别到目标图像中包括目标对象的情况下,则输出用于指示未识别出目标对象的第二指示信息。通过使用训练后的目标检测模型对目标图像中的目标对象进行识别,增加了对目标对象识别的准确率,避免了误检、漏检等情况的发生。

在上述技术方案中,示例性地,目标检测模型在识别到目标对象的情况下,除了输出目标对象的位置信息外,还可以输出目标对象的类别信息,以目标对象为印章为例,其输出的类别信息可以是公章、财务专用章、合同专用章、发票专用章等印章的类别。

在上述任一技术方案中,获取模块具体用于:建立背景信息库,信息库中包括多个背景图像;基于获取目标对象,在背景信息库的多个背景图像中选择一个背景图像,与目标对象进行合并。

在上述技术方案中,系统将多个不同种类的背景图像集合成为背景信息库,在系统获取到目标对象时,系统在集合形成的背景信息库中的多个背景图像中选择其任意一个背景图像,用于与获取到的目标对象进行合并,以此使得目标对象与背景图像均是随机选择,在目标对象与背景图像合并为标注图像后,增加了待训练的标注图像的多样性。

本发明的第三方面提供了一种可读存储介质,可读存储介质上存储有程序或指令,程序或指令被处理器执行时实现如上述任一技术方案中的目标对象的检测方法的步骤。

本发明提供的可读存储介质,其上存储有程序或指令,程序或指令被处理器执行时可实现如上述任一技术方案中的目标对象的检测方法的步骤。因此,本发明所提出的可读存储介质具备上述任一技术方案中的目标对象的检测方法的全部有益效果,在此不再赘述。

本发明的第四方面提供了一种电子设备,包括:上述任一技术方案中的目标对象的检测装置;和/或上述技术方案中的可读存储介质。

本发明提供的电子设备可以是智能终端、服务器等具有数据处理能力的电子产品。

本发明提供的电子设备,包括上述任一技术方案中的目标对象的检测装置,因此,其具备上述任一技术方案中的目标对象的检测装置的全部有益效果,在此不再赘述。

在上述任一技术方案中,本发明提供的电子设备,还可包括上述技术方案中所限定的可读存储介质。因此,本发明所提出的电子设备具备上述技术方案中所限定的可读存储介质的全部有益效果,在此不再赘述。

本发明的附加方面和优点将在下面的描述部分中变得明显,或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:

图1示出了本发明实施例的目标对象的检测方法的流程示意图之一;

图2示出了本发明实施例的目标对象的检测方法的流程示意图之二;

图3示出了本发明实施例的目标对象的检测方法的流程示意图之三;

图4示出了本发明实施例的目标对象的检测方法的流程示意图之四;

图5示出了本发明实施例的目标对象的检测方法的流程示意图之五;

图6示出了本发明实施例的目标对象的检测方法的流程示意图之六;

图7示出了本发明实施例的目标对象的检测方法的流程示意图之七;

图8示出了本发明实施例的目标对象的检测装置的示意框图;

图9示出了本发明实施例的确定标注图像并对目标检测模型训练的示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。

本申请实施例提供的技术方案的执行主体可以是计算机系统,主体可以根据实际使用需求确定,本申请实施例不作限定。为了更加清楚地描述本申请实施例提供的目标对象的检测方法,下面方法实施例中以目标对象的检测方法的执行主体为系统进行示例性地说明。

如图1所示,本发明的第一方面的实施例提出了一种目标对象的检测方法,检测方法包括:

步骤102:获取多个目标对象,并选择与多个目标对象中的一个目标对象进行合并的背景图像;

步骤104:根据多个目标对象,以及目标对象进行合并的背景图像确定多个标注图像;

步骤106:建立目标检测模型,并将多个标注图像输入至目标检测模型进行训练;

步骤108:获取目标图像,使用训练后的目标检测模型识别目标图像中的目标对象。

在本发明的实施例中,系统获取多个目标对象,并选择与多个目标对象中任意一个目标对象进行合并的背景图像,使得多个目标对象可以与多个背景图像进行合并,以确定多个标注图像,而后使用多个标注图像对系统建立的目标检测模型进行训练,使得训练后的目标检测模型可以对目标图像中的目标对象进行识别。

在上述实施例中,多个目标对象与多个背景图像确定标注图像,其中,标注图像是模拟目标图像并用于对目标检测模型进行训练的图像,即目标对象用来模拟被识别的目标对象,通过使用系统合成的多个标注图像对目标检测模型进行训练,由于目标对象以及背景图像的数量与样式为多个,因此在满足进行训练的图像多样性的情况下,使得训练后的目标检测模型可以适应各种复杂的背景图像,对多种背景图像下的目标对象进行识别。

在上述任一实施例中,多个目标对象可以是印章、二维码、人像等需要被识别的对象,背景图像可以是与印章结合的票据背景、与人像结合的简历背景等与上述被识别对象相结合的背景图,目标图像以及目标图像中的目标对象可以是系统获取的真实的票据、简历以及真实的票据、简历中需要被识别的印章、人像。

在上述实施例中,将目标对象、目标对象以印章为例,目标图像以票据为例,背景图像以票据背景为例,示例性地,可以通过收集全国各省市行政或商业组织机构的名称来获取目标对象,并确定与目标对象对应合并的背景图像,将目标对象与背景图像进行合并并进行信息的标注,以形成用于训练的票据图像,即标注图像,使得通过此方式多个标注图像的背景图像与目标对象均不相同,增加训练样本的难度和多样性,将多个标注图像输入至目标检测模型进行模型的训练,使得训练后的模型可以避免模型过拟合现象,提升模型的鲁棒性。

在上述实施例中,将目标对象以印章为例,示例性地,系统可以获取全国各省市行政或商业组织机构的名称通过PIL(Python Imaging Library,一个python的图像处理库)生成的目标对象,具体地,将上述名称通过PIL在模型的底板上生成上述名称,并对该底板进行裁切、旋转、排版融合,最终生成完整印章,即目标对象。

在上述任一实施例中,将目标图像以票据为例,训练后的目标检测模型可以对多个种类的目标图像中的目标对象进行识别,其识别种类可以是增值税普通发票、增值税专用发票、增值税电子普通发票、增值税电子专用发票、出租车票、定额发票、航空行程单等票据种类。

在上述任一实施例中,目标检测模型可以是YOLO模型(You Only Look Once,目标检测模型),或是其他轻量级的目标检测模型。

如图2所示,在上述任一实施例中,根据多个目标对象,以及目标对象进行合并的背景图像确定多个标注图像,具体包括:

步骤202:获取多个目标对象,并选择与多个目标对象中的一个目标对象进行合并的背景图像;

步骤204:将背景图像以及目标对象合并为训练图像;

步骤206:确定多个目标对象分别在对应的训练图像中的位置信息;

步骤208:根据位置信息对位置信息对应的训练图像进行信息标注,确定多个标注图像;

步骤210:建立目标检测模型,并将多个标注图像输入至目标检测模型进行训练;

步骤212:获取目标图像,使用训练后的目标检测模型识别目标图像中的目标对象。

在上述实施例中,根据目标对象以及背景图像确定标注图像的具体步骤为,将目标对象以及背景图像合并为训练图像,此时的训练图像为未进行信息标注的图像,由于目标对象与背景图像之间是任意位置进行合并,因此需要确定目标对象在训练图像中的位置信息,并根据位置信息对训练图像进行信息标注,得到标注图像,标注图像即为指示目标对象在训练图像中位置关系的训练图像,使得目标检测模型可以根据确定后的标注图像进行训练,进而可以确定目标图像中目标对象的位置信息。

如图3所示,在上述任一实施例中,将背景图像以及目标对象合并为训练图像,具体包括:

步骤302:获取多个目标对象,并选择与多个目标对象中的一个目标对象进行合并的背景图像;

步骤304:确定目标对象的旋转角度;

步骤306:将目标对象以旋转角度进行旋转后合并在背景图像上,得到训练图像;

步骤308:确定多个目标对象分别在对应的训练图像中的位置信息;

步骤310:根据位置信息对位置信息对应的训练图像进行信息标注,确定多个标注图像;

步骤312:建立目标检测模型,并将多个标注图像输入至目标检测模型进行训练;

步骤314:获取目标图像,使用训练后的目标检测模型识别目标图像中的目标对象。

在上述实施例中,在将背景图像和目标对象进行合并为训练图像时,需要确定目标对象的旋转角度,并对目标对象进行旋转角度的旋转后合并在背景图像上,得到训练图像,通过对训练图像中目标对象姿态的调整,即不同旋转角度下的目标对象与背景图像合并的训练图像并不是同一个训练图像,在未增加目标对象以及背景图像的情况下增加了训练样本的数量以及多样性,可以提供大量的不同种类的标注数据对目标检测模型进行训练,减小运行资源的占用。

在上述实施例中,将目标对象以旋转角度进行旋转后合并在背景图像上具体为,确定目标对象的旋转角度,示例性地,旋转角度可以是0°至360°中任意的一个角度,将目标对象通过固定的旋转中心根据旋转角度进行旋转,当目标对象旋转到固定的旋转角度的情况下,将目标对象合并到背景图像上形成训练图像。

在上述任一实施例中,示例性地,在对训练图像中的目标对象进行姿态调整,除上述对目标对象进行旋转外,还可以对目标对象进行错切处理,以此增加训练样本的数量以及多样性。

如图4所示,在上述任一实施例中,确定多个目标对象分别在对应的训练图像中的位置信息,具体包括:

步骤402:获取多个目标对象,并选择与多个目标对象中的一个目标对象进行合并的背景图像;

步骤404:将背景图像以及目标对象合并为训练图像;

步骤406:分别确定多个目标对象在对应的训练图像中的图像中心;

步骤408:根据图像中心确定多个目标对象在对应的训练图像中的坐标信息;

步骤410:根据坐标信息与旋转角度确定多个目标对象在对应的训练图像中的位置信息;

步骤412:根据位置信息对位置信息对应的训练图像进行信息标注,确定多个标注图像;

步骤414:建立目标检测模型,并将多个标注图像输入至目标检测模型进行训练;

步骤416:获取目标图像,使用训练后的目标检测模型识别目标图像中的目标对象。

在上述实施例中,训练图像是目标对象经旋转角度旋转后与背景图像合并后的图像,系统确定多个目标对象分别在对应的训练图像中的位置信息的具体步骤为,以一个训练图像中包括一个目标对象为例,确定训练图像中目标对象的图像中心,根据图像中心确定目标对象在训练图像中的坐标信息,而后根据坐标信息与旋转角度确定目标对象的具体位置信息,在对目标对象的位置信息确定时增加了对目标对象在训练图像中姿态的确定,以此增加了对目标对象不同变体检测的准确率。

在上述实施例中,示例性地,将目标对象以印章为例,在系统确定目标对象在训练图像中的图像中心后,根据图像中心确定目标对象的边界框,进而确定目标对象的边界框的坐标信息(即目标对象的坐标信息),通过对目标对象坐标信息的确定,避免了人工标注定位不准确以及定位冗余或者不足的情况,而后在综合姿态调整后的目标对象的旋转角度确定目标对象在训练图像中的位置信息,使得训练后的目标检测模型可以根据目标图像中目标对象的位置信息以及目标图像中目标对象的姿态进行检测和识别,提升了训练后的目标检测模型泛化能力,能够实现对目标的不同变体进行检测。

在上述任一实施例中,示例性地,确定多个目标对象分别在对应的训练图像中的位置信息还包括,以一个训练图像中包括多个目标对象为例,系统分别确定在训练图像中多个目标对象的图像中心,进而确定每个目标对象在该训练图像中的坐标信息,再通过结合每个目标对象的旋转角度确定每个目标对象在训练图像中的位置信息,其中,在训练图像中的多个目标对象的旋转角度可以相同也可以不同,进一步增加了样本多样性。

如图5所示,在上述任一实施例中,将多个标注图像输入至目标检测模型进行训练,具体包括:

步骤502:获取多个目标对象,并选择与多个目标对象中的一个目标对象进行合并的背景图像;

步骤504:根据多个目标对象,以及目标对象进行合并的背景图像确定多个标注图像;

步骤506:将多个标注图像输入至目标检测模型后,对多个标注图像进行数据增强处理;

步骤508:控制目标检测模型对数据增强处理后的多个标注图像进行训练;

步骤510:获取目标图像,使用训练后的目标检测模型识别目标图像中的目标对象。

在上述实施例中,将多个标注图像输入目标检测模型后,还需要对标注图像进行数据增强处理,经数据增强处理后的标注图像的多样性以及识别难度有所增加,即可以增加目标检测模型对标注图像的处理难度,进而避免模型过拟合现象,提升模型的鲁棒性。

在上述实施例中,示例性地,对标注图像进行数据增强处理的方法可以为尺度缩放处理、旋转处理、错切处理、透视变换处理、马赛克处理、mixup处理(一种数据增强方法)等数据处理方式,可以进一步的提升处理后的标注图像的多样性。

在上述任一实施例中,如图9所示,获取模块获取目标对象,处理模块调整目标对象的姿态,即将目标对象以旋转角度进行旋转,将调整姿态后的目标对象与背景信息库中的背景图像合并为训练图像,并确定目标对象在训练图像中的位置信息,根据位置信息对训练图像进行信息标注,得到标注图像,而后训练模块将得到的标注图像输入目标检测模型中进行训练。

在上述实施例中,图9中还示出了生成用于训练目标检测模型的目标对象的示意图,目标对象包括目标对象的轮廓以及目标对象的内容,具体地,在背景底板上生成目标对象的轮廓,通过信息库获取目标对象的内容,将目标对象的内容通过PIL在模型的底板上生成目标对象的名称,并对目标对象的内容进行姿态的调整,最终生成完整的目标对象,获取模块获取目标对象,并在背景信息库中选择与目标对象进行合并的背景图像。

在上述任一实施例中,多个标注图像的背景图像与目标对象均不相同,增加训练样本的难度和多样性,将确定多个标注图像的目标对象进行旋转角度的旋转,使得不同旋转角度下的目标对象与背景图像合并的训练图像并不是同一个训练图像,在未增加目标对象以及背景图像的情况下增加了训练样本的数量以及多样性,可以提供大量的不同种类的标注数据对目标检测模型进行训练,减小运行资源的占用,将上述多个标注图像输入至目标检测模型进行模型的训练,使得训练后的模型可以避免模型过拟合现象,提升模型的鲁棒性。

如图6所示,在上述任一实施例中,使用训练后的目标检测模型检测目标图像中的目标对象,具体包括:

步骤602:获取多个目标对象,并选择与多个目标对象中的一个目标对象进行合并的背景图像;

步骤604:根据多个目标对象,以及目标对象进行合并的背景图像确定多个标注图像;

步骤606:建立目标检测模型,并将多个标注图像输入至目标检测模型进行训练;

步骤608:控制目标检测模型识别目标图像中的目标对象;

步骤610:基于目标图像中包括目标对象,目标检测模型输出第一指示信息,第一指示信息用于指示目标对象的位置信息;

步骤612:基于目标图像中不包括目标对象,目标检测模型输出第二指示信息,第二指示信息用于指示未识别出目标对象。

在上述实施例中,系统控制经多个标注图像训练后的目标检测模型识别目标图像中的目标对象,目标检测模型根据不同的识别结果输出不同的指示信息。

具体地,在目标检测模型识别到目标图像中包括目标对象的情况下,输出用于指示目标对象在目标图像中的位置信息的第一指示信息,通过输出目标对象的位置信息,方便系统后续根据目标对象的位置信息对目标对象的提取、切割等操作;在目标检测模型没有识别到目标图像中包括目标对象的情况下,则输出用于指示未识别出目标对象的第二指示信息。通过使用训练后的目标检测模型对目标图像中的目标对象进行识别,增加了对目标对象识别的准确率,避免了误检、漏检等情况的发生。

在上述实施例中,示例性地,目标检测模型在识别到目标对象的情况下,除了输出目标对象的位置信息外,还可以输出目标对象的类别信息,以目标对象为印章为例,其输出的类别信息可以是公章、财务专用章、合同专用章、发票专用章等印章的类别。

如图7所示,在上述任一实施例中,选择与多个目标对象中的一个目标对象进行合并的背景图像,具体包括:

步骤702:获取多个目标对象,建立背景信息库,信息库中包括多个背景图像;

步骤704:基于获取目标对象,在背景信息库的多个背景图像中选择一个背景图像,与目标对象进行合并;

步骤706:根据多个目标对象,以及目标对象进行合并的背景图像确定多个标注图像;

步骤708:建立目标检测模型,并将多个标注图像输入至目标检测模型进行训练;

步骤710:获取目标图像,使用训练后的目标检测模型识别目标图像中的目标对象。

在上述实施例中,系统将多个不同种类的背景图像集合成为背景信息库,在系统获取到目标对象时,系统在集合形成的背景信息库中的多个背景图像中选择其任意一个背景图像,用于与获取到的目标对象进行合并,以此使得目标对象与背景图像均是随机选择,在目标对象与背景图像合并为标注图像后,增加了待训练的标注图像的多样性。

如图8所示,本发明的第二方面实施例提供了一种目标对象的检测装置800,目标对象的检测装置800包括:获取模块802,用于获取多个目标对象,并选择与多个目标对象中的一个目标对象进行合并的背景图像;处理模块804,用于根据多个目标对象,以及目标对象进行合并的背景图像确定多个标注图像;训练模块806,用于建立目标检测模型,并将多个标注图像输入至目标检测模型进行训练;识别模块808,用于获取目标图像,使用训练后的目标检测模型识别目标图像中的目标对象。

在本发明的实施例中,获取模块获取多个目标对象,并选择与多个目标对象中任意一个目标对象进行合并的背景图像,使得多个目标对象可以与多个背景图像进行合并,以使处理模块确定多个标注图像,而后训练模块使用多个标注图像对系统建立的目标检测模型进行训练,使得识别模块使用训练后的目标检测模型对目标图像中的目标对象进行识别。

在上述实施例中,多个目标对象与多个背景图像确定标注图像,其中,标注图像是模拟目标图像并用于对目标检测模型进行训练的图像,即目标对象用来模拟被识别的目标对象,通过使用系统合成的多个标注图像对目标检测模型进行训练,由于目标对象以及背景图像的数量与样式为多个,因此在满足进行训练的图像多样性的情况下,使得训练后的目标检测模型可以适应各种复杂的背景图像,对多种背景图像下的目标对象进行识别。

在上述任一实施例中,多个目标对象可以是印章、二维码、人像等需要被识别的对象,背景图像可以是与印章结合的票据背景、与人像结合的简历背景等与上述被识别对象相结合的背景图,目标图像以及目标图像中的目标对象可以是系统获取的真实的票据、简历以及真实的票据、简历中需要被识别的印章、人像。

在上述实施例中,将目标对象、目标对象以印章为例,目标图像以票据为例,背景图像以票据背景为例,示例性地,可以通过收集全国各省市行政或商业组织机构的名称来获取目标对象,并确定与目标对象对应合并的背景图像,将目标对象与背景图像进行合并并进行信息的标注,以形成用于训练的票据图像,即标注图像,使得通过此方式多个标注图像的背景图像与目标对象均不相同,增加训练样本的难度和多样性,将多个标注图像输入至目标检测模型进行模型的训练,使得训练后的模型可以避免模型过拟合现象,提升模型的鲁棒性。

在上述实施例中,将目标对象以印章为例,示例性地,系统可以获取全国各省市行政或商业组织机构的名称通过PIL(Python Imaging Library,一个python的图像处理库)生成的目标对象,具体地,将上述名称通过PIL在模型的底板上生成上述名称,并对该底板进行裁切、旋转、排版融合,最终生成完整印章,即目标对象。

在上述任一实施例中,将目标图像以票据为例,训练后的目标检测模型可以对多个种类的目标图像中的目标对象进行识别,其识别种类可以是增值税普通发票、增值税专用发票、增值税电子普通发票、增值税电子专用发票、出租车票、定额发票、航空行程单等票据种类。

在上述任一实施例中,目标检测模型可以是YOLO模型(You Only Look Once,目标检测模型),或是其他轻量级的目标检测模型。

在上述任一实施例中,处理模块具体用于:将背景图像以及目标对象合并为训练图像;确定多个目标对象分别在对应的训练图像中的位置信息;根据位置信息对位置信息对应的训练图像进行信息标注,确定多个标注图像。

在上述实施例中,根据目标对象以及背景图像确定标注图像的具体步骤为,将目标对象以及背景图像合并为训练图像,此时的训练图像为未进行信息标注的图像,由于目标对象与背景图像之间是任意位置进行合并,因此需要确定目标对象在训练图像中的位置信息,并根据位置信息对训练图像进行信息标注,得到标注图像,标注图像即为指示目标对象在训练图像中位置关系的训练图像,使得目标检测模型可以根据确定后的标注图像进行训练,进而可以确定目标图像中目标对象的位置信息。

在上述任一实施例中,处理模块具体还用于:确定目标对象的旋转角度;将目标对象以旋转角度进行旋转后合并在背景图像上,得到训练图像。

在上述实施例中,在将背景图像和目标对象进行合并为训练图像时,需要确定目标对象的旋转角度,并对目标对象进行旋转角度的旋转后合并在背景图像上,得到训练图像,通过对训练图像中目标对象姿态的调整,即不同旋转角度下的目标对象与背景图像合并的训练图像并不是同一个训练图像,在未增加目标对象以及背景图像的情况下增加了训练样本的数量以及多样性,可以提供大量的不同种类的标注数据对目标检测模型进行训练,减小运行资源的占用。

在上述实施例中,将目标对象以旋转角度进行旋转后合并在背景图像上具体为,确定目标对象的旋转角度,示例性地,旋转角度可以是0°至360°中任意的一个角度,将目标对象通过固定的旋转中心根据旋转角度进行旋转,当目标对象旋转到固定的旋转角度的情况下,将目标对象合并到背景图像上形成训练图像。

在上述任一实施例中,示例性地,在对训练图像中的目标对象进行姿态调整,除上述对目标对象进行旋转外,还可以对目标对象进行错切处理,以此增加训练样本的数量以及多样性。

在上述任一实施例中,处理模块具体还用于:分别确定多个目标对象在对应的训练图像中的图像中心;根据多个图像中心确定多个目标对象在对应的训练图像中的坐标信息;根据坐标信息与旋转角度确定多个目标对象在对应的训练图像中的位置信息。

在上述实施例中,训练图像是目标对象经旋转角度旋转后与背景图像合并后的图像,系统确定多个目标对象分别在对应的训练图像中的多个位置信息的具体步骤为,以一个训练图像中包括一个目标对象为例,确定训练图像中目标对象的图像中心,根据图像中心确定目标对象在训练图像中的坐标信息,而后根据坐标信息与旋转角度确定目标对象的具体位置信息,在对目标对象的位置信息确定时增加了对目标对象在训练图像中姿态的确定,以此增加了对目标对象不同变体检测的准确率。

在上述实施例中,示例性地,将目标对象以印章为例,在系统确定目标对象在训练图像中的图像中心后,根据图像中心确定目标对象的边界框,进而确定目标对象的边界框的坐标信息(即目标对象的坐标信息),通过对目标对象坐标信息的确定,避免了人工标注定位不准确以及定位冗余或者不足的情况,而后在综合姿态调整后的目标对象的旋转角度确定目标对象在训练图像中的位置信息,使得训练后的目标检测模型可以根据目标图像中目标对象的位置信息以及目标图像中目标对象的姿态进行检测和识别,提升了训练后的目标检测模型泛化能力,能够实现对目标的不同变体进行检测。

在上述任一实施例中,示例性地,确定多个目标对象分别在对应的训练图像中的位置信息还包括,以一个训练图像中包括多个目标对象为例,系统分别确定在训练图像中多个目标对象的图像中心,进而确定每个目标对象在该训练图像中的坐标信息,再通过结合每个目标对象的旋转角度确定每个目标对象在训练图像中的位置信息,其中,在训练图像中的多个目标对象的旋转角度可以相同也可以不同,进一步增加了样本多样性。

在上述任一实施例中,训练模块具体用于:将多个标注图像输入至目标检测模型后,对多个标注图像进行数据增强处理;控制目标检测模型对数据增强处理后的多个标注图像进行训练。

在上述实施例中,将多个标注图像输入目标检测模型后,还需要对标注图像进行数据增强处理,经数据增强处理后的标注图像的多样性以及识别难度有所增加,即可以增加目标检测模型对标注图像的处理难度,进而避免模型过拟合现象,提升模型的鲁棒性。

在上述实施例中,示例性地,对标注图像进行数据增强处理的方法可以为尺度缩放处理、旋转处理、错切处理、透视变换处理、马赛克处理、mixup处理(一种数据增强方法)等数据处理方式,可以进一步的提升处理后的标注图像的多样性。

在上述任一实施例中,识别模块具体用于:控制目标检测模型识别目标图像中的目标对象;基于目标图像中包括目标对象,目标检测模型输出第一指示信息,第一指示信息用于指示目标对象的位置信息;基于目标图像中不包括目标对象,目标检测模型输出第二指示信息,第二指示信息用于指示未识别出目标对象。

在上述实施例中,系统控制经多个标注图像训练后的目标检测模型识别目标图像中的目标对象,目标检测模型根据不同的识别结果输出不同的指示信息。

具体地,在目标检测模型识别到目标图像中包括目标对象的情况下,输出用于指示目标对象在目标图像中的位置信息的第一指示信息,通过输出目标对象的位置信息,方便系统后续根据目标对象的位置信息对目标对象的提取、切割等操作;在目标检测模型没有识别到目标图像中包括目标对象的情况下,则输出用于指示未识别出目标对象的第二指示信息。通过使用训练后的目标检测模型对目标图像中的目标对象进行识别,增加了对目标对象识别的准确率,避免了误检、漏检等情况的发生。

在上述实施例中,示例性地,目标检测模型在识别到目标对象的情况下,除了输出目标对象的位置信息外,还可以输出目标对象的类别信息,以目标对象为印章为例,其输出的类别信息可以是公章、财务专用章、合同专用章、发票专用章等印章的类别。

在上述任一实施例中,获取模块具体用于:建立背景信息库,信息库中包括多个背景图像;基于获取目标对象,在背景信息库的多个背景图像中选择一个背景图像,与目标对象进行合并。

在上述实施例中,系统将多个不同种类的背景图像集合成为背景信息库,在系统获取到目标对象时,系统在集合形成的背景信息库中的多个背景图像中选择其任意一个背景图像,用于与获取到的目标对象进行合并,以此使得目标对象与背景图像均是随机选择,在目标对象与背景图像合并为标注图像后,增加了待训练的标注图像的多样性。

本发明的第三方面实施例提供了一种可读存储介质,可读存储介质上存储有程序或指令,程序或指令被处理器执行时实现如上述任一实施例中的目标对象的检测方法的步骤。

本发明提供的可读存储介质,其上存储有程序或指令,程序或指令被处理器执行时可实现如上述任一实施例中的目标对象的检测方法的步骤。因此,本发明所提出的可读存储介质具备上述任一实施例中的目标对象的检测方法的全部有益效果,在此不再赘述。

本发明的第四方面实施例提供了一种电子设备,包括:上述任一实施例中的目标对象的检测装置;和/或上述实施例中的可读存储介质。

本发明提供的电子设备可以是智能终端、服务器等具有数据处理能力的电子产品。

本发明提供的电子设备,包括上述任一实施例中的目标对象的检测装置,因此,其具备上述任一实施例中的目标对象的检测装置的全部有益效果,在此不再赘述。

在上述任一实施例中,本发明提供的电子设备,还可包括上述实施例中所限定的可读存储介质。因此,本发明所提出的电子设备具备上述实施例中所限定的可读存储介质的全部有益效果,在此不再赘述。

在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

技术分类

06120115629794