一种倒影检测方法、装置及设备

技术领域

本申请涉及图像检测技术领域，更具体的说，是涉及一种倒影检测方法、装置及设备。

背景技术

倒影图像是一种很常见的自然景观图像，其成像原理遵循平面镜成像原理，形成的是一种虚像。在很多现实应用场景中，倒影检测是一个重要的环节。例如需要检测行人或者物体等障碍物的位置，或者是水面目标物体(如船只)的位置检测，如果检测过程没有将倒影的位置确定下来，将会对真实物体的位置造成干扰，检测系统可能会误认为倒影的位置为真实需要检测的行人或者目标物体的位置，这会对实际检测结果产生较大影响。因此，对行人或者物体在水面的倒影的位置检测成为相关技术领域技术人员关注的问题，对于倒影检测亟需提供一种可靠的倒影检测方法。

发明内容

鉴于上述问题，本申请提供一种倒影检测方法、装置及设备，以实现对倒影的检测。具体方案如下：

一种倒影检测方法，包括：

获取待检测图像；

将所述待检测图像输入预设的实体检测模型，得到实体位置区域；将所述待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域；所述实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到；所述联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到；

根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域。

可选的，所述实体检测模型的训练过程，包括：

获取实体训练图像集，实体训练图像标注有实体位置区域；

将所述实体训练图像集中的实体训练图像输入到所述实体检测模型中，得到实体检测模型输出的所述实体训练图像对应的实体位置区域；

以所述输出的所述实体训练图像对应的实体位置区域趋近于所述实体训练图像中标注的实体位置区域为训练目标，更新所述实体检测模型的参数。

可选的，所述联合体检测模型的训练过程，包括：

获取联合体训练图像集，联合体训练图像中包含实体与实体倒影，所述联合体训练图像标注有实体与实体倒影组成整体的联合体位置区域；

将所述联合体训练图像集中的联合体训练图像输入到所述联合体检测模型中，得到联合体检测模型输出的所述联合体训练图像对应的联合体位置区域；

以所述输出的所述联合体训练图像对应的联合体位置区域趋近于所述联合体训练图像中标注的联合体位置区域为训练目标，更新所述联合体检测模型的参数。

可选的，所述实体位置区域和所述联合体位置区域各自均为一个；

则所述根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域，包括：

根据所述联合体位置区域与所述实体位置区域的几何关系，得到倒影位置区域。

可选的，所述实体位置区域和所述联合体位置区域各自均为多个；

则所述根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域，包括：

针对每一联合体位置区域，计算各所述实体位置区域与所述联合体位置区域的交并比，并选取交并比最大的实体位置区域作为与所述联合体位置区域匹配的实体位置区域，以得到每一联合体位置区域匹配的实体位置区域；

根据所述每一联合体位置区域、与之匹配的实体位置区域之间的几何关系，得到倒影位置区域。

可选的，所述计算各所述实体位置区域与所述联合体位置区域的交并比，包括：

计算所述实体位置区域与所述联合体位置区域的交集；

计算所述实体位置区域与所述联合体位置区域的并集；

计算所述交集与所述并集的比值作为所述实体位置区域与所述联合体位置区域的交并比。

可选的，所述实体位置区域包括水平起始位置x

可选的，根据联合体位置区域与实体位置区域的几何关系，得到倒影位置区域，包括：

计算所述实体位置区域的水平起始位置x

x

计算所述实体位置区域的水平起始位置x

height

sum

sum

将所述实体位置区域的垂直起始位置y

y

将所述实体位置区域的水平宽度width

width

一种倒影检测装置，包括：

待检测图像获取单元，用于获取待检测图像；

模型预测单元，用于将所述待检测图像输入预设的实体检测模型，得到实体位置区域；将所述待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域；所述实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到；所述联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到；

倒影位置区域获取单元，用于根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域。

一种倒影检测设备，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现上述的倒影检测方法的各个步骤。

可见，借由上述技术方案，本申请通过将获取到的待检测图像输入预设的实体检测模型，得到实体位置区域，实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到的；同样地，将待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域，联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到；进一步地，根据所得到的实体位置区域与联合体位置区域得到倒影位置区域，实现对倒影的检测。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的倒影检测方法的一流程示意图；

图2示例了一种待检测图像分别输入实体检测模型与联合体检测模型得到实体位置区域与联合体位置区域的过程示意图；

图3为本申请实施例提供的一种计算实体位置区域与联合体位置区域交并比示意图；

图4为本申请实施例提供的一种实体位置区域与联合体位置区域示意图；

图5为本申请实施例提供的一种倒影位置区域的示意图；

图6为本申请实施例提供的一种倒影检测装置结构示意图；

图7为本申请实施例提供的倒影检测设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的申请人发现，倒影检测在现实的许多应用场景中是一个重要的环节，例如需要检测行人或者物体等障碍物的位置，或者是水面目标物体(如船只)的位置检测，如果检测过程没有将倒影的位置确定下来，将会对真实物体的位置造成干扰，检测系统可能会误认为倒影的位置为真实需要检测的行人或者目标物体的位置，这会对实际检测结果产生较大影响。因此，对行人或者物体在水面的倒影的位置检测成为相关技术领域技术人员关注的问题，对于倒影检测亟需提供一种可靠的倒影检测方法。本申请提供了一种倒影检测方案，可以适用于解决各类型需要检测倒影的任务。

接下来对本申请的倒影检测方法进行详细的介绍，请参考图1，图1为本申请实施例提供的一种倒影检测方法的流程示意图，该方法包括如下步骤：

步骤S110，获取待检测图像。

具体地，获取的待检测图像可以是通过摄影机拍摄得到的，也可以是通过手机获取拍摄得到的，还可以是通过摄像机拍摄得到的，总之，本申请实施例对待检测图像拍摄的设备不作限定。待检测图像的类型可以是红外图像，也可以是可见光图像。所获取到的待检测图像可以仅包含实体，也可以既包含实体又包含实体的倒影，还可以仅包含实体倒影，待检测图像包含的信息的多少与待检测图像的类型对实现本申请提供的倒影检测方法没有影响。

需要说明的是，实体可以是静止的人或物，也可以是运动的人或物，实体倒影可以是实体在水面形成的虚像，也可以是在地面上形成的虚像。

步骤S120，基于预设的模型处理待检测图像，得到实体位置区域和联合体位置区域。

具体地，上述预设的模型可以包括实体检测模型、联合体检测模型。将待检测图像输入预设的实体检测模型，可以得到实体位置区域；同样地，将待检测图像输入预设的联合体检测模型，可以得到实体与实体倒影组成整体的联合体位置区域。另外，实体检测模型可以是以标注有实体位置区域的训练图像作为训练数据训练得到的；联合体检测模型可以是以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到的。

需要说明的是，可以先将待检测图像输入到预设的实体检测模型，得到实体位置区域，再将所述待检测图像输入到预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域；也可以是先将所述待检测图像输入到预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域，再将待检测图像输入到预设的实体检测模型，得到实体位置区域；也可以是将待检测图像同时输入到实体检测模型和联合体检测模型。对于获取实体位置区域及联合体位置区域的顺序，本申请不做严格限定。

步骤S130，根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域。

具体地，根据实体位置区域与联合体位置区域，可以确定倒影的位置区域。实体位置区域表示的是实体所在位置的范围，联合体位置区域表示的是实体与实体倒影组成的整体所在位置的范围。实体位置区域与联合体位置区域本身可提供得到倒影位置区域的信息，结合两者的区域信息，可以确定倒影位置区域信息。

从上述的技术方案可以看出，本申请通过将获取到的待检测图像输入预设的实体检测模型，得到实体位置区域，实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到；同样地，将待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域，联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到的；进一步地，根据所得到的实体位置区域与联合体位置区域得到倒影位置区域，实现对倒影的检测。

在本申请的一些实施例中，对上述提及的实体检测模型及联合体检测模型的训练过程进行详细介绍。

具体地，本申请可以先获取图像集，图像集一般是包含大量图像的一个集合。图像集中有两种图像，分别是图像中仅包含实体、图像中既包含实体也包含实体倒影。将图像集划分为实体训练图像集Φ

将获取到的实体训练图像集Φ

进一步地，训练时，将实体训练图像集Φ

同样地，将联合体训练图像集Φ

可以将测试集Φ

在本申请的一些实施例中，所获取的待检测图像中的实体位置区域和联合体位置区域可以各自均为1个，也可以各自均为多个。本申请实施例以包含两个实体以及两个实体对应的倒影的图像为例，详细说明待检测图像输入实体检测模型、联合体检测模型，得到实体位置区域、联合体位置区域的过程。请参照图2，图2示例了一种待检测图像分别输入实体检测模型与联合体检测模型得到实体位置区域与联合体位置区域的过程示意图。

如图2所示，待检测图像21表示待检测图像中包含两个人，且这两个人的倒影也包含在这张待检测的图像中。将待检测图像21输入到通过预先训练确定参数的实体检测模型model

同样的，将待检测图像21输入到通过预先训练确定参数的联合体检测模型model

在本申请的一些实施例中，当实体位置区域和联合体位置区域各自均为多个时，需要针对每一联合体位置区域，计算各实体位置区域与每一联合体位置区域的交并比，并选取交并比最大的实体位置区域作为与联合体位置区域匹配的实体位置区域，以得到每一联合体位置区域匹配的实体位置区域。

实体位置区域可以不止一个，联合体位置区域也可以不止一个，在这种情况下，首先需要确定每一个联合位置区域所匹配的实体位置区域，才能准确地找到联合体位置区域中实体位置区域所对应的实体倒影位置区域。如上述例子，请参照图2，待检测图像21中有两个人体，以及两个人体对应的倒影，输入实体检测模型model

同样的，取IOU

请参照图3，图3本申请实施例提供的一种计算实体位置区域与联合体位置区域交并比示意图；如图3所示，实体位置区域S31的水平起始位置为X

其中intersect表示实体位置区域S31与联合体位置区域S32的交集区域，intersect的表达式如下：

其中condition为判决条件，需要判断实体位置区域S31与联合体位置区域S32是否有交集，若有交集，则计算交集区域intersect。condition的表达式如下：

W

W

H

H

本申请实施例提供了实体位置区域与联合体位置区域交并比的计算过程。通过计算交并比可以确定每一个联合体位置区域匹配的实体位置区域，根据相互匹配的联合体位置区域与实体位置区域，可以得到倒影位置区域。

本申请的一些实施例中，可以根据联合体位置区域与实体位置区域的几何关系，得到倒影位置区域。下面对根据联合体位置区域与实体位置区域的几何关系，得到倒影位置区域的过程作详细说明。

请参照图4，图4为本申请实施例提供的一种实体位置区域与联合体位置区域相对位置示意图。

如图4所示，实体位置区域的水平起始位置为x

则倒影位置区域的水平起始位置x

x

倒影位置区域的垂直起始位置y

y

倒影位置区域的水平宽度width

width

倒影位置区域的垂直高度height

height

其中x

height

本申请实施例，对根据联合体位置区域与实体位置区域的几何关系，得到倒影位置区域的过程作了详细说明，得到的倒影区域位置请参照图5，图5为本申请实施例提供的一种倒影位置区域的示意图。

下面对本申请实施例提供的倒影检测装置进行描述，下文描述的倒影检测装置与上文描述的倒影检测方法可相互对应参照。

参见图6，图6为本申请实施例提供的一种倒影检测装置结构示意图。

如图6所示，该装置可以包括：

待检测图像获取单元61，用于获取待检测图像；

模型预测单元62，用于将所述待检测图像输入预设的实体检测模型，得到实体位置区域；将所述待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域；所述实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到；所述联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到；

倒影位置区域获取单元63，用于根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域。

从上述的技术方案可以看出，本申请通过将获取到的待检测图像输入预设的实体检测模型，得到实体位置区域，实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到；同样地，将待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域，联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到；进一步地，根据所得到的实体位置区域与联合体位置区域得到倒影位置区域，实现对倒影的检测。

可选的，上述倒影检测装置，还可以包括实体检测模型训练单元和联合体检测模型单元；

上述实体检测模型训练单元，用于实体检测模型的训练；

上述联合体检测模型单元，用于联合体检测模型的训练；

可选的，上述实体检测模型训练单元的实体检测模型训练的过程，可以包括：

获取实体训练图像集，实体训练图像标注有实体位置区域；

将所述实体训练图像集中的实体训练图像输入到所述实体检测模型中，得到实体检测模型输出的所述实体训练图像对应的实体位置区域；

以所述输出的所述实体训练图像对应的实体位置区域趋近于所述实体训练图像中标注的实体位置区域为训练目标，更新所述实体检测模型的参数。

可选的，上述联合体检测模型训练单元的联合体检测模型训练的过程，可以包括：

获取联合体训练图像集，联合体训练图像中包含实体与实体倒影，所述联合体训练图像标注有实体与实体倒影组成整体的联合体位置区域；

将所述联合体训练图像集中的联合体训练图像输入到所述联合体检测模型中，得到联合体检测模型输出的所述联合体训练图像对应的联合体位置区域；

以所述输出的所述联合体训练图像对应的联合体位置区域趋近于所述联合体训练图像中标注的联合体位置区域为训练目标，更新所述联合体检测模型的参数。

可选的，上述实体位置区域和上述联合体位置区域各自可以均为一个，在此基础上，上述倒影位置区域获取单元63根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域的过程，可以包括：

根据所述联合体位置区域与所述实体位置区域的几何关系，得到倒影位置区域。

可选的，上述实体位置区域和上述联合体位置区域各自可以均为多个，在此基础上，上述倒影位置区域获取单元63根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域的过程，可以包括：

针对每一联合体位置区域，计算各所述实体位置区域与所述联合体位置区域的交并比，并选取交并比最大的实体位置区域作为与所述联合体位置区域匹配的实体位置区域，以得到每一联合体位置区域匹配的实体位置区域；

根据所述每一联合体位置区域、与之匹配的实体位置区域之间的几何关系，得到倒影位置区域。

可选的，上述倒影位置区域获取单元63针对每一联合体位置区域，计算各所述实体位置区域与所述联合体位置区域的交并比的过程，可以包括：

计算所述实体位置区域与所述联合体位置区域的交集；

计算所述实体位置区域与所述联合体位置区域的并集；

计算所述交集与所述并集的比值作为所述实体位置区域与所述联合体位置区域的交并比。

可选的，上述实体位置区域可以包括水平起始位置x

可选的，上述倒影位置区域获取单元63根据所述联合体位置区域与所述实体位置区域的几何关系，得到倒影位置区域的过程，可以包括：

计算所述实体位置区域的水平起始位置x

x

计算所述实体位置区域的水平起始位置x

height

sum

sum

将所述实体位置区域的垂直起始位置y

y

将所述实体位置区域的水平宽度width

width

本申请实施例提供的倒影检测装置可应用于倒影检测设备。可选的，图7示出了倒影检测设备的硬件结构框图，参照图7，倒影检测设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；

在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；

处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；

其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：

获取待检测图像；

将所述待检测图像输入预设的实体检测模型，得到实体位置区域；将所述待检测图像输入预设的联合体检测模型，得到实体与实体倒影组成整体的联合体位置区域；所述实体检测模型以标注有实体位置区域的训练图像作为训练数据训练得到；所述联合体检测模型以标注有实体与实体倒影组成整体的联合体位置区域的训练图像作为训练数据训练得到；

根据所述实体位置区域与所述联合体位置区域，得到倒影位置区域。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。