图像识别方法、装置、电子设备和存储介质

技术领域

本申请涉及深度学习技术领域，具体涉及一种图像识别方法、装置、电子设备和存储介质。

背景技术

由多张图像拼接而成的全景图像记录拍摄场景中某个方向上360度的全部信息，虽然全景图像式上已经投影成平面图，但是平面展开的全景图关于360度方向上的两边界的场景内容是关联的，其内容表达的语义仍然是全景的。

然而，现有的图像检测模型只能按照平面图的方式进行特征提取，无法学习到全景图的语义信息，导致信息断层，会将分别位于两个边界上的同一个目标检测为两个不同的目标，使得目标检测召回率低，因此，亟需一种能够学习到全景图的语义信息以及提高目标检测召回率的图像检测方法。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请实施例提供一种图像识别方法、装置、电子设备和存储介质，以学习到全景图像的语义信息的同时提高目标检测召回率。

本申请实施例提供一种图像识别方法，包括：

获取全景图像，以及卷积窗口，全景图像包括第一边界和第二边界，第一边界与第二边界平行；

基于卷积窗口与第一边界之间的位置，在全景图像内确定第一目标区域，第一目标区域的一边界与第二边界重叠；

采用卷积窗口，对第一目标区域和第二目标区域中的数据进行卷积处理，得到卷积值，第二目标区域为卷积窗口在全景图像上与第一边界相交时对应的区域；

基于卷积值，对全景图像进行目标对象识别，得到目标对象的识别结果。

本申请实施例还提供一种图像识别装置，包括：

获取单元，用于获取全景图像，以及卷积窗口，全景图像包括第一边界和第二边界，第一边界与第二边界平行；

区域确定单元，用于基于所述卷积窗口与所述第一边界之间的位置，在全景图像内确定第一目标区域，第一目标区域的一边界与第二边界重叠；

卷积处理单元，用于采用卷积窗口，对第一目标区域和第二目标区域中的数据进行卷积处理，得到卷积值，第二目标区域为卷积窗口在全景图像上与第一边界相交时对应的区域；

图像识别单元，用于基于卷积值，对全景图像域进行目标对象识别，得到目标对象的识别结果。

本申请实施例可以获取全景图像，以及卷积窗口，全景图像包括第一边界和第二边界，第一边界与第二边界平行；基于卷积窗口与第一边界之间的位置，在全景图像内确定第一目标区域，第一目标区域的一边界与第二边界重叠；采用卷积窗口，对第一目标区域和第二目标区域中的数据进行卷积处理，得到卷积值，第二目标区域为卷积窗口在全景图像上与第一边界相交时对应的区域；基于卷积值，对全景图像进行目标对象识别，得到目标对象的识别结果。

在本申请中，若将全景图像的第一边界和第二边界拼接后，可以在全景图像中得到一个完整的目标对象，其中，基于卷积窗口与第一边界之间的位置，即卷积窗口与第一边界相交时，可以从全景图像内确定第一目标区域，该第一目标区域的一边界与第二边界重叠，并采用卷积窗口，对第一目标区域和第二目标区域中的数据进行卷积处理，而第二目标区域为卷积窗口在全景图像上与第一边界相交时对应的区域，如此，在卷积时可以将第一目标区域中的数据与第二目标区域中的数据关联，以学习到全景图像的语义信息，尽而可以在全景图像中识别出目标对象，该目标对象所在的区域分布在第一边界和第二边界处，可以提高目标检测召回率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像识别方法的示例性系统架构框图；

图2a是本申请实施例提供的一图像识别方法的流程示意图；

图2b是本申请实施例提供的另一图像识别方法的流程示意图；

图2c是本申请实施例提供的复制区域的示意图；

图2d是本申请实施例提供的全景图像经过目标对象识别后对应的示意图；

图3a是本申请实施例提供的一目标子窗口的移动示意图；

图3b是本申请实施例提供的另一目标子窗口的移动示意图；

图4是本申请实施例提供的图像识别装置的结构示意图；

图5是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供图像识别方法、装置、电子设备和存储介质。

其中，该图像识别装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

在一些实施例中，该图像识别装置还可以集成在多个电子设备中，比如，图像识别装置可以集成在多个服务器中，由多个服务器来实现本申请的图像识别方法。

在一些实施例中，服务器也可以以终端的形式来实现。

例如，获取全景图像，以及卷积窗口，全景图像包括第一边界和第二边界，第一边界与第二边界平行；基于卷积窗口与第一边界之间的位置，在全景图像内确定第一目标区域，第一目标区域的一边界与第二边界重叠；采用卷积窗口，对第一目标区域和第二目标区域中的数据进行卷积处理，得到卷积值，第二目标区域为卷积窗口在全景图像上与第一边界相交时对应的区域；基于卷积值，对全景图像进行目标对象识别，得到目标对象的识别结果。

图1示意性地示出了应用本申请技术方案的示例性系统架构框图。

如图1所示，系统架构100可以包括终端设备110、网络120和服务器130。终端设备110可以包括智能手机、平板电脑、笔记本电脑、台式电脑等各种电子设备。服务器130可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。网络120可以是能够在终端设备110和服务器130之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路或者无线通信链路。

根据实现需要，本申请实施例中的系统架构可以具有任意数目的终端设备、网络和服务器。例如，服务器130可以是由多个服务器设备组成的服务器群组。另外，本申请实施例提供的技术方案可以应用于终端设备110，也可以应用于服务器130，或者可以由终端设备110和服务器130共同实施，本申请对此不做特殊限定。

请参阅图1，图1为本申请实施例所提供的图像识别系统的场景示意图，该系统可以包括图像识别服务器10以及存储终端11，存储终端11存储有全景图像，图像识别服务器10与存储终端11之间相互通信连接，在此不再赘述。

其中，图像识别服务器10可以包括处理器和存储器等；存储终端11可以包括云端服务器等。

需要说明的是，图1所示的系统场景示意图仅仅是一个示例，本申请实施例描述的图像检测服务器以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本公开实施例首先旨在提供了一种图像识别方法，能够获取全景图像，以及卷积窗口，全景图像包括第一边界和第二边界，第一边界与第二边界平行；基于卷积窗口与第一边界之间的位置，在全景图像内确定第一目标区域，第一目标区域的一边界与第二边界重叠；采用卷积窗口，对第一目标区域和第二目标区域中的数据进行卷积处理，得到卷积值，第二目标区域为卷积窗口在全景图像上与第一边界相交时对应的区域；基于卷积值，对全景图像进行目标对象识别，得到目标对象的识别结果。

这样，本发明的一实施例中，在卷积窗口与第一边界相交时，可以从全景图像内确定第一目标区域，该第一目标区域的一边界与第二边界重叠，并采用卷积窗口，对第一目标区域和第二目标区域中的数据进行卷积处理，而第二目标区域为卷积窗口在全景图像上与第一边界相交时对应的区域，如此，在卷积时可以将第一目标区域中的数据与第二目标区域中的数据关联，可以学习到全景图像的语义信息。

故在对第一目标区域和第二目标区域中的数据进行卷积处理后，以对全景图像中的目标对象进行识别时，可以使第二目标区域参考第一目标区域，如此，有利于从全景图像中识别出目标对象，提高目标检测召回率。本发明能够应用到目标检测、目标分割等所有深度学习计算机视觉任务中。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

在本实施例中，提供了一种图像识别方法，如图2a所示，该图像识别方法的具体流程可以如下：

本申请实施例提供一种图像识别方法，包括：

210、获取全景图像，以及卷积窗口，全景图像包括第一边界和第二边界，第一边界与第二边界平行。

其中，全景图像在将第一边界和第二边界拼接后，可以显示一个完整的物体。比如，全景图像的左边界处的区域中有该物体的部分内容，全景图像的右边界处的区域中有该物体的部分内容，将全景图像的左边界和右边界拼接后，可以显示一个完整的物体。

其中，卷积窗口用于提取全景图像中的特征。比如，卷积窗口为卷积核，该卷积核的尺寸可以是(2m+1)*(2n+1)，m、n为自然数，等等。其中，若全景图像记录的是水平360°，俯仰180°的全部信息，则第一边界和第二边界为全景图像在水平方向上的边界。若全景图像记录的是俯仰360°，水平180°的全部信息，则第一边界和第二边界为全景图像在竖向方向上的边界。比如，若第一边界为全景图像在水平方向上的左边界，则第二边界为全景图像在水平方向上的右边界,若第一边界为全景图像在水平方向上的右边界，则第二边界为全景图像在水平方向上的左边界。

在一些实施例中，考虑到对全景图像进行卷积处理时需要先在全景图像的边界处填充特定值，且卷积窗口的水平方向的边界尺寸可能不等于竖直方向的边界尺寸，从而在对全景图像进行卷积处理时，可以使卷积窗口中的参数可以参与到卷积计算，如此需要获知全景图像在边界处填充特定数据的填充的宽度，卷积窗口的边界的尺寸为奇数，在获取第二预设尺寸之前，还包括：

获取卷积窗口的第一边界的尺寸，卷积窗口的第一边界平行于全景图像的第一边界或第二边界；

基于卷积窗口的第一边界的尺寸减一后除以二，得到第二预设尺寸。

其中，卷积窗口的第一边界的尺寸等于卷积窗口在一边界处的数据个数，该边界平行于全景图像的第一边界或第二边界。比如，卷积窗口在该边界处的数据个数可以是3个，则卷积窗口的边界的尺寸等于3。

例如，第一边界为全景图像的左边界，第二边界为全景图像的右边界，卷积窗口的尺寸为(2m+1)*(2n+1)，其中，(2m+1)为卷积窗口在水平方向上的边界尺寸，(2n+1)为卷积窗口在竖直方向上的边界尺寸，则

例如，第一边界为全景图像的上边界，第二边界为全景图像的下边界，卷积窗口的尺寸为(2m+1)*(2n+1)，其中，(2m+1)为卷积窗口在水平方向上的边界尺寸，(2n+1)为卷积窗口在竖直方向上的边界尺寸，则

其中，卷积窗口的形状可以是矩形，即可以是卷积窗口的边界在水平方向上的尺寸等于竖直方向上的尺寸，还可以是卷积窗口的边界在水平方向上的尺寸不等于竖直方向上的尺寸，等等。

在一些实施例中，为了在全景图像的边界处填充特定数据，全景图像还包括第三边界和第四边界，第三边界与第四边界平行，获取全景图像，包括：

获取第二预设尺寸和预设填充数据；

将第三边界平移第二预设尺寸，得到第一填充边界，第一填充边界在全景图像外；

根据第三边界和第一填充边界，在全景图像外确定第一扩充区域，将所述预设填充数据填充至第一扩充区域中，得到第一填充区域，其中，第一填充区域与全景图像共享第三边界；

将第四边界平移第二预设尺寸，得到第二填充边界，第二填充边界在全景图像外；

根据第四边界和第二填充边界，在全景图像外确定第二扩充区域，将预设填充数据填充至第二扩充区域中，得到第二填充区域，其中，第二填充区域与全景图像共享第四边界；

将第一填充区域、第二填充区域以及全景图像组合，得到组合后的全景图像。

其中，若全景图像记录的是水平360°，俯仰180°的全部信息，则第三边界和第四边界为全景图像在竖向方向上的边界。若全景图像记录的是俯仰360°，水平180°的全部信息，则第三边界和第四边界为全景图像在水平方向上的边界。比如，若第三边界为全景图像在竖向方向上的上边界，则第四边界为全景图像在竖向方向上的下边界。

其中，第一填充边界用于限制第三边界处的填充数据的范围，比如，若第一边界为全景图像的左边界，第二边界为全景图像的右边界，第三边界为全景图像的上边界，第四边界为全景图像的下边界，则第一填充边界为在上边界上方的边界。

其中，第一扩充区域为第一填充边界与第三边界之间的区域。比如，若第三边界为全景图像的上边界，则第一扩充区域为在上边界上方的边界与上边界之间的区域。

其中，第二填充边界用于限制第四边界处的填充数据的范围，比如，若第四边界为全景图像的下边界，则第二填充边界为在下边界下方的边界。

其中，第二扩充区域用于第二填充边界与第四边界之间的区域。比如，若第四边界为全景图像的下边界，则第二扩充区域为在下边界下方的边界与下边界之间的区域。

其中，第一填充区域为填充了预设填充数据的第一扩充区域。

其中，第二填充区域为填充了预设填充数据的第二扩充区域。

其中，组合后的全景图像为全景图像的边界处填充有预设填充数据的全景图像。比如，若全景图像记录的是水平360°，俯仰180°的全部信息，则组合后的全景图像是在该全景图像的上边界的上方和下边界的下方填充有预设填充数据，以使卷积窗口与全景图像的上边界或下边界相交时，卷积窗口中的数据可以参与到卷积计算。

220、基于卷积窗口与第一边界之间的位置，在全景图像内确定第一目标区域，第一目标区域的一边界与第二边界重叠。

其中，第一目标区域为全景图像中卷积窗口与第一边界相交时所关联的区域，该区域的一边界与第二边界重叠，且该区域与卷积窗口在同一水平线上。

在一些实施例中，为了可以从全景图像内确定出第一目标区域，基于卷积窗口与第一边界之间的位置，在全景图像内确定第一目标区域，包括：

当卷积窗口与第一边界相交时，在卷积窗口中确定目标子窗口，目标子窗口位于全景图像外，且目标子窗口的一窗口边界与第一边界重叠；

在全景图像上平移目标子窗口，使目标子窗口位于全景图像内，且目标子窗口的一窗口边界与第二边界重叠，得到目标子窗口在全景图像中的位置；

根据目标子窗口在全景图像中的位置，在全景图像内确定第一目标区域。

其中，基于卷积窗口与第一边界之间的位置包括卷积窗口与第一边界相交，卷积窗口与第一边界有至少一个交点。比如，当卷积窗口的尺寸为3*3，卷积窗口的中心在全景图像最左侧的第一列数据上时，卷积窗口与第一边界有至少一个交点，等等。

其中，以第一边界或第一边界线的延长线从卷积窗口中划分出目标子窗口，该目标子窗口位于全景图像外，且目标子窗口的一窗口边界与第一边界重叠。比如，当卷积窗口与第一边界有两个交点时，以第一边界线从卷积窗口中划分出目标子窗口。当卷积窗口与第一边界有一个交点时，以第一边界线的延长线从卷积窗口中划分出目标子窗口。

其中，第一目标区域为全景图像上目标子窗口对应的区域，该区域与第二边界重叠。

在一些实施例中，考虑到目标对象的一部分分布在全景图像的第一边界处，目标对象的另一部分分布在全景图像的第二边界处，为了可以通过卷积窗口将全景图像在第一边界处的数据和第二边界处的数据关联，而卷积窗口的水平方向的边界尺寸可能不等于竖直方向的边界尺寸，如此通过卷积窗口计算第一预设尺寸，以便从全景图像中确定出划分出需要关联的数据，卷积窗口的边界的尺寸为奇数，在获取第一预设尺寸之前，还包括：

获取卷积窗口的第二边界的尺寸，卷积窗口的第二边界垂直于全景图像的第一边界或第二边界；

基于卷积窗口的第二边界的尺寸减一后除以二，得到第一预设尺寸。

其中，卷积窗口的第二边界的尺寸等于卷积窗口在一边界处的数据个数，该边界垂直于全景图像的第一边界或第二边界。

例如，第一边界为全景图像的左边界，第二边界为全景图像的右边界，卷积窗口的尺寸为(2m+1)*(2n+1)，其中，(2m+1)为卷积窗口在水平方向上的边界尺寸，(2n+1)为卷积窗口在竖直方向上的边界尺寸，则

例如，第一边界为全景图像的上边界，第二边界为全景图像的下边界，卷积窗口的尺寸为(2m+1)*(2n+1)，其中，(2m+1)为卷积窗口在水平方向上的边界尺寸，(2n+1)为卷积窗口在竖直方向上的边界尺寸，则

在一些实施例中，为了可以从全景图像内确定出第一目标区域，基于卷积窗口与第一边界之间的位置，在全景图像内确定第一目标区域，第一目标区域的一边界与第二边界重叠，包括：

获取第一预设尺寸；

将第二边界平移第一预设尺寸，得到第一复制区域的边界；

根据第二边界和第一复制区域的边界，在全景图像内确定第一复制区域；

复制第一复制区域，得到第一复制区域的复制；

平移第一复制区域的复制，并使其位于全景图像外且与全景图像共享第一边界；

当卷积窗口与第一边界相交时，在第一复制区域的复制内确定第一目标区域，第一目标区域与卷积窗口中的局部区域对应。

其中，第一复制区域的边界用于从全景图像中限定填充区域，第一复制区域的边界在全景图像中。比如，第一预设尺寸为2个像素，则将第一边界向全景图像中平移2个像素后得到第一复制区域的边界。

其中，第一复制区域为全景图像中在第二边界和第一复制区域的边界之间的区域。

其中，第一复制区域的复制为复制第一复制区域后所对应的内容。

例如，如图2c所示，全景图像A、第一边界B、第二边界C、第三边界、D、第四边界E、第一复制区域的边界F，第一复制区域G，则复制第一复制区域G，得到第一复制区域G的复制，并平移第一复制区域G的复制，使其位于全景图像外且与全景图像共享第一边界，以在卷积窗口与第一边界相交时，卷积窗口未在全景图像上的局部区域在第一复制区域G上，从而在第一复制区域G的复制内可以确定第一目标区域，第一目标区域与卷积窗口中的局部区域对应。

230、采用卷积窗口，对第一目标区域和第二目标区域中的数据进行卷积处理，得到卷积值，第二目标区域为卷积窗口在全景图像上与第一边界相交时对应的区域。

其中，卷积值为卷积窗口对第一目标区域和第二目标区域中的数据进行卷积处理后所得到的值。

其中，第二目标区域为卷积窗口在全景图像上与第一边界相交时对应的区域。例如，当卷积窗口的尺寸为3*3时，且该卷积窗口中区域与第一边界相交，比如，卷积窗口2*3的区域在全景图像上，则全景图像上的部分区域与卷积窗口中2*3的区域对应，而全景图像上的部分区域为第二目标区域。

如图2b所示，在一些实施例中，考虑到将全景图像的第一边界和第二边界拼接后，可以在全景图像中得到一个完整的目标对象，为了避免对全景图像进行目标对象识别有误，基于卷积窗口与第一边界之间的位置，在全景图像内确定第一目标区域，还包括：

221、基于卷积窗口与第二边界之间的位置，在全景图像内确定第三目标区域，第三目标区域的一边界与第一边界重叠；

采用卷积窗口，对第一目标区域和第二目标区域中的数据进行卷积处理，得到卷积值，还包括：

231、采用卷积窗口，对第三目标区域和第四目标区域中的数据进行卷积处理，得到卷积值，第四目标区域为卷积窗口在全景图像上与第二边界相交时对应的区域。

其中，第三目标区域为全景图像中卷积窗口与第二边界相交时所关联的区域，该区域的一边界与第一边界重叠，且该区域与卷积窗口在同一水平线上。

其中，第四目标区域为卷积窗口在全景图像上与第二边界相交时对应的区域。例如，当卷积窗口的尺寸为3*3时，且该卷积窗口中区域与第二边界相交，比如，卷积窗口2*3的区域在全景图像上，则全景图像上的部分区域与卷积窗口中2*3的区域对应，而全景图像上的部分区域为第四目标区域。

在一些实施例中，为了可以从全景图像内确定出第三目标区域，基于卷积窗口与第二边界之间的位置，在全景图像内确定第三目标区域，包括：

当卷积窗口与第二边界相交时，在卷积窗口中确定目标子窗口，目标子窗口位于全景图像外，且目标子窗口的一窗口边界与第二边界重叠；

在全景图像上平移目标子窗口，使目标子窗口位于全景图像内，且目标子窗口的一窗口边界与第一边界重叠，得到目标子窗口在全景图像中的位置；

根据目标子窗口在全景图像中的位置，在全景图像内确定第三目标区域。

其中，基于卷积窗口与第二边界之间的位置包括卷积窗口与第二边界相交，卷积窗口与第二边界有至少一个交点。比如，当卷积窗口的尺寸为3*3，卷积窗口的中心在全景图像最左侧的第一列数据上时，卷积窗口与第二边界有至少一个交点，等等。

其中，以第二边界或第二边界线的延长线从卷积窗口中划分出目标子窗口，该目标子窗口位于全景图像外，且目标子窗口的一窗口边界与第二边界重叠。比如，当卷积窗口与第二边界有两个交点时，以第二边界线从卷积窗口中划分出目标子窗口。当卷积窗口与第二边界有一个交点时，以第二边界线的延长线从卷积窗口中划分出目标子窗口。

其中，第三目标区域为全景图像上目标子窗口对应的区域，该区域与第二边界重叠。

在一些实施例中，为了可以从全景图像内确定出第三目标区域，基于卷积窗口与第二边界之间的位置，在全景图像内确定第三目标区域，第三目标区域的一边界与第一边界重叠，包括：

获取第一预设尺寸；

将第一边界平移第一预设尺寸，得到第二复制区域的边界；

根据第一边界和第二复制区域的边界，在全景图像内确定第二复制区域；

复制第二复制区域，得到第二复制区域的复制；

平移第二复制区域的复制，并使其位于全景图像外且与全景图像共享第二边界；

当卷积窗口与第二边界相交时，在第二复制区域的复制内确定第三目标区域，第三目标区域与卷积窗口中的局部区域对应。

其中，第二复制区域的边界用于从全景图像中限定填充区域，第二复制区域的边界在全景图像中。比如，第一预设尺寸为2个像素，则将第二边界向全景图像中平移2个像素后得到第二复制区域的边界。

其中，第二复制区域为全景图像中在第一边界和第二复制区域的边界之间的区域。

例如，如图2c所示，全景图像A、第一边界B、第二边界C、第三边界、D、第四边界E、第二复制区域的边界H，第二复制区域I，则复制第二复制区域I，得到第二复制区域I的复制，并平移第二复制区域I的复制，使其位于全景图像外且与全景图像共享第二边界，以在卷积窗口与第二边界相交时，卷积窗口未在全景图像上的局部区域在第二复制区域I上，从而在第二复制区域I的复制内可以确定第三目标区域，第三目标区域与卷积窗口中的局部区域对应。

在一些实施例中，考虑到对全景图像进行卷积处理，采用卷积窗口，对第一目标区域和第二目标区域中的数据进行卷积处理，得到卷积值，还包括：

获取预设移动步长；

基于移动步长，在全景图像上移动卷积窗口；

当卷积窗口与全景图像不相交时，在全景图像上确定卷积窗口对应的目标区域；

将卷积窗口中的数据与目标区域中的数据进行点积运算，得到卷积值。

其中，预设移动步长为卷积窗口在填充图像上移动的步长。比如，预设移动步长可以是一个像素，则卷积窗口在填充图像上每卷积一次移动一个像素。

其中，目标区域为卷积窗口完全在全景图像上所对应的区域。比如，填充图像的尺寸可以是300*100，卷积窗口的尺寸为3*3，卷积窗口在填充图像上的坐标为(200，50)、(203，50)、(200，53)、(203，53)，则目标区域为填充图像上(200，50)、(203，50)、(200，53)、(203，53)所围成的区域。

240、基于卷积值，对全景图像进行目标对象识别，得到目标对象的识别结果。

其中，目标对象为全景图像中等待识别的对象。比如，目标对象可以是一个房子，该房子中的一部分靠近第一边界，该房子的另一部分靠近第二边界，在对全景图像中目标对象所处的区域进行图像识别时，可以从全景图像的第一边界处以及第二边界处识别处该目标对象所处的区域。

例如，如图2d所示，S为该全景图像中的目标对象，则基于卷积值，对全景图像中进行目标对象识别，可以得到目标对象S。

本申请实施例可以获取全景图像，以及卷积窗口，全景图像包括第一边界和第二边界，第一边界与第二边界平行；基于卷积窗口与第一边界之间的位置，在全景图像内确定第一目标区域，第一目标区域的一边界与第二边界重叠；采用卷积窗口，对第一目标区域和第二目标区域中的数据进行卷积处理，得到卷积值，第二目标区域为卷积窗口在全景图像上与第一边界相交时对应的区域；基于卷积值，对全景图像进行目标对象识别，得到目标对象的识别结果。

由上可知，若将全景图像的第一边界和第二边界拼接后，可以在全景图像中得到一个完整的目标对象，其中，基于卷积窗口与第一边界之间的位置，即卷积窗口与第一边界相交时，可以从全景图像内确定第一目标区域，该第一目标区域的一边界与第二边界重叠，并采用卷积窗口，对第一目标区域和第二目标区域中的数据进行卷积处理，而第二目标区域为卷积窗口在全景图像上与第一边界相交时对应的区域，如此，在卷积时可以将第一目标区域中的数据与第二目标区域中的数据关联，以学习到全景图像的语义信息，尽而可以在全景图像中识别出目标对象，该目标对象所在的区域分布在第一边界和第二边界处，可以提高目标检测召回率。

根据上述实施例所描述的方法，以下将作进一步详细说明。

在本实施例中，将以全景图像的特征图为例，对本申请实施例的方法进行详细说明。

一种图像识别方法具体流程如下：

(一)、获取全景图像的特征图、卷积窗口、第二预设尺寸以及预设填充数据，特征图包括第一边界、第二边界、第三边界和第四边界，第一边界与第二边界平行，第三边界与第四边界平行。

在一些实施例中，卷积窗口的边界的尺寸为奇数，在获取第二预设尺寸之前，还包括：

获取卷积窗口的边界的尺寸，卷积窗口的边界垂直于第一边界或第二边界；

将卷积窗口的边界的尺寸减一后除以二，得到第二预设尺寸。

(二)、将第三边界平移所述第二预设尺寸，得到第一填充边界，并将第四边界平移第二预设尺寸，得到第二填充边界，第一填充边界在特征图外，第二填充边界在特征图外。

(三)、根据第三边界和第一填充边界，在特征图外确定第一扩充区域，并根据第四边界和第二填充边界，在特征图外确定第二扩充区域，第一扩充区域与特征图共享第三边界，第二扩充区域与特征图共享第四边界。

(四)、将预设填充数据填充至第一扩充区域中，得到第一填充区域，并将预设填充数据填充至第二扩充区域中，得到第二填充区域。

(五)、将第一填充区域、第二填充区域以及特征图组合，得到组合后的特征图。

(六)、当卷积窗口在组合后的特征图上滑动时，卷积窗口与第一边界相交，在卷积窗口中确定目标子窗口，目标子窗口位于特征图外，且目标子窗口的一窗口边界与第一边界重叠；且在特征图上平移目标子窗口，使目标子窗口位于特征图内，且目标子窗口的一窗口边界与第二边界重叠，得到目标子窗口在全景图像中的位置。

(七)、根据目标子窗口在特征图中的位置，在特征图内确定第一目标区域，第一目标区域的一边界与第二边界重叠。

(八)、采用卷积窗口，对第一目标区域和第二目标区域中的数据进行卷积处理，得到卷积值，第二目标区域为卷积窗口在全景图像上与第一边界相交时对应的区域。

(十一)、基于卷积值，对全景图像进行目标对象识别，得到目标对象的识别结果。

例如，如图3a所示，特征图为T01，T02为卷积尺寸为3*3的卷积窗口，T03为第一边界，T04为第二边界，T05为第三边界，T06为第四边界，T07为第一填充边界，T08为第二填充边界，T09为第一填充区域，T10为第二填充区域，T11为目标子窗口，T12为第一目标区域，该卷积窗口上以一个单位的步长在特征图上移动，使卷积窗口的中心经过特征图的每一个特征点。

例如，如图3b所示，卷积窗口还可以是5*5的卷积窗口，该卷积窗口上以一个单位的步长在特征图上移动，使卷积窗口的中心经过特征图的每一个特征点。

由上可知，实现特征图的第一边界和第二边界的特征交流，从而使得平面化表示的全景图像特征图的左右两边内容上相通,使得边界上的特征点无异于内部其它点。

为了更好地实施以上方法，本申请实施例还提供一种图像识别装置，该图像识别装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

比如，在本实施例中，将以图像识别装置具体集成在服务器为例，对本申请实施例的方法进行详细说明。

例如，如图4所示，该图像识别装置可以包括获取单元410、区域确定单元420、卷积处理单元430以及图像识别单元440，如下：

(一)、获取单元410。

获取单元410，用于获取全景图像，以及卷积窗口，全景图像包括第一边界和第二边界，第一边界与第二边界平行。

在一些实施例中，卷积窗口的边界的尺寸为奇数，在获取第二预设尺寸之前，还包括：

获取卷积窗口的第一边界的尺寸，卷积窗口的第一边界平行于全景图像的第一边界或第二边界；

将卷积窗口的第一边界的尺寸减一后除以二，得到第二预设尺寸。

在一些实施例中，全景图像还包括第三边界和第四边界，第三边界与第四边界平行，获取全景图像，包括：

获取第二预设尺寸和预设填充数据；

将第三边界平移第二预设尺寸，得到第一填充边界，第一填充边界在全景图像外；

根据第三边界和第一填充边界，在全景图像外确定第一扩充区域，将预设填充数据填充至第一扩充区域中，得到第一填充区域，其中，第一填充区域与全景图像共享第三边界；

将第四边界平移第二预设尺寸，得到第二填充边界，第二填充边界在全景图像外；

根据第四边界和第二填充边界，在全景图像外确定第二扩充区域，将预设填充数据填充至第二扩充区域中，得到第二填充区域，其中，第二填充区域与全景图像共享第四边界；

将第一填充区域、第二填充区域以及全景图像组合，得到组合后的全景图像。

(二)、区域确定单元420。

区域确定单元420，用于基于卷积窗口与第一边界之间的位置，在全景图像内确定第一目标区域，第一目标区域的一边界与第二边界重叠。

在一些实施例中，基于卷积窗口与第一边界之间的位置，在全景图像内确定第一目标区域，包括：

当卷积窗口与第一边界相交，在卷积窗口中确定目标子窗口，目标子窗口位于全景图像外，且目标子窗口的一窗口边界与第一边界重叠；

在全景图像上平移目标子窗口，使目标子窗口位于全景图像内，且目标子窗口的一窗口边界与第二边界重叠，得到目标子窗口在全景图像中的位置；

根据目标子窗口在全景图像中的位置，在全景图像内确定第一目标区域。

在一些实施例中，卷积窗口的边界的尺寸为奇数，在获取第一预设尺寸之前，还包括：

获取卷积窗口的第二边界的尺寸，卷积窗口的第二边界垂直于全景图像的第一边界或第二边界；

基于卷积窗口的第二边界的尺寸减一后除以二，得到第一预设尺寸。

在一些实施例中，基于卷积窗口与第一边界之间的位置，在全景图像内确定第一目标区域，第一目标区域的一边界与第二边界重叠，包括：

获取第一预设尺寸；

将第二边界平移第一预设尺寸，得到第一复制区域的边界；

根据第二边界和第一复制区域的边界，在全景图像内确定第一复制区域；

复制第一复制区域，得到第一复制区域的复制；

平移第一复制区域的复制，并使其位于全景图像外且与全景图像共享第一边界；

当卷积窗口与第一边界相交时，在第一复制区域的复制内确定第一目标区域，第一目标区域与卷积窗口中的局部区域对应。

(三)、卷积处理单元430。

卷积处理单元430，用于对第一目标区域和第二目标区域中的数据进行卷积处理，得到卷积值，第二目标区域为卷积窗口在全景图像上与第一边界相交时对应的区域。

在一些实施例中，基于卷积窗口与第一边界之间的位置，在全景图像内确定第一目标区域，还包括：

基于卷积窗口与第二边界之间的位置，在全景图像内确定第三目标区域，第三目标区域的一边界与第一边界重叠；

采用卷积窗口，对第一目标区域和第二目标区域中的数据进行卷积处理，得到卷积值，还包括：

采用卷积窗口，对第三目标区域和第四目标区域中的数据进行卷积处理，得到卷积值，第四目标区域为卷积窗口在全景图像上与第二边界相交时对应的区域。

在一些实施例中，基于所述卷积窗口与所述第一边界之间的位置，在所述全景图像内确定第一目标区域，包括：

当卷积窗口与第二边界相交时，在卷积窗口中确定目标子窗口，目标子窗口位于全景图像外，且目标子窗口的一窗口边界与第二边界重叠；

在全景图像上平移目标子窗口，使目标子窗口位于全景图像内，且目标子窗口的一窗口边界与第一边界重叠，得到目标子窗口在全景图像中的位置；

根据目标子窗口在全景图像中的位置，在全景图像内确定第三目标区域。

在一些实施例中，基于卷积窗口与第二边界之间的位置，在全景图像内确定第三目标区域，第三目标区域的一边界与第一边界重叠，包括：

获取第一预设尺寸；

将第一边界平移第一预设尺寸，得到第二复制区域的边界；

根据第一边界和第二复制区域的边界，在全景图像内确定第二复制区域；

复制第二复制区域，得到第二复制区域的复制；

平移第二复制区域的复制，并使其位于全景图像外且与全景图像共享第二边界；

当卷积窗口与第二边界相交时，在第二复制区域的复制内确定第三目标区域，第三目标区域与卷积窗口中的局部区域对应。

在一些实施例中，采用卷积窗口，对填充图像进行卷积处理，得到卷积值，还包括：

获取预设移动步长；

基于移动步长，在全景图像上移动卷积窗口；

当卷积窗口与全景图像不相交时，在全景图像上确定卷积窗口对应的目标区域；

将卷积窗口中的数据与目标区域中的数据进行点积运算，得到卷积值。

(四)、图像识别单元440。

图像识别单元440，用于基于卷积值，对全景图像进行目标对象识别，得到目标对象的识别结果。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例的图像识别装置由获取单元获取全景图像，以及卷积窗口，全景图像包括第一边界和第二边界，第一边界与第二边界平行；由区域确定单元基于卷积窗口与第一边界之间的位置，在全景图像内确定第一目标区域，第一目标区域的一边界与第二边界重叠；由卷积处理单元采用卷积窗口，对第一目标区域和第二目标区域中的数据进行卷积处理，得到卷积值，第二目标区域为卷积窗口在全景图像上与第一边界相交时对应的区域；由图像识别单元基于卷积值，对全景图像进行目标对象识别，得到目标对象的识别结果。

由此，本申请实施例可以学习到全景图像的语义信息，并提高目标检测召回率。

相应的，本申请实施例还提供一种电子设备，该电子设备可以为终端或服务器，该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机、个人数字助理(Personal Digital Assistant，PDA)等终端设备。该服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

如图5所示，图5为本申请实施例所提供的电子设备结构示意图，电子设备包括：存储器510、处理器520和通信模块530。

其中，存储器510可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)、磁盘或固态硬盘等。其中，存储器510用于存储程序，处理器520在接收到执行指令后，执行程序。

处理器520可能是一种集成电路芯片，具有数据的处理能力。上述的处理器520可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本发明中的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

通信模块530用于电子设备与外部设备之间的通信连接，实现网络信号及数据的收发操作。上述网络信号可包括无线信号或者有线信号。

以上各个模块的具体实施可参见前面的实施例，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

由上可知，本实施例提供的电子设备可以本发明将全景图像中360度方向上位于两个边界区域的元素进行元素融合加权处理，能够跨边界进行卷积运算，实现了特征图边界的特征交流，使得边界上的卷积运算无异于非边界卷积运算，从而学习到全景图的语义信息的同时还提高了对目标检测的准确率以及召回率。本发明能够应用到全景图处理场景中，并且不限于目标检测、目标分割等所有深度学习计算机视觉任务。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种图像识别方法中的步骤。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种图像识别方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像识别方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种图像识别方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。