多摄像头拼接方法、装置、设备和介质

技术领域

本申请涉及摄像头拼接技术领域，例如涉及一种多摄像头拼接方法、装置、设备和介质。

背景技术

目前教育一体机大屏用的是1个4K广角摄像头，广角摄像头的视场角度大于或等于120度，由于广角摄像头角度太大且在一定距离以外，例如8m以外，一般学生人脸(一般学生人脸大小在15*15cm左右)在画面中所占像素区域在45*45像素到51*51像素之间，正常人脸识别算法要求学生人脸在画面中所占像素区域最少为80*80像素。因此使用广角摄像头进行人脸识别的方案无法进行远距离的人脸识别。

发明内容

本申请目的在于：提供一种多摄像头拼接方法、装置、设备和介质，其能够解决使用广角摄像头无法进行远距离人脸识别的问题。

为达到上述目的，第一方面，本申请提供了一种多摄像头拼接方法，包括：

获取广角摄像头、第一普通摄像头和第二普通摄像头的视场；

检测所述第一普通摄像头的视场与所述广角摄像头的视场的第一夹角是否在预设夹角区间内，若是，则检测所述第二普通摄像头的视场与所述广角摄像头视场的第二夹角是否在预设夹角区间内；

若所述第二夹角在所述预设夹角区间内，则将所述第一普通摄像头的第一画面，所述第二普通摄像头的第二画面及所述广角摄像头的第三画面进行拼接，得到拼接画面。

优选地，所述将所述第一普通摄像头的第一画面，所述第二普通摄像头的第二画面及所述广角摄像头的第三画面进行拼接之前，还包括：

将所述第一普通摄像头的拍摄画面作为所述第一画面，将所述第二普通摄像头的拍摄画面作为所述第二画面；

对所述广角摄像头的拍摄画面进行上采样，得到所述第三画面；其中，所述第一画面、第二画面和第三画面的尺寸相同。

优选地，所述检测所述第一普通摄像头的视场与所述广角摄像头的视场的第一夹角是否在预设夹角区间内之后，还包括：

若所述第一夹角不在所述预设夹角区间内，则旋转所述第一普通摄像头，使得所述第一夹角位于所述预设夹角区间内。

优选地，所述检测所述第二普通摄像头的视场与所述广角摄像头视场的第二夹角是否在预设夹角区间内之后，还包括：

若所述第二夹角不在所述预设夹角区间内，则旋转所述第二普通摄像头，使得所述第二夹角位于所述预设夹角区间内。

优选地，所述将所述第一普通摄像头的第一画面，所述第二普通摄像头的第二画面及所述广角摄像头的第三画面进行拼接，得到拼接画面，包括：

对所述第一画面进行特征点提取，得到第一特征点集合；

对所述第二画面进行特征点提取，得到第二特征点集合；

对所述第三画面进行特征点提取，得到第三特征点集合；

对所述第一特征点集合与所述第三特征点集合进行匹配，得到第一共同区域；

对所述第二特征点集合与所述第三特征点集合进行匹配，得到第二共同区域；

根据所述第一共同区域和所述第二共同区域对所述第一画面、第二画面和第三画面进行拼接，得到所述拼接画面。

优选地，所述广角摄像头的视场角度大于或等于120度。

优选地，所述普通摄像头的视场角度大于60度且小于68度。

第二方面，本申请提供了一种多摄像头拼接装置，包括：

视场获取模块，用于获取广角摄像头、第一普通摄像头和第二普通摄像头的视场，所述广角摄像头位于所述第一普通摄像头和所述第二普通摄像头之间；

夹角检测模块，用于检测所述第一普通摄像头的视场与所述广角摄像头的视场的第一夹角是否在预设夹角区间内，若是，则检测所述第二普通摄像头的视场与所述广角摄像头视场的第二夹角是否在预设夹角区间内；

画面拼接模块，用于若所述第二夹角在所述预设夹角区间内，则将所述第一普通摄像头的第一画面，所述第二普通摄像头的第二画面及所述广角摄像头的第三画面进行拼接，得到拼接画面。

本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的一种多摄像头拼接方法和/或上述任一项所述的多摄像头拼接方法的步骤。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的一种多摄像头拼接方法和/或上述任一项所述的多摄像头拼接方法的步骤。

本申请的一种多摄像头拼接方法，包括获取广角摄像头、第一普通摄像头和第二普通摄像头的视场；检测第一普通摄像头的视场与广角摄像头的视场的第一夹角是否在预设夹角区间内，若是，则检测第二普通摄像头的视场与广角摄像头视场的第二夹角是否在预设夹角区间内；若第二夹角在预设夹角区间内，则将第一普通摄像头的第一画面，第二普通摄像头的第二画面及广角摄像头的第三画面进行拼接，得到拼接画面。通过检测第一夹角和第二夹角是否在预设夹角区间内，能够防止两个普通摄像头与广角摄像头之间的夹角过大导致多个画面几乎一致，无法产生互补作用。还能够防止两个普通摄像头与广角摄像头之间的夹角过小导致多个画面中的相同的匹配特征点较少，无法对多个画面进行拼接。第一画面和第二画面为远距离画面，第三画面为近距离画面。结合广角摄像头和两个普通摄像头，拼接近距离画面和远距离画面，得到的拼接画面较为清晰，能够在远距离进行人脸识别。

附图说明

图1为一实施例的多摄像头拼接方法的流程示意图；

图2为一实施例的多摄像头拼接设备的结构示意图；

图3为一实施例的画面获取的流程示意图；

图4为一实施例的画面拼接的流程示意图；

图5为一实施例的多摄像头拼接装置的结构示意框图；

图6为一实施例的计算机设备的结构示意框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“上述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件、模块、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、模块、模块、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

在一个实施例中，参照图1，是本申请公开的多摄像头拼接方法的流程示意图，包括以下步骤S1-S3：

S1：获取广角摄像头、第一普通摄像头和第二普通摄像头的视场。

所述广角摄像头的视场角度大于或等于120度。

所述普通摄像头的视场角度大于60度且小于68度。

广角摄像头、第一普通摄像头与第二普通摄像头可以位于同一平面，也可以位于不同平面。

广角摄像头可以位于第一普通摄像头与第二普通摄像头之间，也可以位于第一普通摄像头与第二普通摄像头共同的一侧。

参照图2，优选地，广角摄像头、第一普通摄像头与第二普通摄像头位于不同的平面，广角摄像头位于第一普通摄像头与第二普通摄像头之间，将广角摄像头的视场角度设置为120度，将第一普通摄像头和第二普通摄像头的视场角度均设置为64度。

S2：检测所述第一普通摄像头的视场与所述广角摄像头的视场的第一夹角是否在预设夹角区间内，若是，则检测所述第二普通摄像头的视场与所述广角摄像头视场的第二夹角是否在预设夹角区间内。

通过检测第一夹角和第二夹角是否在预设夹角区间内，能够防止两个普通摄像头与广角摄像头之间的夹角过大导致多个画面几乎一致，无法产生互补作用。还能够防止两个普通摄像头与广角摄像头之间的夹角过小导致多个画面中的相同的匹配特征点较少，无法对多个画面进行拼接。

优选地，预设夹角区间设置为100度至140度。

S3：若所述第二夹角在所述预设夹角区间内，则将所述第一普通摄像头的第一画面，所述第二普通摄像头的第二画面及所述广角摄像头的第三画面进行拼接，得到拼接画面。

对所述第一画面进行特征点提取，得到第一特征点集合；

对所述第二画面进行特征点提取，得到第二特征点集合；

对所述第三画面进行特征点提取，得到第三特征点集合；

对所述第一特征点集合与所述第三特征点集合进行匹配，得到第一共同区域；

对所述第二特征点集合与所述第三特征点集合进行匹配，得到第二共同区域；

根据所述第一共同区域和所述第二共同区域对所述第一画面、第二画面和第三画面进行拼接，得到所述拼接画面。

第一画面和第二画面为远距离画面，第三画面为近距离画面。

广角摄像头的拍摄距离较远，但是分辨率较低，普通摄像头的拍摄距离较近，但是分辨率较高，通过结合广角摄像头和两个普通摄像头，拼接近距离画面和远距离画面，得到的拼接画面较为清晰，能够在远距离进行人脸识别。

如上所述，多摄像头拼接方法包括获取广角摄像头、第一普通摄像头和第二普通摄像头的视场；检测第一普通摄像头的视场与广角摄像头的视场的第一夹角是否在预设夹角区间内，若是，则检测第二普通摄像头的视场与广角摄像头视场的第二夹角是否在预设夹角区间内；若第二夹角在预设夹角区间内，则将第一普通摄像头的第一画面，第二普通摄像头的第二画面及广角摄像头的第三画面进行拼接，得到拼接画面。通过检测第一夹角和第二夹角是否在预设夹角区间内，能够防止两个普通摄像头与广角摄像头之间的夹角过大导致多个画面几乎一致，无法产生互补作用。还能够防止两个普通摄像头与广角摄像头之间的夹角过小导致多个画面中的相同的匹配特征点较少，无法对多个画面进行拼接。第一画面和第二画面为远距离画面，第三画面为近距离画面。结合广角摄像头和两个普通摄像头，拼接近距离画面和远距离画面，得到的拼接画面较为清晰，能够在远距离进行人脸识别。

在一个实施例中，参照图3，所述将所述第一普通摄像头的第一画面，所述第二普通摄像头的第二画面及所述广角摄像头的第三画面进行拼接之前，还包括：

S21’：将所述第一普通摄像头的拍摄画面作为所述第一画面，将所述第二普通摄像头的拍摄画面作为所述第二画面。

第一普通摄像头和第二普通摄像头用于拍摄远距离的人脸，第一普通摄像头的视场与第二普通摄像头的视场之间有重叠区域。

第一普通摄像头和第二普通摄像头的视场角度较小，第一普通摄像头对应的第一画面和第二普通摄像头对应的第二画面的分辨率较高。

S22’：对所述广角摄像头的拍摄画面进行上采样，得到所述第三画面；其中，所述第一画面、第二画面和第三画面的尺寸相同。

广角摄像头的视场角度较大，广角摄像头拍摄得到的画面的分辨率比第一画面和第二画面的分辨率更低，因此需要对广角摄像头拍摄得到的画面进行上采样，提高广角摄像头拍摄得到的画面的分辨率，得到第三画面。第一画面、第二画面和第三画面的尺寸和分辨率相同，使得后续能够对第一画面、第二画面和第三画面进行拼接。

如上所述，第二普通摄像头的第二画面及广角摄像头的第三画面进行拼接之前，还包括将第一普通摄像头的拍摄画面作为第一画面，将第二普通摄像头的拍摄画面作为第二画面。对广角摄像头的拍摄画面进行上采样，得到第三画面；其中，第一画面、第二画面和第三画面的尺寸相同。广角摄像头的视场角度较大，广角摄像头拍摄得到的画面的分辨率比第一画面和第二画面的分辨率更低，因此需要对广角摄像头拍摄得到的画面进行上采样，提高广角摄像头拍摄得到的画面的分辨率，得到第三画面。第一画面、第二画面和第三画面的尺寸相同，使得后续能够对第一画面、第二画面和第三画面进行拼接。

在一个实施例中，所述检测所述第一普通摄像头的视场与所述广角摄像头的视场的第一夹角是否在预设夹角区间内之后，还包括：

若所述第一夹角不在所述预设夹角区间内，则旋转所述第一普通摄像头，使得所述第一夹角位于所述预设夹角区间内。

当第一夹角小于预设夹角区间的最小值时，第一普通摄像头的视场与广角摄像头的视场之间的重叠区域过大，导致第一普通摄像头的第一画面与广角摄像头的第三画面之间无法产生互补作用。此时固定广角摄像头，同时将第一普通摄像头朝着与广角摄像头相背的方向转动，增大第一普通摄像头的视场与广角摄像头的视场之间的第一夹角，使得第一夹角位于预设夹角区间内。

当第一夹角大于预设夹角区间的最大值时，第一普通摄像头的视场与广角摄像头的视场之间的重叠区域过小，第一普通摄像头的视场与广角摄像头的视场之间的匹配特征点过少，导致第一普通摄像头的第一画面与广角摄像头的第三画面无法拼接。此时固定广角摄像头，同时将第一普通摄像头朝着与广角摄像头相向的方向转动，减小第一普通摄像头的视场与广角摄像头的视场之间的第一夹角，使得第一夹角位于预设夹角区间内。

判断第一夹角是否位于预设夹角区间内，能够通过旋转第一普通摄像头对过大或过小的第一夹角进行调节，使得第一夹角位于预设夹角区间内，从而防止第一画面与第三画面无法互补和无法拼接。

如上所述，检测所述第一普通摄像头的视场与所述广角摄像头的视场的第一夹角是否在预设夹角区间内之后，还包括若所述第一夹角不在所述预设夹角区间内，则旋转所述第一普通摄像头，使得所述第一夹角位于所述预设夹角区间内。判断第一夹角是否位于预设夹角区间内，能够通过旋转第一普通摄像头对过大或过小的第一夹角进行调节，使得第一夹角位于预设夹角区间内，从而防止第一画面与第三画面无法互补和无法拼接。

在一个实施例中，所述检测所述第二普通摄像头的视场与所述广角摄像头视场的第二夹角是否在预设夹角区间内之后，还包括：

若所述第二夹角不在所述预设夹角区间内，则旋转所述第二普通摄像头，使得所述第二夹角位于所述预设夹角区间内。

当第二夹角大于预设夹角区间的最大值时的处理方式与第一夹角大于预设夹角区间的最大值时的处理方式相同，当第二夹角小于预设夹角区间的最小值时的处理方式与第一夹角小于预设夹角区间的最小值时的处理方式相同，此处不再赘述。

判断第二夹角是否位于预设夹角区间内，能够通过旋转第二普通摄像头对过大或过小的第二夹角进行调节，使得第二夹角位于预设夹角区间内，从而防止第二画面与第三画面无法互补和无法拼接。

如上所述，所述检测所述第二普通摄像头的视场与所述广角摄像头视场的第二夹角是否在预设夹角区间内之后，还包括若所述第二夹角不在所述预设夹角区间内，则旋转所述第二普通摄像头，使得所述第二夹角位于所述预设夹角区间内。判断第二夹角是否位于预设夹角区间内，能够通过旋转第二普通摄像头对过大或过小的第二夹角进行调节，使得第二夹角位于预设夹角区间内，从而防止第二画面与第三画面无法互补和无法拼接。

在一个实施例中，参照图4，所述将所述第一普通摄像头的第一画面，所述第二普通摄像头的第二画面及所述广角摄像头的第三画面进行拼接，得到拼接画面，包括：

S31：对所述第一画面进行特征点提取，得到第一特征点集合。

第一画面、第二画面和第三画面具有相同的长度、宽度和分辨率。

可以使用SURF(Speeded-Up Robust Features，加速鲁棒特征)方法提取第一画面的特征点集合，也可以使用SIFT(Scale-invariant feature transform，尺度不变特征变换)方法提取第一画面的特征点集合，还可以使用其他方法提取第一画面的特征点集合。

S32：对所述第二画面进行特征点提取，得到第二特征点集合。

第二画面的特征点提取方法与第一画面的特征点提取方法相同，此处不再赘述。

S33：对所述第三画面进行特征点提取，得到第三特征点集合。

第三画面的特征点提取方法与第一画面的特征点提取方法相同，此处不再赘述。

S34：对所述第一特征点集合与所述第三特征点集合进行匹配，得到第一共同区域。

可以使用SURF(Speeded-Up Robust Features，加速鲁棒特征)方法对第一特征点集合与第三特征点集合进行匹配，得到第一共同区域，也可以使用其他方法对第一特征点集合与第三特征点集合进行匹配，得到第一共同区域。

S35：对所述第二特征点集合与所述第三特征点集合进行匹配，得到第二共同区域。

第二特征点集合与第三特征点集合的匹配方法与第一特征点集合与第三特征点集合的匹配方法相同，此处不再赘述。

S36：根据所述第一共同区域和所述第二共同区域对所述第一画面、第二画面和第三画面进行拼接，得到所述拼接画面。

基于所述第一共同区域将所述第一画面与所述第三画面进行拼接，基于所述第二共同区域将所述第二画面与所述第三画面进行拼接，得到所述拼接画面。

从拼接画面中既能获取远距离的人脸图像，又能获取近距离的人脸图像。

如上所述，将第一普通摄像头的第一画面，第二普通摄像头的第二画面及广角摄像头的第三画面进行拼接，得到拼接画面，包括对第一画面进行特征点提取，得到第一特征点集合。对第二画面进行特征点提取，得到第二特征点集合。对第三画面进行特征点提取，得到第三特征点集合。对第一特征点集合与第三特征点集合进行匹配，得到第一共同区域。对第二特征点集合与第三特征点集合进行匹配，得到第二共同区域。根据第一共同区域和第二共同区域对第一画面、第二画面和第三画面进行拼接，得到拼接画面。从拼接画面中既能获取远距离的人脸图像，又能获取近距离的人脸图像。

参照图5，是本申请公开的一种多摄像头拼接装置的结构示意框图，装置包括：

视场获取模块10，用于获取广角摄像头、第一普通摄像头和第二普通摄像头的视场，所述广角摄像头位于所述第一普通摄像头和所述第二普通摄像头之间；

夹角检测模块20，用于检测所述第一普通摄像头的视场与所述广角摄像头的视场的第一夹角是否在预设夹角区间内，若是，则检测所述第二普通摄像头的视场与所述广角摄像头视场的第二夹角是否在预设夹角区间内；

画面拼接模块30，用于若所述第二夹角在所述预设夹角区间内，则将所述第一普通摄像头的第一画面，所述第二普通摄像头的第二画面及所述广角摄像头的第三画面进行拼接，得到拼接画面。

在一个实施例中，所述多摄像头拼接装置还包括：

画面定义模块，用于将所述第一普通摄像头的拍摄画面作为所述第一画面，将所述第二普通摄像头的拍摄画面作为所述第二画面；

上采样模块，用于对所述广角摄像头的拍摄画面进行上采样，得到所述第三画面；其中，所述第一画面、第二画面和第三画面的尺寸相同。

在一个实施例中，所述多摄像头拼接装置还包括：

第一旋转模块，用于若所述第一夹角不在所述预设夹角区间内，则旋转所述第一普通摄像头，使得所述第一夹角位于所述预设夹角区间内。

在一个实施例中，所述多摄像头拼接装置还包括：

第二旋转模块，用于若所述第二夹角不在所述预设夹角区间内，则旋转所述第二普通摄像头，使得所述第二夹角位于所述预设夹角区间内。

在一个实施例中，所述画面拼接模块30还包括：

第一特征点提取模块，用于对所述第一画面进行特征点提取，得到第一特征点集合；

第二特征点提取模块，用于对所述第二画面进行特征点提取，得到第二特征点集合；

第三特征点提取模块，用于对所述第三画面进行特征点提取，得到第三特征点集合；

第一特征点集合匹配模块，用于对所述第一特征点集合与所述第三特征点集合进行匹配，得到第一共同区域；

第二特征点集合匹配模块，用于对所述第二特征点集合与所述第三特征点集合进行匹配，得到第二共同区域；

画面拼接模块，用于根据所述第一共同区域和所述第二共同区域对所述第一画面、第二画面和第三画面进行拼接，得到所述拼接画面。

参照图6，本申请实施例中还提供一种计算机设备，该计算机设备的内部结构可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作装置、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储第一夹角与第二夹角等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现多摄像头拼接方法，包括如下步骤：获取广角摄像头、第一普通摄像头和第二普通摄像头的视场；检测所述第一普通摄像头的视场与所述广角摄像头的视场的第一夹角是否在预设夹角区间内，若是，则检测所述第二普通摄像头的视场与所述广角摄像头视场的第二夹角是否在预设夹角区间内；若所述第二夹角在所述预设夹角区间内，则将所述第一普通摄像头的第一画面，所述第二普通摄像头的第二画面及所述广角摄像头的第三画面进行拼接，得到拼接画面。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。

本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现多摄像头拼接方法，包括如下步骤：获取广角摄像头、第一普通摄像头和第二普通摄像头的视场；检测所述第一普通摄像头的视场与所述广角摄像头的视场的第一夹角是否在预设夹角区间内，若是，则检测所述第二普通摄像头的视场与所述广角摄像头视场的第二夹角是否在预设夹角区间内；若所述第二夹角在所述预设夹角区间内，则将所述第一普通摄像头的第一画面，所述第二普通摄像头的第二画面及所述广角摄像头的第三画面进行拼接，得到拼接画面。可以理解的是，本实施例中的计算机可读存储介质可以是易失性可读存储介质，也可以为非易失性可读存储介质。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。