基于双摄像头的车位定位修正方法、装置、设备及存储介质

技术领域

本发明涉及汽车视觉识别技术领域，尤其涉及一种基于双摄像头的车位定位修正方法、装置、设备及存储介质。

背景技术

在现有的环视泊车辅助系统中，常采用图像拼接方法将车辆周围四个方向的视频图像信息进行拼合，为驾驶员提供360°环车影像，进而利用360°环车影像进行车位搜寻。

图像拼接方法拼合而成的360°环车影像往往存在拼合误差，利用该影像进行车位识别结果并不准确，而该影像中每一部分的图像来源于一侧摄像头拍摄的视频图像，信息源单一，无法对车位识别结果进行校正以消除误差。

发明内容

针对现有技术的以上缺陷或改进需求，本发明的目的在于提供一种基于双摄像头的车位定位修正方法、装置、设备及存储介质，在某侧摄像头识别到车位时，利用其他位置的摄像头辅助判断车位的位置信息，并基于差分图识别车位是否被占用，保证车位识别结果的可靠性。

为达此目的，本发明采用以下技术方案：

本发明提供一种基于双摄像头的车位定位修正方法，包括：

对第一摄像头获取的第一图像进行车位识别，将识别出的车位标记为车位区域；

根据第二摄像头获取的第二图像和所述车位区域进行特征提取和匹配，获取二者的重叠区域；

构建道路平面坐标系，确定第一图像坐标系与道路平面坐标系的第一投影函数以及第二图像坐标系与道路平面坐标系的第二投影函数；

根据所述第一投影函数和所述第二投影函数，得到所述重叠区域的差分图像；

根据所述差分图像的二值图，确定所述重叠区域的占用状态。

进一步地，所述对第一摄像头获取的第一图像进行车位识别，将识别出的车位标记为车位区域的步骤之前还包括：

获取环车各摄像头的图像，对所述图像进行车位识别并将识别到车位的摄像头设为第一摄像头。

进一步地，所述根据第二摄像头获取的第二图像和所述车位区域进行特征提取和匹配，获取二者的重叠区域的步骤包括：

将临近所述第一摄像头的摄像头设为辅助摄像头，获取所述辅助摄像头的辅助图像；

将所述辅助图像和所述车位区域进行特征提取和匹配，若所述辅助图像和所述车位区域存在重叠区域，则将所述辅助图像对应的辅助摄像头作为第二摄像头。

进一步地，所述确定第一图像坐标系与道路平面坐标系的第一投影函数以及第二图像坐标系与道路平面坐标系的第二投影函数的步骤包括：

确定第一投影函数，其中，任一点在第一图像坐标系的坐标[u

其中，h为第一摄像头到地面的距离，2β

进一步地，所述确定第一图像坐标系与道路平面坐标系的第一投影函数以及第二图像坐标系与道路平面坐标系的第二投影函数的步骤包括：

确定第二投影函数，其中，任一点在第二图像坐标系的坐标[v

其中，h’为第二摄像头到地面的距离，2β

进一步地，所述根据所述第一投影函数和所述第二投影函数，得到所述重叠区域的差分图像步骤包括：

根据所述第一投影函数计算所述重叠区域中的点在所述道路平面坐标系的第一坐标；

根据所述第二投影函数计算所述重叠区域中的点在所述道路平面坐标系的第二坐标；

根据所述第一坐标和所述第二坐标，确定所述差分函数：

D(x，y)＝[x

其中，D(x，y)为差分函数。

进一步地，所述根据所述差分图像的二值图，确定所述重叠区域的占用状态的步骤包括：

根据所述差分函数，确定所述差分函数的二值图：

其中，(x，y)为该差分函数的二值图，τ为二值图中二值化的阈值；

遍历所述重叠区域中的点，确定所述重叠区域中二值图非零的点的数量，其中，B(x，y)的值为零的点为地面点，B(x，y)的值非零的点为非地面点；

若所述重叠区域中二值图非零的点的数量超过预设值，则确定所述重叠区域中车位被占用。

本发明还提供一种基于双摄像头的车位定位修正装置，包括：

第一模块，用于对第一摄像头获取的第一图像进行车位识别并确定车位区域，以及根据第二摄像头获取的第二图像和所述车位区域进行特征提取和匹配，获取二者的重叠区域；

第二模块，用于构建道路平面坐标系，确定第一图像坐标系与道路平面坐标系的第一投影函数以及第二图像坐标系与道路平面坐标系的第二投影函数；以及

第三模块，用于根据所述第一投影函数和所述第二投影函数得到所述重叠区域的差分图像，并根据所述差分图像的二值图确定所述重叠区域的占用状态。

本发明还提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于双摄像头的车位定位修正方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行所述基于双摄像头的车位定位修正方法。

本发明的有益效果：

本发明提供一种基于双摄像头的车位定位修正方法、装置、设备及存储介质，其中，方法包括：对第一摄像头获取的第一图像进行车位识别，将识别出的车位标记为车位区域；根据第二摄像头获取的第二图像和车位区域进行特征提取和匹配，获取二者的重叠区域；构建道路平面坐标系，确定第一图像坐标系与道路平面坐标系的第一投影函数以及第二图像坐标系与道路平面坐标系的第二投影函数；根据第一投影函数和第二投影函数，得到重叠区域的差分图像；根据差分图像的二值图，确定重叠区域的占用状态。

本发明在某侧摄像头识别到车位时，利用其他位置的摄像头辅助判断车位的位置信息；并且基于视差原理，判断重叠区域中的车位是否被占用，保证车位识别结果的可靠性。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例中基于双摄像头的车位定位修正方法的流程图；

图2是本发明实施例中车辆环车摄像头的示意图；

图3是本发明实施例中车辆获取图像范围的示意图；

图4是本发明实施例中第一图像坐标系与道路平面坐标系的示意图；

图5是本发明实施例中地面点在道路平面坐标系中的投影示意图；

图6是本发明实施例中非地面点在道路平面坐标系中的投影示意图；

图7是本发明实施例中基于双摄像头的车位定位修正装置的示意图；

图8是本发明实施例中电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在本发明的描述中，除非另有明确的规定和限定，术语“相连”、“连接”、“固定”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像本申请实施例中一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本实施例提供了一种基于双摄像头的车位定位修正方法、装置、设备及存储介质，应用于通过视觉识别车位的汽车。

本实施例中，通过投影计算对两个不同方位的摄像头同时识别到的车位进行定位和修正，进而判断该车位是否被占用。

本实施例中的基于双摄像头的车位定位修正方法的流程图如图1所示，该方法包括步骤S10-S40。

S10、获取环车各摄像头的图像，对图像进行车位识别并将识别到车位的摄像头设为第一摄像头。

需要说明的是，本实施例中，中央控制器可以获取环车各摄像头的图像。例如，如图2所示，360°环车影像功能的车辆四个方位均设有摄像头，包括前侧摄像头、后侧摄像头、左侧摄像头以及右侧摄像头。中央控制器获取上述各摄像头的图像并对图像进行车位识别，若前侧摄像头的图像中识别到车位，则将前侧摄像头设为第一摄像头。进一步地，本实施例中的基于双摄像头的车位定位修正方法中第一摄像头可以有多个，例如，中央控制器在前侧摄像头和左侧视像头的图像中同时识别到车位，则中央处理器将前侧摄像头和左侧摄像头设为第一摄像头，并分别对二者进行后续的步骤。

S20、对第一摄像头获取的第一图像进行车位识别，将识别出的车位标记为车位区域。

本实施例中，第一摄像头的图像为第一图像，例如，某一时刻，若前侧摄像头被设为第一摄像头，则前侧摄像头的图像为第一图像，并且将前侧摄像头的图像中识别处的车位标记为车位区域。

S30、根据第二摄像头获取的第二图像和车位区域进行特征提取和匹配，获取二者的重叠区域。

需要说明的是，本实施例中第二摄像头是临近第一摄像头并且其图像与第一摄像头的图像存在重叠车位的某一个或某两个环车摄像头。

具体地，S301、将临近第一摄像头的摄像头设为辅助摄像头，获取辅助摄像头的辅助图像。

本实施例中，每一第一摄像头均有两个辅助摄像头，例如，参见图2，若前侧摄像头为第一摄像头，则左侧摄像头和右侧摄像头均为辅助摄像头，为便于描述，将左侧摄像头设为第一辅助摄像头，右侧摄像头设为第二辅助摄像头，则左侧摄像头的图像为第一辅助图像，右侧摄像头的图像为第二辅助摄像头。

S302、将辅助图像和车位区域进行特征提取和匹配，若辅助图像和车位区域存在重叠区域，则将辅助图像对应的辅助摄像头作为第二摄像头。

分别将第一辅助图像和第二辅助图像与车位区域进行特征提取和匹配，从而获取不同两个方位摄像头的图像中的重叠车位。

若第二摄像头的数量为零，则不进行后续的投影计算和车位定位及修正。若第二摄像头的数量为二，则说明第一图像与第一摄像头的两侧临近摄像头的图像均存在重叠车位，则需分别对确定这些重叠车位。

进一步地，如图3所示，设有四个环车摄像头的车辆中，可以将各摄像头获取的图像分为：前侧、右前侧、右侧、右后侧、后侧、左后侧、左侧、左前侧这八个图像区域，其中，右前侧、右后侧、左后侧、左前侧这四个位于角处的图像区域为相邻两摄像头的重叠图像区域。参见图3，假设前侧摄像头为第一摄像头，若左前图像区域和右前图像区域内均无重叠车位，则第二摄像头的数量为零；若左前图像区域和右前图像区域中的某一图像区域内存在重叠车位，则第二摄像头的数量为一，该重叠车位为步骤S302中的重叠区域；若左前图像区域和右前图像区域均存在重叠车位，则第二摄像头的数量为二，两处重叠车位均为步骤S302中的重叠区域。

本实施例中，对于重叠区域中的任一点，可通过投影关系将它在图像坐标系中的坐标转化到同一道路平面坐标系中，其中，图像坐标系包括第一图像坐标系和第二图像坐标系。可以理解的是，第一图像坐标系是根据第一图像建立的图像坐标系，第二图像坐标系是根据第二图像建立的图像坐标系。

进一步地，将重叠区域中的某一点在第一图像的图像坐标系中的坐标转化为第一道路坐标，在第二图像的图像坐标系中的坐标转化为第二道路坐标。根据第一道路坐标和第二道路坐标的偏差值，判断该点是否为地面点。通过重叠区域中地面点与非地面点的数量，判断车位是否被占用。

S40、构建道路平面坐标系，确定第一图像坐标系与道路平面坐标系的第一投影函数以及第二图像坐标系与道路平面坐标系的第二投影函数。

参见图4，本实施例中，UO

对于空间某点A，根据点A在第一图像中的位置确定其第一图像坐标系中的坐标为[u

任一点A在第一图像坐标系的坐标[v

其中，h为第一摄像头到地面的距离，2β

同理，以第二摄像头光心在地面的投影点为原点建立第二平面坐标系，可以得到第二图像坐标系与该第二平面坐标系的坐标转换关系。

进一步地，本实施例中，第一摄像头和第二摄像头是车辆中相邻的摄像头，可以根据第一摄像头和第二摄像头的位置关系，通过矩阵变换得到道路平面坐标系与第二平面坐标系的坐标转换关系，从而得到第二图像坐标系与道路平面坐标系的第二投影函数。

具体地，构建第二图像坐标系U’O

其中，h’为第二摄像头到地面的距离，2β

进一步地，道路坐标系与第二平面坐标系通过空间矩阵M相互转换。

M＝[R·T]；

其中，M为空间矩阵，R为旋转矩阵，T为平移矩阵。

本实施例中，旋转矩阵R和平移矩阵T可以通过摄像头外参标定获得。

综上，第二图像坐标系与道路平面坐标系的第二投影函数：

[x

其中：

即任一点A在第二图像坐标系的坐标[v

S50、根据第一投影函数和第二投影函数，得到重叠区域的差分图像。

参见图5和图6，车辆以某车速沿车道移动，第一车载摄像头的光心O

本实施例中，基于上述地面点与非地面点的投影差异，利用第一摄像头与第二摄像头识别重叠区域中地面点和非地面点。

根据第一投影函数计算重叠区域中的点在道路平面坐标系的第一坐标。根据第二投影函数计算重叠区域中的点在道路平面坐标系的第二坐标。根据第一坐标和第二坐标，确定差分函数。

具体地，对于重叠区域中任一点A，通过第一图像和第一投影函数计算得到该点在道路平面坐标系的坐标：[x

进一步地，将上述两坐标相减，获得差分图像：

D(x，y)＝[x

其中，D(x，y)为差分函数。

S60、根据差分图像的二值图，确定重叠区域的占用状态。

更进一步的，对差分图像进行处理，获得差分图像的二值图：

其中，B(x，y)为该差分函数的二值图，τ为二值图中二值化的阈值。

本实施例中基于双摄像头的车位定位修正方法还包括对图像噪点的处理，具体地，使用开运算的形态学滤波方法消除图像噪点：

其中，

可以理解的是，本实施例中，若重叠区域中某点的二值图的取值为0，则该点为地面点；若重叠区域中某点的二值图的取值为1，则该点为非地面点。进一步地，若重叠区域中某点的G(x，y)的取值为0，则该点为地面点；若重叠区域中某点的G(x，y)的取值为1，则该点为非地面点。

本实施例中，根据重叠区域中非地面点的数量来判断车位是否被占用。本实施例中的基于双摄像头的车位定位修正方法可在各种环境条件下使用，可以应用于车位推算的泊车系统车位记忆方法，保证了泊车目标车位脱离视觉探测区可以继续使用，确保使用场景延续，进而保证行车安全。

本实施例中的基于双摄像头的车位定位修正方法还包括重叠区域中的障碍物的距离计算。具体地，在重叠区域中遍历G(x，y)的值为1的点，将其中与第一摄像头最近的点定义为障碍物位置计算的起点。根据平面两点的距离公式，计算起点与第一摄像头光心的投影点的距离L

L＝L

本实施例还提供一种基于双摄像头的车位定位修正装置，该装置的示意图如图7所示。参见图7，该装置包括第一模块71、第二模块72以及第三模块73。

第一模块71用于对第一摄像头获取的第一图像进行车位识别并确定车位区域，以及根据第二摄像头获取的第二图像和车位区域进行特征提取和匹配，获取二者的重叠区域；

第二模块72用于构建道路平面坐标系，确定第一图像坐标系与道路平面坐标系的第一投影函数以及第二图像坐标系与道路平面坐标系的第二投影函数；以及

第三模块73用于根据第一投影函数和第二投影函数得到重叠区域的差分图像，并根据差分图像的二值图确定重叠区域的占用状态。

需要说明的是，本实施例提供的基于双摄像头的车位定位修正装置还可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如基于双摄像头的车位定位修正装置作为一个应用程序，可以用于执行本实施例提供的基于双摄像头的车位定位修正方法中的相应步骤。

在一些可行的实施方式中，本实施例提供的基于双摄像头的车位定位修正装置可以采用软硬件结合的方式实现，作为示例，本申请实施例基于双摄像头的车位定位修正装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的基于双摄像头的车位定位修正方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器(digital signal processor，DSP)、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。

在一些可行的实施方式中，本实施例提供的基于双摄像头的车位定位修正装置可以采用软件方式实现，其可以是程序和插件等形式的软件，并包括一系列的模块，以实现本发明实施例提供的基于双摄像头的车位定位修正方法。

本实施例还提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本实施例中的基于双摄像头的车位定位修正方法。

图8是本申请实施例的电子设备的结构示意图，如图8所示，本实施例中的电子设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述电子设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图8所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

应当理解，在一些可行的实施方式中，上述处理器1001可以是中央处理单元(central processing unit，CPU)，该处理器还可以是其他通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。

具体实现中，上述电子设备1000可通过其内置的各个功能模块执行如上述控制方法各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。

本实施例还提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使计算机执行本实施例中的基于双摄像头的车位定位修正方法。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。