道路区域确定装置及方法、电子设备

技术领域

本申请涉及信息技术领域。

背景技术

在交通视频监控和自动驾驶中，道路区域的提取是一项重要且具有挑战性的任务，它受到许多因素的影响，例如，道路上行驶的车辆、道路之间的绿化带和语义分割的准确性都会对道路区域的提取造成影响。

对于提取道路区域，常用的方法之一是基于边缘检测和数学形态学的方法。该方法通过数学形态学中的扩散和腐蚀操作提炼道路的边缘，并最终选择准确的道路。

另外，有人提出了一种基于平均车辆轨迹的道路提取方法。通过跟踪在每帧中获取的车辆位置，并将这些位置的中心点拟合为平均轨迹；从视频帧中选择一个合适的帧作为背景，并进行形态学处理，消除两侧的天空或风景等有影响的噪声点，并通过进一步处理获得二值背景；并通过使平均轨迹与二进制背景匹配来提取道路。

另外，还提出了一种基于深度学习的道路提取方法。该方法引入了高分辨率动态视觉传感器(dynamic vision sensor，DVS)道路线提取数据集(DET)和动态视觉传感器(DVS)来处理道路提取任务。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

但是，对于基于边缘检测和数学形态学的方法，其对于噪声点少、道路清晰的背景图像，方法的成功率较高。然而，在实际的交通视频中，噪声点难以消除，并且道路本身具有复杂性和可变性。因此，该方法很容易受到噪声点的影响，不适用于多道路。此外，该方法不能提供每个道路的位置。

对于基于平均车辆轨迹的道路提取方法，该方法不能确定每个道路区域的特定坐标，因此是有局限性的。此外，该方法还有一个局限性，即不能确定每个道路上车辆的行驶方向。

对于基于深度学习的道路提取方法，需要手动注释才能创建数据集。另外，该方法不能确定每个道路区域的具体坐标和每个道路中车辆的行驶方向。

为了解决上述问题中的至少一个，本申请实施例提供一种道路区域确定装置及方法、电子设备，能够适应具有干扰物的真实场景，适用于多道路的提取，并能够确定每个道路的坐标。

根据本申请实施例的第一方面，提供一种道路区域确定装置，所述装置包括：第一确定单元，其用于基于语义分割从输入图像中初步提取道路区域，确定初步道路区域；第二确定单元，其用于对确定了初步道路区域的输入图像进行二值化处理而得到二值化图像，根据所述二值化图像确定道路轮廓；拟合单元，其用于使用多边形拟合所述道路轮廓，得到拟合后的道路区域；以及第一划分单元，其用于搜索拟合后的道路区域中的凹陷，当所述道路区域中存在凹陷时，根据所述凹陷对所述拟合后的道路区域进行划分；和/或，第二划分单元，其用于基于所述拟合后的道路区域中的光流对所述拟合后的道路区域进行划分。

根据本申请实施例的第二方面，提供一种电子设备，所述电子设备包括根据本申请实施例的第一方面所述的装置。

根据本申请实施例的第三方面，提供一种道路区域确定方法，所述方法包括：基于语义分割从输入图像中初步提取道路区域，确定初步道路区域；对确定了初步道路区域的输入图像进行二值化处理而得到二值化图像，根据所述二值化图像确定道路轮廓；使用多边形拟合所述道路轮廓，得到拟合后的道路区域；以及搜索拟合后的道路区域中的凹陷，当所述道路区域中存在凹陷时，根据所述凹陷对所述拟合后的道路区域进行划分；和/或，基于所述拟合后的道路区域中的光流对所述拟合后的道路区域进行划分。

本申请实施例的有益效果在于：通过对拟合后的道路区域搜索凹陷来进行道路区域的划分和/或基于拟合后的道路区域中的光流来进行道路区域的划分，能够适应具有干扰物的真实场景，适用于多道路的提取，并能够确定每个道路的坐标。

另外，基于道路区域中的光流还能够确定道路中车辆的行驶方向。

参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请实施例1的道路区域确定装置的一示意图；

图2是本申请实施例1的第一确定单元的一示意图；

图3是本申请实施例1的语义分割结果的一示意图；

图4是本申请实施例1的第三确定单元确定了所有像素的类型之后的一示意图；

图5是本申请实施例1的第二确定单元的一示意图；

图6是本申请实施例1的二值化图像中的轮廓的一示意图；

图7是对图6中的轮廓进行筛选后得到的一示意图；

图8是本申请实施例1的拟合后的道路区域的一示意图；

图9是本申请实施例1的第一划分单元的一示意图；

图10是本申请实施例1中确定的凹陷的一示意图；

图11是本申请实施例1的对凹陷进行处理的一示意图；

图12是本申请实施例1的第二划分单元的一示意图；

图13是本申请实施例1的包含沿两个方向延伸的道路的一示意图；

图14是本申请实施例1的道路中光流的一示意图；

图15是本申请实施例1的第二划分单元基于光流进行划分后的道路的一示意图；

图16是本申请实施例2的电子设备的一示意图；

图17是本申请实施例2的电子设备的系统构成的一示意框图；

图18是本申请实施例3的道路区域确定方法的一示意图。

具体实施方式

参照附图，通过下面的说明书，本申请的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请包括落入所附权利要求的范围内的全部修改、变型以及等同物。

实施例1

本申请实施例提供一种道路区域确定装置。图1是本申请实施例1的道路区域确定装置的一示意图。

如图1所示，道路区域确定装置100包括：

第一确定单元101，其用于基于语义分割从输入图像中初步提取道路区域，确定初步道路区域；

第二确定单元102，其用于对确定了初步道路区域的输入图像进行二值化处理而得到二值化图像，根据该二值化图像确定道路轮廓；

拟合单元103，其用于使用多边形拟合该道路轮廓，得到拟合后的道路区域；以及

第一划分单元104，其用于搜索拟合后的道路区域中的凹陷，当该道路区域中存在凹陷时，根据该凹陷对拟合后的道路区域进行划分；和/或，

第二划分单元105，其用于基于拟合后的道路区域中的光流对拟合后的道路区域进行划分。

由上述实施例可知，通过对拟合后的道路区域搜索凹陷来进行道路区域的划分和/或基于拟合后的道路区域中的光流来进行道路区域的划分，能够适应具有干扰物的真实场景，适用于多道路的提取，并能够确定每个道路的坐标。

另外，基于道路区域中的光流还能够确定道路中车辆的行驶方向。

在本申请实施例中，道路区域确定装置100处理的输入图像可以是从对道路所在的区域进行拍摄的摄像装置得到的，例如，通过设置在道路上方的监控摄像头拍摄得到。

在本申请实施例中，道路区域确定装置100可以对监控摄像头拍摄的监控视频的至少一个帧进行处理，例如，对于监控视频的间隔帧进行处理。

在本申请实施例中，间隔帧指的是两两之间隔着至少一个帧的多个帧，即不是连续的帧，这样，能够明显的区分出移动的物体和不移动的物体，从而便于确定初步道路区域。

图2是本申请实施例1的第一确定单元的一示意图。如图2所示，第一确定单元101包括：

分割单元201，其用于对预设数量的间隔帧分别进行语义分割，获得预设数量的间隔帧的语义分割结果；以及

第三确定单元202，其用于针对各个帧中的所有像素逐个确定该像素的类型，其中，将预设数量的间隔帧中该像素的语义分割结果中出现频率最高的类型作为该像素的类型。

在本申请实施例中，分割单元201对预设数量的间隔帧进行语义分割，该预设数量可以根据实际需要而确定，例如，该预设数量为10。

在本申请实施例中，分割单元201可以基于深度学习网络进行语义分割，例如，基于DeepLab V3网络进行语义分割。在进行语义分割时，对于干扰物，例如绿化带、广告杆和电线杆等，将这些干扰物和道路视为同一类别，从而消除这些干扰物的干扰。另外，对于移动物体，例如车辆，将其和道路视为不同类别，这样，能够避免当车辆的尺寸太大且车辆遮挡道路边界时，两个相邻的道路区域被连接。

图3是本申请实施例1的语义分割结果的一示意图。如图3所示，对于作为输入图像的一帧进行语义分割，绿化带、广告杆和电线杆等干扰物和道路被划分为同一类别，而车辆被划分为与道路不同的类别。由于车辆挡住了道路表面的一部分，所获得的道路区域将不完整，中间会出现孔洞，因此，需要对语义分割的结果进行校正。

第三确定单元202用于针对各个帧中的所有像素逐个确定该像素的类型，其中，将预设数量的间隔帧中该像素的语义分割结果中出现频率最高的类型作为该像素的类型。这样，能够将属于道路的区域补充完整，从而获得完整的初步道路区域。

例如，对于10个相互间隔的间隔帧，分别进行语义分割后，确定了各个帧中各个像素的类型，例如，该像素属于道路，或者，该像素属于车辆。对于某个像素，其在10个间隔帧中被划分为属于道路的帧数为8，被划分为属于车辆的帧数为2，那么，将该像素的类型确定为道路。

图4是本申请实施例1的第三确定单元确定了所有像素的类型之后的一示意图。如图4所示，经过第三确定单元202的校正之后，获得了完整的初步道路区域，也就是说，将某些帧中划分为车辆的区域校正为道路区域。

在本申请实施例中，第二确定单元102对确定了初步道路区域的输入图像进行二值化处理而得到二值化图像，根据该二值化图像确定道路轮廓。

图5是本申请实施例1的第二确定单元的一示意图。如图5所示，第二确定单元102包括：

二值化处理单元501，其用于对确定了初步道路区域的输入图像进行二值化处理，得到二值化图像；

第一搜索单元502，其用于搜索该二值化图像中的最外圈，得到该二值化图像中的轮廓；以及

筛选单元503，其用于在搜索得到的轮廓中根据轮廓的面积进行筛选，得到该道路轮廓。

在本申请实施例中，二值化处理单元501对确定了初步道路区域的输入图像进行二值化处理，例如，将道路区域的像素值置为1，将其他区域的像素值置为0，从而得到二值化图像。

第一搜索单元502搜索该二值化图像中的最外圈，得到该二值化图像中的轮廓。

图6是本申请实施例1的二值化图像中的轮廓的一示意图。如图6所示，搜索该二值化图像中的最外圈而忽略包含在外轮廓中的内轮廓，可以大致确定道路区域的轮廓。

筛选单元503在搜索得到的轮廓中根据轮廓的面积进行筛选，得到道路轮廓。例如，去除面积较小的轮廓，例如，去除面积小于预设值的轮廓。

图7是对图6中的轮廓进行筛选后得到的一示意图。如图7所示，去除较小的轮廓后，得到道路区域的轮廓，即道路轮廓。

在获得了道路轮廓之后，拟合单元103使用多边形拟合该道路轮廓，得到拟合后的道路区域。例如，使用多边形逼近法来拟合道路轮廓，得到拟合后的道路区域。

图8是本申请实施例1的拟合后的道路区域的一示意图。如图8所示，通过多边形来表示拟合后的道路区域。

在某些情况下，由于语义分割的结果不够完善，因此相邻的道路区域通常会连接在一起，对于该情况，本申请实施例通过搜索凹陷的方式进行处理。

在本申请实施例中，第一划分单元104和第二划分单元105针对不同的情况采用不同的方法进行道路区域的划分，装置100可以根据实际情况而包括第一划分单元104和第二划分单元105中的至少一个。在装置100包括第一划分单元104和第二划分单元105这两者的情况下，也可以使用第一划分单元104和第二划分单元105中的一个来进行车道区域的划分。

第一划分单元104搜索拟合后的道路区域中的凹陷，当该道路区域中存在凹陷时，根据该凹陷对拟合后的道路区域进行划分。

以下对第一划分单元104搜索凹陷并根据凹陷进行划分的方法进行示例性的说明。

图9是本申请实施例1的第一划分单元的一示意图。如图9所示，第一划分单元104包括：

第四确定单元901，其用于当该拟合后的道路区域中凹陷的角度小于第一阈值且凹陷的深度大于第二阈值时，确定为该拟合后的该道路区域中存在凹陷。

这样，能够筛选出真正由相邻车道形成的凹陷，而排除其他凹陷形状的干扰。

在本申请实施例中，第一阈值和第二阈值可以根据实际情况而确定。

在本申请实施例中，例如，凹陷的角度指的是形成凹陷的两个边的夹角，凹陷的深度指的是凹陷底边至凹陷顶点的距离。

图10是本申请实施例1中确定的凹陷的一示意图。如图10所示，通过第四确定单元901，确定在相邻的道路区域之间存在凹陷1000。

在本申请实施例中，如图9所示，第一划分单元104还可以包括：

第五确定单元902，其用于确定该凹陷的顶点；

第六确定单元903，其用于确定该凹陷的底部两个端点的中心点；以及

第七确定单元904，其用于根据该顶点以及该中心点，确定相邻两个道路区域的第一划分线，以对该拟合后的道路区域进行划分。

图11是本申请实施例1的对凹陷进行处理的一示意图。如图11所示，确定该凹陷的顶点1001以及底部的两个端点1002、1003，并根据端点1002、1003确定中心点1004，即端点1002、1003连线的中点。连接顶点1001和中心点1004，该连接线的延长线位于道路区域中的部分可以看作是相邻两个道路区域的分割线，即图11中的分割线1005。

在某些情况下，道路区域之间没有凹陷，或者，确定的一个道路区域中包含沿两个方向延伸的道路，即行驶方向不同的道路。对于这些情况，装置100可以使用第二划分单元105划分道路区域。第二划分单元105基于拟合后的道路区域中的光流对该拟合后的道路区域进行划分。

例如，当该拟合后的道路区域中的正向光流矢量和反向光流矢量的比例大于第三阈值且小于第四阈值，且所有光流矢量的平均长度大于第五阈值时，表示该拟合后的道路区域包含沿两个方向延伸的道路，即行驶方向不同的道路。此时，第二划分单元105基于该拟合后的道路区域中的光流对该拟合后的道路区域进行划分。

另外，在本申请实施例中，当使用第一划分单元104划分后的道路区域中还包含沿两个方向延伸的道路，即行驶方向不同的道路时，可以使用第二划分单元104对该道路区域进行进一步的划分。

在本申请实施例中，该第三阈值、第四阈值以及第五阈值的具体数值可以根据实际需要而设置。

以下对第二划分单元105基于光流进行划分的方法进行示例性的说明。

图12是本申请实施例1的第二划分单元的一示意图。如图12所示，第二划分单元105包括：

计算单元1201，其用于根据预设数量的间隔帧，计算该拟合后的道路区域中的正向光流矢量和反向光流矢量；

第八确定单元1202，其用于分别确定该拟合后的道路区域中的正向光流矢量的中心点和反向光流矢量的中心点；

第九确定单元1203，其用于根据该正向光流矢量的中心点和该反向光流矢量的中心点，确定整体光流矢量的中心点；

第十确定单元1204，其用于根据该拟合后的道路区域中的正向光流矢量和反向光流矢量，确定车辆运行轨迹的消失点；以及

第十一确定单元1205，其用于根据该整体光流矢量的该中心点和该消失点，确定相邻两个道路区域的第二划分线，以对该拟合后的道路区域进行划分。

在本申请实施例中，计算单元1201可以各种方法计算正向光流矢量和反向光流矢量。例如，计算单元101使用L-K金字塔光流方法计算正向光流矢量和反向光流矢量。

例如，计算单元1201使用如下的公式(1)和(2)进行迭代计算，得到具有方向的光流矢量，即正向或反向的光流矢量：

其中，I

第八确定单元1202分别确定该拟合后的道路区域中的正向光流矢量的中心点和反向光流矢量的中心点。例如，第八确定单元1202计算该拟合后的道路区域中的所有正向光流矢量的像素点的平均坐标，将平均坐标所在的像素点确定为正向光流矢量的中心点，类似的，计算该拟合后的道路区域中的所有反向光流矢量的像素点的平均坐标，将平均坐标所在的像素点确定为反向光流矢量的中心点。

第九确定单元1203根据正向光流矢量的中心点和反向光流矢量的中心点，确定整体光流矢量的中心点。例如，第九确定单元1203计算正向光流矢量的中心点和反向光流矢量的中心点的平均坐标，将平均坐标所在的像素点确定为整体光流矢量的中心点。

第十确定单元1204根据该拟合后的道路区域中的正向光流矢量和反向光流矢量，确定车辆运行轨迹的消失点。例如，第十确定单元1204将每一对正向光流矢量和反向光流矢量的延长线交点确定为一个消失点，在根据各对正向光流矢量和反向光流矢量确定多个消失点之后，将各个消失点的平均坐标所在的像素点确定为车辆运行轨迹的消失点。

第十一确定单元1205根据该整体光流矢量的该中心点和该消失点，确定相邻两个道路区域的第二划分线，以对该拟合后的道路区域进行划分。例如，第十一确定单元1205将该中心点和该消失点连接，其连线在该拟合后的道路区域中的部分构成为第二划分线。

在本申请实施例中，如图1所示，装置100还可以包括：

第十二确定单元106，其用于根据划分后的道路区域中的光流矢量的方向确定各个道路区域的车辆行驶方向。

例如，光流矢量的方向表示了车辆的行驶方向，根据划分后的各个道路区域中的光流矢量的方向就能够确定相应道路区域中的车辆行驶方向，从而能够确定道路方向。

图13是本申请实施例1的包含两个方向道路的道路区域一示意图；图14是本申请实施例1的道路中光流的一示意图；图15是本申请实施例1的第二划分单元基于光流进行划分后的道路的一示意图。如图15所示，根据光流确定的中心点1501和消失点1502确定划分线1503，从而对两个行驶方向不同的道路区域进行划分。

由上述实施例可知，通过对拟合后的道路区域搜索凹陷来进行道路区域的划分和/或基于拟合后的道路区域中的光流来进行道路区域的划分，能够适应具有干扰物的真实场景，适用于多道路的提取，并能够确定每个道路的坐标。

实施例2

本申请实施例还提供了一种电子设备，图16是本申请实施例2的电子设备的一示意图。如图16所示，电子设备1600包括道路区域确定装置1601，道路区域确定装置1601的结构和功能与实施例1中的记载相同，此处不再赘述。

在本申请实施例的一种实施方式中，电子设备1600可以是各种类型的电子设备，例如，车载终端、移动终端或者计算机。

图17是本申请实施例2的电子设备的系统构成的一示意框图。如图17所示，电子设备1700可以包括处理器1701和存储器1702；该存储器1702耦合到该处理器1701。该图是示例性的；还可以使用其它类型的结构，来补充或代替该结构，以实现电信功能或其它功能。

如图17所示，电子设备1700还可以包括：输入单元1703、显示器1704、电源1705。

在本申请实施例的一个实施方式中，实施例1所述的道路区域确定装置的功能可以被集成到处理器1701中。其中，处理器1701可以被配置为：基于语义分割从输入图像中初步提取道路区域，确定初步道路区域；对确定了初步道路区域的输入图像进行二值化处理而得到二值化图像，根据该二值化图像确定道路轮廓；使用多边形拟合该道路轮廓，得到拟合后的道路区域；以及搜索拟合后的道路区域中的凹陷，当该道路区域中存在凹陷时，根据该凹陷对该拟合后的道路区域进行划分；和/或，基于该拟合后的道路区域中的光流对该拟合后的道路区域进行划分。

例如，该基于语义分割从输入图像中初步提取道路区域，包括：对预设数量的间隔帧分别进行语义分割，获得预设数量的间隔帧的语义分割结果；以及针对各个帧中的所有像素逐个确定该像素的类型，其中，将预设数量的间隔帧中该像素的语义分割结果中出现频率最高的类型作为该像素的类型。

例如，该对确定了初步道路区域的输入图像进行二值化处理而得到二值化图像，根据该二值化图像确定道路轮廓，包括：对确定了初步道路区域的输入图像进行二值化处理，得到二值化图像；搜索该二值化图像中的最外圈，得到该二值化图像中的轮廓；以及在搜索得到的轮廓中根据轮廓的面积进行筛选，得到该道路轮廓。

例如，该搜索拟合后的道路区域中的凹陷，包括：当该拟合后的道路区域中凹陷的角度小于第一阈值且凹陷的深度大于第二阈值时，确定为该拟合后的该道路区域中存在凹陷。

例如，该根据该凹陷对该拟合后的道路区域进行划分，还包括：确定该凹陷的顶点；确定该凹陷的底部两个端点的中心点；以及根据该顶点以及该中心点，确定相邻两个道路区域的第一划分线，以对该拟合后的道路区域进行划分。

例如，当该拟合后的道路区域中的正向光流矢量和反向光流矢量的比例大于第三阈值且小于第四阈值，且所有光流矢量的平均长度大于第五阈值时，基于该拟合后的道路区域中的光流对该拟合后的道路区域进行划分。

例如，该基于该拟合后的道路区域中的光流对拟合后的道路区域进行划分，包括：根据预设数量的间隔帧，计算所述拟合后的道路区域中的正向光流矢量和反向光流矢量；分别确定该拟合后的道路区域中的正向光流矢量的中心点和反向光流矢量的中心点；根据该正向光流矢量和该反向光流矢量的中心点，确定整体光流矢量的中心点；根据所述拟合后的道路区域中的正向光流矢量和反向光流矢量，确定车辆运行轨迹的消失点；以及根据该整体光流矢量的该中心点和该消失点，确定相邻两个道路区域的第二划分线，以对该拟合后的道路区域进行划分。

例如，处理器1701还可以被配置为：根据划分后的道路区域中的光流矢量的方向确定各个道路区域的车辆行驶方向。

在本申请实施例的另一个实施方式中，实施例1所述的道路区域确定装置可以与该处理器1701分开配置，例如可以将该道路区域确定装置配置为与处理器1701连接的芯片，通过处理器1701的控制来实现该道路区域确定装置的功能。

在本申请实施例的一种实施方式中，电子设备1700也并不是必须要包括图17中所示的所有部件。

如图17所示，处理器1701有时也称为控制器或操作控件，可以包括微处理器或其它处理器装置和/或逻辑装置，处理器1701接收输入并控制电子设备1700的各个部件的操作。

该存储器1702，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且该处理器1701可执行该存储器1702存储的该程序，以实现信息存储或处理等。其它部件的功能与现有类似，此处不再赘述。电子设备1700的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本申请的范围。

由上述实施例可知，通过对拟合后的道路区域搜索凹陷来进行道路区域的划分和/或基于拟合后的道路区域中的光流来进行道路区域的划分，能够适应具有干扰物的真实场景，适用于多道路的提取，并能够确定每个道路的坐标。

实施例3

本申请实施例还提供一种道路区域确定方法，该方法对应于实施例1的道路区域确定装置。图18是本申请实施例3的道路区域确定方法的一示意图。如图18所示，该方法包括：

步骤1801：基于语义分割从输入图像中初步提取道路区域，确定初步道路区域；

步骤1802：对确定了初步道路区域的输入图像进行二值化处理而得到二值化图像，根据该二值化图像确定道路轮廓；

步骤1803：使用多边形拟合该道路轮廓，得到拟合后的道路区域；以及

步骤1804：搜索拟合后的道路区域中的凹陷，当该道路区域中存在凹陷时，根据该凹陷对该拟合后的道路区域进行划分；和/或，

步骤1805：基于该拟合后的道路区域中的光流对该拟合后的道路区域进行划分。

在本申请实施例中，该方法可以包括步骤1804和步骤1805中的至少一个。

在本申请实施例的一种实施方式中，上述各个步骤的具体实现方法与实施例1中的记载相同，此处不再重复。

由上述实施例可知，通过对拟合后的道路区域搜索凹陷来进行道路区域的划分和/或基于拟合后的道路区域中的光流来进行道路区域的划分，能够适应具有干扰物的真实场景，适用于多道路的提取，并能够确定每个道路的坐标。

本申请实施例还提供一种计算机可读程序，其中当在道路区域确定装置或电子设备中执行所述程序时，所述程序使得计算机在所述道路区域确定装置或电子设备中执行实施例3所述的道路区域确定方法。

本申请实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在道路区域确定装置或电子设备中执行实施例3所述的道路区域确定方法。

结合本申请实施例描述的道路区域确定装置或电子设备中执行道路区域确定方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图1中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图18所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。

软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，如果电子设备采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。

针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。

以上结合具体的实施方式对本申请进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本申请保护范围的限制。本领域技术人员可以根据本申请的精神和原理对本申请做出各种变型和修改，这些变型和修改也在本申请的范围内。

本申请实施例还公开下述的附记：

1、一种道路区域确定装置，所述装置包括：

第一确定单元，其用于基于语义分割从输入图像中初步提取道路区域，确定初步道路区域；

第二确定单元，其用于对确定了初步道路区域的输入图像进行二值化处理而得到二值化图像，根据所述二值化图像确定道路轮廓；

拟合单元，其用于使用多边形拟合所述道路轮廓，得到拟合后的道路区域；以及

第一划分单元，其用于搜索拟合后的道路区域中的凹陷，当所述道路区域中存在凹陷时，根据所述凹陷对所述拟合后的道路区域进行划分；和/或，第二划分单元，其用于基于所述拟合后的道路区域中的光流对所述拟合后的道路区域进行划分。

2、根据附记1所述的装置，其中，所述第一确定单元包括：

分割单元，其用于对预设数量的间隔帧分别进行语义分割，获得预设数量的间隔帧的语义分割结果；以及

第三确定单元，其用于针对各个帧中的所有像素逐个确定所述像素的类型，其中，将预设数量的间隔帧中所述像素的语义分割结果中出现频率最高的类型作为所述像素的类型。

3、根据附记1所述的装置，其中，所述第二确定单元包括：

二值化处理单元，其用于对确定了初步道路区域的输入图像进行二值化处理，得到二值化图像；

第一搜索单元，其用于搜索所述二值化图像中的最外圈，得到所述二值化图像中的轮廓；以及

筛选单元，其用于在搜索得到的轮廓中根据轮廓的面积进行筛选，得到所述道路轮廓。

4、根据附记1所述的装置，其中，所述第一划分单元包括：

第四确定单元，其用于当所述拟合后的道路区域中凹陷的角度小于第一阈值且凹陷的深度大于第二阈值时，确定为所述拟合后的所述道路区域中存在凹陷。

5、根据附记4所述的装置，其中，所述第一划分单元还包括：

第五确定单元，其用于确定所述凹陷的顶点；

第六确定单元，其用于确定所述凹陷的底部两个端点的中心点；以及

第七确定单元，其用于根据所述顶点以及所述中心点，确定相邻两个道路区域的第一划分线，以对所述拟合后的道路区域进行划分。

6、根据附记1所述的装置，其中，

所述第二划分单元当所述拟合后的道路区域中的正向光流矢量和反向光流矢量的比例大于第三阈值且小于第四阈值，且所有光流矢量的平均长度大于第五阈值时，基于所述拟合后的道路区域中的光流对所述拟合后的道路区域进行划分。

7、根据附记1所述的装置，其中，所述第二划分单元包括：

计算单元，其用于根据预设数量的间隔帧，计算所述拟合后的道路区域中的正向光流矢量和反向光流矢量；

第八确定单元，其用于分别确定所述拟合后的道路区域中的正向光流矢量的中心点和反向光流矢量的中心点；

第九确定单元，其用于根据所述正向光流矢量和所述反向光流矢量的中心点，确定整体光流矢量的中心点；

第十确定单元，其用于根据所述拟合后的道路区域中的正向光流矢量和反向光流矢量，确定车辆运行轨迹的消失点；以及

第十一确定单元，其用于根据所述整体光流矢量的所述中心点和所述消失点，确定相邻两个道路区域的第二划分线，以对所述拟合后的道路区域进行划分。

8、根据附记1所述的装置，其中，所述装置还包括：

第十二确定单元，其用于根据划分后的道路区域中的光流矢量的方向确定各个道路区域的车辆行驶方向。

9、一种电子设备，其中，所述电子设备包括根据附记1所述的装置。

10、一种道路区域确定方法，所述方法包括：

基于语义分割从输入图像中初步提取道路区域，确定初步道路区域；

对确定了初步道路区域的输入图像进行二值化处理而得到二值化图像，根据所述二值化图像确定道路轮廓；

使用多边形拟合所述道路轮廓，得到拟合后的道路区域；以及

搜索拟合后的道路区域中的凹陷，当所述道路区域中存在凹陷时，根据所述凹陷对所述拟合后的道路区域进行划分；和/或，基于所述拟合后的道路区域中的光流对所述拟合后的道路区域进行划分。

11、根据附记10所述的方法，其中，所述基于语义分割从输入图像中初步提取道路区域，包括：

对预设数量的间隔帧分别进行语义分割，获得预设数量的间隔帧的语义分割结果；以及

针对各个帧中的所有像素逐个确定所述像素的类型，其中，将预设数量的间隔帧中所述像素的语义分割结果中出现频率最高的类型作为所述像素的类型。

12、根据附记10所述的方法，其中，所述对确定了初步道路区域的输入图像进行二值化处理而得到二值化图像，根据所述二值化图像确定道路轮廓，包括：

对确定了初步道路区域的输入图像进行二值化处理，得到二值化图像；

搜索所述二值化图像中的最外圈，得到所述二值化图像中的轮廓；以及

在搜索得到的轮廓中根据轮廓的面积进行筛选，得到所述道路轮廓。

13、根据附记10所述的方法，其中，所述搜索拟合后的道路区域中的凹陷，包括：

当所述拟合后的道路区域中凹陷的角度小于第一阈值且凹陷的深度大于第二阈值时，确定为所述拟合后的所述道路区域中存在凹陷。

14、根据附记13所述的方法，其中，所述根据所述凹陷对所述拟合后的道路区域进行划分，还包括：

确定所述凹陷的顶点；

确定所述凹陷的底部两个端点的中心点；以及

根据所述顶点以及所述中心点，确定相邻两个道路区域的第一划分线，以对所述拟合后的道路区域进行划分。

15、根据附记10所述的方法，其中，

当所述拟合后的道路区域中的正向光流矢量和反向光流矢量的比例大于第三阈值且小于第四阈值，且所有光流矢量的平均长度大于第五阈值时，基于所述拟合后的道路区域中的光流对所述拟合后的道路区域进行划分。

16、根据附记15所述的方法，其中，所述基于所述拟合后的道路区域中的光流对拟合后的道路区域进行划分，包括：

根据预设数量的间隔帧，计算所述拟合后的道路区域中的正向光流矢量和反向光流矢量；

分别确定所述拟合后的道路区域中的正向光流矢量的中心点和反向光流矢量的中心点；

根据所述正向光流矢量和所述反向光流矢量的中心点，确定整体光流矢量的中心点；

根据所述拟合后的道路区域中的正向光流矢量和反向光流矢量，确定车辆运行轨迹的消失点；以及

根据所述整体光流矢量的所述中心点和所述消失点，确定相邻两个道路区域的第二划分线，以对所述拟合后的道路区域进行划分。

17、根据附记10所述的方法，其中，所述方法还包括：

根据划分后的道路区域中的光流矢量的方向确定各个道路区域的车辆行驶方向。