掌桥专利:专业的专利平台
掌桥专利
首页

截断物体样本生成、目标检测方法、路侧设备和云控平台

文献发布时间:2023-06-19 11:32:36


截断物体样本生成、目标检测方法、路侧设备和云控平台

技术领域

本申请涉及图像处理领域,尤其人工智能、计算机视觉和智能交通技术,具体涉及一种截断物体样本生成、目标检测方法、路侧设备和云控平台。

背景技术

智能交通系统是改善交通系统的重要手段,而目标检测任务是智能交通系统中的重要组成部分。

在目标检测任务中,可以在图像中检测出车辆和行人等。其中,检测到的车辆和行人可以是完整的,也可以是不完整的。不完整的物体可以称为截断物体,例如,树木遮挡上半身的行人属于截断物体,又如,车辆处于采集到的图像边界,车辆的部分区域未被采集到。

发明内容

本申请提供了一种截断物体样本生成、目标检测方法、路侧设备和云控平台。

根据本申请的一方面,提供了一种截断物体样本生成方法,包括:

获取图像;所述图像标注有物体初始区域;

在所述物体初始区域中,确定至少一个子区域,并对各所述子区域进行截断处理,得到截断后的物体截断区域;

根据所述物体截断区域构建物体截断样本,用于训练目标检测模型;其中,所述目标检测模型用于对有截断物体的图像进行目标检测。

根据本申请的另一方面,提供了一种目标检测方法,包括:

将待检测图像输入至预先训练的目标检测模型中,所述待检测图像包括截断物体;

获取所述目标检测模型输出的截断物体区域的检测结果;

其中,所述目标检测模型基于物体截断样本训练形成,所述截断物体样本采用如权利要求1-8任一项所述的截断物体样本生成方法获取。

根据本申请的另一方面,提供了一种截断物体样本生成装置,包括:

图像获取模块,用于获取图像;所述图像标注有物体初始区域;

截断区域生成模块,用于在所述物体初始区域中,确定至少一个子区域,并对各所述子区域进行截断处理,得到截断后的物体截断区域;

截断样本构建模块,用于根据所述物体截断区域构建物体截断样本,用于训练目标检测模型;其中,所述目标检测模型用于对有截断物体的图像进行目标检测。

根据本申请的另一方面,提供了一种目标检测装置,包括:

图像输入模块,用于将待检测图像输入至预先训练的目标检测模型中,所述待检测图像包括截断物体;

截断物体检测模块,用于获取所述目标检测模型输出的截断物体区域的检测结果;其中,所述目标检测模型基于物体截断样本训练形成,所述截断物体样本采用如本申请任一实施例所述的截断物体样本生成方法获取。

根据本申请的另一方面,提供了一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请任一实施例所述的截断物体样本生成方法,或执行本申请任一实施例所述的目标检测方法。

根据本申请的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行本申请任一实施例所述的截断物体样本生成方法,或执行本申请任一实施例所述的目标检测方法。

根据本申请的另一方面,提供了一种路侧设备,包括如本申请任一实施例所述的电子设备。

根据本申请的另一方面,提供了一种云控平台,包括如本申请任一实施例所述的电子设备。

根据本申请的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本申请任一实施例所述的截断物体样本生成方法,或实现本申请任一实施例所述的目标检测方法。

根据本申请的技术方案,快速生成截断物体样本,以提高截断物体的检测准确率。

应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案,不构成对本申请的限定。其中:

图1是根据本申请实施例的一种截断物体样本生成方法的示意图;

图2是根据本申请实施例的一种图像的示意图;

图3是根据本申请实施例的一种截断物体样本生成方法的示意图;

图4是根据本申请实施例的一种左上顶点类型的场景图;

图5是根据本申请实施例的一种左下顶点类型的场景图;

图6是根据本申请实施例的一种右上顶点类型的场景图;

图7是根据本申请实施例的一种右下顶点类型的场景图;

图8是根据本申请实施例的一种左顶点类型的场景图;

图9是根据本申请实施例的一种右顶点类型的场景图;

图10是根据本申请实施例的一种上顶点类型的场景图;

图11是根据本申请实施例的一种下顶点类型的场景图;

图12是根据本申请实施例的一种目标检测方法的示意图;

图13是根据本申请实施例的一种截断物体样本生成装置的示意图;

图14是根据本申请实施例的一种目标检测装置的示意图;

图15是用来实现本申请实施例的截断物体样本生成方法或目标检测方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。

图1是根据本申请实施例公开的一种截断物体样本生成方法的流程图,本实施例可以适用于生成用于对截断的物体进行目标检测的图像样本的情况。本实施例方法可以由目标检测装置来执行,该装置可采用软件和/或硬件的方式实现,并具体配置于具有一定数据运算能力的电子设备中,该电子设备可以是客户端设备,手机、平板电脑、车载终端和台式电脑等,也可以是服务器端设备。

S101,获取图像;所述图像标注有物体初始区域。

物体初始区域可以是指包括完整物体的区域。在目标检测任务中,目标检测结果为,在图像中识别和定位物体的边界框,可以理解为,图像中目标物体的最小包围框。物体初始区域可以是包括属于同一个目标物体,且该目标物体完整的边界框对应的区域。在一个图像中,可以标注有至少一个物体初始区域,多个物体初始区域可以表示同一类物体,不同物体初始区域通常表示不同的物体。例如,图像为交通场景下的图像,多个物体初始区域分别表示不同车辆的区域。物体初始区域的形状可以不做限制,例如,物体初始区域的形状可以是多边形、圆形、椭圆形或扇形等。示例性的,物体初始区域为矩形。

在一个具体的例子中,如图2所示,在图像中A、C、D和E为物体初始区域,B为物体截断区域。在区域B中,填充有斜线的区域为被截断的区域,可以理解为,图像中无法示出被截断的区域,获取从图像中获取被截断的区域中目标物体的形状、颜色和位置等。

S102,在所述物体初始区域中,确定至少一个子区域,并对各所述子区域进行截断处理,得到截断后的物体截断区域。

子区域可以是指物体初始区域中的部分区域,具体是指目标物体中的部分区域,例如车辆的车窗或行人的部分肢体(例如腿部)等。子区域用于截断处理,以对物体初始区域中目标物体进行截断,从而形成物体截断区域。子区域的尺寸小于物体初始区域。对子区域进行截断处理,可以是指在物体初始区域中对子区域进行擦除,以使截断物体初始区域,物体初始区域转变为物体截断区域,从而实现截断物体初始区域中包括的目标物体。物体截断区域可以是指包括截断物体的区域。截断物体可以是指不完整的物体或局部的物体等。

现有的采集得到物体截断区域的图像,通常是包括被遮挡的目标物体的图像,或者包括的目标物体处于图像边界的图像。通常包括物体截断区域的图像需要耗费大量时间和人工,选择合适视角对合适的场景进行采集才能得到,导致样本生成的时间成本和人工成本较高。

S103,根据所述物体截断区域构建物体截断样本,用于训练目标检测模型;其中,所述目标检测模型用于对有截断物体的图像进行目标检测。

物体截断样本可以是指包括截断物体区域的图像,并在图像中标注该截断物体区域。物体截断样本用于训练目标检测模型。目标检测模型用于对有截断物体的图像进行目标检测,可以检测到是目标物体的截断物体。

其中,物体初始区域可以有多个,可以针对每个物体初始区域,对包括的至少一个子区域进行截断处理,根据得到的各截断物体区域,构建物体截断样本。或者,可以从多个物体初始区域中筛选至少一个物体初始区域,对包括的至少一个子区域进行截断处理,并根据得到的各截断物体区域,构建物体截断样本。其中,可以计算各物体初始区域的截断处理概率,截断处理概率大于等于设定概率阈值的物体初始区域,确定为筛选得到的物体初始区域。概率计算可以是根据随机数计算,或者可以根据各物体初始区域的属性,按照预设的概率计算公式计算得到,例如属性值和预设概率系数的乘积等于截断处理概率。

本申请实施例可以针对每个物体初始区域,判断是否需要进行截断处理,可以细粒度控制对图像中的部分物体初始区域进行截断处理,提高截断处理的精度,从而使物体截断样本更加多样性,提高物体截断样本的代表性,进而提高训练的目标检测模型的截断物体的目标检测准确率。

现有的模型都是针对于通用场景设计的算法,因此针对于如截断类问题往往没有一个好的解决方法,导致目标检测的应用场景受限。为了解决截断目标检测问题。一种常用的方法就是数据增强类方法,通过增加该种类的样本,让网络学习到该种类的特性,但是收集样本需要耗费大量的时间和精力。

根据本申请的技术方案,在标注有物体初始区域的图像中,对物体初始区域中的至少一个子区域进行截断处理,得到截断后的物体截断区域,并基于物体截断区域构建物体截断样本,自动生成物体截断样本,可以降低物体截断样本的收集时间成本和人工成本,并采用物体截断样本训练目标检测模型,可以缩短目标检测模型的训练时间,同时实现目标检测模型准确检测出目标的截断物体,提高截断物体的准确率,并且,可以细粒度控制对图像中的部分物体初始区域进行截断处理,提高截断处理的精度,以及提高物体截断样本的多样性,提高物体截断样本的代表性,从而提高目标检测准确率。

图3是根据本申请实施例公开的另一种目标检测方法的流程图,基于上述技术方案进一步优化与扩展,并可以与上述各个可选实施方式进行结合。将所述在物体初始区域中,确定至少一个子区域,具体化为:在物体初始区域中,确定目标点;在物体初始区域中,根据目标点,确定截断辅助信息,并根据所述截断辅助信息确定子区域。

S201,获取图像;所述图像标注有物体初始区域。

S202,在所述物体初始区域中,在物体初始区域中,确定目标点。

目标点用于确定截断辅助信息,从而间接确定子区域。目标点为物体初始区域中任意一个像素点。可以随机选择物体初始区域中的一个像素点,确定为目标点。

S203,在物体初始区域中,根据目标点,确定截断辅助信息,并根据所述截断辅助信息确定子区域。

截断辅助信息用于直接确定子区域。子区域包括目标点。截断辅助信息可以是指描述目标点与子区域之间的关联信息,例如子区域的边界与目标点之间的关联,和/或子区域的关键点与目标点之间的关联等。示例性的,截断辅助信息用于描述子区域的部分边界经过目标点。又如,截断辅助信息用于描述子区域的圆心为目标点,且子区域内切于物体初始区域等。截断辅助信息可以确定至少一个子区域。可选的,子区域的数量为一个。

可选的,所述截断辅助信息为所述目标点为所述子区域的顶点,或者所述目标点位于所述子区域的任意边界上。

子区域顶点为目标点,可以以目标点为多边形中任意顶点,在物体初始区域中确定子区域。示例性的,子区域为矩形,物体初始区域为矩形,目标点为矩形顶点,在物体初始区域中,以目标点为起点,绘制分别平行于物体初始区域中相互垂直的棱边的射线,射线与物体初始区域的交点分别作为子区域的矩形顶点。由此,两个射线可以确定两个交点,即两个矩形顶点。可以在物体初始区域中,确定以两个交点和目标点分别为矩形顶点的矩形区域,并作为子区域。

子区域顶点为目标点,可以以经过目标点的边界,确定在物体初始区域中确定子区域。示例性的,子区域为多边形,目标点位于多边形的任意一个棱边上。例如,子区域为矩形,物体初始区域为矩形,在物体初始区域中,绘制经过目标点,且平行于物体初始区域中任意一条棱边的直线,将该直线与物体初始区域的棱边的交点之间的线段,确定为子区域的棱边,以该棱边以及物体初始区域的各棱边,可以确定两个矩形区域,可以将任意一个矩形区域确定为子区域。

通过截断辅助信息,可以建立目标点与子区域之间的关联,从而准确根据在物体初始区域包括的目标点,确定属于物体初始区域的子区域,同时,可以根据截断辅助信息,控制形成多个不同形状和位置的子区域,增加子区域的丰富度,从而提高物体截断样本的多样性,以及提高物体截断样本的代表性。

可选的,所述根据所述截断辅助信息确定子区域,包括:根据所述物体初始区域的目标尺寸和所述截断辅助信息,确定第一区域;将所述物体初始区域和所述第一区域之间的重合区域,确定为子区域。

截断辅助信息用于确定第一区域的位置,物体初始区域的目标尺寸用于确定第一区域的尺寸。根据目标尺寸和截断辅助信息,可以确定第一区域的位置和尺寸,从而,可以确定第一区域。目标尺寸与预设尺寸比例的乘积确定为第一区域的尺寸。可选的,预设尺寸比例为1,第一区域的尺寸与目标尺寸相同。其中,重合区域的尺寸小于物体初始区域的尺寸。

其中,截断辅助信息中,限定第一区域包括目标点,也即目标点位于第一区域内,并且,目标点位于物体初始区域内,从而,第一区域和物体初始区域必然存在重合,可以将物体初始区域和第一区域之间的重合区域,确定为子区域,此时,子区域位于物体初始区域内。

通过截断辅助信息和物体初始区域的目标尺寸,可以确定与物体初始区域存在重合区域的第一区域,并将二者之间的重合区域,确定为子区域,可以准确在物体初始区域中确定子区域,从而,在物体初始区域中截断部分区域,形成物体截断区域。

可选的,所述根据所述物体初始区域的目标尺寸和所述截断辅助信息,确定第一区域,包括:根据所述截断辅助信息,确定目标点的顶点类型;所述顶点类型包括左上类型、左下类型、右上类型或右下类型;以所述目标点作为所述顶点类型匹配的矩形顶点,生成矩形,并确定为所述目标尺寸的第一区域。

顶点类型用于表示第一区域(通常是第一区域的重心或中心)相对于目标点位置的方向。或者,可以理解为,以目标点为坐标原点,在目标点位置的与顶点类型匹配的方向上,生成尺寸为目标尺寸的矩形。

示例性的,在图4-图11中,矩形A为物体初始区域,矩形A1为第一区域,竖线填充的区域为子区域。如图4所示,顶点类型包括左上类型,在目标点的左上区域上生成矩形A1,此时,目标点为矩形A1的右下顶点。如图5所示,顶点类型包括左下类型,在目标点的左下区域上生成矩形A1,此时,目标点为矩形A1的右上顶点。如图6所示,顶点类型包括右上类型,在目标点的右上区域上生成矩形A1,此时,目标点为矩形A1的左下顶点。如图7所示,顶点类型包括右下类型,在目标点的右下区域上生成矩形A1,此时,目标点为矩形A1的左上顶点。

通过将目标点确定为矩形顶点,并确定顶点类型,根据矩形顶点、顶点类型和尺寸,实现唯一确定第一区域,可以精准控制生成第一区域,从而精准控制子区域的位置和尺寸,以及灵活调整子区域的位置和尺寸。

可选的,所述根据所述物体初始区域的目标尺寸和所述截断辅助信息,确定第一区域,包括:根据所述截断辅助信息,确定目标点的顶点类型;所述顶点类型包括上类型、下类型、左类型或右类型;以经过所述目标点,且与所述顶点类型匹配的线段作为矩形棱边,生成矩形,并确定为所述目标尺寸的第一区域。

经过目标点的线段可以是指经过目标点的直线,位于物体初始区域内的线段,该线段的两个端点分别位于物体初始区域中平行的两条棱边上。

示例性的,如图8所示,顶点类型包括左类型,在目标点的左区域上生成矩形A1,此时,目标点位于矩形A1的右棱边。如图9所示,顶点类型包括右类型,在目标点的右区域上生成矩形A1,此时,目标点为矩形A1的左棱边。如图10所示,顶点类型包括上类型,在目标点的上区域上生成矩形A1,此时,目标点为矩形A1的下棱边。如图11所示,顶点类型包括下类型,在目标点的下区域上生成矩形A1,此时,目标点为矩形A1的上棱边。

通过将经过目标点的线上的线段确定矩形棱边,并确定顶点类型,根据矩形棱边、顶点类型和尺寸,实现唯一确定第一区域,可以精准控制生成第一区域,从而精准控制子区域的位置和尺寸,以及灵活调整子区域的位置和尺寸。

S204,对各所述子区域进行截断处理,得到截断后的物体截断区域。

可选的,所述对各所述子区域进行截断处理,包括:将所述子区域中像素的像素值修改为截断值,所述截断值用于表示对应的像素缺失。

截断值可以是指预设的表示像素缺失的像素值。像素值用于描述像素的深度和颜色,而深度和颜色用于表示所属物体的特征,相应的,像素值用于描述所属的物体的特征,从而属于一个物体的像素用于区分该物体与其他物体。像素缺失用于描述该像素不能区分所属的物体与其他物体。截断值可以是指与周围像素值明显区别的常数值。示例性的,截断值可以为0。

通过仅修改子区域的像素的像素值,以达到对子区域进行截断,可以精准控制对子区域的截断处理,不影响其他区域的像素,提高截断处理的精度,以及提高截断控制的灵活性。

可选的,所述根据所述物体截断区域构建物体截断样本,包括:将所述物体截断区域的未截断物体的标签信息更新为截断物体的标签信息;计算所述子区域的面积与所述物体初始区域的面积之间的比值;根据预设的比值与截断程度之间对应关系,确定截断程度;为所述物体截断区域添加所述截断程度的标签信息;根据截断后的所述图像和所述图像包括的至少一个物体截断区域的标签信息,生成物体截断样本。

图像标注有物体初始区域,此时物体初始区域的标签信息为未截断物体。在物体初始区域中对至少一个子区域进行截断处理之后,物体初始区域更新为物体截断区域,相应的,标签信息更新为截断物体的标签信息。从而,图像标注有该物体截断区域。

重叠度(Intersection over Union,IoU)用于描述产生的候选框与原框的交并比,即交集与并集的比值,理想情况下,完全重叠对应的重叠度为1。在本申请实施例中,子区域的面积与物体初始区域的面积之间的比值为子区域与物体初始区域的重叠度。比值与截断程度之间对应关系可以是预先根据实验统计确定。

截断程度用于描述物体截断区域相对于物体初始区域的不完整的程度。为物体截断区域添加截断程度,可以为物体截断区域增加更多的描述信息。并且,根据截断后的图像和图像包括的至少一个截断区域的标签信息,生成物体截断样本,可以使物体截断样本包括至少一个截断区域,以及各截断区域的标签信息(包括截断物体和截断程度),可以丰富物体截断样本的内容。

通过修改物体截断区域的标签信息,以在图像中标注物体截断区域,并将截断程度添加到物体截断区域的标签信息中,以截断后的包括至少一个截断区域的图像和各截断区域对应的标签信息,作为物体截断样本,可以丰富物体截断样本的内容,提高物体截断样本的多样性,以及提高物体截断样本的代表性,从而提高截断物体的目标检测精度。

S205,根据所述物体截断区域构建物体截断样本,用于训练目标检测模型;其中,所述目标检测模型用于对有截断物体的图像进行目标检测。

可选的,所述图像为交通图像,所述物体包括下述至少一项:行人、车辆和建筑物。

交通图像为对交通场景进行采集得到的图像。通常该图像中包括行人、车辆和建筑物等中的至少一项。建筑物可以是道路、交通信号灯、交通指示牌和路旁建筑等中的至少一项。在交通场景下,对图像进行多尺寸特征提取,并进行多尺寸融合和多尺寸目标检测,可以准确对交通场景下的目标进行识别和定位,以针对检测到的目标进行避障或预警提示,从而可以减少交通拥堵问题和交通事故的发生概率。

根据本申请的技术方案,在物体初始区域中确定目标点,并根据目标点,确定截断辅助信息,并根据截断辅助信息,确定子区域,可以在物体初始区域中提取信息,并作为子区域的确定基准,可以精准在物体初始区域中确定需要进行截断的子区域,从而精准控制物体初始区域中部分区域截断,提高截断处理的精度,提高物体截断样本的多样性,以及提高物体截断样本的代表性。

图12是根据本申请实施例公开的一种目标检测方法的流程图,本实施例可以适用于基于截断物体图像样本训练的目标检测模型进行图像的目标检测的情况。本实施例方法可以由目标检测装置来执行,该装置可采用软件和/或硬件的方式实现,并具体配置于具有一定数据运算能力的电子设备中,该电子设备可以是客户端设备,手机、平板电脑、车载终端和台式电脑等,也可以是服务器端设备。

S301,将待检测图像输入至预先训练的目标检测模型中,所述待检测图像包括截断物体。

待检测图像包括有待检测的截断物体。

S302,获取所述目标检测模型输出的截断物体区域的检测结果;其中,所述目标检测模型基于物体截断样本训练形成,所述截断物体样本采用如本申请任一实施例所述的截断物体样本生成方法获取。

目标检测模型输出的结果中,包括截断物体区域的检测结果。此外,目标检测模型输出的结果还可以包括物体初始区域。也即,目标检测模型可以检测到截断物体,也可以检测到完整物体,例如,目标为车辆,目标检测模型,可以检测到完整车辆,也可以检测到截断的车辆部分区域。

根据本申请的技术方案,通过自动生成的物体截断样本得到的目标检测模型,可以准确检测到截断物体,提高截断物体的目标检测准确率,同时可以适用于多种场景的目标检测,增加目标检测的应用场景。

根据本申请的实施例,图13是本申请实施例中的截断物体样本生成装置的结构图,本申请实施例适用于生成用于对截断的物体进行目标检测的图像样本的情况。该装置采用软件和/或硬件实现,并具体配置于具备一定数据运算能力的电子设备中。

如图13所示的一种截断物体样本生成装置400,包括:图像获取模块401、截断区域生成模块402和截断样本构建模块403;其中,

图像获取模块401,用于获取图像;所述图像标注有物体初始区域;

截断区域生成模块402,用于在所述物体初始区域中,确定至少一个子区域,并对各所述子区域进行截断处理,得到截断后的物体截断区域;

截断样本构建模块403,用于根据所述物体截断区域构建物体截断样本,用于训练目标检测模型;其中,所述目标检测模型用于对有截断物体的图像进行目标检测。

根据本申请的技术方案,在标注有物体初始区域的图像中,对物体初始区域中的至少一个子区域进行截断处理,得到截断后的物体截断区域,并基于物体截断区域构建物体截断样本,自动生成物体截断样本,可以降低物体截断样本的收集时间成本和人工成本,并采用物体截断样本训练目标检测模型,可以缩短目标检测模型的训练时间,同时实现目标检测模型准确检测出目标的截断物体,提高截断物体的准确率。

进一步的,所述截断区域生成模块402,包括:目标点确定单元,用于在物体初始区域中,确定目标点;截断辅助信息确定单元,用于在物体初始区域中,根据目标点,确定截断辅助信息,并根据所述截断辅助信息确定子区域。

进一步的,所述截断辅助信息为所述目标点为所述子区域的顶点,或者所述目标点位于所述子区域的任意边界上。

进一步的,所述截断辅助信息确定单元,包括:第一区域确定子单元,用于根据所述物体初始区域的目标尺寸和所述截断辅助信息,确定第一区域;所述第一区域的尺寸与所述目标尺寸相同;重合区域确定子单元,用于将所述物体初始区域和所述第一区域之间的重合区域,确定为子区域。

进一步的,所述第一区域确定子单元,具体用于:根据所述截断辅助信息,确定目标点的顶点类型;所述顶点类型包括左上类型、左下类型、右上类型或右下类型;以所述目标点作为所述顶点类型匹配的矩形顶点,生成矩形,并确定为所述目标尺寸的第一区域。

进一步的,所述第一区域确定子单元,具体用于:根据所述截断辅助信息,确定目标点的顶点类型;所述顶点类型包括上类型、下类型、左类型或右类型;以经过所述目标点,且与所述顶点类型匹配的线段作为矩形棱边,生成矩形,并确定为所述目标尺寸的第一区域。

进一步的,所述截断区域生成模块402,包括:像素值修改单元,用于将所述子区域中像素的像素值修改为截断值,所述截断值用于表示对应的像素缺失。

进一步的,所述截断样本构建模块403,包括:截断物体标签更新单元,用于将所述物体截断区域的未截断物体的标签信息更新为截断物体的标签信息;面积比计算单元,用于计算所述子区域的面积与所述物体初始区域的面积之间的比值;截断程度确定单元,用于根据预设的比值与截断程度之间对应关系,确定截断程度;截断程度添加单元,用于为所述物体截断区域添加所述截断程度的标签信息;物体截断样本生成单元,用于根据截断后的所述图像和所述图像包括的至少一个物体截断区域的标签信息,生成物体截断样本。

进一步的,所述图像为交通图像,所述目标检测结果包括下述至少一项:行人、车辆和建筑物。

上述目标检测装置可执行本申请任意实施例所提供的截断物体样本生成方法,具备执行截断物体样本生成方法相应的功能模块和有益效果。

根据本申请的实施例,图14是本申请实施例中的目标检测装置的结构图,本申请实施例适用于基于截断物体图像样本训练的目标检测模型进行图像的目标检测的情况。该装置采用软件和/或硬件实现,并具体配置于具备一定数据运算能力的电子设备中。

如图14所示的一种目标检测生成装置500,包括:图像输入模块501和截断物体检测模块502;其中,

图像输入模块501,用于将待检测图像输入至预先训练的目标检测模型中,所述待检测图像包括截断物体;

截断物体检测模块502,用于获取所述目标检测模型输出的截断物体区域的检测结果;其中,所述目标检测模型基于物体截断样本训练形成,所述截断物体样本采用如本申请任一实施例所述的截断物体样本生成方法获取。

根据本申请的技术方案,通过自动生成的物体截断样本得到的目标检测模型,可以准确检测到截断物体,提高截断物体的目标检测准确率,同时可以适用于多种场景的目标检测,增加目标检测的应用场景。

上述目标检测装置可执行本申请任意实施例所提供的目标检测方法,具备执行目标检测方法相应的功能模块和有益效果。

根据本申请的实施例,本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

如图15所示,是根据本申请实施例的截断物体样本生成方法或目标检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。

其中,本申请任一实施例提供的电子设备可以应用于智慧交通系统,或者应用于为智慧交通系统提供服务的平台中。

可选的,路侧设备除了包括电子设备,还可以包括通信部件等,电子设备可以和通信部件一体集成,也可以分体设置。电子设备可以获取感知设备(如路侧相机)的数据,例如图片和视频等,从而进行图像视频处理和数据计算。可选的,电子设备自身也可以具备感知数据获取功能和通信功能,例如是人工智能(Artificial Intelligence,AI)相机,电子设备可以直接基于获取的感知数据进行图像视频处理和数据计算。

其中,路侧设备(Road Side Unit,RSU)是智能道路系统的核心,起到连接路侧设施,和传递道路信息给车载终端以及云端的作用,可以实现后台通信功能、信息广播功能和高精定位地基增强功能等。

通过在路侧设备中配置本申请任一实施例提供的电子设备,可以使路侧设备准确检测出目标的截断物体,提高截断物体的准确率,进而使路侧设备根据准确的目标检测结果进行后续操作,提高操作准确性,例如提高避障准确性,以及提高规划的路线安全性。

可选的,云控平台在云端执行处理,云控平台包括的电子设备可以获取感知设备(如路侧相机)的数据,例如图片和视频等,从而进行图像视频处理和数据计算;云控平台也可以称为车路协同管理平台、边缘计算平台、云计算平台、中心系统或云端服务器等。

通过在云控平台中配置本申请任一实施例提供的电子设备,可以使云控平台准确检测出目标的截断物体,提高截断物体的准确率,进而使云控平台将准确的目标检测结果传输给需要的设备进行后续操作,提高操作准确性,例如提高避障准确性,以及提高规划的路线安全性。

如图15所示,该电子设备包括:一个或多个处理器601、存储器602,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图15中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的截断物体样本生成方法或目标检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的截断物体样本生成方法或目标检测方法。

存储器602作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的截断物体样本生成方法或目标检测方法对应的程序指令/模块(例如,附图13所示的图像获取模块401、截断区域生成模块402和截断样本构建模块403)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的截断物体样本生成方法或目标检测方法。

存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据截断物体样本生成方法或目标检测方法的电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至截断物体样本生成方法或目标检测方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

截断物体样本生成方法或目标检测方法的电子设备还可以包括:输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接,图15中以通过总线连接为例。

输入装置603可接收输入的数字或字符信息,以及产生与截断物体样本生成方法或目标检测方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。

根据本申请的技术方案,在标注有物体初始区域的图像中,对物体初始区域中的至少一个子区域进行截断处理,得到截断后的物体截断区域,并基于物体截断区域构建物体截断样本,自动生成物体截断样本,可以降低物体截断样本的收集时间成本和人工成本,并采用物体截断样本训练目标检测模型,可以缩短目标检测模型的训练时间,同时实现目标检测模型准确检测出目标的截断物体,提高截断物体的准确率。

或根据本申请的技术方案,通过自动生成的物体截断样本得到的目标检测模型,可以准确检测到截断物体,提高截断物体的目标检测准确率,同时可以适用于多种场景的目标检测,增加目标检测的应用场景。

应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。

上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

相关技术
  • 截断物体样本生成、目标检测方法、路侧设备和云控平台
  • 目标检测方法、装置、电子设备、路侧设备和云控平台
技术分类

06120112965152