掌桥专利:专业的专利平台
掌桥专利
首页

图像帧序列中的对象的反射的检测

文献发布时间:2024-04-18 19:58:30


图像帧序列中的对象的反射的检测

技术领域

本文提出的实施例涉及用于检测图像帧序列中的对象的反射的方法、控制器、计算机程序和计算机程序产品。

背景技术

一般而言,对象检测是与计算机视觉和图像处理相关的计算机技术,用于检测特定分类的语义对象的实例(诸如人、动物、车辆等)。一些对象检测算法生成关键点或者其他类型的对象位置指示符。这种点或者指示符通常表示随着从一个图像帧到下一个图像帧被跟踪的目标对象的兴趣点。

存在一些场景或者环境,在其中以上提到的对象检测变得具有挑战性。以城市环境为例,这是一种具有大量反射表面的环境。反射表面可以是镜子,但是也可以是由玻璃或者其他类型的反射材料制成的薄片。这些表面通常会给对象检测算法带来问题。在一些情况下,检测到的对象及其反射都将被计数。在要对检测到的对象进行计数的应用中,这可能成为问题,导致一些检测到的对象被计数两次。对于其他情况,反射可能会完全丢失。在任何检测到的对象将被屏蔽,而反射不被屏蔽应用中,这可能是一个问题。

在US2020/0175694A1中,公开了信息处理装置,包括指定电路和计数电路。指定电路基于取决于图像中多个可移动对象的位置变化的速度的相似性,指定与可移动对象中的同一真实可移动对象相对应的两个或者更多个可移动对象。计数电路基于指定电路的指定结果,对与可移动对象相对应的真实可移动对象的数量进行计数。

然而,在实践中,反射并不完全等于其反射的被跟踪对象。反射看起来可能比被跟踪对象更小或者更大。此外,半透明表面中的反射会使图像帧中的反射细节少于被跟踪对象。此外,反射可能仅包括被跟踪对象的一部分。这可能导致US2020/0175694A1中的信息处理装置中的指定电路做出关于两个或者更多个可移动对象是否与可移动对象中的同一真实可移动对象相对应的错误决定。

发明内容

本文实施例的一目的在于解决上述问题,并提供改进的反射表面中对象的检测。

因此,根据第一方面,提出了用于在图像帧序列中检测对象的反射的方法。该方法由控制器执行。该方法包括检测图像帧序列中的给定类型的对象,并且为每个检测到的对象确定检测分数。该方法包括针对每个检测到的对象,确定为检测到的对象识别的未过滤对象位置指示符之间的距离比。在图像帧序列中的当前图像帧中识别未过滤对象位置指示符。检测到的对象的距离比定义检测到的对象的归一化尺寸。该方法包括为每个检测到的对象确定检测到的对象在当前图像帧中的当前位置和检测到的对象在图像帧序列中的先前图像帧中的先前位置之间的位移因子。检测到的对象的位移因子定义检测到的对象的归一化移动。该方法包括响应于发现检测到的对象中的两个检测到的对象的归一化尺寸和归一化移动之间的匹配,确定这两个检测到的对象中具有较低检测分数的一个检测到的对象是这两个检测到的对象中的另一个检测到的对象的反射。

根据第二方面,提供了用于检测图像帧序列中对象反射的控制器。控制器包括处理电路。处理电路被配置成使控制器检测图像帧序列中的给定类型的对象,并且为每个检测到的对象确定检测分数。处理电路被配置成使控制器针对每个检测到的对象,确定为检测到的对象识别的未过滤对象位置指示符之间的距离比。在图像帧序列中的当前图像帧中识别未过滤对象位置指示符。检测到的对象的距离比定义检测到的对象的归一化尺寸。处理电路被配置成使控制器针对每个检测到的对象,确定检测到的对象在当前图像帧中的当前位置和检测到的对象在图像帧序列中的先前图像帧中的先前位置之间的位移因子。检测到的对象的位移因子定义检测到的对象的归一化移动。处理电路被配置成使控制器响应于发现检测到的对象中的两个检测到的对象的归一化尺寸和归一化移动之间的匹配,确定这两个检测到的对象中具有较低检测分数的一个检测到的对象是这两个检测到的对象中的另一个检测到的对象的反射。

根据第三方面,提供了视频监视系统。该视频监视系统包括根据第二方面的控制器和用于捕获图像帧序列的相机。

根据第四方面,提供了用于检测图像帧序列中的对象的反射的计算机程序,该计算机程序包括计算机程序代码,该代码在控制器上运行时,使控制器执行根据第一方面的方法。

根据第五方面,提供了计算机程序产品,包括根据第四方面的计算机程序和存储计算机程序的计算机可读存储介质。计算机可读存储介质可以是非暂时性的计算机可读存储介质。

有利地,这些方面在具有反射表面的场景或者环境中提供对象的计算高效并且准确的检测。

所附实施例的其他目的、特征和优点将从以下详细公开内容、所附从属权利要求以及附图中显而易见。

通常,权利要求中使用的所有术语应当根据其在技术领域中的普通含义进行解释,除非本文另有明确定义。所有对“一个/该元件、装置、部件、手段、模块、步骤等”的引用应当公开解释为指代元件、装置、部件、手段、模块、步骤等的至少一个实例,除非另有明确说明。本文公开的任何方法的步骤不必按照所公开的确切顺序来执行,除非明确说明。

附图说明

现在参考附图,以示例的方式描述本发明的概念,其中:

图1是根据实施例的视频监视系统的示意图;

图2示意性示出了根据实施例的包括检测到的对象和检测到的对象的反射的图像帧;

图3示意性示出了根据实施例的检测到的对象和围绕检测到的对象的边界框;

图4示意性示出了根据实施例的检测到的对象和检测到的对象的关键点;

图5示意性示出了根据实施例的检测到的对象的关键点和检测到的对象的反射的关键点;

图6是根据实施例的方法流程图;

图7示意性示出了根据实施例的在执行第一动作后的图像帧;

图8示意性示出了根据实施例的在执行第二动作后的图像帧;

图9是根据实施例的控制器的功能单元的示意图;以及

图10示出了根据实施例的包括计算机可读存储介质的计算机程序产品的一个示例。

具体实施方式

下文将参考附图对本发明概念进行更全面的描述,附图中示出了本发明概念的特定实施例。然而,本发明的概念可以以多种不同的形式实施,并且不应当被解释为限于本文提出的实施例;相反,这些实施例是以示例的方式提供的,使得本公开将是彻底和完整的,并且将向本领域技术人员充分传达本发明概念的范围。在整个描述中,相同的标记指代相同的元件。虚线所示的任何步骤或者特征都应当被认为是可选的。

图1是可以应用本文所述实施例的视频监视系统100的示意图。相机120被配置成捕获场景140的视场(FoV)130内的图像帧。在图1的说明性示例中,场景140包括人类形式的对象150-1。相机120包括控制器110,该相机120与控制器110搭配、与控制器110集成或者至少可操作地连接到控制器110。假设对象150-1表示由相机120捕获并由控制器110分析的、要逐帧跟踪的目标对象。为此目的,控制器110可以实施对象检测算法。

本文公开的实施例涉及用于检测图像帧序列中对象150-1的反射的技术。为了获得这样的技术,提供了控制器110、由控制器110执行的方法、包括代码的计算机程序产品,例如以计算机程序的形式,当在控制器110上运行时,使得控制器110执行该方法。

图2示意性示出了图像帧200。图像帧200描述了人类形式的对象150-1,如在场景140中。对象150-1在图像帧200中具有标记为附图标记220-1的位置。在图像帧200中,还描述了反射表面210。反射表面210在图像帧200中具有标记为附图标记230的位置。反射表面210还使得其他对象150-2是可见的。对象150-2是对象150-1的反射,因为对象150-1被反射表面210反射。对象150-2在图像帧200中具有标记为附图标记220-2的位置。

发明人认识到,对象150-1和对象150-2的共同点是其对象位置指示符。本文参考图3和图4,它们示意性示出了人类形式的对象150-1,如在场景140中。在图3和图4中示出了不同类型的对象位置指示符。在图3中,对象150-1被边界框310包围。边界框310由两个角点320a、320b和一个中心点330限定。中心点330可以表示对象150-1的位置220-1。例如,角点320a、320b和中心点330可以是CenterNet关键点。例如,边界框可以是CenterNet边界框。在这方面,对象位置指示符可以由两个或者更多个边界框来定义。也就是说,可以使用两个或者更多个边界框来包围检测到的对象150-1。也就是说,第一边界框可以包围检测到的对象150-1的第一部分(诸如头部),第二边界框可以包围检测到的对象150-1的第二部分(诸如躯干),等。在图4中,对象150-1由表1中所列出的对象位置指示符410-1至417b-1所覆盖。这些对象位置指示符可以被视为COCO关键点或者MediaPipe姿态关键点的简化版本。

表1:附图标记和对象部分之间的对应关系

作为反射的对象150-2将具有相同的对象位置指示符设置,但是被反射。通过分析对象位置指示符,可能在对象级确定对象-反射对,即一个被跟踪对象150-1和其反射的对应对象150-2,或者甚至在对象位置指示符等级。本文参考图5,其示意性示出了对象150-1(未示出)的表1中所列出的对象位置指示符410-1至417b-1。图5还指示了对象150-1的位置220-1。图5还示出了对象150-2(未示出)的对象位置指示符410-2至417b-2,该对象150-2是对象150-1在位置230的反射表面210中的反射。对象位置指示符410-2至417b-2与表1中所列出的对象位置指示符相对应。也就是说,对象位置指示符410-2表示对象150-2的头部,对象位置指示符417b-2表示对象150-2的左脚。

图6是示出用于检测图像帧序列200、800、900中的对象150-1的反射的方法的实施例的流程图。方法由控制器110执行。方法有利地作为计算机程序1120提供。

S102:控制器110检测图像帧序列200、800、900中的给定类型的对象150-1、150-2。控制器110为每个检测到的对象150-1、150-2确定检测分数。

在一些示例中,除了为每个检测到的对象150-1、150-2整体确定的检测分数之外,还为检测到的对象150-1、150-2识别的每个对象位置指示符确定检测分数。只有当检测到的对象150-1、150-2的检测分数高于一些阈值时,各个对象位置指示符的检测分数才变得相关。相反,在一些方面,给定检测到的对象150-1、150-2的检测分数是为给定检测到的对象150-1、150-2识别的所有未过滤对象位置指示符的检测分数的函数。

S104:控制器110针对每个检测到的对象150-1、150-2,确定为检测到的对象150-1、150-2识别的未过滤对象位置指示符之间的距离比。在图像帧200、800、900的序列中的当前图像帧200、800、900中识别未过滤对象位置指示符。检测到的对象150-1、150-2的距离比定义了检测到的对象150-1、150-2的归一化尺寸。

由于检测到的对象的尺寸是针对检测到的对象整体确定的,因此该尺寸被认为是检测到的对象的归一化尺寸。

S106:控制器110针对每个检测到的对象150-1、150-2,确定检测到的对象150-1、150-2在当前图像帧200、800、900中的当前位置220-1、220-2和检测到的对象150-1、150-2在图像帧序列200、800、900中的先前位置之间的位移因子。检测到的对象150-1、150-2的位移因子定义了检测到的对象150-1、150-2的归一化移动。

因此,就图像帧序列200、800、900中的先前图像帧而言,历史数据用于控制器110获取先前图像帧中检测到的对象的位置信息。基于检测到的对象从先前图像帧到当前图像帧移动了多少,可以获得检测到的对象的移动的度量。由于检测到的对象的移动是针对检测到的对象整体来确定的,所以该移动被认为是检测到的对象的归一化移动。

然后,可以将检测到的对象中的两个检测到的对象150-1、150-2的归一化尺寸和归一化移动相互比较。也就是说,将两个检测到的对象150-1、150-2中的一个检测到的对象的归一化尺寸与两个检测到的对象150-1、150-2中的另一个的归一化尺寸进行比较,并且将两个检测到的对象150-1、150-2中的一个检测到的对象的归一化移动与两个检测到的对象150-1、150-2中的另一个的归一化移动进行比较。此外,在这方面,一般而言,归一化尺寸和归一化移动表示特定给定的度量(归一化尺寸的尺寸和归一化移动的移动)被缩放或者以其他方式重新计算到共同的比例。作为非限制性示例,假设在距相机120彼此不同的距离看到对象150-1和对象的反射,效果将是对象150-1和对象的反射看起来具有彼此不同的尺寸;距相机最近的一个对象看起来更大,反之亦然。通过使用归一化尺寸,对象150-1和对象的反射将被缩放或者以其他方式被重新计算到共同的尺寸比例,其中该效果将被考虑,使得对象150-1和对象的反射将看起来是同一个尺寸。同样,在相同的假设下,效果也将是对象150-1和对象的反射看起来以彼此不同的速度移动;距相机最近的一个对象看起来移动得更快,反之亦然。通过使用归一化移动,对象150-1和对象的反射将被缩放或者以其他方式被重新计算到共同的移动比例,其中该效果将被考虑,使得对象150-1和对象的反射看起来以同一个速度移动。

如果两个检测到的对象150-1、150-2的归一化尺寸和归一化移动相似,则可以断定这两个检测到的对象150-1、150-2具有相似的尺寸和相似的移动。这表示两个检测到的对象150-1、150-2中的一个检测到的对象是两个检测到的对象150-1、150-2中的另一个检测到的对象的反射。

S110:控制器110响应于发现检测到的对象中的两个检测到的对象150-1、150-2的归一化尺寸和归一化移动之间的匹配,确定这两个检测到的对象150-1、150-2中具有较低检测分数的一个检测到的对象是这两个检测到的对象150-1、150-2中的另一个检测到的对象的反射。

因此,通过考虑两个检测到的对象150-1、150-2的检测分数,具有相对较低检测分数的检测到的对象150-2被分类为具有相对较高检测分数的检测到的对象150-1的反射。

现在将公开由控制器110执行的检测图像帧序列200、800、900中对象150-1的反射的进一步细节的实施例。

如以上公开的,控制器110检测图像帧序列200、800、900中的给定类型的对象150-1、150-2。在这方面,控制器110可以检测不同类型的对象150-1、150-2。在一些非限制性示例中,给定类型是人、动物或者车辆,诸如小汽车或者卡车。因此,控制器110可能已经被训练并由此被配置成检测给定类型的对象150-1、150-2。

如以上公开的,控制器110针对每个检测到的对象150-1、150-2,确定为检测到的对象150-1、150-2识别的未过滤对象位置指示符之间的距离比。一般而言,未过滤对象位置指示符是在没有首先滤除任何已经以低检测分数检测到的对象的情况下确定的对象位置指示符。也就是说,未过滤对象位置指示符指的是在执行阈值化以减轻场景中的假阳性之前的对象位置指示符。因为反射通常比它们的非反射对应物具有更低的检测分数,所以使用未过滤对象位置指示符,使得作为反射的检测到的对象150-2不会被丢失。也就是说,由于产生低检测分数,一些未过滤对象位置指示符可能属于以其他方式将会被滤除或者丢弃的对象。因此,在一些实施例中,为所有检测到的对象150-1、150-2确定未过滤对象位置指示符,而没有任何检测到的对象150-1、150-2(由于它们的检测分数低于检测阈值)被滤除。

此外,在这方面,可以存在不同类型的对象位置指示符。

在一些非限制性示例中,每个对象位置指示符为环境中公共对象COCO、关键点410-1:417b-1、410-2:417b-2或者MediaPipe姿态关键点。在这方面,对象位置指示符不需要由所有COCO关键点或者MediaPipe姿态关键点来定义,而是这些关键点的子集可以被用作对象位置指示符。如上所述,这在图4中示出。

在其他非限制性示例中,对象位置指示符为边界框310的角点320s、320b和中心点330,诸如CenterNet边界框。如上所述,这在图3中示出。

如以下公开的,响应于发现检测到的对象中的两个检测到的对象150-1、150-2的归一化尺寸和/或归一化移动之间的匹配,确定这两个检测到的对象150-1、150-2中的一个检测到的对象是两个检测到的对象150-1、150-2中的另一个检测到的对象的反射。因此,在一些实施例中,控制器110被配置成执行(可选的)步骤S108。

S108:控制器110发现检测到的对象中的两个检测到的对象150-1、150-2的归一化尺寸和/或归一化移动之间的匹配。

控制器110可以通过不同方式发现检测到的对象中的两个检测到的对象150-1、150-2的归一化尺寸和/或归一化移动之间的匹配。在一些方面,通过将第一检测到的对象150-1的归一化尺寸和/或归一化移动与第二检测到的对象150-2的归一化尺寸和/或归一化移动进行比较来执行该匹配发现。特别地,在一些实施例中,控制器110被配置成执行(可选的)步骤S108a和/或步骤S108b,作为步骤S108的一部分。

S108a:控制器110确认两个检测到的对象150-1、150-2中的一个检测到的对象的归一化尺寸与两个检测到的对象150-1、150-2中的另一个检测到的对象的归一化尺寸之间的尺寸差值小于尺寸阈值。

因此,两个检测到的对象150-1、150-2中的一个检测到的对象的归一化尺寸与两个检测到的对象150-1、150-2中的另一个检测到的对象的归一化尺寸之间的尺寸差值越小,存在匹配的机会越高。

S108b:控制器110确认两个检测到的对象150-1、150-2中的一个检测到的对象的归一化移动与两个检测到的对象150-1、150-2中的另一个检测到的对象的归一化移动之间的移动差值小于移动阈值。

因此,两个检测到的对象150-1、150-2中的一个检测到的对象的归一化移动与两个检测到的对象150-1、150-2中的另一个检测到的对象的归一化移动之间的移动差值越小,匹配的机会越高。

在一些方面,在对象位置指示符级别上执行匹配。也就是说,不是仅将第一检测对象150-1的归一化尺寸和/或归一化移动与第二检测对象150-2的归一化尺寸和/或归一化移动进行比较,而是在两个检测到的对象150-1、150-2中的一个检测到的对象的对象位置指示符对和两个检测到的对象150-1、150-2中的另一个检测到的对象的对象位置指示符对之间进行比较(在尺寸和/或移动上)。

也就是说,出于说明目的,假设两个检测到的对象150-1、150-2表示一个人,并且两条腿的膝部是可检测的,并由两个检测到的对象150-1、150-2中的对象位置指示符所表示。然后,可以在根据两个检测到的对象150-1、150-2中的一个检测到的对象的对象位置指示符的膝部之间的归一化距离和根据两个检测到的对象150-1、150-2中的另一个检测到的对象的对象位置指示符的膝部之间的归一化距离之间进行第一比较。此外,可以在两个检测到的对象150-1、150-2中的一个检测到的对象的由对象位置指示符给出的膝部的归一化移动和两个检测到的对象150-1、150-2中的另一个检测到的对象的由对象位置指示符给出的膝部的归一化移动之间进行第二比较。可以对检测到的对象的其他部分进行尺寸和/或移动上的进一步的这种比较,以累加两个检测到的对象150-1、150-2的匹配分数。

在一些方面,在确定两个检测到的对象150-1、150-2中的一个检测到的对象是两个检测到的对象150-1、150-2中的另一个检测到的对象的反射时,控制器110执行一些动作。因此,在一些实施例中,控制器110被配置成执行(可选的)步骤S112。

S112:控制器110对作为另一检测对象150-1的反射的检测对象150-2执行动作。

在步骤S112中,存在可以由控制器110执行的不同类型的动作。在一些非限制性示例中,动作涉及将屏蔽810-2应用于作为另一个检测到的对象150-1的反射的检测到的对象150-2。本文中间参考图7,其示意性示出了图像帧800。图像帧800描述了如何将第一屏蔽810-1放置在图2中对象150-1出现的位置,以及如何将第二屏蔽810-2放置在图2中对象150-2出现的位置。在一些非限制性示例中,动作涉及滤除作为另一个检测到的对象150-1的反射的检测到的对象150-2,降低作为另一个检测到的对象150-1的反射的检测到的对象150-2的检测分数阈值,等。本文中间参考图8,其示意性示出了图像帧900。图像帧900描述了如图2中的对象150-1,但是其中对象150-2已经被滤除以不出现在图像帧900中。在这方面,尽管表示反射的对象150-2被示出为从图像帧中滤除,但是注意,滤除通常是指从一些计数或者其他类型的计算中滤除检测到的对象150-2,使得对象150-1不会被计数两次。

在一些方面,如图2所示,反射由放置在两个检测到的对象150-1、150-2之间的反射表面210导致。一般而言,反射表面210被放置在两个检测到的对象150-1、150-2的位置220-1、220-2之间的中点。因此,两个检测到的对象150-1、150-2的位置220-1、220-2的获知被用于确定反射表面210的位置230。因此,在一些实施例中,控制器110被配置成执行(可选的)步骤S114。

S114:控制器110确定反射表面210的位置230,使检测到的对象150-1、150-2中的一个检测到的对象成为另一个检测到的对象150-1、150-2的反射。反射表面210的位置230被确定为两个检测到的对象150-1、150-2的位置220-1、220-2之间的中点。

在一些实施例中,反射表面210的位置230的获知用于检测图像帧序列200、800、900中的其他对象。由于反射表面210的位置230可以用作参考点、或者参考线、或者甚至参考表面,位置230的获知可以增加在同一场景的未来图像帧中,或者至少在反射表面210仍然存在于场景中的场景中,在具有挑战性的光照条件下检测到反射对象的机会。

应当注意,通过参考对象150-1、150-2的归一化尺寸进行匹配,与对象150-1的对象位置指示符410-1至417b-1相比,无需考虑对象150-2的对象位置指示符410-2至417b-2是镜像的。出于同样的原因,通过参考对象150-1、150-2的归一化移动的匹配,由于反射表面210相对于检测到的对象150-1、150-2放置,对象150-1的归一化移动将与对象150-2的归一化移动相同,除了可能的符号变化。例如,利用如图2中的反射表面210的放置,如果对象150-1看起来向图2中的左侧移动,则对象150-2看起来向图2中的右侧移动。为了解决这个潜在的问题,归一化移动可以仅通过其幅度来表示,而不考虑其方向。此外,对于在对象位置指示符等级上执行的任何匹配,当匹配涉及任何对象位置指示符时,应当考虑反射,对于该对象位置指示符,每个对象都存在右对象位置指示符和左对象位置指示符,诸如对象位置指示符412a-1、412b-1等。

目前为止公开的方法和控制器110可用作改进对具有玻璃表面的场景140中的人和其他对象150-1的检测的技术的一部分。玻璃表面可以是反射性和透射性的。反射图像可能比实际的人或者对象的图像更暗。对于透过玻璃可见的人或者其他对象150-1也是如此,尤其是在一些光照条件下。如已经公开的,如果检测对象150-1的目的是屏蔽对象150-1,则存在的风险是,对象150-1的镜像图像保持未被屏蔽并且如果用于检测的阈值过于严格则可能被识别到。相反,如果检测对象150-1的目的是为了计数,则如果检测阈值过大,存在重复计数对象150-1的风险。

因此,在一些方面,识别可能出现反射图像和透射图像的区域。在特定光照条件下识别这些区域可能更容易,并且在有利条件下获得的获知可以在更困难的条件下使用。如果表面可以被识别出其中经常发现对象150-1的反射150-2,但是同样经常没有发现反射(例如关键点不匹配),则该表面很可能既是反射的又是透射的。

光照条件可能影响对象150-1、150-2的反射和/或透射程度。例如,研究具有高反射率或者透射率的表面通常相对容易,因为这使得检测更清晰,因此更可靠。另一方面,在昏暗的光照条件下通常难以检测对象。因此,当确定对象是否是反射时,可以使用光照条件的信息。例如,当指示昏暗的光照条件时,可以降低阈值。这也有助于调整关键点反射算法。例如,如果发现在图像的给定区域中更可能发现反射而不是透射,则可以在图像的该给定区域中执行对关键点对的更积极的搜索。此外,明亮的光照条件通常产生比透射对象更多的反射对象。这个获知也可以用于帮助算法。因此,如果光照条件指示较高的反射的机会,则可以执行对关键点对的更积极的搜索。

现在将简要描述可能的方法。反射可以使用上述方法来发现。场景140的给定部分中记录的反射的数量随时间被保存。这可以被视为生成热力图。如果存在多种记录的反射,而且对于给定的表面有多种真实的目标,这在热力图中被标记。对于隐私屏蔽应用,可以在该表面上应用静态屏蔽,以确保反射被屏蔽,即使在它们低于当前检测阈值的情况下。或者,屏蔽对象150-2所需的屏蔽阈值可以在该区域中降低。对于每个图像帧200,可以通过在场景140中发现反射对来确定检测到的对象150-1、150-2是否是反射。因此,通过使用对象150-1是否是反射的概率来随时间构建数据,可能在未来预测位于图像帧的相同区域中的新对象是否是反射的概率。

图9示意性示出了根据实施例的控制器110在多个功能单元上的部件。处理电路1010使用能够执行存储在计算机程序产品1110(如图10)中的软件指令(例如以存储介质1030的形式)的一个或者多个合适的中央处理单元(CPU)、多处理器、微控制器、数字信号处理器(DSP)等的任意组合来提供。处理电路1010还可以被提供为至少一个专用集成电路(ASIC)或者现场可编程门阵列(FPGA)。

特别地,处理电路1010被配置成使控制器110执行一组操作或者步骤,如以上公开的。例如,存储介质1030可以存储该组操作,并且处理电路1010可以被配置成从存储介质1030中检索该组操作,以使得控制器110执行该组操作。该组操作可以作为一组可执行指令来提供。

因此,处理电路1010由此被布置成执行本文公开的方法。存储介质1030还可以包括永久存储器,其例如可以是磁存储器、光存储器、固态存储器或者甚至远程安装的存储器中的任何一个或者组合。控制器110可以进一步包括通信接口1020,其至少被配置用于与相机120通信,可能与其他功能、节点、实体和/或装置通信,诸如视频监视系统的功能、节点、实体和/或装置。这样,通信接口1020可以包括一个或者多个发射器和接收器,包括模拟和数字部件。处理电路1010控制控制器110的总体操作,例如,通过向通信接口1020和存储介质1030发送数据和控制信号,通过从通信接口1020接收数据和报告,以及通过从存储介质1030检索数据和指令。控制器110的其他部件以及相关功能被省略,以免混淆本文给出的概念。

控制器110可以作为独立装置或者作为至少一个其他装置的一部分来提供。例如,控制器110和相机120可以是视频监视系统100的一部分。或者,控制器110可以集成在相机120中。由控制器110执行的指令的第一部分可以在第一装置中执行,并且由控制器110执行的指令的第二部分可以在第二装置中执行;本文公开的实施例不限于可以在其上执行由控制器110执行的指令的任何特定数量的装置。因此,根据本文公开的实施例的方法适用于由驻留在云计算环境中的控制器110执行。因此,尽管图9中示出了单个处理电路1010,但是处理电路1010可以分布在多个装置或者节点中。这同样适用于图10的计算机程序1120。

图10示出了包括计算机可读存储介质1130的计算机程序产品1110的一个示例。在该计算机可读存储介质1130上,可以存储计算机程序1120,该计算机程序1120可以使处理电路1010以及与其可操作地耦接的实体和装置(诸如通信接口1020和存储介质1030)执行根据本文描述的实施例的方法。计算机程序1120和/或计算机程序产品1110因此可以提供用于执行本文公开的任何步骤的手段。

在图10的示例中,计算机程序产品1110被示出为光盘,诸如CD(压缩光盘)或者DVD(数字多功能光盘)或者蓝光光盘。计算机程序产品1110还可以被实施为存储器,例如随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)或者电可擦除可编程只读存储器(EEPROM),并且更具体地,被实施为外部存储器中的装置的非易失性存储介质,诸如USB(通用串行总线)存储器或者闪存,诸如小型闪存。因此,虽然计算机程序1120在本文示意性示出为所描述的光盘上的轨道,但是计算机程序1120可以以适用于计算机程序产品1110的任何方式存储。

以上主要参考几个实施例描述了本发明的概念。然而,如本领域技术人员容易理解的,在由所附专利权利要求限定的本发明概念的范围内,除了上文公开的实施例之外的其他实施例同样是可能的。

相关技术
  • 彩色图像帧序列中的基于多个神经网络的对象分割
  • 彩色图像帧序列中的基于多个神经网络的对象分割
技术分类

06120116496226