监视材料堆的方法及装置

技术领域

本发明涉及利用热成像摄像机来监视材料堆以及被配置为执行这种监视的装置。

背景技术

热成像相机是一种优秀的用于监视不同场景的装置，特别是其中场景中的一个或多个对象的温度将要被监视的那些场景。一个这样的示例是监视回收站中的材料堆。通过监视材料堆的温度，可以触发对温度升高的报警。然而，存在着误报的问题，这通常是由于具有内燃机的机器在回收站周围移动的原因。因此，需要减少误报的数量。

发明内容

一个目的在于，单独地或以任何组合的方式来减轻、缓解或消除本领域中的一个或多个以上发现的缺陷以及各不利因素，并且至少解决以上提到的问题。

根据第一方面，提供了一种用于监视材料堆的方法。该方法包括：在由热成像相机捕获到的场景的热成像视频流中定义覆盖材料堆的感兴趣区；从热成像视频流的视频帧中，根据感兴趣区内的像素数据来确定材料堆的参考空间特性；调整感兴趣区，使得感兴趣区包括视频流中表现出高于空间特性阈值的样本空间特性的区；随着时间的推移并且在感兴趣区内，监视视频流中的温度测量值；当温度测量值超过预定阈值时，生成报警事件。

本发明的用于监视材料堆的方法允许动态地调整感兴趣区，使得尽管堆随着时间的推移而改变了尺寸、被移动等，材料堆也被覆盖。这允许避免误报，这只是因为尽管堆随着时间的推移而改变了尺寸或被移动，但堆还是可以被感兴趣区覆盖。以上是通过调整感兴趣区使得感兴趣区包括视频流中表现出高于空间特性阈值的样本空间特性的区来实现的。空间特性阈值应该足够高，使得非堆区从堆中被排除。空间特性阈值可以例如是参考空间特性的60％。堆的参考空间特性被视为堆的光学特征。空间特性可以例如是构成视频流的热成像图像数据的波长中的空间频率的测量值。空间频率可以是熵、边缘密度或其他空间频率相关度量。针对材料堆，空间频率(尤其是在热成像波长中)通常表现出较大的分布，而覆盖建筑物或地面的区通常表现出均匀的空间频率。因此，通过基于由热成像视频流描绘的场景中的区的空间特性来调整感兴趣区，使得本方法允许跟踪被移动的或被改变的材料堆，而不需要操作员随着时间的推移而更新感兴趣区。

该方法可以进一步包括：调整感兴趣区，使得调整后的感兴趣区排除视频流中表现出低于空间特性阈值的样本空间特性的区。

温度测量值可以是以下项中的一项或多项：温度的绝对值和温度绝对值的变化率。

该方法可以进一步包括：更新参考空间特性。对参考空间特性的更新可以由以下项中的一项或多项触发：热成像相机的环境温度、视频流的对比度、与场景相关联的天气数据、季节、一天中的时间。通过更新参考空间特性，可以对材料堆中随着时间的推移而发生的变化加以考虑。例如，堆中材料的尺寸可能会随着时间的推移通过向堆中添加材料或者从堆中去除材料而变化。

参考空间特性和样本空间特性可以针对包括4x4至8x8像素的像素组计算。这将大大减少处理过程中所需的处理能力。

该方法可以进一步包括：在视频流中定义多个感兴趣区，其中，每个感兴趣区覆盖特定材料堆；从视频流的视频帧中，根据覆盖特定材料堆的每个相应的特定感兴趣区内的像素数据来确定每个特定材料堆的特定参考空间特性；调整每个特定感兴趣区，使得特定感兴趣区包括视频流中表现出在相应的特定参考空间特性的90％至110％范围内的样本空间特性的区；针对每个特定感兴趣区来设定温度测量值的特定预定阈值；随着时间的推移并且在每个特定感兴趣区内，监视视频流中的特定温度测量值；以及当特定温度测量值超过特定预定阈值时，生成报警事件。因此，包括特定材料的堆的热成像波长范围内的空间频率分布可以因此而被用作每个特定材料堆的光学特征。通过这种方式，该方法允许针对不同的感兴趣区(即，不同的材料堆)设定不同类型的温度触发器。

根据第二方面，提供了一种非暂时性计算机可读介质。该非暂时性计算机可读存储介质上存储有指令，该指令用于在具有处理能力的装置上执行时实施根据第一方面的方法。

根据第二方面，提供了一种用于监视材料堆的装置。该装置包括：电路，被配置为执行以下感兴趣区功能、参考空间特性设定功能、感兴趣区调整功能以及温度监视功能。感兴趣区功能被配置为，在由热成像摄像机捕获到的场景的热成像视频流中定义覆盖材料堆的感兴趣区。参考空间特性设定功能被配置为，根据热成像视频流的视频帧的感兴趣区内的像素，确定材料堆的空间特性，并且将所确定的空间特性设定为参考空间特性。感兴趣区调整功能被配置为，确定热成像视频流中的区的相应的样本空间特性，并且调整感兴趣区，使得感兴趣区包括热成像视频流中表现出高于空间特性阈值的样本空间特性的区。温度监视功能被配置为，随着时间的推移并且在感兴趣区内，监视视频流中的温度测量值，并且当温度测量值超过预定阈值时，生成报警事件。如以上所讨论的，空间特性阈值可以例如是参考空间特性的60％。

感兴趣区调整功能可以进一步被配置为，调整感兴趣区，使得调整后的感兴趣区排除视频流中表现出低于空间特性阈值的样本空间特性的区。

温度测量值可以是以下项中的一项或多项：温度的绝对值和温度绝对值的变化率。

参考空间特性设定功能可以进一步被配置为，由以下项中的一项或多项触发：热成像相机的环境温度、视频流的对比度、与场景相关联的天气数据、季节、一天中的时间，通过根据视频流的视频帧的当前感兴趣区内的像素来更新参考空间特性，从而确定材料堆的空间特性，并且将所确定的空间特性设定为更新后的参考空间特性。

参考空间特性设定功能和感兴趣区调整功能可以被配置为将参考空间特性和样本空间特性分别确定为以下项中的一项或多项：图像熵和边缘密度。

参考空间特性设定功能和感兴趣区调整功能可以被配置为，针对包括4x4至8x8像素的像素组来分别计算参考空间特性和样本空间特性。

感兴趣区功能可以被配置为，在视频流中定义多个感兴趣区，其中每个感兴趣区覆盖特定材料堆。参考空间特性设定功能可以被配置为，根据热成像视频流的视频帧的每个相应的特定感兴趣区内的像素，针对每个特定材料堆来确定特定参考空间特性；感兴趣区调整功能可以被配置为，调整每个特定感兴趣区，使得特定感兴趣区包括视频流中表现出在相应的特定参考空间特性的90％至110％范围内的样本空间特性的区。感兴趣区功能可以进一步被配置为，针对每个感兴趣区来设定温度测量值的特定预定阈值。温度监视功能可以被配置为，随着时间的推移并且在每个特定感兴趣区内，监视视频流中的特定温度测量值，并且当特定温度测量值超过特定感兴趣区的特定预定阈值时，生成报警事件。

装置可以进一步包括：图像传感器，被配置为捕获场景的热成像视频流的热成像视频数据。

该方法的以上提到的特征在应用时，也适用于第二和第三方面。为了避免不必要的重复，请参考上述内容。

根据下面给出的详细描述，本发明的进一步的适用范围将变得显而易见。然而，应当理解，详细描述以及特定示例虽然指示了本发明的优选实施例，但仅通过说明的方式给出，因为在本发明的范围内的各种变化以及修改对于本领域技术人员来说都将根据该详细描述变得显而易见。

因此，应当理解，本发明不限于所描述的系统的特定部件部分或所描述的方法的各动作，因为这样的系统和方法可以发生变化。还应当理解，本文中所使用的术语仅用于描述特定实施例的目的，并不旨在进行限制。必须注意的是，如在本说明书和所附权利要求书中使用的，词语“一”、“一个”、“该”和“所述”旨在表示存在一个或多个元件，除非上下文另有明确规定。因此，例如，对“一个装置”或“该装置”的引用可以包括若干个装置等。此外，词语“包含”、“包括”和“含有”以及类似的措辞并不排除其他的元件或步骤。

附图说明

现在将参考附图来更详细地描述本发明的上述以及其他的方面。这些图不应被认为是限制性的，相反，它们是用于解释和理解的。

如图中所图示出的，出于说明的目的，层和区的尺寸可以被夸大，并且因此被提供来说明一般性的结构。相同的附图标记自始至终指示相同的元件。

图1图示出用于监视材料堆的装置。

图2是用于监视材料堆的方法的框图。

图3A、图3B和图3C图示出热成像摄像机在不同的时间实例下描绘出的材料堆。

具体实施方式

在下文中将参考附图来更全面地描述本发明，在附图中示出了本发明的当前优选实施例。然而，本发明可以以许多不同的形式来实施，并且不应被解释为限于本文中所阐述的实施例；相反，提供这些实施例是为了彻底性以及完整性，并且是为了将本发明的范围完全地传达给技术人员。

图1图示出用于监视材料堆的装置100。装置10通常被实施在热成像摄像机中。然而，该装置可以被配置为，被提供有来自热成像摄像机的热成像视频流。在下文中，装置100将被讨论为，被实施在热成像摄像机中。热成像摄像机形式的装置100包括热成像图像传感器112。热成像图像传感器112被配置为，捕获热成像视频数据。热成像视频数据通常是基于像素的数据。装置100进一步包括视频图像管线114。视频图像管线114被配置为，将热成像视频数据处理为热成像视频流的视频帧。热成像摄像机覆盖用于描绘场景的视场111。在实施例中，热成像摄像机被设定为，描绘包括一个或多个材料堆190的场景。一个或多个材料堆190中的每一个材料堆中的材料可以是不同种类的，例如木材废料、废料金属、塑料废料、纸张废料、电子废料等。通常，热成像摄像机被设置为，监视用于覆盖回收中心的至少一部分的场景。热成像摄像机通常进一步被设置为，监视材料堆190的温度，并且在监视到温度升高时，通常是高于阈值时，生成报警。阈值可以是堆190中的绝对温度的测量值。可替代地或组合地，阈值可以是堆190中的温度的变化率。可以针对不同的材料堆区别地地设定阈值。也就是说，主要由木材组成的堆可能比主要由玻璃组成的堆具有更低的阈值(绝对温度)。

装置100进一步包括电路120。电路120被配置为，执行对装置100的功能和操作的总体控制。电路120可以包括处理器121，例如中央处理单元(CPU)、微控制器或微处理器。处理器121被配置为，执行存储在存储器130中的程序代码，以便执行装置100的功能和操作。

存储器130可以是缓冲器、闪存、硬盘驱动器、可移动介质、易失性存储器、非易失性存储、随机存取存储器(RAM)或其他适当装置中的一个或多个。在典型的布置中，存储器130可以包括用于长期数据存储的非易失性存储器以及用作电路120的系统存储器的易失性存储器。存储器130可以通过数据总线来与电路120交换数据。在存储器130与电路120之间还可以存在随附控制线以及地址总线。

装置100的功能和操作可以以可执行逻辑例程(例如，代码行、软件程序等)的形式来实施，该可执行逻辑例行被存储在装置100的非暂时性计算机可读介质(例如，存储器130)上，并由电路120(例如，使用处理器121)来执行。此外，装置100的功能和操作可以是独立的软件应用，或者形成用于执行与装置100相关的附加任务的软件应用的一部分。所描述的功能和操作可以被认为一种方法，装置的相应部分被配置为执行该方法。此外，虽然所描述的功能和操作可以以软件的方式实施，但这种功能也可以经由专用硬件或固件、或者硬件、固件和/或软件的一些组合来执行。

电路120被配置为，执行感兴趣区功能132。感兴趣区功能132被配置为，在由热成像摄像机捕获到的场景的热成像视频流中定义覆盖材料堆190的感兴趣区。感兴趣区功能132可以被配置为，接收用于定义感兴趣区的用户输入。例如，用户可以在用于显示被热成像摄像机覆盖的场景的显示器上，标记将构成感兴趣区的区域。可替代地或组合地，机器学习模型可以用于定义区或者兴趣。由感兴趣区功能132定义的感兴趣区不一定需要覆盖整个的材料堆190。只要堆190的一部分被感兴趣区覆盖就足以。优选地，感兴趣区覆盖热成像视频流的帧的热成像视频数据中的至少10x10像素的区域。结合针对堆的感兴趣区的定义，感兴趣区功能132可以进一步被配置为，对堆190的温度阈值进行属性化。温度阈值是，当它达到时装置100被配置为发出警报的阈值，参见下面讨论的温度监视功能138。

电路120进一步被配置为，执行参考空间特性设定功能134。参考空间特性设定功能134被配置为，根据热成像视频流的一个或多个视频帧的感兴趣区内的像素，来确定材料堆的空间特性。用于确定堆的空间特性的感兴趣区内的像素优选地，为堆内的像素井。参考空间特性设定功能134进一步被配置为，将所确定的空间特性设定为参考空间特性。堆的参考空间特性将被视为堆190的光学特征。空间特性可以例如是构成热成像视频流的热成像图像数据的热成像波长中的空间频率的测量值。空间频率可以是熵、边缘密度或其他空间频率相关度量。根据非限制性的示例，可以通过将拉普拉斯滤波器(Laplacian filter)和/或索贝尔滤波器(Sobel filter)应用于热成像图像数据的像素数据，来确定空间频率。对其应用了拉普拉斯滤波器和/或索贝尔滤波器的像素数据可以被分组为相邻像素组。这样的相邻像素组可以包括4x4至8x8像素。针对材料堆，空间频率(尤其是在热成像波长中)通常表现出较大的分布，而覆盖建筑物或地面的区通常表现出均匀的空间频率。包括特定材料的堆在热成像波长范围内的空间频率分布可以被用作材料堆的光学特征。

电路120进一步被配置为执行感兴趣区调整功能136。感兴趣区调整功能136被配置为确定热成像视频流中的区的相应的样本空间特性。感兴趣区调整功能136通常被设定为：对被用于设定参考空间特性的图像帧之后的图像帧的热成像图像数据的像素数据来执行操作。可以周期性地执行感兴趣区调整功能136。周期性地执行的感兴趣区调整功能136的频率可以是固定的。例如，感兴趣区调整功能136可以在一分钟到一小时左右的一段时间内周期性地执行。周期性地执行感兴趣区调整功能136的频率可以是随机的。可替代地，可以响应于在感兴趣区中检测到的移动来执行感兴趣区调整功能136。感兴趣区中的移动是堆正在被处理(即，材料被添加或者被去除，这两者都为感兴趣区的调整提供了理由)的有力指标。使用热成像相机的分析，可以很容易地检测到移动。热成像视频流中的区的相应的样本空间特性优选地以与参考空间特性相同的方式来确定。因此，可以通过将拉普拉斯滤波器和/或索贝尔滤波器应用于热成像图像数据的像素数据，来确定样本空间频率。对其应用了拉普拉斯滤波器和/或索贝尔滤波器的像素数据可以被分组为相邻像素组。这样的相邻像素组可以包括4x4至8x8像素。感兴趣区调整功能136可以被配置为，针对构成材料堆的区域(将要成为覆盖至少3x3个相干的相邻像素组的区域)来设定较低的阈值。感兴趣区调整功能136被配置为，调整感兴趣区，使得感兴趣区包括热成像视频流中表现出高于空间特性阈值的样本空间特性的区。不同地表示，感兴趣区调整功能136被配置为，调整感兴趣区，使得调整后的感兴趣区排除热成像视频流中表现出低于空间特性阈值的样本空间特性的区。因此，通过基于由热成像视频流描绘的场景中的区的空间特性来调整感兴趣区，使得本设置允许跟踪被移动的或被改变的材料堆，而不需要操作员随着时间的推移而更新感兴趣区。空间特性阈值可以被设定为参考空间特性的60％。

电路120进一步被配置为执行温度监视功能138。温度监视功能138被配置为，随着时间的推移并且在感兴趣区内，监视热成像视频流中的温度测量值。温度测量值可以是以下项中的一项或多项：温度的绝对值和温度绝对值的变化率。温度监视功能138进一步被配置为当温度测量值超过预定阈值时生成报警事件。

参考空间特性设定功能134可以进一步被配置为，通过根据视频流的视频帧的当前感兴趣区内的像素来更新参考空间特性，从而确定材料堆的空间特性，并且将所确定的空间特性设定为更新后的参考空间特性。对参考空间特性的更新可以被设定为周期性地执行，例如，每天一次或每周一次。可替代地，对参考空间特性的更新可以由以下项中的一项或多项触发：热成像摄像机的环境温度、热成像视频流的对比度、与场景相关联的天气数据、季节、以及一天中的时间。装置100可以包括用于确定热成像摄像机的环境温度的温度传感器140。装置100可以连接到用于提供与场景相关联的天气数据的天气服务。装置100可以包括收发器150，通过该收发器150，该装置被配置为与其他装置或服务(例如，天气服务)进行通信。

因此，如果周围环境发生变化，则很可能需要更新当前的参考空间特性。例如，在环境温度发生变化的情况下，将更新参考空间特性。可以例如通过确定传感器温度来估计环境温度。可替代地，可以通过根据感兴趣区之外的像素来确定温度测量值，从而估计出环境温度。可替代地，也可以使用外部天气信息。

此外，热成像视频流的对比度可能会例如受到天气、一天中的时间等的影响。对比度上的变化高于所设定的阈值可能会触发对参考空间特性的更新。此外，如果感兴趣区内的对比度与感兴趣区外的对比度相比开始偏离，则可以触发对参考空间特性的更新。根据一个示例，感兴趣区是在恶劣天气(例如，下雨或下雪)期间设定的。当天气变好时，感兴趣区内的对比度与感兴趣区外的对比度相比之间的差异将开始变得更大。在这种情况下，就是时候更新参考空间特性。用于执行更新的条件可以是，感兴趣区内的对比度与感兴趣区外的对比度相比之间的差异增加了10％或更多。可以设定的另一个条件是，感兴趣区内的对比度与感兴趣区外的对比度相比之间的绝对差值应高于阈值，例如50％。此外，在初始设置感兴趣区时，如果所请求的感兴趣区内的对比度与感兴趣区外的对比度相比之间的绝对差值低于阈值(例如，绝对数上的差异低于25％)，则将发出警告，用以通知不能设置初始感兴趣区。

此外，如果感兴趣区内和感兴趣区外的对比度开始更加相等，即，这些对比度上的差异开始低于阈值(例如，绝对数上的差异低于25％)，则不进行对参考空间特性的更新。

此外，随着热成像相机被校准，可以估计整个场景的温度动态值。如果温度动态值的变化超过了所设定的阈值度数，则这可以是对更新参考空间特性的触发。

结合图2，将讨论用于监视材料堆的方法200。方法200的所有步骤中的一些步骤可以由以上描述的装置100来执行。然而，同样认识到，方法200中的一些步骤或者全部步骤可以由具有类似功能的一个或多个其他装置来执行。方法200包括以下步骤。这些步骤可以以任何适当的顺序来执行。

在由热成像相机捕获到的场景的热成像视频流中定义S202覆盖材料堆的感兴趣区。该步骤被进一步图示在图3A中，在该图3A中图示出了包括材料堆的场景的热成像视频流的帧。如由步骤S202定义的覆盖材料堆190的感兴趣区192在该图中被图示出。上面结合感兴趣区功能132更详细地讨论了定义S202覆盖材料堆的感兴趣区的步骤。为了避免不必要的重复，请参考该讨论。

从热成像视频流的一个或多个视频帧中，根据感兴趣区内的像素数据来确定S204材料堆的参考空间特性。上面结合参考空间特性设定功能134更详细地讨论了确定S204参考空间特性的步骤。为了避免不必要的重复，请参考该讨论。

调整S206感兴趣区，使得感兴趣区包括视频流中表现出高于空间特性阈值的样本空间特性的区。该步骤可以可替代地或组合地被表示为，调整感兴趣区，使得调整后的感兴趣区排除视频流中表现出低于空间特性阈值的样本空间特性的区。上面结合感兴趣区调整功能136更详细地讨论了调整S206感兴趣区的步骤。空间特性阈值可以是参考空间特性的60％。为了避免不必要的重复，请参考该讨论。根据以上结合感兴趣区调整功能136的讨论，将认识到，调整S206的步骤是对热成像视频流的一个或多个帧执行的，而该一个或多个帧跟随在根据其确定了参考空间特性的帧之后。这种后续帧的两个不同示例被图示在图3B和3C中。在图3B中，材料堆190已经被移动。因此，感兴趣区192已经被调整到与材料堆一起移动后的位置。此外，在图3B中，材料堆190的尺寸已经被减小。因此，感兴趣区192已经被调整了尺寸以反映这一点。在图3C中，材料堆190被划分为两个堆190a、190b。因此，感兴趣区也被划分为两个感兴趣区192a、192b。在上面所讨论的示例中，相应的感兴趣区被图示为矩形的感兴趣区，然而，将认识到，感兴趣区可以采取反映出材料堆的形状的任何形状。

随着时间的推移并且在感兴趣区内，监视S208视频流中的温度测量值。温度测量值可以是以下项中的一项或多项：温度的绝对值和温度绝对值的变化率。

当温度测量值超过预定阈值时，生成210报警事件。

该方法可以进一步包括更新207考空间特性。对参考空间特性的更新可以由以下项中的一项或多项来触发：热成像相机的环境温度、视频流的对比度、与场景相关联的天气数据、季节、一天中的时间。

本领域技术人员认识到，本发明决不限于以上描述的优选实施例。相反，在所附权利要求的范围内，许多修改和变化都是可行的。

例如，该方法可以在存在多个不同的特定材料堆的情况下实施。每个特定材料堆通常是与其他堆不同的材料堆，例如，金属材料堆、纸张材料堆、塑料材料堆等。如果是这样，则该方法可以包括：在视频流中定义多个感兴趣区，其中每个感兴趣区都覆盖特定材料堆。从视频流的视频帧中，根据覆盖特定材料堆的每个相应的特定感兴趣区内的像素数据，来确定每个特定材料堆的特定参考空间特性。调整每个特定感兴趣区，使得特定感兴趣区包括视频流中表现出在相应的特定参考空间特性的90％z至110％范围内的样本空间特性的区。针对每个特定感兴趣区来设定温度测量值的特定预定阈值。随着时间的推移并且在每个特定感兴趣区内，监视视频流中的特定温度测量值。当特定温度测量值超过特定预定阈值时，生成报警事件。

此外，根据对附图、本公开和所附权利要求的研究，实践所要求保护的发明的技术人员可以理解并实现对所公开的实施例的改变。