用于处理红外图像的设计

技术领域

本发明涉及一种用于处理红外图像的方法、设备和具有指令的计算机可读存储介质以及一种机动车，该机动车使用这种方法或这种设备。本发明还涉及一种用于训练神经网络的方法和具有指令的计算机可读存储介质以及一种神经网络，该神经网络是利用这种方法来被训练的。

背景技术

视频会议系统已经在ISDN（Integrated Services Digital Network（集成服务数字网络）；集成语音和数据网络）时代实现了。然而，这种系统随着移动无线电容量的扩容才进一步普及到移动终端设备、诸如智能电话上。这样的系统在PC环境下、尤其是在商业部门也越来越被普遍接受。所有这些系统通常都具有彩色摄像机，该彩色摄像机从正面拍摄用户。

摄像机目前也进入机动车以进行内部空间监控，例如以便拍摄驾驶员。这种摄像机的主要应用情形是自动驾驶，在该自动驾驶的情况下，检查驾驶员是否可以重新接管驾驶任务。如果在机动车中存在这种摄像机，则会有利的是：将该摄像机也用于视频电话的应用。尤其是在自动驾驶期间，这对于驾驶员来说是一种非常令人感兴趣的应用情形。然而，所谓的驾驶员观察摄像机被设计为也在昏暗中发挥作用。为了不使驾驶员炫目，使用在波长约为940nm的情况下的近红外范围内的照明，该波长对于人眼来说不可见。摄像机相对应地专门针对该波长来设计。

然而，由于在近红外范围内的拍摄以及从下方对面部的主动照明，图像并不太适合于视频会议。形成一种“鬼脸”，该“鬼脸”具有异常且看起来不自然的阴影图像。通常大多变暗的眼窝在此显得特别明亮，而鼻梁则异常变暗。所得到的形象从客户角度来看不符合期望。

另一缺点在于：相对应的摄像机只提供灰度图像，而客户则期望视频电话有彩色图像。另外，由于摄像机的安装位置，面部从下方被拍摄，而且在驾驶员与摄像机之间没有视线接触。

所提到的问题目前只能通过安装正好对准驾驶员的附加的彩色摄像机来予以弥补。然而，由此形成可观的额外成本。提供附加的结构空间也是一个在车辆内部空间设计方面的问题。

对于像E-Call（电子电话）那样的特殊应用来说，未被改变的红外图像对于客户来说都可能是奢求。因而值得期望的是：对可用的红外图像进行处理并且使这些红外图像可用于其它应用、尤其是用于视频电话。

在该上下文中，CN 105023269 A描述了一种用于对车辆的红外摄像机的红外图像进行着色的方法。首先，在车辆中采集红外图像，以便利用这些红外图像来对分类器进行训练。在训练完成之后，将所要着色的红外图像移交给分类器，该分类器对每个像素进行分类并且生成结果图。将结果图分割成超像素，并且针对每个超像素创建结果直方图。将主要的分类属性分派给整个超像素，以便生成经优化的结果图。最后，首先产生与所要着色的红外图像相同大小的RGB图像，并且接着将RGB图像的色彩空间转换成HSV色彩空间。接着，基于经优化的结果图和红外图像的灰度值，确定被转换到HSV色彩空间中的图像的像素值。

DE 10 2006 044 864 A1描述了一种用于在机动车的夜视系统中进行计算机辅助图像处理的方法。检测装置检测机动车的周围环境的夜视图像。其它检测装置检测机动车的周围环境的参数。根据周围环境的参数，确定夜视图像的分别与图像内容类别相关联的图像区域。针对每个图像内容类别，定义一个或多个图像处理标准。接着对所检测到的夜视图像进行处理，用于在显示装置上显示。在此，根据相应的图像区域的图像内容类别的所述一个或多个图像处理标准来对夜视图像进行处理。最后，在显示装置上重现经处理的夜视图像。

US 6792136 B1描述了一种用于根据所监控的场景的红外图像来产生高分辨率彩色图像的方法。对所拍摄到的红外图像进行分析，以便查明在图像中是否能识别出对象、例如面部。如果能识别出对象，则将对象特性与多个所存储的对象特性进行比较。如果存在一致性，则确定对象的颜色特性并且基于存储在数据库中的特性信息来对该对象进行上色。如果不一致或者不存在可标识出的对象而且对象颜色不能被标识，则对图像进行分析，以便查明在该图像之内是否能识别出诸如衣服那样的图案。如果能识别出图案，则确定该图案的颜色特性，并且根据红外反射特性结合所存储的图案信息来对该图案进行上色。如果不能识别出图案，则根据红外反射特性来对图像的未图案化且未配备特征的部分进行上色。

发明内容

本发明的任务是提供一种用于处理红外图像的经改善的设计。

该任务通过具有权利要求1或7的特征的方法、通过根据权利要求10所述的具有指令的计算机可读存储介质、通过具有权利要求11的特征的设备并且通过具有权利要求12的特征的神经网络来被解决。本发明的优选的设计方案是从属权利要求的主题。

按照本发明的第一方面，用于处理红外图像的方法包括如下步骤：

- 读入红外摄像机的红外图像；

- 通过将神经网络应用于红外图像来生成输出图像，其中神经网络已被训练用于过滤阴影或用于减小照明效果；并且

- 将输出图像输出。

相对应地，一种计算机可读存储介质包含如下指令，这些指令在通过计算机来实施时促使该计算机实施下列步骤来处理红外图像：

- 读入红外摄像机的红外图像；

- 通过将神经网络应用于红外图像来生成输出图像，其中神经网络已被训练用于过滤阴影或用于减小照明效果；并且

- 将输出图像输出。

术语计算机在此应宽泛地来理解。尤其是，该计算机也包括工作站、控制设备和其它基于处理器的数据处理设备。

类似地，用于处理红外图像的设备具有：

- 输入模块，用于读入红外摄像机的红外图像；

- 图像处理单元，用于通过将神经网络应用于红外图像来生成输出图像，其中神经网络已被训练用于过滤阴影或用于减小照明效果；和

- 输出端，用于将输出图像输出。

按照本发明的解决方案基于如下思想：将用户、尤其是机动车的驾驶员的红外图像作为输入数据，并且借助于神经网络来计算经改善的输出图像，接着可以将这些输出图像用于其它应用。在此，该改善可在于：减少由于不自然的照明而引起的影响或者对阴影进行过滤。近年来，在机器学习领域已经取得了长足进步。由于计算机的性能越来越强大，也能够教导并应用复杂的神经网络。利用这些复杂的神经网络，也可以实现困难的图像处理任务。例如在[1]中描述了通过神经网络进行复杂的图像处理的示例。在该示例中，使用两个不同的图像，以便据此来生成新图像。在此，其中一个输入图像规定了所要生成的图像的内容。第二个输入图像规定了结构或纹理以及配色。通过按照本发明的解决方案，可以省去附加的摄像机，这一方面节省成本而另一方面能够实现对可用的结构空间的高效使用。

按照本发明的一个方面，神经网络已附加地被训练用于改变红外图像的视角。通过转换视角，可以实现：输出图像看起来好像图像中的人员从正面注视摄像机。这显著提高了所感知到的呈现自然度。

按照本发明的一个方面，输出图像是灰度图像。替代于此，输出图像是彩色图像。在这种情况下，神经网络已附加地被训练用于对红外图像进行着色。在灰度图像的情况下，输出图像虽然仍始终不是彩色图像，但是实现了更自然的感观。如果神经网络也给图像添加颜色，则这再一次显著改善了感观。

按照本发明的一个方面，神经网络为了对红外图像进行着色而可以访问用户的彩色图像。替代于此，用户为了对红外图像进行着色而可以在两个或更多个神经网络之间进行选择。处理的结果并不直接对应于现实，更确切地说，仅仅所教导的呈现的样式被模仿。因而，在输出图像中的颜色可能与真实颜色有偏差。这在用户的衣服方面不关键，但是这些偏差例如在头发颜色方面相当令人讨厌。该问题可以以两种方式来解决。一方面，神经网络也可以被教导为使得还向系统附加地提供当前用户的彩色照片。依据该图像，该系统可以做出关于颜色的判断。替代地，可能的是：对不同的神经网络进行教导，这些神经网络考虑不同的个人特征。在这种情况下，用户可以选择最能代表他的神经网络。

按照本发明的一个方面，红外图像是红外视频的一部分，并且输出图像是输出视频的一部分。所描述的解决方案在应用中并不限于静止图像。该解决方案同样可应用于移动的图像或图像序列。以这种方式，红外摄像机的红外图像也可以被用于基于视频数据的应用。

按照本发明的一个方面，输出图像被用于可视电话。以这种方式，已经存在的红外摄像机可以被用于附加的应用，该附加的应用为客户提供了显著增值。

特别有利地，按照本发明的方法或按照本发明的设备被用在车辆、尤其是机动车中。

按照本发明的另一方面，用于训练神经网络的方法包括如下步骤：

- 读入红外摄像机的红外图像；

- 读入附加摄像机的图像；并且

- 对神经网络进行训练，其中红外摄像机的红外图像用作输入图像并且附加摄像机的图像用作输出图像。

相对应地，一种计算机可读存储介质包含如下指令，这些指令在通过计算机来实施时促使该计算机实施下列步骤来训练神经网络：

- 读入红外摄像机的红外图像；

- 读入附加摄像机的图像；并且

- 对神经网络进行训练，其中红外摄像机的红外图像用作输入图像并且附加摄像机的图像用作输出图像。

术语计算机在此应宽泛地来理解。尤其是，该计算机也包括工作站、控制设备和其它基于处理器的数据处理设备。

机器学习方面的挑战在于提供足够的训练数据。对于该应用情形来说，可以使用第二摄像机来产生训练数据。该第二摄像机仅被需要用于训练阶段，以后可以省去该第二摄像机。第二摄像机在良好的照明条件下在可见光范围内对用户进行拍摄。现在，利用该结构来对各种测试人员进行拍摄。接着，将来自两个摄像机的图像数据用于教导神经网络。以这种方式，可以很容易地生成所需的训练数据。

按照本发明的一个方面，附加摄像机的图像具有与红外摄像机的红外图像类似的视角或者具有优选的目标视角。尤其是出现在机动车中的用户从下方被拍摄而且也不看摄像机的情况可以以两种方式来被考虑。第一种可能性在于将神经网络训练为使得该神经网络也一并适应该视角。为此，第二摄像机为了产生训练数据而不是被放置在红外摄像机旁边，而是从正面对准用户。因此，神经网络隐含地学习优选的视角。在第二种可能性的情况下，在第二步骤中以常规方式（诸如在照片加工中常见的那样）通过对图像的垂直或水平变形来进行视角转换。为此，红外摄像机提供头部的3D位置以及头部方向。在这种情况下，也可能的是：通过改变图像中的亮度梯度，修饰从下方的不自然的照明情况。

按照本发明的一个方面，附加摄像机的图像是灰度图像或彩色图像。根据应用情形、也就是说根据是应该输出灰度图像作为输出图像还是应该输出彩色图像作为输出图像，可以通过附加摄像机来拍摄灰度图像或者彩色图像。这样，训练可以以简单的方式与将来的应用的要求匹配。

优选地，用于应用于红外图像的神经网络利用按照本发明的方法来被训练。这样被训练的神经网络特别好地适合于处理机动车中的红外摄像机的红外图像。

附图说明

本发明的其它特征结合附图从随后的描述以及附上的权利要求书中可见。

图1示意性示出了用于处理红外图像的方法；

图2示出了用于处理红外图像的设备的第一实施方式；

图3示出了用于处理红外图像的设备的第二实施方式；

图4示意性示出了机动车，在该机动车中实现按照本发明的解决方案；

图5示意性示出了用于训练神经网络的方法；

图6示意性示出了布置在机动车中的红外摄像机；

图7示意性示出了用于在机动车中应用神经网络的结构的架构；以及

图8示意性示出了用于教导神经网络的结构的架构。

具体实施方式

为了更好地理解本发明的原理，随后依据附图更详细地阐述了本发明的实施方式。易于理解的是：本发明并不限于这些实施方式而且所描述的特征也可以组合或者修改，而不脱离本发明的保护范围，如该保护范围在附上的权利要求书中限定的那样。

图1示意性示出了用于处理红外图像的方法。在第一步骤10中，读入红外摄像机的红外图像。红外图像可以是红外视频的一部分。接着，通过将神经网络应用于红外图像，生成11输出图像。针对该应用，神经网络已被训练用于过滤阴影或用于减小照明效果。附加地，神经网络可以已经被训练用于改变红外图像的视角或用于对红外图像进行着色。为了对红外图像进行着色，神经网络优选地可以访问用户的彩色图像。替代于此，用户为了对红外图像进行着色而可以在两个或更多个神经网络之间进行选择。最后，将输出图像输出12，用于进一步使用、例如用于可视电话。在此，输出图像尤其可以是灰度图像或彩色图像。该输出图像还可以是输出视频的一部分。

图2示出了用于处理红外图像的设备20的第一实施方式的经简化的示意图。设备20具有输入端21，经由该输入端，通过输入模块22尤其可以读入红外摄像机41的红外图像。红外图像可以是红外视频的一部分。图像处理单元23通过将神经网络应用于红外图像来生成输出图像。针对该应用，神经网络已被训练用于过滤阴影或用于减小照明效果。附加地，神经网络可以已经被训练用于改变红外图像的视角或用于对红外图像进行着色。为了对红外图像进行着色，神经网络优选地可以访问用户的彩色图像，该彩色图像例如可以存放在设备20的存储器25中或者经由输入端21来被接收。替代地，用户为了对红外图像进行着色而可以在两个或更多个神经网络之间进行选择。经由设备20的输出端26，提供该输出图像用于进一步使用、例如用于可视电话。在此，输出图像尤其可以是灰度图像或彩色图像。该输出图像还可以是输出视频的一部分。

输入模块22和图像处理单元23可以由控制单元24来控制。必要时，经由用户接口27可以改变输入模块22、图像处理单元23或控制单元24的设置。在设备20中累积的数据可以在需要时被存放在存储器25中，例如为了稍后的分析或为了由设备20的组件来使用。输入模块22、图像处理单元23以及控制单元24可以被实现为专用硬件，例如被实现为集成电路。但是，它们当然也可以部分地或者完全地组合或者被实现为在适当的处理器上、例如在GPU或CPU上运行的软件。输入端21和输出端26可以实现为分开的接口或者可以实现为组合式双向接口。

图3示出了用于处理红外图像的设备30的第二实施方式的经简化的示意图。设备30具有处理器32和存储器31。例如，该设备30是计算机或者控制设备。在存储器31中存放有指令，所述指令在由处理器32实施时促使设备30实施按照所描述的方法之一的步骤。因此，存放在存储器31中的指令表现为能通过处理器32实施的程序，该程序实现了按照本发明的方法。设备30具有用于接收信息、尤其是红外摄像机的图像的输入端33。由处理器32生成的数据经由输出端34来被提供。这些数据还可以被存放在存储器31中。输入端33和输出端34可以组合成双向接口。

处理器32可包括一个或多个处理器单元，例如微处理器、数字信号处理器或者它们的组合。

所描述的实施方式的存储器25、31不仅可具有易失性存储区而且可具有非易失性存储区，而且可包括各种各样的存储设备和存储介质，例如硬盘、光学存储介质或者半导体存储器。

图4示意性示出了机动车40，在该机动车中实现按照本发明的解决方案。在机动车40中安装有红外摄像机41，例如安装在方向盘42的区域内的仪表板中。用于处理红外图像的设备20处理由红外摄像机41拍摄到的红外图像并且提供所得到的输出图像用于进一步使用。在图4中，设备20是独立组件，但是该独立组件也可以安装在红外摄像机41的控制设备43中。机动车40的另一组件是数据传输单元44，经由该数据传输单元，尤其可以建立与服务提供商的连接，例如用于视频电话。为了存储数据，存在存储器45。通过网络46来实现机动车40的不同组件之间的数据交换。

图5示意性示出了用于训练神经网络的方法。在第一步骤70中，读入红外摄像机的红外图像。还读入71附加摄像机的图像。附加摄像机的图像优选地具有与红外摄像机的红外图像类似的视角或者具有优选的目标视角。附加摄像机的图像尤其可以是灰度图像或彩色图像。基于这些图像和这些红外图像来对神经网络进行训练72。在此，红外摄像机的红外图像用作输入图像并且附加摄像机的图像用作输出图像。

随后，应该依据图6至8以在机动车中使用为例来描述本发明的优选的实施方式。当然，其它使用也是可能的。

图6示意性示出了布置在机动车中的红外摄像机41。在该示例中，红外摄像机41安装在方向盘42的区域内的仪表板中。为了对红外摄像机41的视场的充足照明，在红外摄像机41右侧和左侧安装有红外光源47。由于红外摄像机41的定位以及红外光源47从下方对面部的主动照明，所拍摄到的图像具有异常的视角以及异常且看起来不自然的阴影图像。

图7示意性示出了用于在机动车中应用神经网络的结构的架构。该结构所基于的思想在于：使用训练后的神经网络51，该训练后的神经网络根据输入图像或输入视频来产生经改善的输出图像52或输出视频。在此，例如可以使用所谓的“生成对抗网络（Generative Adversarial Networks）”（GANs，德文例如为“erzeugende gegnerischeNetzwerke”），所述“生成对抗网络”产生合理的图像[2]。尤其是，对于视频电话来说，应该根据作为输入图像的红外图像50来产生彩色图像作为输出图像52。在所示出的示例中，红外摄像机41提供以红外（IR）或近红外（NIR）拍摄到的图像数据或视频数据。这里，输出数据是RGB图像数据或RGB视频数据。

在此应注意：结果并不直接对应于现实，而是仅仅所教导的呈现的样式被模仿。因此，在该应用情形下，即使驾驶员穿着红色毛衣，算法也可能会产生驾驶员穿着蓝色毛衣的图像。例如，与现实的偏差会在头发颜色方面产生更强烈的影响。

该问题可以以两种方式来解决。一方面，可以对不同的神经网络51进行教导，这些神经网络考虑不同的个人特征。在这种情况下，驾驶员可以选择最能代表他的神经网络51。另一方面，神经网络也可以被教导为使得还向系统附加地提供当前驾驶员的彩色照片53。依据该图像，该系统可以做出关于颜色的判断。彩色照片53例如可以通过智能电话54来被拍摄并且借助于Car-Net（车联网）被转移到机动车中。

图8示意性示出了用于教导神经网络51的结构的架构。机器学习方面的挑战在于提供足够的训练数据。对于该应用情形来说，为了产生训练数据，可以将附加摄像机61嵌入到车辆中。当然，该第二摄像机61仅在开发阶段是必需的，量产车辆可以没有该第二摄像机。附加摄像机61从与所嵌入的红外摄像机40类似的视角来对驾驶员进行拍摄。在这种情况下，附加摄像机61的图像60在良好的照明条件下在可见光范围内被拍摄。根据应用情形，可以拍摄灰度图像或彩色图像。在所示出的示例中，附加摄像机61提供RGB图像数据或RGB视频数据。现在，利用该结构来对各种测试人员进行拍摄。接着，将两个摄像机41、61的图像数据用在训练级62中，以对神经网络51进行教导。

驾驶员从下方被拍摄而且也不看摄像机41、61的情况可以以两种方式来被解决。一方面，能够将神经网络51训练为使得该神经网络也一并适应该视角。为此，附加摄像机61为了产生训练数据而不是被放置在红外摄像机41旁边，而是从正面对准驾驶员。因此，神经网络51隐含地学习优选的视角。另一方面，可以在第二步骤中以常规方式通过对图像的垂直或水平变形来进行视角转换，如这在照片加工中常见的那样。为此，红外摄像机41提供头部的3D位置以及头部方向。在这种情况下，也可能的是：通过改变图像中的亮度梯度，修饰从下方的不自然的照明情况。

参考文献

[1]Gatys等人：“Image Style Transfer Using Convolutional NeuralNetworks”，2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，第2414-2423页。

[2]Zhu等人：“Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks”，2017 IEEE International Conference onComputer Vision (ICCV)，第2242-2251页。

附图标记列表

10 读入红外图像

11 通过将神经网络应用于红外图像来生成输出图像

12 将输出图像输出

20 设备

21 输入端

22 输入模块

23 图像处理单元

24 控制单元

25 存储器

26 输出端

27 用户接口

30 设备

31 存储器

32 处理器

33 输入端

34 输出端

40 机动车

41 红外摄像机

42 方向盘

43 控制设备

44 数据传输单元

45 存储器

46 网络

47 红外光源

50 红外图像

51 神经网络

52 输出图像

53 彩色照片

54 智能电话

60 图像

61 附加摄像机

62 训练级

70 读入红外摄像机的红外图像

71 读入附加摄像机的图像

72 利用所读入的图像和红外图像来对神经网络进行训练