图像处理装置及图像处理方法

技术领域

本发明涉及一种使用红绿蓝(RGB)相机和飞行时间(ToF)相机的图像处理装置及图像处理方法。

背景技术

通常安装在移动设备上的红绿蓝(RGB)相机具有如下问题：当在弱光环境下捕获图像时，由于亮度极低或噪声很大，图像质量很低。作为在弱光环境下改善RGB相机的图像质量的方法，可以使用闪光功能。然而，当使用闪光功能时，由于点亮闪光灯的短距离处的光饱和，可能难以获得自然图像。作为在弱光环境下改善RGB相机的图像质量的另一种方法，可以将红外线(IR)传感器与RGB相机一起使用。然而，由于红外线传感器，RGB颜色的灵敏度可能降低。

因此，需要在弱光环境下改善RGB相机的图像质量的新方法。

发明内容

技术问题

本发明旨在提供一种使用飞行时间(ToF)相机改善红绿蓝(RGB)相机的图像质量的图像处理方法及图像处理装置。

技术方案

本发明的一个方面提供一种图像处理装置的图像处理方法，包括：使用RGB相机获取第一RGB图像；从第一RGB图像中提取反射分量；使用ToF相机获取ToF红外线(IR)图像；以及通过计算第一RGB图像的反射分量和ToF IR图像获取第二RGB图像，其中，ToF IR图像是从对于四个相位的IR图像中生成的幅度图像或强度图像。

反射分量的提取可以包括：将第一RGB图像转换为第一色调饱和值(HSV)图像；以及从第一HSV图像的明暗度分量中获取反射分量。

反射分量可以包括第一HSV图像的明暗度分量的高频分量。

反射分量的获取可以包括：对第一HSV图像的明暗度分量执行低通滤波；从第一HSV图像的明暗度分量中获取低频分量；以及从第一HSV图像的明暗度分量中去除低频分量。

第二RGB图像的获取可以包括：计算第一RGB图像的反射分量和ToF IR图像；以及通过使用通过计算第一RGB图像的反射分量和ToF IR图像获得的结果值以及第一HSV图像的色度分量和饱和度分量来获取第二RGB图像。

图像处理方法可以进一步包括：在使用ToF相机对ToF IR图像的获取和对第二RGB图像的获取之间，对ToF IR图像进行校正。

ToF IR图像的校正可以包括：对ToF IR图像进行插值，使其具有与第一RGB图像相同的尺寸；以及对ToF IR图像的亮度进行校正。

本发明的另一方面提供一种图像处理装置，包括：RGB图像获取单元，所述RGB图像获取单元被配置为从RGB相机中获取第一RGB图像；RGB图像预处理单元，所述RGB图像预处理单元被配置为从第一RGB图像中提取反射分量；ToF图像获取单元，所述ToF图像获取单元被配置为从ToF相机中获取ToF IR图像；以及图像处理单元，所述图像处理单元被配置为通过计算第一RGB图像的反射分量和ToF IR图像来获取第二RGB图像，其中，ToF IR图像是从对于四个相位的IR图像中生成的幅度图像或强度图像。

RGB图像预处理单元可以将第一RGB图像转换为第一HSV图像，然后从第一HSV图像的明暗度分量中获取反射分量。

反射分量可以包括第一HSV图像的明暗度分量的高频分量。

RGB图像预处理单元可以对第一HSV图像的明暗度分量执行低通滤波，从第一HSV图像的明暗度分量中获取低频分量，并从第一HSV图像的明暗度分量中去除低频分量。

图像处理单元可以计算第一RGB图像的反射分量和ToF IR图像，并通过使用通过计算第一RGB图像的反射分量和ToF IR图像获得的结果值以及第一HSV图像的色度分量和饱和度分量来获取第二RGB图像。

图像处理装置可以进一步包括ToF图像预处理单元，所述ToF图像预处理单元被配置为在将ToF IR图像与第一RGB图像的反射分量一起计算之前对ToF IR图像进行校正。

ToF图像预处理单元可以对ToF IR图像进行插值，使其具有与第一RGB图像相同的尺寸，并且对ToF IR图像的亮度进行校正。

有益效果

使用根据本发明实施例的图像处理装置和方法，即使在弱光环境下也可以获得具有优异图像质量的红绿蓝(RGB)图像。特别地，根据本发明实施例的图像处理装置和方法，能够获得在弱光环境下具有优异图像质量的RGB图像，而不需要追加额外的部件并且不会明显地增加计算量。

附图说明

图1是根据本发明实施例的图像处理系统的框图。

图2是根据本发明实施例的飞行时间(ToF)相机模块的框图。

图3是用于描述根据本发明实施例的ToF相机模块的输出光信号的频率的视图。

图4是用于描述根据本发明实施例的电信号生成过程的视图。

图5是用于描述根据本发明实施例的ToF相机模块的图像传感器的视图。

图6示出了从根据本发明实施例的ToF相机模块获得的四个相位图像。

图7是可以从图6的相位图像中获得的ToF红外线(IR)图像。

图8是可以从图6的相位图像中获得的深度图像。

图9是根据本发明实施例的图像处理系统中包括的图像处理装置的框图。

图10是用于描述根据本发明实施例的图像处理装置的图像处理方法的视图。

图11是用于描述根据本发明另一个实施例的图像处理装置的图像处理方法的视图。

图12是用于描述根据本发明实施例的图像处理装置的红绿蓝(RGB)图像预处理方法的视图。

图13是用于描述根据本发明实施例的图像处理装置的ToF IR图像预处理方法的视图。

图14是用于描述根据本发明实施例的通过图像处理装置匹配RGB图像和ToF IR图像的方法的视图。

图15是用于更详细地描述根据本发明实施例的图像处理方法的图像质量改善原理的视图。

图16是用于描述根据本发明实施例的图像处理方法的图像质量改善效果的视图。

具体实施方式

在下文中，将参照附图详细描述本公开的示例性实施例。

然而，本发明的技术精神不限于所描述的一些实施例，并且可以以各种不同的形式来实现，并且可以在本发明的技术精神的范围内在实施例之间选择性地组合或替换一个或多个部件。

此外，除非明确定义和描述，否则可以将本发明的实施例中使用的术语(包括技术术语和科学术语)解释为具有本发明所属领域的技术人员通常可以理解的含义。可以考虑相关技术的上下文的含义来解释通常使用的术语，例如字典中定义的术语。

此外，本发明的实施例中使用的术语用于描述实施例，而不旨在意图限制本发明。

在本说明书中，除非在短语中特别提及，否则单数形式可以包括复数形式，并且当描述“A、B和C中的至少一个(或一个或多个)”时，可以包括可以与A、B和C结合的所有组合中的一个或多个。

此外，在描述本发明的实施例的部件时，可以使用诸如第一、第二、A、B、(a)和(b)的术语。

这些术语不用于限定相应部件的本质、顺序或次序等，而仅用于将相应部件与其他部件(多个)区分开。

此外，当描述成第一部件“连接”或“耦接”到第二部件时，第一部件可以“连接”或“耦接”到第二部件并且在它们之间设置有第三部件，并且第一部件可以直接连接或耦接到第二部件。

此外，当描述成第一部件形成或设置在第二部件的“上方”或“下方”时，术语“上方”和“下方”包括一个或多个第三部件可以形成或布置在第一部件与第二部件之间、以及第一部件和第二部件可以彼此直接接触。此外，当表达为术语“上方或下方”时，术语“上方或下方”可以包括基于一个部件的向下方向以及向上方向的含义。

图1是根据本发明实施例的图像处理系统的框图。图2是根据本发明实施例的飞行时间(ToF)相机模块的框图。图3是用于描述根据本发明实施例的ToF相机模块的输出光信号的频率的视图。图4是用于描述根据本发明实施例的电信号生成过程的视图。图5是用于描述根据本发明实施例的ToF相机模块的图像传感器的视图。图6示出了从根据本发明实施例的ToF相机模块中获得的四个相位图像，图7是可以从图6的相位图像中获得的ToF红外线(IR)图像，图8是可以从图6的相位图像中获得的深度图像。

参照图1，根据本发明实施例的图像处理系统10包括ToF相机100、红绿蓝(RGB)相机200和图像处理装置300。

ToF相机100是可以获取深度信息的一种装置，并且根据ToF方法，通过测量飞行时间，即光发射、反射然后返回的时间，来计算到物体的距离。

RGB相机200可以是能够捕获RGB图像的普通相机。

ToF相机100和RGB相机200可以布置在一个装置中，例如，布置在一个移动装置中，以拍摄相同区域。

此外，图像处理装置300可以连接到ToF相机100和RGB相机200，并且可以将由ToF相机100获取的ToF图像与由RGB相机200获取的RGB图像合成以获取三维图像。

这里，示出了图像处理装置300设置在图像处理系统10中并且与ToF相机100和RGB相机相邻，但是本发明不限于此，并且图像处理装置300可以与ToF相机100和RGB相机200远程设置。可替代地，图像处理装置300的某些功能可以被包括在ToF相机100和RGB相机200中。

参照图2，ToF相机模块100包括照明单元110、透镜单元120、图像传感器单元130以及图像控制单元140。

照明单元110产生输出光信号，然后用产生的输出光信号照射物体。在这种情况下，照明单元110可以产生并输出脉冲波或连续波形式的输出光信号。连续波可以是正弦波或方波的形式。通过产生脉冲波或连续波形式的输出光信号，ToF相机模块100可以检测从照明单元110输出的输出光信号与从物体反射然后输入到ToF相机模块100的输入光信号之间的相位差。在本说明书中，输出光可以指从照明单元110输出并入射在物体上的光，输入光可以指从照明单元110输出、到达物体、从物体反射、然后输入到ToF相机模块100的光。从物体的角度来看，输出光可以是入射光，并且输入光可以是反射光。

照明单元110在规定积分时间的期间用产生的输出光信号照射物体。这里，积分时间指一帧周期。当生成多个帧时，重复设定的积分时间。例如，当ToF相机模块100以20FPS拍摄物体时，积分时间为1/20[秒]。此外，当生成100帧时，积分时间可以重复100次。

照明单元110可以产生具有不同频率的多个输出光信号。照明单元110可以依次地重复地产生具有不同频率的多个输出光信号。可替代地，照明单元110可以同时产生具有不同频率的多个输出光信号。

参照图3，照明单元110可以控制频率为f

根据另一个实施例，照明单元110可以控制多个发光二极管(LED)中的一部分以产生频率为f

为此，照明单元110可以包括产生光的光源112和对光进行调制的光调制单元114。

首先，光源112产生光。由光源产生的光可以是具有770nm至3000nm的波长的红外光或具有380nm至770nm的波长的可见光。光源可以使用LED，并且可以具有根据规定图案布置多个LED的形式。另外，光源112可以包括有机发光二极管(OLED)或激光二极管(LD)。可替代地，光源112可以是垂直腔面发射激光器(VCSEL)。VCSEL是将电信号转换成光信号的激光二极管之一，并且可以使用约800nm至1000nm，例如约850nm或940nm的波长。

光源112以规定时间间隔重复闪烁，以产生脉冲波或连续波形式的输出光信号。规定时间间隔可以是输出光信号的频率。光源的闪烁可以由光调制单元114控制。

光调制单元114控制光源112的闪烁，使得光源112产生连续波或脉冲波形式的输出光信号。光调制单元114可以通过频率调制、脉冲调制等来控制光源112产生连续波或脉冲波形式的输出光信号。

另一方面，透镜单元120收集从物体反射的输入光信号，并将收集的输入光信号传输到图像传感器单元130。

返回参照图2，图像传感器单元130通过使用通过透镜单元120收集的输入光信号来产生电信号。

图像传感器单元130可以与照明单元110的闪烁周期同步以吸收输入光信号。详细地，图像传感器单元130可以吸收与从照明单元110输出的输出光信号同相或异相的光。也就是说，图像传感器单元130可以重复地执行在光源接通时吸收入射光信号并且在光源关闭时吸收入射光信号。

接下来，图像传感器单元130可以使用具有不同相位差的多个基准信号来生成与每个基准信号相对应的电信号。基准信号的频率可以设定为等于从照明单元110输出的输出光信号的频率。因此，当照明单元110生成具有多个频率的输出光信号时，图像传感器单元130使用与频率相对应的多个基准信号生成电信号。电信号可以包括关于与每个基准信号相对应的电荷量或电压的信息。

如图4所示，根据本发明实施例的基准信号的数量可以是四个(C

作为另一示例，当输出光信号在曝光时间的期间以多个频率生成时，图像传感器单元130根据多个频率吸收输入光信号。例如，假定输出光信号以频率f

图像传感器单元130可以被配置成多个像素以网格形式布置的结构。图像传感器单元130可以是互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。此外，图像传感器单元130可以包括接收从对象反射的红外光并且使用时间或相位差测量距离的ToF传感器。

参照图5，在具有320×240的分辨率的图像传感器单元130的情况下，76800个像素以网格形式布置。在这种情况下，如图5的阴影部分中所示，可以在多个像素之间形成规定间隔。在本发明的实施例中，将描述一个像素以及相邻像素之间的规定间隔。

根据本发明的实施例，每个像素132可以包括：第一光接收单元132-1，第一光接收单元132-1包括第一光电二极管和第一晶体管；以及第二光接收单元132-2，第二光接收单元132-2包括第二光电二极管和第二晶体管。

第一光接收单元132-1接收具有与输出光的波形相同相位的输入光信号。也就是说，当光源接通时，第一光电二极管导通以吸收输入光信号。进一步，当光源关闭时，第一光电二极管断开以停止输入光的吸收。第一光电二极管将吸收的输入光信号转换为电流，并将转换后的电流传输到第一晶体管。第一晶体管将接收到的电流转换成电信号并输出转换后的电信号。

第二光接收单元132-2接收具有与输出光的波形相反相位的输入光信号。也就是说，当光源接通时，第二光电二极管断开以吸收输入光信号。进一步，当光源关闭时，第二光电二极管导通以停止输入光的吸收。第二光电二极管将吸收的输入光信号转换为电流，并将转换后的电流传输至第二晶体管。第二晶体管将接收到的电流转换成电信号。

因此，第一光接收单元132-1可以是同相接收单元，第二光接收单元132-2可以是异相接收单元。以这种方式，当第一光接收单元132-1和第二光接收单元132-2使用时间差被激活时，根据到物体的距离，在接收的光量上产生差异。例如，当物体位于ToF相机模块100的正前方时(即，当距离为零时)，光从照明单元110输出、从物体反射然后返回的时间为零，因此光源的闪烁周期为光的接收周期。因此，仅第一光接收单元132-1接收光，第二光接收单元132-2可能不接收光。作为另一示例，当物体远离ToF相机模块100规定距离时，花费光从照明单元110输出、从物体反射然后返回的时间，因此光源的闪烁周期不同于光的接收周期。因此，在第一光接收单元132-1接收的光量与第二光接收单元132-2接收的光量上产生差异。即，可以使用输入到第一光接收单元132-1的光量和输入到第二光接收单元132-2的光量之间的差来计算到物体的距离。

返回参照图2，图像控制单元140使用从图像传感器单元130接收的电信号来计算输出光与输入光之间的相位差，并利用相位差来计算物体与ToF相机模块100之间的距离。

详细地，图像控制单元140可以使用电信号的电荷信息来计算输出光与输入光之间的相位差。

如上所述，可以针对输出光信号的每个频率来生成四个电信号。因此，图像控制单元140可以使用下式1来计算输出光信号与输入光信号之间的相位差t

[式1]

这里，Q

然后，图像控制单元140可以使用输出光信号与输入光信号之间的相位差来计算物体与ToF相机模块100之间的距离。在这种情况下，图像控制单元140可以使用下式2来计算物体与ToF相机模块100之间的距离d。

[式2]

这里，c表示光速，f表示输出光的频率。

根据本发明的实施例，可以从ToF相机模块100中获得ToF IR图像和深度图像。

在这方面，更详细地，如图6中所示，可以从根据本发明实施例的ToF相机模块100中获得对于四个相位的原始图像。这里，四个相位可以是0°、90°、180°和270°，并且对于每个相位的原始图像可以是由对于每个相位的数字化像素值形成的图像，并且可以与相位图像、相位IR图像等互换使用。

当使用图6的四个相位图像来计算式3时，可以获得幅度图像即图7的ToF IR图像。

[式3]

这里，Raw(x

可替代地，当使用图7的四个相位图像来计算等式4时，可以获得强度图像即另一个ToF IR图像。

[式4]

强度＝|Raw(x

这里，Raw(x

这样，ToF IR图像是通过将四个相位图像中的两个相位图像彼此相减的过程生成的图像，并且在该过程中，可以去除背景光。因此，仅是具有从光源输出的波长带的信号保留在ToF IR图像中，从而提高了物体的IR灵敏度并显著降低了噪声。

在本说明书中，ToF IR图像可以指幅度图像或强度图像，并且强度图像可以与置信度图像互换使用。如图7所示，ToF IR图像可以是灰度图像。

另一方面，当使用图6的四个相位图像来计算式5和6时，可以获得图8的深度图像。

[式5]

[式6]

图9是根据本发明实施例的图像处理系统中包括的图像处理装置的框图。

参照图9，图像处理装置300包括：RGB图像获取单元310，所述RGB图像获取单元310从RGB相机200获取RGB图像；ToF图像获取单元320，所述ToF图像获取单元320从ToF相机100获取ToF图像；RGB图像预处理单元330，所述RGB图像预处理单元330对RGB图像进行预处理；ToF图像预处理单元340，所述ToF图像预处理单元340对ToF图像进行预处理；以及图像处理单元350，所述图像处理单元350使用通过RGB图像预处理单元330和ToF图像预处理单元340预处理的图像获取三维图像。如上所述，可以从ToF相机100获得的ToF图像可以是ToF IR图像和深度图像。图像处理单元350可以通过匹配并渲染RGB图像和深度图像来生成包括颜色信息和深度信息这两者的三维彩色图像。

另一方面，根据本发明的实施例，图像处理装置300可以使用由ToF相机100获取的ToF IR图像在弱光环境下改善由RGB相机200捕获的RGB图像的图像质量。

图10是用于描述根据本发明实施例的图像处理装置的图像处理方法的视图。图11是用于描述根据本发明另一个实施例的图像处理装置的图像处理方法的视图。图12是用于描述根据本发明实施例的图像处理装置的RGB图像预处理方法的视图。图13是用于描述根据本发明实施例的图像处理装置的ToF IR图像预处理方法的视图。图14是用于描述根据本发明实施例的通过图像处理装置匹配RGB图像和ToF IR图像的方法的视图。

参照图10，图像处理装置300从RGB相机200获取RGB图像(S1000)。以下，在本说明书中，从RGB相机200获得并且在预处理之前的RGB图像被称为第一RGB图像。

RGB图像预处理单元330通过颜色通道转换将第一RGB图像转换为第一色调饱和值(HSV)图像(S1010)。这里，RGB图像可以指由包括红色、绿色和蓝色的三个分量的组合表达的数据，并且HSV图像可以指由包括色度、饱和度和明暗度的三个分量的组合表达的数据。这里，色度和饱和度可以具有颜色信息，并且明暗度可以具有亮度信息。

此外，RGB图像预处理单元330将第一HSV图像的色度分量H、饱和度分量S和明暗度分量V中的明暗度分量V分离为反射分量和照明分量，并提取反射分量(S1020)。这里，反射分量可以包括高频分量，并且照明分量可以包括低频分量。在下文中，将描述为了提取反射分量，将明暗度分量V分离为低频分量和高频分量的情况、以及从其中分离高频分量的示例，但是本发明不限于此。反射分量(例如，高频分量)可以包括图像的梯度信息或边缘信息，照明分量(例如，低频分量)可以包括图像的亮度信息。

为此，参照图12，RGB图像预处理单元330对作为输入I的第一HSV图像的明暗度分量V执行低通滤波，并获取低频分量L(S1200)。当对输入I执行低通滤波时，图像模糊，因此梯度信息或边缘信息可能丢失。进一步，通过从输入I中去除低频分量L的计算获得对于第一HSV图像的明暗度分量的高频分量R(S1210)。为此，可以计算输入I和低频分量L。例如，可以执行从输入I中减去低频分量L的计算。

另一方面，图像处理装置300从ToF相机100中获取ToF IR图像(S1030)。这里，ToFIR图像可以是从对于0°、90°、180°和270°的四个相位的IR图像中生成的幅度图像或强度图像。可以如图6至7以及式3和4所述生成幅度图像。

在这种情况下，参照图11，ToF IR图像可以由ToF图像预处理单元340进行预处理(S1100)。例如，参照图13，ToF IR图像可以具有与第一RGB图像不同的尺寸，通常，ToF IR图像可以小于第一RGB图像。因此，ToF图像预处理单元340可以对ToF IR图像执行插值，以将ToF IR图像的尺寸放大至第一RGB图像的尺寸(S1300)。由于在插值过程中图像可能会失真，因此ToF图像预处理单元340可以校正ToF IR图像的亮度(S1310)。

返回参照图10，图像处理单元350使用对于第一HSV图像的明暗度分量的反射分量(例如，高频分量)、以及ToF IR图像来获取第二HSV图像的明暗度分量V’(S1040)。详细地，如图14中所示，可以将对于第一HSV图像的明暗度分量的反射分量(例如，高频分量)和ToFIR图像进行匹配(S1400)。这里，可以使用对通过将使用ToF IR图像建模的照明分量和反射分量合并来获得具有改善的亮度的图像的计算，并且该计算可以是与在步骤S1210中用于从输入图像I中去除低频分量L的计算相反的计算。例如，在步骤S1400中，可以执行将对于第一HSV图像的亮度分量的反射分量(例如，高频分量)和ToF IR图像累加的计算。以这种方式，在去除了对于第一HSV图像的明暗度分量的照明分量(例如，低频分量)之后，当计算第一HSV图像的明暗度分量的反射分量(例如，高频分量)和ToF IR图像时，可以改善在弱光环境下捕获的RGB图像的亮度。

此后，图像处理装置300使用在步骤S1040中获取的明暗度分量V’以及在步骤S1010中获取的色度分量H和饱和度分量S通过颜色通道转换来生成第二RGB图像(S1050)。在HSV图像中，色度分量H和饱和度分量S可以具有颜色信息，并且明暗度分量V可以具有亮度信息。如在本发明的实施例中，当如在步骤S1010中所获得的使用值V’、色度分量H和饱和度分量S时，仅是弱光环境下的亮度能够得到改善，其中所述值V’是通过仅计算明暗度分量V的反射分量和ToF IR图像而获得的。

图15是用于更详细地描述根据本发明实施例的图像处理方法的图像质量改善原理的视图，图16是用于描述根据本发明实施例的图像处理方法的图像质量改善效果的视图。

参照图15，输入图像可以由反射分量和照明分量的乘积形成，反射分量可以被形成为高频分量，照明分量可以被形成为低频分量，并且图像的亮度可能会被照明分量影响。然而，当从弱光环境下捕获的RGB图像中去除照明分量即低频分量时，RGB图像的亮度值可能会过度增加。在本发明的实施例中，为了补偿这一点，ToF IR图像被匹配到从其中去除了照明分量即低频分量的RGB图像的明暗度分量，其结果，可以在弱光环境下获得具有改善的图像质量的RGB图像。

参照图16，图16(a)是在弱光环境下捕获的RGB图像，图16(b)是ToF IR图像，图16(c)是根据本发明的实施例进行了处理的RGB图像，图16(d)是根据除雾技术处理的RGB图像，图16(e)是根据使用变异retinex模型(variational retinex model)作为成本函数执行优化的技术进行了处理的RGB图像。参照图16，可以看出，从根据本发明的实施例进行了处理的图16C中可以获得最佳图像质量。

以上描述了实施例，但是这些实施例仅是说明性的，并不限制本发明，并且在不脱离本实施例的基本特征的情况下，本发明所属领域的技术人员可以衍生出上面未示出的各种修改和应用。例如，可以修改和实现在实施例中具体示出的每个部件。此外，与这些修改和应用有关的差异应被解释为被包括在所附权利要求书中限定的本发明的范围内。