用于抑制基于像素的显示装置的图像中的混叠错误和用于评估这种显示装置的方法和设备
文献发布时间:2024-04-18 20:01:23
技术领域
本发明涉及一种用于抑制在经摩尔纹修正的结果图像中的混叠错误的方法,所述结果图像由至少一个相机图像形成,所述相机图像由通过基于像素的显示装置显示的带有矩阵状排列的显示像素的显示图像借助相机所拍摄。
本发明还涉及一种用于借助至少一个这样形成的结果图像来评估基于像素的显示装置的显示质量的方法。
此外,本发明涉及一种用于执行这种方法的设备。
背景技术
在借助相机(相机具有带有矩阵形布置的传感器像素的传感器)拍摄显示图像(显示图像由带有矩阵形布置的显示像素的显示装置显示)时,可能出现由混叠引起的伪影,这被称为摩尔纹干扰、摩尔纹现象或简称为摩尔纹。在相机的传感器像素的像素间距,也就是说,在第一像素的中心与相邻的第二像素的中心之间的间距,与显示装置的显示像素的与成像比例匹配的像素间距近似相同时,尤其就会出现这种混叠错误。
图像侧的成像比例β′被定义为显示图像上对象的范围s与这个对象在相机的传感器上的成像的范围s′的比值:
已知的是,对特殊的测量布置而言,特别是对正好一个显示像素到正好一个(或固定整数的)传感器像素上的映射/成像而言,可以避免摩尔纹。但由于相机镜头造成的图像失真和在相机和显示装置之间的必需的准确的对准,这些测量布置实际上很难达到。
此外,由文献JP2008035241A、US7705883B2和EP2097783A1已知,可以通过如下方式来减少摩尔纹干扰,即,使至少一个光学元件、例如相机的传感器相对相机中的其它元件运动。文献US7705883B2说明了用于借助相机的图像稳定单元抑制混叠干扰或摩尔纹干扰的设备和方法。在一种示例性的实施方案中,所述方法包括检测相机运动、检测由相机拍摄的图像和相机中至少一个光学元件在图像曝光期间的运动,以便既稳定化图像,又抑制图像中的混叠干扰或摩尔纹干扰。
在这种方法中,光学元件相对相机内部中的传感器的运动遵循传感器的像素间距并且也发生在传感器像素的奈奎斯特频率的量级中。
此外还已知的是,可以通过光学散焦,也就是说,借助相机镜头将显示图像稍微模糊地映射/成像到相机的传感器上,减少或避免摩尔纹干扰。但随之而来的是相机成像的有效的空间分辨率的损失。作为错误出现的极低的空间频率(也就是说:空间频率远低于由相机的传感器确定的奈奎斯特空间频率)显现的混叠错误,通过光学散焦很难识别到并且经常是无法避免的或无法完全避免的。但这种混叠错误的出现和位置(也就是说:在相机的频率空间中的相关的空间频率)在此不仅取决于传感器像素的像素间距,而且也取决于显示像素的像素间距。这种混叠错误的出现和位置尤其取决于显示装置的和相机的像素间距的比值。
当相机的传感器像素的像素间距与显示像素的像素间距的以相机的成像比例(放大)进行修正的比值(也被称为复制比例尺(RPS)),处在大于1和小于2的范围内时,就会典型地特别严重地出现混叠错误。但原则上在低于和高于1的任意RPS下,例如在RPS为3或4时也可能出现混叠错误。
如果相机的传感器像素的像素间距用D
此外,混叠错误受到显示像素的形状和孔径的影响。例如,具有在垂直和水平方向上间隔相同间距的正方形的显示像素的显示装置,与具有相同的显示像素间距但具有矩形成形的显示像素的显示装置相比,会造成不同的摩尔纹干扰。当垂直方向(列方向)上的显示像素间距选择得不同于水平方向(行方向)上的显示像素间距时,也可能造成不同的摩尔纹干扰。因此需要一种专门适应于显示装置的针对摩尔纹干扰的修正方法。
也可以通过对相机图像的平滑滤波与散焦类似地减少摩尔纹干扰。用于在位置空间中对相机图像进行滤波的低通滤波器是已知的。但这种平滑也造成了有效的空间分辨率的损失并且无法可靠地抑制非常低的混叠空间频率。
此外还可能的是,例如通过二维离散傅里叶变换将相机图像变换到频率空间中并且消除或抑制频率空间中由于混叠所产生的错误的频率部分。可以通过变换回到位置空间中而从这样经清理的频率空间显示生成一个经清理的图像,此时摩尔纹干扰被抑制。但用这种方法无法消除错误的(由于混叠造成的)频率部分,这些频率部分依照频率和功率无法与实际可能存在的空间频率区分。例如极低的混叠空间频率无法或仅能不完全地与正确记录的空间频率区分开来,这由(均匀操控的)显示器的局部不均匀的亮度造成的。
由文献JP3755375B2已知一种用于抑制由电子显示器所记录的相机图像中的摩尔纹干扰的方法。在此借助相机拍摄大量相机图像。在拍摄各个相机图像之间,相机相对显示器在垂直方向上(也就是说:沿着矩阵形排列的显示器像素的列)和/或在水平方向上(也就是说:沿着矩阵形排列的显示器像素的行)相对开始位置偏移,其中,在任意方向上的偏移量分别是电子显示器的像素间距的一半。
通过平均化,从这样拍摄的各个相机图像中生成了经摩尔纹修正的结果图像。
此外,文献US6,831,995B1还公开了,拍摄多达n
文献JP2014174803A说明了一种用于清除图像中的摩尔纹干扰的方法,在该方法中实施二维傅里叶变换并提取配属于低空间频率的频率部分。清除配属于较高的空间频率的另外的频率部分。将这样修改后的傅里叶变换被变换回到空间区域。
文献WO2018/146765A1说明了一种用于在不影响图像分辨率的情况下的摩尔纹抑制方法。从散焦的第一图像在傅里叶域中提取配属于低空间频率的频率分量。从未散焦的第二图像在傅里叶域中提取配属于高空间频率的频率分量。从第一图像和第二图像中提取的频率分量被合并并且变换回到空间区域。
发明内容
本发明的任务在于,说明一种用于抑制在由至少一个相机图像形成的经摩尔纹修正的结果图像中的混叠错误的经改进的方法。
该任务按照本发明通过一种带有权利要求1的特征的方法解决。
本发明的任务还在于,说明一种用于评估基于像素的显示装置的显示质量的经改进的方法。
该任务按照本发明通过一种带有权利要求11的特征的方法解决。
本发明的任务还在于,说明一种用于执行这些方法之一的设备。
该任务按照本发明通过一种带有权利要求14的特征的设备解决。
本发明的有利的设计方案是从属权利要求的主题。
在用于抑制混叠错误的方法中,由至少一个相机图像形成了经摩尔纹修正的结果图像。所述至少一个相机图像借助相机被拍摄作为显示图像的成像,所述相机包括成像光学器件和带有传感器像素的传感器面,显示图像由带有矩阵形布置的显示像素的显示装置成像到传感器面上。显示像素以显示像素间距间隔开距离。显示像素间距是一个显示像素的中心与相应最近的其它显示像素的中心的间距。
按照本发明,相机在拍摄至少一个相机图像期间相对显示装置沿着至少一条偏移路径运动。
当相机相对显示装置在相机图像拍摄期间在时间段0≤t≤T内运动时,那么显示图像的假想的点或真实的点、例如近似居中布置的显示像素的中点在相机的传感器面上的投影通常会发生改变。
相机的运动的与时间相关的空间曲线:
x(t)=x
y(t)=y
被称为偏移路径,其中,x
坐标x、y参照相对显示装置位置固定地选择的坐标系进行说明。
这种偏移路径的长度
称为偏移量。
参照独立于相机和显示装置的世界坐标系,所述偏移可以通过相机相对世界坐标系的运动和/或显示装置相对世界坐标系的运动达到。换句话说:参照显示装置的x、y坐标系可以相对世界坐标系是位置固定的或者也是可以运动的,对偏移路径的说明而言,仅在相机和显示装置之间的相对运动是重要的。因此接下来“相机的运动”始终指的是参照显示装置的相对运动,其也可以部分或完全通过显示装置相对世界坐标系的运动达到。
在相机运动时,优选近似保持了相机相对显示装置的对准。但本领域技术人员已知,相机或显示装置枢转了极小的枢转角α(对此适用近似sin(α)≈α)的枢转,实际上等同于平移。因此也可能的是,在相机和显示装置之间的间距足够大时,通过相机的或显示装置的枢转引起偏移。
显示装置根据显示像素的孔径和相机在传感器面的平面中的成像光学器件产生了二维的亮度分布l(x',y'),其中,x'、y'说明了传感器面的平面中的两个彼此正交的坐标。所述亮度分布相应于传感器像素的孔径按照传感器像素的(在传感器面的平面上的)二维的灵敏度分布函数s(x',y')记录。
在彼此固定地布置的相机和显示装置中,相机图像在传感器面中的连续的空间坐标x'、y'上的二维的灰度值分布函数g(x',y')因此可以通过亮度分布l(x',y')与灵敏度分布函数s(x',y')相乘说明:
g(x′,y′)=l(x′,y′)·s(x′,y′)
这个灰度值分布函数在传感器面上积分并且提供传感器像素的信号值。这可以描述为亮度分布与像素灵敏度的卷积以及在传感器像素的位置处的紧接着的采样。这种采样众所周知导致了摩尔纹干扰,特别是当显示像素的和传感器像素的像素间距相同或相似大时。
通过在时间0≤t≤T内单个相机图像曝光期间相机的运动,使显示图像的单个点成像到传感器面的多个点上。这些点整体上可以被视作运动感应出的点响应(点扩散函数,PSF)h(x',y')。
例如针对相机运动(平移或枢转了一个极小的枢转角),生成了点响应:
其中,相机运动导致了这样成像的点沿x'方向均匀线性地运动了Δ
通过与运动引起的PSF的卷积相应地生成了在相机的传感器面中的经修正的灰度值分布函数g′(x',y'):
运动引起的PSF的傅里叶变换H(ω
出乎意料地被证实:通过相机相对显示装置的相对运动(偏移路径)和由此造成的相机图像相对显示图像的运动,减少或甚至消除了摩尔纹干扰,而不会出现由现有技术公知的经摩尔纹修正的结果图像中有效的空间分辨率大幅降低的缺点。
被证实特别有利的是,这样来选择偏移路径,使得偏移量,也就是说空间曲线的长度(相机沿着该空间曲线相对显示装置运动)处在显示像素间距的量级中。因此可能的是,极为详细地、特别是精确分辨到显示像素地检测和评估显示图像。
此外,按照按本发明的方法,保持显示图像中的例如归因于在显示装置上的不均匀的亮度分布的低空间频率。反之,用所述方法减少或消除错误地由于混叠而生成的低空间频率。
按本发明的方法的另一个优点在于,能在没有在相机内运动的元件、例如相对传感器芯片运动的光学元件的情况下执行所述方法。由此方便了对相机、特别是对亮度测量相机的校正。
按本发明的方法的另一个优点在于,相机的用于抑制摩尔纹干扰的运动也可以在没有考虑到成像比例β′和没有考虑到传感器像素间距的情况下仅借助显示像素间距确定。不过不应因此排除附加地、也就是说为了进一步更好地抑制摩尔纹干扰而使用成像比例β′和/或传感器像素间距的实施方式。
用按本发明的方法用特别少的单独拍摄的相机图像就能进行摩尔纹修正(或混叠错误抑制)。优选借助唯一一个所拍摄的相机图像进行摩尔纹修正。当由于显示图像的低亮度而必须为拍摄相机图像选择长曝光时间时,这尤为有利,因为这样就可以用很少数量的所拍摄的相机图像达到特别短的测量时间。
优选这样来选择偏移路径,使得偏移量最多是显示像素间距的五倍。被证实的是,超过此的偏移量无助于或者仅稍微有助于修正摩尔纹干扰,但会妨碍相机图像的和因此也还有由此形成的经摩尔纹修正的结果图像的空间分辨率。
在本发明的实施方式中,由多个相机图像形成了经摩尔纹修正的结果图像。通过相机的运动为每个相机图像从相应的起点起产生偏移路径。在第一相机图像和至少一个另外的相机图像之间,相机相对显示装置偏移,因而配属于所述至少一个另外的相机图像的起点有别于配属于第一相机图像的起点。
各个相机图像被叠加,也就是说,被逐个像素地相加或平均化。在平均化时,不同的相机图像可以被不同地加权。可能的是,在相机相对显示装置偏移了至少一个偏移量期间拍摄每个所述相机图像。也可能的是,在拍摄相机图像(曝光)期间相机没有相对显示装置运动的情况下拍摄所述多个相机图像中的至少一个相机图像。
由所述多个相机图像形成一个经摩尔纹修正的结果图像提供的优点是,经摩尔纹修正的结果图像具有特别高的空间分辨率,因为涉及到每一个单独的相机图像的偏移路径可以具有较短的长度(较小的偏移量)。
此外,这种实施方式的优点是,即使在受显示装置的亮度和相机的灵敏度决定地选择得极为短暂的曝光时间下,也能接近很大数量的不同的偏移路径。由此可以更好地抑制摩尔纹。
在本发明的一种实施方式中,拍摄第一相机图像、第二相机图像以及至少一个第三相机图像或另外的相机图像。
第一相机图像和第二相机图像被作为结构相同的显示图像的成像加以拍摄,其由同一显示装置示出。第三相机图像由构造相同的、但不同于第一相机图像和第二相机图像的其它的显示装置拍摄。
结构相同在此并且在下文中指的是这样一些显示图像,它们在它们的频率响应上彼此间没有区别或仅轻微有所区别。具有显示像素的相同的分配的显示图像是结构相同的。
但在各个显示像素中的灰度值(亮度值)的很小的变化,例如在所有显示像素中最多占比百分之一的灰度值变化,不会妨碍针对所述方法的这种实施方式的第一相机图像和第二相机图像的可用性。这样改变的显示图像也应当理解为是结构相同的。
在拍摄第一相机图像和第二相机图像之间所有的或极多的显示像素的均匀的轻微的改变同样不会妨碍针对所述方法的这种实施方式的第一图像和第二图像的可用性,例如加上或减去相比两个显示图像的平均灰度值极小的值和/或所有灰度值以接近1的系数缩放。这样改变的显示图像也应当理解为是结构相同的。
一般来说,如果所配设的相机图像中的由此造成的差异明显小于分别施加在相机图像中的摩尔纹干扰,则两个显示图像就应当视作时结构相同的。为了确定相机图像之间的差异(由改变的显示图像或由施加的摩尔纹干扰造成),例如可以使用像素空间中的和空间频率空间中的均方差和/或最大偏差。特别是,5%或以下的相对差异应被理解为是小的。
在拍摄第一相机图像期间以及在拍摄至少一个第三相机图像或另外的相机图像期间,相机相对显示装置没有运动或仅轻微运动。“轻微运动”在此和在下文中应当理解为相机的导致了位置变化的运动,该位置变化明显小于显示像素间距、优选小于显示像素间距的三分之一。“轻微运动”尤其应当理解为这样一种运动,其不是被针对性地触发,而是仅由于例如不可避免的震颤而导致相机和显示装置之间的相对运动。
在拍摄第二相机图像期间,相机沿至少一个偏移路径相对显示装置运动,如已经借助之前所说明的实施方式所解释的那样。
为第一相机图像求出二维傅里叶变换并将其数值变化曲线(幅值谱)确定为第一数值变化曲线,并且为第二相机图像求出二维傅里叶变换并将其数值变化曲线(幅值谱)确定为第二数值变化曲线。傅里叶变换优选被确定为针对离散的(垂直的和水平的)空间频率或波数的离散傅里叶变换。
由第一数值变化曲线和第二数值变化曲线求出偏移滤波器的幅值响应。偏移滤波器是一种假想的线性的时不变的系统,当在输入端处显示第一相机图像(该第一相机图像在没有偏移的情况下拍摄)时,该系统就在输出端处提供或近似计算第二相机图像(该第二相机图像伴随偏移地拍摄)。幅值响应说明这种偏移滤波器的传递函数的数值变化曲线。
为所述至少一个第三相机图像或所述另外的相机图像分别确定傅里叶变换并且分别与偏移滤波器的幅值响应相乘。由此,也就是说,由所述至少一个第三相机图像或所述另外的相机图像的傅里叶变换与幅值响应的乘积,通过逆傅里叶变换(傅里叶逆变换)分别确定经摩尔纹修正的结果图像。通过使用由第一相机图像和第二相机图像确定的并且(在局限于线性的时间不变的系统的情况下)近似描述了偏移运动对第二相机图像的作用的幅值响应,可以在第三相机图像中或另外的相机图像中以与在第二相机图像中相似的方式抑制摩尔纹干扰。这种实施方式的优点在于,在拍摄第三相机图像或另外的相机图像时,相机不必(相对显示装置)运动。
由此也能在有极短曝光时间的相机图像中(例如在由极为光线强的显示装置拍摄时)实现摩尔纹修正。此外还可以避免在沿着偏移路径运动时相机和/或显示装置可能经受的机械负荷。
在这种实施方式的扩展设计方案中,由第一显示装置检测第一相机图像和第二相机图像并且由与第一显示装置构造相同的并且相对相机以相同的或相似的拍摄布置而布置的第二显示装置或另外的显示装置检测第三相机图像或另外的相机图像。
相似的拍摄布置在此指的是被理解为在同一测量结构中放置构造相同的第二显示装置或另外的显示装置,这种测量结构具有在这种显示装置的生产控制或质量控制的范畴内放置测量对象和/或测量装置时普遍的几何偏差。
将基于第一显示装置推导出的幅值响应适用于同一测量结构内至少一个另外的构造相同的显示装置所具有的优点是,为了使用摩尔纹修正,仅须分别不伴随运动地或伴随轻微的运动地拍摄相机图像,这既进一步减少了机械负荷也进一步减少了所需的测量时间。由此尤其可能的是,借助第一显示装置一次性对测量结构进行一次配置并且之后例如在生产和质量控制的连续的过程中将其不变地应用于多个显示装置。
在一种实施方式中,偏移滤波器的幅值响应被求出为是第二数值变化曲线(其由第二相机图像的傅里叶变换确定)关于第一数值变化曲线(其由第一相机图像的傅里叶变换确定)的商。以这种方式可以特别简单地确定偏移滤波器的幅值响应。
在另一种实施方式的扩展设计方案中,可以按如下方式来形成偏移滤波器,即,对第二数值变化曲线与第一数值变化曲线的商进行非线性变换、例如二进制化。
在这种实施方式中,以如下方式将偏移滤波器的幅值响应二进制化,即,当数值变化曲线的商处在预先确定的阈值之下时,借助局部分割算法基于第二数值变化曲线(其由第二相机图像的傅里叶变换确定)关于第一数值变化曲线(其由第一相机图像的傅里叶变换确定)的商为每一对垂直的和水平的空间频率配设值0,或者在数值曲线的商处在这个预先确定的阈值之上或者等于该预先确定的阈值时,配设值1。
以这种方式可以求出一个特别鲁棒的偏移滤波器。此外,可以通过使用另外的图像运算、例如形态学运算来进一步提高这些作为二进制滤波器的幅值响应的鲁棒性。
也可以按如下方式求出这种偏移滤波器,即,在保持已经说明的其余的方法步骤的情况下,取代相机地在拍摄第二相机图像时(第二相机图像由第一显示装置所记录)仅使带有矩阵形布置的传感器像素的传感器相对显示装置运动,而相机则相对记录的显示装置静止。换句话说:在相机内例如通过压电致动器在拍摄第二相机图像期间使传感器相对相机壳体运动。由此可以减小相机的机械负荷。因为相机是可用的,用于使传感器运动的合适的致动器已经集成到了该相机中,所以由此也可以减小用于确定偏移滤波器的设备技术上的耗费。
在所述方法的一种实施方式中,在教导步骤中,在拍摄所述至少一个相机图像以获得经摩尔纹修正的结果图像之前,与显示装置和与相机相适配地求出至少一个优选的偏移路径,使得摩尔纹干扰程度处在预先确定的摩尔纹阈值之下和/或被最小化。
可以以如下方式确定所述至少一个优选的偏移路径,即,选择偏移路径的参数作为离散的优化问题的参数,其中,选择摩尔纹干扰程度作为有待最小化的优化标准,针对摩尔纹干扰程度借助对经摩尔纹修正的结果图像的样本求出统计学估计。
在此,基于这种估计的经摩尔纹修正的结果图像分别用按本发明的方法由相机图像形成。换句话说:针对每一个所检查的偏移路径,在教导步骤中分别求出摩尔纹干扰程度作为质量标准。
当找到至少一个优选的偏移路径,针对这条偏移路径而言,质量标准(所配设的摩尔纹干扰程度)低于预先确定的摩尔纹阈值时,可以中断所述方法。备选地,当在预先确定的数量的优化步骤内无法改进质量标准或者无法充分改进质量标准时,可以中断所述方法。用于解决这种离散的优化问题的方法由现有技术已知。
可以例如通过如下方式确定优选的偏移路径,即,针对相机相对显示装置的多个线性的(直线的)运动在方向和长度(偏移量)方面发生改变。
可以以相似的方式从分别在方向和长度(偏移量)方面发生改变的多个线性的(直线的)运动确定优选的偏移路径作为多边形曲线。
也可能的是,通过如下方式确定多个优选的偏移路径,即,在教导步骤中实施随机选择的偏移路径并且检查它们对摩尔纹干扰程度的影响,其中,偏移路径的长度(偏移量)是随机变化的,但被选择得小于偏移幅值。由此可以确定偏移幅值,也就是说,偏移路径的最大长度,对此而言特别良好地降低了摩尔纹干扰程度。
用本领域技术人员已知的离散优化的方法可以求出一些导致摩尔纹干扰程度足够良好地或最优地降低的参数。这些参数可以说明单个优选的偏移路径。这些参数也可以说明一些属性,例如长度(偏移量)、长度范围(偏移量区间)或方向,用这些属性说明多个优选的偏移路径。
例如可以在教导步骤中在长度(偏移量)和走向方面来确定唯一一个优选的偏移路径,该偏移路径在拍摄所述至少一个相机图像期间被未经改变地经过。
此外,可以在空间走向中随机选择偏移路径,并将所述偏移路径缩放到作为优选被求出的长度(偏移量)。
带有教导步骤的实施方式的优点在于,针对所选择的由显示装置和相机构成的布置可以实现优化的或足够好的摩尔纹抑制。
在教导步骤之后,相机在拍摄相机图像期间这样运动,使得相机图像分别相对显示图像沿着在教导步骤中确定的优选的偏移路径运动。也可能的是,优选的偏移路径以如下方式随机变化,即,将优选的偏移路径的随机的偏差施加于相机运动。
根据显示像素的排列,不同取向的偏移路径可能导致对摩尔纹干扰的不一样好的抑制。例如对于具有在水平(x)方向上毗邻排列但在垂直(y)方向上间隔开排列的矩形的显示像素的显示设备而言,选择主要是垂直取向的偏移路径可能是有利的。
因此,这种实施方式能够选择为特定的显示装置量身定制的偏移路径以特别良好地抑制摩尔纹干扰。
在所述方法的一种实施方式中,在一个教导步骤中这样来求出与显示装置和相机相适配的偏移幅值,使得当相机在拍摄至少一个相机图像期间围绕一条带有小于或等于偏移幅值的偏移量的偏移路径运动时,摩尔纹干扰程度处在预先确定的摩尔纹阈值之下和/或被最小化。在拍摄所述至少一个相机图像期间经过在方向、走向和偏移长度方面随机选择的偏移路径,但其中偏移长度选择得小于或最多等于在教导步骤中求出的偏移幅值。
在一种实施方式中,这样来求出优选的偏移量,即,当相机在拍摄所述至少一个相机图像期间沿着偏移路径相对开始位置偏移了优选的偏移量时,最小化摩尔纹干扰程度。此外,还求出了预先确定的区间宽度的偏移量区间,该偏移量区间包含、优选对称地包含优选的偏移量。如已经说明那样,可以使用一种离散的优化方法来最小化摩尔纹干扰程度。
按照教导步骤,相机在拍摄相机图像期间这样运动,使得相机图像相对显示图像沿着带有长度(偏移量)的偏移路径分别从在教导步骤中确定的偏移量区间移动出来。
在这种实施方式中足够的是,在教导步骤中作为唯一一个参数使偏移路径的优化的或优选的长度适应显示装置和相机的组合。
已被证实合适的是,相机相对显示装置的偏移路径(用该偏移路径能达到摩尔纹修正中的特别良好的结果)基本上取决于显示装置的像素间距并且此外也取决于传感器像素的像素间距和成像比例。因此用教导步骤的这种实施方式能实现特别有效地、与相机和显示装置的相应的布置相适应的摩尔纹减少。
在教导步骤中求出偏移路径或偏移量区间或优选的偏移量也可以分别参照相机图像的部分进行,也就是说:参照传感器像素的一个连续区域进行。
因此在弯曲的显示装置中,由于相机镜头的失真或者由于透视变形,例如可能的是,对相机图像的不同的区域而言,不同的偏移路径、不同的偏移量区间或不同的优选的偏移量被证实为特别良好地适用于摩尔纹修正。
用所述方法的这种实施变型方案在教导步骤中,针对总体上完全覆盖相机图像的不同的相机图像区域,通过离散的优化分别求出相机运动的所配设的参数(偏移路径、偏移量区间或优选的偏移量)。紧接着为每个相机图像区域拍摄至少一个相机图像,其中,相机按照分别所配设的参数运动。这样被拍摄的所述多个相机图像借助图像记录方法对齐并且紧接着逐个像素地进行求和或平均以成为经摩尔纹修正的结果图像。
由此也可以在通过显示装置的几何的或光学的布置使相机的运动对显示图像在不同的图像区域中相机图像上的成像有不同的影响时,也获得了良好的经摩尔纹修正的结果图像。
在一种实施方式中,从相机图像的至少一个区域提取出的传感器像素值的变化系数被形成为摩尔纹干扰程度。变化系数、也就是说:参照预期值的数值分散/偏差可以被特别简单和快速地求出并且良好地近似再现了摩尔纹干扰的影响。
在所述方法的一种实施方式中随机确定偏移路径。可以根据偏移路径的长度,也就是说:经过的偏移量,以如下方式随机地确定偏移路径,即,作为在长度区间(偏移量区间)内平均分布的随机变量求出所述长度。一个可以根据其空间走向预定或也随机确定的偏移路径,根据这样求出的长度进行缩放。
由此在大量根据这种均匀分布独立进行的多个偏移运动中可以实现对摩尔纹干扰的特别良好的抑制。
也可以由此随机地确定偏移路径,即,随机地将偏差强加于优选的偏移路径、例如在教导步骤中求出的偏移路径。
在本发明的一种实施方式中,相机沿着显示像素的矩阵的列和/或行的方向相对显示装置运动。换句话说:相机针对平面的显示装置平行于显示装置运动。对弯曲的显示装置而言,相机与相切平面、优选与延伸穿过布置在显示像素矩阵的中心或中心附近的显示像素的相切平面同平面地运动。用这种处在二维平面中的偏移运动可以达到对摩尔纹干扰的特别良好的抑制。
也可以在弯曲的显示装置中选择多个不同的相切平面。然后针对相切平面中的每个相切平面在拍摄至少一个相机图像时实施相机的分别平行的运动并且借助图像记录方法对齐各个相机图像以及紧接着将它们逐个像素地相加或平均成经摩尔纹修正的结果图像。由此能实现特别精确的摩尔纹修正。
在所述方法的一种实施方式中,相机沿其光轴相对显示装置运动。由此造成了散焦,也就是说:与一个向边缘倾斜的同心的PSF的卷积。这种实施方式所具有的优点是,只须沿一个运动方向进行移动。比起沿多个方向的移动,这种方法更易于实现。
在所述方法的一种实施方式中,相机围绕开始位置沿着偏移路径运动,该偏移路径包括对称的、也就是说:围绕开始位置的在数值和方向上相同的、但在方向感(Richtungssinn)上相反的子路径。例如可以镜像对称地选择偏移路径:
由此达到的是,经摩尔纹修正后的结果图像可以伴随特别小的偏差地与开始位置相关。
在所述方法的一种实施方式中,以如下方式为多个颜色通道分别确定与颜色通道相关的结果图像,即在显示装置和相机的传感器之间布置滤色器,其中,为每条颜色通道确定与颜色通道相关的偏移量区间,并且其中,颜色通道相关的结果图像被相互记录或者说叠合。
这种滤色器可以不一样厚并且具有不同的折射率以及近似垂直于相机镜头的光轴地布置在显示装置和传感器面之间。因此例如对准直的光束走向而言,它们可以引起取决于滤色器而不一样大的平行移动。例如,例如对发散的光束走向而言,它们也可能导致空间相关地(在传感器面中)不同的失真。
用所建议的实施方式可以以如下方式获得经摩尔纹修正的彩色图像,即,将记录或者说叠合的与颜色通道相关的结果图像叠加。因此额外也实现了对显示装置进行光谱学的或至少与颜色通道有关的检查。
在一种用于评估基于像素的显示装置的显示质量的方法中,按照前述方法之一,从至少一个用相机拍摄的相机图像获取经摩尔纹修正的结果图像并且借助这种经摩尔纹修正的结果图像确定显示装置的显示质量。
这种方法的优点在于,针对显示装置的质量评估不会受到摩尔纹干扰的妨碍或被摩尔纹干扰歪曲。由此能实现再现了显示装置的真实质量的评估。此外,通过消除有高空间频率(接近奈奎斯特频率)的混叠伪影,可以实现具有特别高的空间分辨率的、优选具有精确到单个显示像素的空间分辨率的不歪曲的评价。由此也可以识别和评估在显示装置处的局部很小的缺陷或干扰。但由此特别是也避免了像素错误的假阳性探测。因此实现了对显示装置的特别可靠的评估。
在这种方法的一种实施方式中,对显示装置的有缺陷的显示像素进行检测和/或定位。由此能实现对显示装置的特别简单的质量控制。
在一种实施方式中,求出在显示装置上的亮度分布的均匀性。本发明的一个优点在于,消除了有低空间频率的混叠伪影,它们伪装成了亮度分布的均匀性的错误或干扰。
用按本发明的评估方法尤其可以实现作为DeMURA公知的用于修正亮度差异的方法,亮度差异由制造技术引起和/或在显示像素之间的燃烧时间或强度统计方面与像素相关而不同时的老化引起。
优选评估亮度差异和/或借助具有很小的亮度或亮度的显示图像求出用于修正这种亮度差异的参数。
在所述方法的一种实施方式中,为了评估显示质量而求出光度测定特征参量、优选亮度在显示装置上的局部分布。因此能实现对显示装置的特别精确和客观的可复制的评估。
用于执行前述方法中的一种方法的设备包括相机、定位单元、控制单元和评估单元。定位单元可以构造成相对显示装置位置固定并且设置用于使相机运动。定位单元也可以相对相机位置固定地布置并且设置用于评估显示装置。
定位单元设置用于使相机或备选显示装置电动地运动了处在偏移量区间内的偏移量。控制单元设置用于触发用相机对相机图像的拍摄。
评估单元设置用于用前述方法中的一种方法形成经摩尔纹修正的结果图像。
这种设备的优点由所述方法的已经说明的优点得出。
定位单元可以设置用于使相机独立于相机图像的拍摄地随机地或一定程度上随机地运动。
但在本发明的一种实施方式中也可能的是,控制单元设置用于操控定位单元和与定位单元相协调地、也就是说:与相机借助定位单元的运动相协调地触发对相机图像的拍摄。偏移路径因此时能复制的并且其滤波作用能更为准确地设定用于抑制摩尔纹干扰。
在所述设备的一种实施方式中,控制单元和评估单元合并在控制和评估单元中。这实现了一种特别紧凑的构造形式并且实现了利于成本的、柔性的元件的使用。控制和评估单元例如可以构造成PC(私人电脑)或笔记本。
在一种实施方式中,定位单元构造成量角器,其设置用于使相机围绕优选两条彼此正交的转动轴线转动。量角器是对亮度测量而言常见的并且在这个应用领域中能方便地使用的定位单元,其实现了一种特别利于成本的结构。
量角器优选设置用于使相机或显示装置精确地转动了一个极小的角、优选转动了小于1度的角、特别优选转动了小于1弧分的角。对这种极小的转动角来说,在显示装置和相机的间距足够大时,通过借助量角器的转动实现了显示图像相对相机图像的近似同平面的偏移。
但定位单元也可以构造成任意其它的、沿着至少一个运动方向、优选沿着至少两个彼此正交的运动方向能电动地线性地移动的运动单元。
定位单元例如也可以构造成工业机器人。因此能实现显示装置的或相机的特别灵活的运动。
定位单元也可以构造成十字工作台(XY工作台),其可以沿着两条轴线移动。沿着轴线的所述移动可以借助电气运行的旋转的和/或线性的驱动器完成。例如可以使用带有主轴驱动器的旋转马达来进行移动。也可以使用压电的线性驱动器。
在所述设备的一种实施方式中,定位单元构造成至少一个振动单元,该振动单元布置在相机的壳体处并且可以处于振动。借助振动单元使相机在拍摄相机图像器件处于振荡。相机的振荡表现为相机图像相对显示图像的偏移路径。
可以在一个相机处布置多个振动单元,例如沿水平的x方向(传感器像素的行方向)、沿垂直的y方向(传感器像素的列方向)各一个振动单元以及沿相机的光轴方向一个振动单元。由此可以特别灵活地设计偏移路径。
这种振动单元可以例如构造成压电致动器或扬声器或振动马达并且布置在相机壳体处。
在带有扬声器的一种实施方式中,至少一个扬声器可以用谐振的操控信号操控。对这种实施方式而言,教导步骤可以例如在于,这样来确定操控信号的频率和/或政府,使得摩尔纹干扰程度被特别良好地降低。
在一种实施方式中,相机被构造成亮度测量相机并且设置用于拍摄光度测定的特征参量、优选由显示装置发出的亮度的空间分布。因此实现了对显示装置的一种特别精确的和能客观复制的评估。
附图说明
接下来借助附图更为详细地阐释本发明的实施例。图中:
图1示意性示出了一种用于拍摄显示装置的显示图像的布置;
图2A和2B示意性示出了传感器像素和显示像素的布置;
图3A和3B示意性示出了经傅里叶变换的第一相机图像和第二相机图像的数值变化曲线;以及
图4示意性示出了偏移滤波器的幅值响应的数值变化曲线。
彼此对应的部分在附图中配设有相同的附图标记。
具体实施方式
图1示意性示出了用于借助相机1拍摄由显示装置2示出的显示图像的布置系统。显示装置2包括大量显示像素2.1,所述显示像素矩阵形地沿着行2.3和列2.2排列。行2.3近似平行于水平的x方向延伸。列2.2近似平行于垂直的y方向延伸。
相机1包括矩阵形地布置在传感器面1.2中的传感器像素1.3。在传感器面1.2之前布置有相机镜头1.1,该相机镜头设置用于将由显示像素2.1示出的显示图像映射/成像到传感器面1.2上。相机1的光轴O近似垂直地并且居中地对准由显示像素2.1形成的面。
相机1总体上(包括相机镜头1.1和带有传感器像素1.3的传感器面1.2)布置、例如夹紧或旋接在定位单元3的保持板3.2上。定位单元3设置用于借助马达3.1使保持板3.2沿着水平的x方向和沿着垂直的y方向电动地运动。为了沿着x方向和y方向的线性的运动,替代马达也可以使用其它的运动元件,例如压电的促动器。
借助定位单元3可以使相机1相对显示装置2沿着偏移路径VP运动一偏移量V。所述偏移量指的是偏移路径VP的长度。
马达3.1和通过相机1的图像拍摄由与之相连的控制单元4这样操控,使得在拍摄相机图像期间——所述相机图像由从传感器像素1.3读取的传感器值形成——相机1相对显示装置2沿x方向和/或沿y方向偏移。
也可能的是,在相机1相对显示装置2偏移期间拍摄多个相机图像。
这些相机图像从相机1被读取到评估单元5中。若在相机1运动期间拍摄了多个相机图像,那么各个相机图像由评估单元5叠加、例如相加或求平均成一个经摩尔纹修正的结果图像。
图2A和2B示意性示出了相机1相对显示装置2运动期间显示像素2.1相对传感器像素1.3的位置变化。为了更好地阐明,仅分别示出了矩阵形排列的显示像素2.1的一部分和矩阵形排列的传感器像素1.3的一部分。
传感器像素1.3以传感器像素间距D
显示像素2.1类似地以显示像素间距D
图2A示出了在开始位置S中传感器像素1.3的位置。图2B示出了在曝光期间在相机1沿着偏移路径VP运动之后传感器像素1.3的位置。偏移路径VP具有称为偏移量V的长度。
在到传感器面1.2上的投影中,偏移路径VP在考虑到图像侧的成像比例β′的情况下作为带有下文中称为图像偏移量V′的长度的偏移路径图像VP′出现。
由一个或多个显示像素2.1成像到一个传感器像素1.3上的亮度(显示图像在传感器面上的成像)在相机1不运动时仅用相应的传感器像素1.3的像素孔径(点扩散函数PSF)卷积。
在空间频率范围中,这意味着显示装置2的所成像的显示图像(也就是说:显示像素2的矩阵)的频谱与PSF(调制传递函数,简写为MTF)的频谱的相乘。所有传感器像素1.3的矩阵意味着采样,在频率范围是所获得的频谱的倍增。在此,较高的频率部分进入基础频谱,这导致了混叠。
由于相机1的运动,由一个或多个显示像素2.1成像到一个传感器像素1.3上的亮度(显示图像在传感器上的成像)与相应的传感器像素1.3的像素孔径(点扩散函数,简称为PSF)以及附加地与由偏移路径图像VP′确定的滤波器核h(x',y')卷积。偏移路径图像VP′的空间曲线,从具有坐标x′
因此,在空间频率区域中,这意味着显示图像(显示像素2.1的矩阵)的频谱与PSF(MTF)的频谱和偏移路径图像VP′的频率的相乘。
因此,通过相机1的运动达到的是,传感器像素1.3的PSF与偏移路径图像VP′进行卷积,这在空间频率范围中导致了频谱与偏移路径图像VP′的傅里叶变换的相乘,也就是说导致了滤波。因此通过选择由偏移路径VP决定的偏移路径图像VP′就有可能抑制或减少干扰性的频率部分。因此可以通过偏移路径VP确定用于空间连续滤波、特别是用于平滑的滤波器核h(x',y'),滤波器核移除或抑制了相机图像中的摩尔纹干扰。用所建议的教导方法可以通过离散优化来确定偏移路径VP,使得达到了摩尔纹干扰的对相机1与显示装置2的组合而言尽可能最佳的减少。
与相机图像的空间离散的滤波相比,优点在于,可以有针对性地在原则上任意的空间频率处移除或减少摩尔纹干扰。特别是也可以通过具有滤波器核h(x',y')的空间连续的滤波来衰减或消除空间频率,所述空间频率不是传感器像素间距的倒数
接下来借助图3A、3B和4解释针对本发明的一种扩展设计方案的实施方式。
图3A示意性示出了在水平的和垂直的空间频率f
这样来实施第一相机图像的曝光,使得相机1在第一曝光时间τ1期间无法或仅轻微地相对显示装置2运动。“轻微地运动”在此并且在下文中应当理解为一种造成了如下偏移量V的运动,该偏移量小于显示像素间距D
可以以如下方式拍摄第一相机图像,即,使第一曝光时间τ1关于相机1的运动速度选择得极短(也就是说:这样来选择,使得偏移路径图像VP′极短)。在此,可以通过如下方式来补偿第一曝光时间τ1的缩短,即,与第一曝光时间τ1的改变成反比例地提高显示像素2.1的亮度。
附加或备选地,可以以如下方式拍摄第一相机图像,即,在第一曝光时间τ1期间减小或停止相机1的运动。
由于相对极短的或完全被抑制的图像偏移量V′,由偏移路径图像VP′确定的滤波器核h(x',y')的借助图2A和2B阐释的滤波作用减小。在极端情况下,在相机1相对显示装置2完全静止的情况下,滤波器核h(x',y')退化成狄拉克脉冲并且不会造成在由传感器像素1.3拍摄的第一相机图像处的改变。
与此对应,傅里叶变换X
在第一相机图像中的混叠(摩尔纹)在傅里叶变换X
图3B以和图3A相似的方式示出了第二相机图像的傅里叶变换的第二数值变化曲线|G
与第一相机图像不同的是,这样来对第二相机图像曝光,使得通过相机1在第二曝光时间τ2期间相对运动而产生了带有平行于传感器面1.2的偏移量V的偏移路径图像VP,该偏移量处在显示像素间距D
在第二相机图像的傅里叶变换中也出现了混叠(摩尔纹)作为第二干扰M
在第二曝光时间τ2期间在带有相机1相对显示装置2的偏移量V的第二相机图像处达到的对混叠(摩尔纹)的抑制,可以用系统理论描述为偏移滤波器的传递函数,该传递函数由第二相机图像的傅里叶变换X
在拍摄第二相机图像期间通过偏移量V的频率选择性的抑制尤其可以被描述为是这种偏移滤波器的幅值响应|G
幅值响应|G
备选地,幅值响应|G
这种图像处理运算例如可以使用于第二数值变化曲线相对第一数值变化曲线的数值比例。由此将幅值响应|G
在定义偏移滤波器时,通常目标在于,这样来确定幅值响应|G
图4示意性地示出了偏移滤波器V的幅值响应|G
使用二进制的幅值响应
通过使用偏移滤波器可能的是,也在如下相机图像中进行摩尔纹抑制,所述相机图像是在曝光期间在没有偏移量V或仅有不明显的偏移量V的情况下拍摄。为此,该相机图像经受傅里叶变换。该相机图像的傅里叶变换(X(f
X′(f
这样获得的经空间频率加权的傅里叶变换X′(f
换句话说:若相对第一相机图像和第二相机图像的拍摄的几何的(就相机1和显示装置2的布置而言)和基本的光技术情况没有发生改变或仅轻微地改变,那么可以通过将幅值响应|G
因此可能的是,当相机1在拍摄相机图像期间没有运动或仅轻微运动时,也达到了对干扰M
此外,由此还可能的是,也抑制这样一些相机图像中的干扰,所述相机图像用极短的曝光时间拍摄并且在所述相机图像中由此也无法实现充分的干扰抑制所需的偏移运动。此外还可能的是,抑制在另外的相机图像中的干扰,所述另外的相机图像在相似的拍摄状况中拍摄,例如其它的但构造相同的显示装置的相机图像。
第三相机图像和大量另外的相机图像可以由不同于第一相机图像和第二相机图像的显示装置2所拍摄。在生产过程中连续地构造相同地制造的显示装置2例如可以相对相机1在对质量控制而言的公差的范畴内和第一显示装置2相同地布置,第一相机图像和第二相机图像由第一显示装置所拍摄。
第三相机图像和另外的相机图像然后由这些连续地交换的显示装置2所拍摄。在第三相机图像和另外的相机图像中的摩尔纹干扰通过使用偏移滤波器被移除或衰减,其借助第一相机图像和第二相机图像针对虽然是其它的、但构造相同的第一显示装置2所求出。
为了相对在构造相同的显示装置2之间拍摄状况的在实践中预期的轻微的几何变化获得更大的鲁棒性,可以例如借助诸如膨胀之类的形态学运算来处理如之前所说明那样求出的二进制幅值响应
附图标记列表
1相机
1.1相机镜头、成像光学器件
1.2传感器面
1.3传感器像素
2显示装置
2.1显示像素
2.2列
2.3行
3定位单元
3.1马达
3.2保持板
4控制单元
5评估单元
D
D
f
|G
M
O光轴
S开始位置
V偏移量
V′ 图像偏移量
VP 偏移路径
VP′偏移路径图像
|X
|X
- 一种磁钉、电磁铁阵列、基于电磁铁阵列的AGV导航方法及其AGV
- 一种基于磁钉轨道的电子地图动态拼接方法
- 一种基于磁钉轨道的公共交通线网运营方法