图像处理方法及其图像处理系统

技术领域

本发明涉及一种图像处理方法及系统，尤其涉及一种可用来处理指纹图像的图像处理方法及系统。

背景技术

指纹感测技术已被广泛用于各式各样的电子产品，例如移动电话、笔记本电脑、平板计算机、个人数字助理(Personal Digital Assistant，PDA)、及便携式电子装置等，用来实现身分识别。通过指纹感测，可方便地识别用户身分，用户只须将手指放置在指纹传感器上，即可登入电子装置，而无须输入冗长且繁琐的用户名称及密码。

近年来，光学式指纹识别已成为最普及的指纹识别方案之一。在光学式指纹感测系统中，指纹图像传感器的设置可搭配位于感测平板或面板下方的光源，在感测期间内可由光源传送光线，传感器则接收由触碰的手指反射的光线，以根据接收到的光线强度来判断指纹的波峰和波谷信息。

然而，感测到的图像信号可能包括多种噪声和偏移，这些噪声和偏移限制了可在有效指纹信号上执行的最大放大比例，从而增加指纹识别的负担和难度。鉴于此，现有技术实有改进的必要。

发明内容

因此，本发明的主要目的即在于提供一种图像处理方法及系统，能够有效移除无用的偏移，同时提升指纹识别的效率。

本发明的一实施例公开了一种图像处理方法，其包括以下步骤：从一图像传感器接收多个原始图像信号；根据一透镜图案来修改该多个原始图像信号，以产生多个第一图像信号；取得该多个第一图像信号的一补偿信息；判断该多个第一图像信号是否和一预定图像图案匹配；当判断该多个第一图像信号和该预定图像图案不匹配时，根据该补偿信息来修改该多个第一图像信号，以产生多个第二图像信号；以及判断该多个第二图像信号是否和该预定图像图案匹配。

本发明的另一实施例公开了一种图像处理系统，其包括一图像处理器及一主机装置。该图像处理器可用来执行以下步骤：从一图像传感器接收多个原始图像信号；根据一透镜图案来修改该多个原始图像信号，以产生多个第一图像信号；以及取得该多个第一图像信号的一补偿信息。该主机装置耦接于该图像处理器，可用来执行以下步骤：判断该多个第一图像信号是否和一预定图像图案匹配。其中，当该多个第一图像信号被判断为和该预定图像图案不匹配时，该图像处理器还根据该补偿信息来修改该多个第一图像信号，以产生多个第二图像信号，且该主机装置还用来判断该多个第二图像信号是否和该预定图像图案匹配。

附图说明

图1为本发明实施例一图像处理系统的示意图。

图2为本发明实施例一图像处理流程的流程图。

图3为透镜的相对照度的示意图。

图4为光线强度补偿的示意图。

图5A～5C为本发明实施例对图像信号补偿固定图案偏移的示意图。

图6A～6C为本发明实施例放大图像信号的示意图。

其中，附图标记说明如下：

10 图像处理系统

100 图像传感器

102 图像处理器

104 主机装置

106 模拟数字转换器

20 图像处理流程

200～212 步骤

SA1～SA3、SB1～SB3、SC1～SC3 图像信号

具体实施方式

请参考图1，图1为本发明实施例一图像处理系统10的示意图。如图1所示，图像处理系统10包括一图像传感器100、一图像处理器102及一主机装置104。在一实施例中，图像处理系统10可用来处理指纹图像信号以进行指纹识别，因此，图像传感器100可以是一指纹传感器。一般来说，图像传感器100可包括以阵列方式布置的多个感测像素。若图像传感器100是一光学式指纹传感器时，图像处理系统10还可包括一光源，设置于感测板下方。每一感测像素可感测由触碰的手指反射的光线强度，以产生指纹图像信号，指纹图像信号再被传送至图像处理器102及主机装置104以进行指纹图像的识别。关于图像传感器100的像素阵列的详细结构应为本领域技术人员所熟知，在此将不赘述。

图像处理器102可以是一图像处理电路，例如实现于芯片中的指纹图像处理集成电路(Integrated Circuit，IC)。一般来说，图像处理器102可从图像传感器100接收图像信号(其通常是电压或电流信号)，并将图像信号转换为数字形式之后，再传送至主机装置104以进行后续操作及判断，因此，图像处理器102通常设置有一模拟数字转换器(Analog toDigital Converter，ADC)106以进行转换。图像处理器102可对图像信号进行处理以移除无用的噪声和偏移并改善信号质量，使得所输出的图像信号或数据能够更有效地进行识别。

主机装置104可以是电子系统中的主要处理器，例如中央处理单元(CentralProcessing Unit，CPU)、单片机(Microcontroller Unit，MCU)、或其它类似的处理装置。就指纹识别而言，主机装置104可用来进行匹配，据此判断从图像传感器100接收的指纹感测图像是否相同于预先注册的指纹图像，以对特定功能进行验证。由于指纹识别的操作需要较复杂的运算，也需要较多存储空间来存储注册的指纹图像，因此，优选地，指纹识别应在主机装置104内执行，可简化图像处理器102的电路面积和成本。

请参考图2，图2为本发明实施例一图像处理流程20的流程图。图像处理流程20可实现于一图像处理系统(如图1中的图像处理系统10)，用来处理图像信号(如指纹图像信号)。如图2所示，图像处理流程20包括以下步骤：

步骤200：开始。

步骤202：图像处理器102从图像传感器100接收原始图像信号。

步骤204：图像处理器102根据一透镜图案来修改原始图像信号，以产生第一图像信号。

步骤206：图像处理器102取得图像信号的补偿信息。

步骤208：主机装置104扫描图像信号，以判断图像信号是否和一预定图像图案匹配。若是，则执行步骤212；若否，则执行步骤210。

步骤210：图像处理器102根据补偿信息来修改第一图像信号，以产生第二图像信号。接着执行步骤206。

步骤212：结束。

根据图像处理流程20，当手指放置在图像传感器100的感测板上时，可通过图像传感器100的感测像素感测并接收原始图像信号(步骤202)。在图像处理器102从图像传感器100接收到原始图像信号之前或之后，可对原始图像信号进行适当的修改以补偿一固定图案偏移(fixed pattern offset)，固定图案偏移是依据透镜图案产生的已知偏移。因此，原始图像信号可进行补偿以产生修改后的图像信号，如第一图像信号(步骤204)。根据第一图像信号的电平，可取得用于后续补偿步骤的补偿信息(步骤206)。主机装置104可扫描第一图像信号，以判断第一图像信号是否和一预定图像图案匹配(步骤208)。若扫描结果为匹配，则关于指纹识别的图像处理流程20结束，且目标功能可被启用或解锁。若扫描结果为不匹配，则图像处理器102还根据先前取得的补偿信息来修改第一图像信号，以产生第二图像信号(步骤210)。补偿信息可提供偏移及增益的补偿，而指纹信号可进行放大以提升匹配成功的机率。接着，主机装置104扫描第二图像信号，并比较第二图像信号与预定的图像图案以判断其是否匹配，若否，图像处理器102可取得相关信息，并再次修改第二图像信号，主机装置104则再次执行匹配的步骤。虽然图2没有示出，但图像处理流程20可在重复扫描操作超过一特定次数但扫描结果仍指示不匹配时，指示匹配失败的结果并终止流程。

在扫描操作开始之前，应预先修改图像信号以补偿固定图案偏移。在一实施例中，固定图案偏移可由透镜图案产生，透镜图案代表透镜的相对照度，其对应于感测像素与透镜中心的距离。请参考图3，图3为透镜的相对照度的示意图。如图3所示，根据透镜的光学特性，中心区域(距离透镜中心点较近的区域)具有较高的相对照度，而外围区域(距离透镜中心点较远的区域)具有较低的相对照度。因此，透镜上存在位于中心区域的像素通常具有较高亮度而位于外围区域的像素通常具有较低亮度的固定图案偏移，呈现如图3所示的相等亮度圆形。相对照度的差异在输出的图像感测信号上产生不同信号大小，导致图像感测信号携带于不同电压(或电流)电平上，从而增加了后续判断和识别的负担。

在一实施例中，固定图案偏移可通过控制每一感测像素的发光强度来进行补偿。若一图像信号来自于透镜中心区域的感测像素时，可在感测期间采用较低光线强度来修改或调整图像信号的电平；而若一图像信号来自于透镜外围区域的感测像素时，可在感测期间采用较高光线强度来修改或调整图像信号的电平。对于光线强度的补偿可采用如图4所示的图案施加于每一感测像素上，其相反于图3所示的透镜图案的相对照度。更明确来说，图像传感器100中光源输出的光线强度可从透镜中心区域向外围区域逐渐增加，从而补偿透镜中心区域相对照度较高的光学特性。在此例中，光源的光线强度可由图像处理器102或主机装置104输出一控制信号来进行控制和调整，或依照任何可行的方式实施。

如上所述，图像处理器102通常包括模拟数字转换器106，用来将图像感测信号转换为数字形式，而模拟数字转换器106可处理特定范围的电平之内的图像信号。举例来说，若模拟数字转换器106用来处理电压信号时，其能够处理一电压范围内的电压信号(如0V到5V之间)。若模拟数字转换器106接收的电压信号超过此范围，则无法正确地将电压信号转换为适当的数字码，造成模拟数字转换后出现图像信号失真的问题。除此之外，为了提升指纹识别成功的机率，模拟前端(Analog Front-End，AFE)电路可对图像信号进行放大，然而，固定图案偏移会造成从不同区域的像素接收的图像信号被携带于不同电平(如电压电平)上。需注意的是，模拟数字转换器106的工作电压范围可对应于数字码的完整刻度(FullScale，FS)，在未经补偿的原始图像信号中，中心区域的感测像素的相对照度较高而外围区域的感测像素的相对照度较低，使得来自于较靠近透镜中心的感测像素的图像信号具有较高电压电平，而来自于较远离透镜中心的感测像素的图像信号具有较低电压电平，如图5A所示。

在完成电压电平偏移的补偿之后，图像信号可携带于相同电压电平，如图5B所示。在模拟数字转换器106的工作电压范围的限制之下，信号补偿提供了更大的空间来进一步放大图像信号，以实现较佳的指纹识别效率。

透镜图案造成的固定图案偏移也可通过其它方式来补偿。在一实施例中，固定图案偏移可在图像处理器102的模拟前端电路内进行补偿。举例来说，关于透镜图案的补偿信息可存储在一增益表中，且可在原始图像信号上加入一增益，以修改原始图像信号的电平，使得图像信号到达相同的电压电平。举例来说，如图5C所示，模拟前端电路提供的增益可将图像信号推升到较高的电压电平。增益表可存储一固定图案补偿数据，类似图4中的光源补偿图案，也就是说，针对来自于透镜外围区域的像素的图像信号可采用较高的增益，而针对来自于透镜中心区域的像素的图像信号可采用较低的增益或不施加任何增益。当固定图案偏移的补偿完成之后，即可将较远离透镜中心的像素的图像信号推升至较高的电压电平，使其与较靠近透镜中心的像素的图像信号的电压电平相同，如图5C所示。

值得注意的是，指纹波峰和波谷信息呈现为信号的上下摆荡，而不同像素对应的不同信号电平则是无用的偏移，应将其移除。如图5A～5C所示，弦波信号代表所接收的指纹信号的波峰对波谷差异大小，是可用来进行识别的指纹信号。每一图像信号的电平可视为模拟数字转换器106所接收的电压或电流值或模拟数字转换器106所输出的数据码，其应落在模拟数字转换器106的完整刻度内。上述补偿方式使得图像信号可携带于相同的电压或电流电平上，同时移除无用的偏移。

请回头参考图2，当固定图案偏移的补偿完成以产生第一图像信号之后，图像处理器102可取得第一图像信号的补偿信息。需注意的是，此处的补偿信息不同于前述用来补偿固定图案偏移的信息。详细来说，此处提供的补偿信息可包括偏移信息和增益信息，可用来提升信号振幅以优化图像信号，从而有效利用模拟数字转换器106的工作电压范围。

除此之外，当第一图像信号被转换为数字形式并传送至主机装置104之后，主机装置104可执行正常扫描以判断第一图像信号是否和一预定图像图案匹配。此预定图像图案可以是预先存储在主机装置104的存储装置中的指纹图像。匹配与否的判断可基于各种指纹特征的比较，例如箕形纹(Loop)、斗形纹(Whorl)及/或弧形纹(Arch)等。关于指纹匹配的详细实施方式应为本领域技术人员所熟知，在此将不赘述。若扫描结果为匹配时，可终止指纹识别流程，并启用或解锁目标功能；若扫描结果为不匹配时，图像处理器102可根据先前取得的补偿信息来修改第一图像信号，以产生第二图像信号，并将其传送至主机装置104以进行匹配。

请参考图6A～6C，图6A～6C为本发明实施例放大图像信号的示意图。图6A示出了补偿固定图案偏移之后的图像信号SA1～SA3，其具有相同的电压或电流电平。在此例中，偏移信息可包括图像信号SA1～SA3的最小偏移，其可以是从每一图像信号SA1～SA3中取出的最小偏移值。如图6A所示，在图像信号SA1～SA3中，图像信号SA1具有最小偏移(如图像信号SA1～SA3下方的箭头所指示)。因此，可将每一图像信号SA1～SA3减去最小偏移值以取得如图6B所示的图像信号SB1～SB3。

如图6B所示，由于最小偏移已被移除，使得图像信号SB1～SB3具有较大的余量(headroom)来进行放大。余量可视为图像处理器102所取得的增益信息，可用来判断能够施加于图像信号SB1～SB3上的增益大小。增益可在模拟前端电路中实现，用以提升图像信号SB1～SB3的电压摆荡幅度(其代表指纹图像的波峰对波谷差异)，从而改善信号质量。优选地，可对图像信号SB1～SB3进行放大，使得图像信号的最大振幅符合数据码的完整刻度。换句话说，图像信号SC1～SC3中的最大电压值可到达模拟数字转换器106的最大工作电压，如图6C所示。

因此，当固定图案偏移从来自于图像传感器100的原始图像信号移除，且第一图像信号加入了偏移信息及增益信息以产生第二图像信号之后，所取得的第二图像信号(即图像信号SC1～SC3)可完整利用模拟数字转换器106的工作电压范围，从而优化指纹图像信号。此时，主机装置104可重新执行扫描以判断第二图像信号是否和预定图像图案匹配。由于摆荡振幅放大后的信号具有改良的信号质量，可提升重新扫描成功匹配的机率。如此一来，本发明提供的图像信号处理方法可强化指纹信号，以提高指纹识别的效率。

值得注意的是，本发明的目的在于提供一种可用来处理指纹图像信号的图像处理方法及系统。本领域技术人员当可据此进行修饰或变化，而不限于此。举例来说，在图像处理流程20中，当第一图像信号产生之后，图像处理器102可取得关于第一图像信号的补偿信息(步骤206)，接着主机装置104可执行扫描(步骤208)。在另一实施例中，步骤206及208也可同步执行，抑或先执行扫描操作，接着若扫描操作指示指纹图像匹配失败因而需要偏移信息及增益信息来进一步改善信号质量的情况下，再行取得补偿信息。在另一实施例中，若图像处理器102具有足够的运算资源时，也可在图像处理器102中实现扫描操作，而不是主机装置104。再者，在上述实施例中，模拟数字转换器106可用来接收电压信号以产生数字码，而在另一实施例中，模拟数字转换器106也可以是一电流模拟数字转换器，因而模拟数字转换器106所接收的图像信号可以是电流形式。

综上所述，本发明的实施例提供了一种图像处理方法及系统，能够有效移除图像信号中无用的偏移并提升指纹识别的效率。在一实施例中，由透镜图案产生的固定图案偏移可从原始图像信号中被移除，使得图像信号的摆荡可携带于相同的电压或电流电平上，接着，主机装置可执行正常扫描，以判断图像信号是否和预定图像图案匹配。若不匹配的情况下，可进一步修改图像信号以移除最小偏移，接着进行放大以实现较高的信号振幅，从而完整利用模拟数字转换器的工作电压范围。针对放大后的图像信号，主机装置可再次执行扫描以判断是否匹配。通过本发明的实施例，指纹图像信号可在模拟数字转换器的完整刻度之下得到优化，从而有效改善指纹识别的效率。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。