图像处理电路及图像处理方法

技术领域

本申请涉及图像处理技术领域，具体涉及图像处理电路及图像处理方法。

背景技术

请参阅图1，图1是现有电子装置的功能方框图。电子装置100包括应用电路110、内存120及应用电路130。应用电路110及应用电路130耦接内存120。

应用电路110包括直接内存存取(Direct Memory Access，DMA)电路(读)112、处理电路114及直接内存存取电路(写)116。直接内存存取电路(读)112受处理电路114的控制从内存120读取图像IMG0。处理电路114处理图像IMG0以产生图像IMG1，并且控制直接内存存取电路(写)116将图像IMG1写入内存120。

应用电路130包括直接内存存取电路(读)132、处理电路134及直接内存存取电路(写)136。直接内存存取电路(读)132受处理电路134的控制从内存120读取图像IMG1。处理电路134处理图像IMG1以产生图像IMG2，并且控制直接内存存取电路(写)136将图像IMG2写入内存120。

请参阅图2，图2是现有电子装置100的时序图。请同时参阅图1及图2，这里假设应用电路110及应用电路130共享内存120的第一内存块MB0及第二内存块MB1。任务TSK0及任务TSK1分别是应用电路110及应用电路130的任务，由电子装置100的计算单元(图中未示出)产生。在时间点T0时，应用电路110的第一个任务TSK0-0及应用电路130的第一个任务TSK1-0被产生，然后应用电路110开始处理任务TSK0-0(步骤S215，将产生的图像IMG1写入第一内存块MB0)，但此时应用电路130尚未开始处理任务TSK1-0。

应用电路110于时间点T1处理完图像IMG0(即，已产生完整的图像IMG1)。当任务TSK0-0得知应用电路110已处理完图像IMG0后(步骤S220)，电子装置100的计算电路结束任务TSK0-0，并且唤醒任务TSK1-0(步骤S225，时间点T2)。任务TSK1-0被唤醒后，任务TSK1-0会将第一内存块MB0中的图像IMG1提供给应用电路130，应用电路130便开始处理任务TSK1-0(步骤S230，时间点T3)。需注意的是，任务TSK1-0在时间点T0被产生，但是直到时间点T3才开始被处理，这个等待的时间(约等于任务TSK0-0的时长，即，约等于应用电路110处理一个图像的时间)便是硬件间隙HWG，应用电路130在硬件间隙HWG中处于闲置(idle)状态，造成系统资源的浪费。

在时间点T3与时间点T4之间，任务TSK0-1与任务TSK1-0实质上处于并行的状态(即，应用电路110于第二内存块MB1写入下一个图像IMG1，且应用电路130于第一内存块MB0写入图像IMG2)。然而，因为应用电路110与应用电路130的处理速度不同(这里假设应用电路110的处理速度大于应用电路130的处理速度)，所以虽然任务TSK0-2在时间点T4已经被准备好，却不能立即开始处理(因为此时应用电路130仍在使用第一内存块MB0)。任务TSK0-2必须等到任务TSK1-0完成后(即，第一内存块MB0被释放后，约于时间点T5处)才能开始处理。这个等待的时间(约等于T5-T4)便是软件间隙SWG。应用电路110在软件间隙SWG中处于闲置状态，造成系统资源的浪费。

硬件间隙HWG与软件间隙SWG所造成的系统资源的浪费会导致电子装置100的性能下降。

发明内容

鉴于现有技术的不足，本发明的一目的在于提供一种图像处理电路与图像处理方法，以改善现有技术的不足。

本发明的一实施例提供一种图像处理电路，耦接一内存，包括一第一应用电路以及一第二应用电路。第一应用电路包括一第一内存存取电路、一第一处理电路、一第二内存存取电路以及一通知发送电路。第一内存存取电路用来从所述内存读取一第一图像。第一处理电路耦接所述第一内存存取电路，用来处理所述第一图像以产生一第二图像的一部分，并且产生对应于所述部分的一进度信息。第二内存存取电路耦接所述第一处理电路，用来将所述第二图像的所述部分储存至所述内存。通知发送电路耦接所述第一处理电路，用来发送所述进度信息。第二应用电路包括一通知接收电路、一第三内存存取电路以及一第二处理电路。通知接收电路耦接所述通知发送电路，用来接收所述进度信息。第三内存存取电路耦接所述通知接收电路，用来根据所述进度信息从所述内存读取所述第二图像的所述部分。第二处理电路耦接所述第三内存存取电路，用来处理所述第二图像的所述部分。

本发明的另一实施例提供一种图像处理方法，应用于包括一第一应用电路及一第二应用电路的一图像处理电路，所述图像处理电路耦接一内存，所述方法包括：所述第一应用电路从所述内存读取一第一图像；所述第一应用电路处理所述第一图像以产生一第二图像的一部分，并且产生对应于所述部分的一进度信息；所述第一应用电路将所述第二图像的所述部分储存至所述内存；所述第一应用电路发送所述进度信息；所述第二应用电路接收所述进度信息；所述第二应用电路根据所述进度信息从所述内存读取所述第二图像的所述部分；以及，所述第二应用电路处理所述第二图像的所述部分。

本发明的实施例所体现的技术手段可以改善现有技术的缺点的至少其中之一，因此本发明相较于现有技术可以提升电子装置的性能。

有关本发明的特征、实作与功效，兹配合图式作实施例详细说明如下。

附图说明

图1是现有电子装置的功能方框图；

图2是现有电子装置的时序图；

图3是本发明电子装置的一实施例的功能方框图；

图4是本发明图像处理方法的一实施例的流程图；

图5是本发明应用电路产生图像的示意图；

图6是本发明通知发送电路及通知接收电路的一实施例的功能方框图；

图7是本发明电子装置的时序图；

图8是本发明电子装置的另一实施例的功能方框图；

图9是本发明图像信号处理电路产生图像的示意图；

图10是本发明图像信号处理电路产生图像的另一实施例的示意图。

附图标记：

100，300，800：电子装置；

110，130，310，330：应用电路；

112，132：直接内存存取电路(读)；

114，134，314，334：处理电路；

116，136：直接内存存取电路(写)；

120，302，802：内存；

IMG0，IMG1，IMG2，IG0-1，IG0-2，IG0-3，IG1-1，IG1-2，IG1-3，IG2-1，IG2-2，IG2-3：图像；

HWG：硬件间隙；

MB0：第一内存块；

MB1：第二内存块；

S215，S220，S225，S230，S410，S420，S430，S440，S450，S460，S470，S710，S715，S720，S725，S730，S735，S740，S745，S750：步骤；

SWG：软件间隙；

T0，T1，T2，T3，T4，T5，T6：时间点；

TSK0，TSK0-0，TSK0-1，TSK0-2，TSK1，TSK1-0，TSK1-1：任务；

301，801：图像处理电路；

311：通知发送电路；

312，332：内存存取电路(读)；

316，336：内存存取电路(写)；

331：通知接收电路；

IG0，IG1，IG2：图像群组；

PI，PI-1，PI-2：进度信息；

DP：新完成的部分；

Tp1，Tp2：时间长度；

612：信息记录器；

614：事件发送电路；

632：信息解码器；

634：事件接收电路；

TR：触发信号；

335：计算模块；

810：图像信号处理电路；

830：镜头畸变校正电路；

ALG：校正算法；

MAP1，MAP2：校正映像图；

TH1，TH2，TH1-1，TH1-2，TH1-3，TH1-4：门坎值；

A1，A2，A3，A4：校正区域。

具体实施方式

以下说明内容的技术用语系参照本技术领域的习惯用语，如本说明书对部分用语有加以说明或定义，所述部分用语的解释系以本说明书的说明或定义为准。

本发明的揭露内容包括图像处理电路及图像处理方法。由于本发明的图像处理电路所包括的部分元件单独而言可能为已知元件，因此在不影响所述装置发明的充分揭露及可实施性的前提下，以下说明对于已知元件的细节将予以节略。此外，本发明的图像处理方法的部分或全部流程可以是软件及/或固件的形式，并且可通过本发明的图像处理电路或其等效装置来执行，在不影响所述方法发明的充分揭露及可实施性的前提下，以下方法发明的说明将着重于步骤内容而非硬件。

请参阅图3，图3是本发明电子装置的一实施例的功能方框图。电子装置300包括图像处理电路301及内存302。图像处理电路301包括应用电路310及应用电路330。应用电路310及应用电路330耦接内存302。

应用电路310包括通知发送电路311、内存存取(例如，直接内存存取)电路(读)312、处理电路314及内存存取电路(写)316。

应用电路330包括通知接收电路331、内存存取电路(读)332、处理电路334及内存存取电路(写)336。

内存302储存图像群组IG0、图像群组IG1及图像群组IG2，各图像群组包括多个图像(每一图像可以是一个帧)。图像群组IG0是由图像处理电路301的前级电路(图中未示出)所产生。在第k个操作回合中，应用电路310处理图像群组IG0的其中一图像IG0-1，以产生图像群组IG1的其中一图像IG1-1，而应用电路330处理图像群组IG1的所述图像IG1-1以产生图像群组IG2的其中一图像IG2-1。类似地，在第k+1(k+2)个操作回合中，应用电路310处理图像IG0-2(或图像IG0-3)以产生图像IG1-2(或图像IG1-3)，且应用电路330处理图像IG1-2(或图像IG1-3)以产生图像IG2-2(或图像IG2-3)。

在一些实施例中，应用电路310以行(line)为单位输出结果，例如，每次输出图像IG1-1的其中一行。

请参阅图4，图4是本发明图像处理方法的一实施例的流程图。以下的说明请同时参阅图3及图4。在一些实施例中，图4的流程可以在电子装置300的计算单元(例如，中央处理器或微控制器，图中未示出)控制下执行，计算单元通过配置(configure)应用电路310及应用电路330的寄存器来控制应用电路310及应用电路330。图4的流程包括以下步骤。

步骤S410：控制应用电路310(更明确地说，内存存取电路(读)312)从内存302读取图像IG0-1。

步骤S420：控制应用电路310(更明确地说，处理电路314)处理图像IG0-1以产生图像IG1-1的一部分，并且产生对应于图像IG1-1的所述部分的进度信息PI。请参阅图5，图5是应用电路310产生图像IG1-1的示意图。图像IG1-1包括N行像素。在时间点T0时，应用电路310开始处理图像IG0-1(此时图像IG1-1尚未有任一行像素被产生)。在时间点T1时，应用电路310已产生图像IG1-1中的M1行(即，图像IG1-1中新完成的部分DP包括所述M1行像素，M1小于N)，而处理电路314于时间点T1所产生的进度信息PI-1包括M1(即，新完成的部分DP的最后一行像素)或等效于M1的信息(例如，新完成的部分DP所包括的像素个数)。在一些实施例中，处理电路314持续产生图像IG1-1，并且同步更新进度信息PI。

步骤S430：控制应用电路310(更明确地说，内存存取电路(写)316)将图像IG1-1的新完成的部分DP储存至内存302。

步骤S440：控制应用电路310(更明确地说，通知发送电路311)发送进度信息PI给应用电路330。

步骤S450：控制应用电路330(更明确地说，通知接收电路331)接收进度信息PI。

步骤S460：控制应用电路330(更明确地说，内存存取电路(读)332)根据进度信息PI从内存302读取图像IG1-1的新完成的部分DP。举例来说(请参阅图5)，如果内存存取电路(读)332在时间点T1根据当时的进度信息PI(即，进度信息PI-1)从内存302读取M1行像素(即，新完成的部分DP)，则内存存取电路(读)332在时间点T2根据当时的进度信息PI(即，进度信息PI-2，进度信息PI-2包括M2)及应用电路330当前的处理进度(即，M1行，因为内存存取电路(读)332在时间点T1已读取影像IG1-1的M1行)，从内存302读取M2-M1行像素。也就是说，通知接收电路331可以比较进度信息PI与应用电路330当前的处理进度，再根据比较结果控制内存存取电路(读)332读取图像IG1-1的新完成的部分DP。

步骤S470：控制应用电路330(更明确地说，处理电路334)，处理图像IG1-1的新完成的部分DP。

电子装置300重复执行图4的流程。更明确地说，应用电路310一方面产生图像IG1-1的更多的新完成的部分DP(例如，请参阅图5，图像IG1-1的已完成的部分从时间点T1的M1行变为时间点T2的M2行，M2>M1)并且更新进度信息PI(例如，将进度信息PI从PI-1更新为PI-2)(对应到步骤S410～步骤S440)；另一方面，应用电路330根据进度信息PI取得图像IG1-1更多的像素，并且处理图像IG1-1的新完成的部分DP以产生图像IG2-1(对应到步骤S450～步骤S470)。

请参阅图6，图6是本发明通知发送电路311及通知接收电路331的一实施例的功能方框图。通知发送电路311包括信息记录器612及事件发送电路614。通知接收电路331包括信息解码器632及事件接收电路634。信息记录器612耦接或电连接处理电路314、事件发送电路614及信息解码器632。信息解码器632耦接或电连接信息记录器612、事件接收电路634及内存存取电路(读)332。事件发送电路614耦接或电连接事件接收电路634。

处理电路314持续更新进度信息PI并且向信息记录器612提供进度信息PI。当预设条件被满足时，信息记录器612控制事件发送电路614传送触发信号TR给事件接收电路634。响应于所述触发信号TR，事件接收电路634控制信息解码器632译码进度信息PI，而信息解码器632根据进度信息PI及应用电路330当前的处理进度(即，处理电路334已处理的图像IG1-1的行数)控制内存存取电路(读)332从内存302读取图像IG1-1的新完成的部分DP。因为内存存取电路(读)332是由信息解码器632控制，所以信息解码器632知道应用电路330目前的进度。举例来说，请参阅图5，如果应用电路330的当前处理进度是M1行，且信息解码器632从进度信息PI得知应用电路310的当前处理进度是M2行，则信息解码器632根据应用电路310及应用电路330的当前处理进度的差值(即，M2-M1行像素)控制内存存取电路(读)332读取图像IG1-1更多的像素(例如，新完成的部分DP)。

上述的预设条件可以是：(1)当处理电路314新产生预设行数的图像IG1-1时；或(2)当经过预定时间。以下配合图5说明上述的预设条件，其中，假设通知发送电路311在时间点T1及时间点T2分别发送进度信息PI-1及进度信息PI-2，且通知发送电路311在时间点T0与时间点T1之间及时间点T1与时间点T2之间没有发送其他进度信息PI。

关于预设条件(1)，每当处理电路314产生预设行数的图像IG1-1，通知发送电路311便发送进度信息PI。也就是说，图5中的M2＝2*M1(即，预设行数为M1行)。此时，时间长度Tp1可以等于或不等于时间长度Tp2。

关于预设条件(2)，处理电路314每隔预定时间产生进度信息PI。也就是说，图5中的时间长度Tp1等于时间长度Tp2(即，预定时间)。此时，M2可以等于或不等于2*M1。

请继续参阅图5及图6。在一些实施例中，只有当目前进度的差值(即，M2-M1行像素)大于门坎值时，信息解码器632才控制内存存取电路(读)332读取图像IG1-1更多的像素，以供处理电路334处理。门坎值将于下方举例说明。

在一些实施例中，触发信号TR可以是硬件中断，且所述硬件中断不用经过图像处理电路301的中断管理电路(图中未示出)处理，以加快电路的反应速度及降低中断管理电路的复杂度。

请参阅图7，图7是本发明电子装置300的时序图。以下的说明请同时参阅图3及图7，这里假设应用电路310及应用电路330共享内存302的第一内存块MB0及第二内存块MB1(图中未示出)。任务TSK0(包括多个子任务TSK0-0、TSK0-1、TSK0-2、……)及任务TSK1(包括多个子任务TSK1-0、TSK1-1、……)由电子装置300的计算单元产生。图7包括以下步骤。

步骤S710：应用电路310于时间点T0开始处理任务TSK0-0。这个步骤可以对应到图5的时间点T0(新完成的部分DP为零或为空)。

步骤S715：处理电路314开始产生图像IG1-1的一部分(储存于内存302的第一内存块MB0)。

步骤S720：应用电路310于时间点T1触发应用电路330。更明确地说，上述的预设条件于时间点T1被满足，因此通知发送电路311传送触发信号TR及进度信息PI给应用电路330。

步骤S725：处理电路334开始产生图像IG2-1的一部分(储存于内存302的第二内存块MB1)。

步骤S730：应用电路310于时间点T3结束任务TSK0-0，此时第一内存块MB0储存完整的图像IG1-1。

步骤S735：应用电路310于时间点T4开始处理任务TSK0-1(例如，开始处理图像IG0-1的下一个图像IG0-2)。

步骤S740：应用电路330结束任务TSK1-0，此时第二内存块MB1储存完整的图像IG2-1。

步骤S745：应用电路310于时间点T5触发应用电路330。更明确地说，上述的预设条件于时间点T5被满足，因此通知发送电路311传送触发信号TR及进度信息PI给应用电路330。

步骤S750：应用电路310于时间点T6结束任务TSK0-1，此时第二内存块MB1储存完整的图像IG1-2。

如图7所示，相较于现有的电子装置100，因为应用电路330可以根据进度信息PI提早处理应用电路310所产生的图像，所以本发明的电子装置300大幅缩小硬件间隙HWG及软件间隙SWG(软件间隙SWG实质上变为0)，因此性能可以获得提升。

请注意，时间点T1与时间点T3之间应用电路310与应用电路330实质上同时操作(分别处理任务TSK0-0与任务TSK1-0)，且在此期间应用电路310持续向应用电路330发送进度信息PI(例如，于时间点T2发送进度信息PI-2)。细节请参考图4及图5的说明。

在一些实施例中，应用电路310及应用电路330可以分别是镜头畸变校正(LensDistortion Correction，LDC)电路及缩放电路(scaler)。镜头畸变校正电路用来校正镜头中间和边缘的不同放大倍数所造成的图象畸变。缩放电路最少只需要图像IG1-1的1行像素即可进行缩放处理(即，前述的门坎值为1行像素)。也就是说，应用电路310与应用电路330之间最少只有1行像素的差距，代表硬件间隙HWG极小。

在另一些实施例中，应用电路310及应用电路330可以分别是图像信号处理(ImageSignal Processing，ISP)电路及镜头畸变校正电路，以下配合图8进一步说明。图4的流程及相关的说明适用于图8的实施例。

请参阅图8，图8是本发明电子装置的另一实施例的功能方框图。电子装置800包括图像处理电路801(即，图像处理电路301的一种具体实施例)及内存802。图像处理电路801包括图像信号处理电路810(即，应用电路310的一种具体实施例)及镜头畸变校正电路830(即，应用电路330的一种具体实施例)。图像信号处理电路810用来对镜头所撷取图像(例如，图像群组IG0)进行初步的处理(包括但不限于曝光补偿、旋转裁剪、白平衡、色彩空间转换及图像压缩)。除了图像群组IG0、图像群组IG1及图像群组IG2之外，内存802还储存校正算法ALG。内存存取电路(读)332还读取对应于图像IG1-1的校正算法ALG，然后处理电路334根据所述校正算法ALG校正图像IG1-1。

更明确地说，处理电路334包括计算模块335，计算模块335基于校正算法ALG计算出图像IG1-1中某个像素的校正后的位置，然后处理电路334再根据所述位置信息把校正后的像素值填入校正后的位置。处理电路334产生所述校正后的像素的操作包括(但不限于)对原始像素进行插补及颜色过渡。

校正算法ALG可以由电子装置800的计算单元(图中未示出)根据原始图象(例如，图像IG0-1)、电子装置800的摄影镜头(图中未示出)的参数及/或电子装置800的抖动量(由陀螺仪(图中未示出)产生)来产生。因为原始图象及电子装置800的抖动量是时间的函数，所以每张图像有各自的校正算法ALG。

不同的校正算法ALG对应于不同的门坎值。举例来说，请参阅图9，图9是图像信号处理电路810产生图像IG1-1及图像IG1-2的示意图。校正算法ALG包括校正映像图MAP1及校正映像图MAP2。图像IG1-1对应于校正映像图MAP1，而图像IG1-2对应于校正映像图MAP2。校正映像图MAP1不等于校正映像图MAP2，且校正映像图MAP1及校正映像图MAP2分别包括门坎值TH1及门坎值TH2(门坎值TH1不等于门坎值TH2)。请注意，于图9中，时间点之间的间隔仅用于示意，非反应实际的时间长度。请同时参阅图7及图9。镜头畸变校正电路830从校正映像图MAP1(或MAP2)得知至少需要等图像信号处理电路810完成TH1(或TH2)行像素才能开始对图像IG1-1(或IG1-2)进行校正(大致对应于图7的时间点T1(或T5))。

请参阅图10，图10是本发明图像信号处理电路810产生图像IG1-1的另一实施例的示意图。图10对应于图8的实施例。因为每帧图象内不同坐标的畸变程度不同，所以校正算法ALG通常是将一帧图象按畸变程度细分成很多内存块。举例来说，图像IG1-1的校正映像图MAP1将图像IG1-1在纵向上分为四个校正区域(A1～A4)，所述四个校正区域分别具有门坎值TH1-1、TH1-2、TH1-3与TH1-4(即，校正区域的高度)。镜头畸变校正电路830必须取得校正区域A1(A2、A3或A4)的所有像素(即，TH1-1(TH1-2、TH1-3或TH1-4)行像素)才能开始校正所述区域。

更明确地说，在时间点T1，镜头畸变校正电路830从进度信息PI-1及校正映像图MAP1得知新完成的部分DP(M1行像素)大于等于门坎值TH1-1，因此，镜头畸变校正电路830可以开始校正图像IG1-1。在时间点T2，镜头畸变校正电路830从进度信息PI-2及校正映像图MAP1得知新完成的部分DP(M2-M1行像素)不大于等于门坎值TH1-2(即，M2-M1

上述实施例虽以图像信号处理电路、镜头畸变校正电路及缩放电路为例，然此并非对本发明的限制，本技术领域人士可依本发明的揭露适当地将本发明应用于其它类型的应用电路。

虽然本发明的实施例如上所述，然而多个所述实施例并非用来限定本发明，本技术领域技术人员可根据本发明的明示或隐含的内容对本发明的技术特征施以变化，凡此种种变化均可能属于本发明所寻求的专利保护范畴，也就是说，本发明的专利保护范围须视本说明书的申请专利范围所界定者为准。