伪彩色线扫描相机的时间延迟积分方法、装置及设备

技术领域

本发明涉及图像处理技术领域，特别涉及一种伪彩色线扫描相机的时间延迟积分方法、装置及设备。

背景技术

时间延迟积分是使用多线图像传感器以线阵推扫的方式工作，通过相对移动实现多级像素单元对同一拍摄目标多次曝光，并对多次曝光结果进行累加，使用较短的曝光时间来实现更高的响应度和信噪比。因此，时间延迟积分技术在高速检测与生产领域有广泛的应用。常见的多线彩色图像传感器可以分为真彩色与伪彩色两种，真彩色多线图像传感器一般有3行或更多的像素单元，每行像素单元覆盖的色彩滤波阵列颜色一致，并包括至少一行红色、一行绿色、一行蓝色色彩滤波阵列；伪彩色多线图像传感器一般有2行像素单元，常见的色彩滤波阵列有两种，第一种第一行为全部绿色，第二行为红色蓝色相间；第二种第一行为红色绿色相间，第二行为绿色蓝色相间。

现有时间延迟积分技术仅能使用真彩色多线图像传感器，而无法适用伪彩色多线图像传感器。此外，在线扫描相机拍图过程中，由于物体实际运动速度、镜头放大倍率、工作距离等参数的变化，实际线扫描速度也会有较大范围的变化。现有技术无法适配不同的线扫描速度，时间延迟积分使用的多次曝光结果并非对应拍摄目标物的同一位置，累加后的图像会出现模糊、色散等现象。

发明内容

本发明的目的在于提供一种伪彩色线扫描相机的时间延迟积分方法，旨在解决现有技术中时间延迟积分无法适用伪彩色多线图像传感器的问题。

为实现以上目的，一方面，本发明提供了一种伪彩色线扫描相机的时间延迟积分方法，包括如下步骤：

利用线扫描图像传感器连续采集图像数据；

采用时间延迟积分方法，根据线扫描方向与运动速度对各行图像数据进行组合与叠加，得到每个像素的红绿通道数据或蓝绿通道数据；

对每个像素，使用其左右像素的红绿通道数据或蓝绿通道数据，进行色彩插值处理，得到缺失的蓝通道数据或红通道数据，以输出完整RGB数据。

可选地，所述利用线扫描图像传感器连续采集图像数据，包括：

利用所述线扫描图像传感器按照固定行周期连续曝光采集图像数据，所述线扫描图像传感器的像素阵列上覆盖有伪彩色滤波阵列，所述像素阵列规格为L×2，L为所述线扫描图像传感器线列方向个数。

可选地，所述利用线扫描图像传感器连续采集图像数据，包括：

判断所述线扫描图像传感器的线扫描方向及计算线扫描速度；

利用所述线扫描图像传感器按照固定行周期连续进行n次曝光采集图像数据，并对图像数据进行存储。

可选地，所述判断所述线扫描图像传感器的线扫描方向及计算线扫描速度，包括：

当拍摄物像运动方向为第一行像素至第二行像素时，所述线扫描方向为正向；当拍摄物像运动方向为第二行像素至第一行像素时，所述线扫描方向为反向；

计算所述线扫描图像传感器的线扫描速度，计算公式如下：

S＝t/T

其中，t为拍摄物像运动传感器像素尺寸距离所用时间，T为所述线扫描图像传感器曝光的行周期，S的整数部分记为SI，小数部分记为SD。

可选地，所述采用时间延迟积分方法，根据线扫描方向与运动速度对各行图像数据进行组合与叠加，得到每个像素的红绿通道数据或蓝绿通道数据，包括：

根据所述线扫描方向和所述线扫描速度，从存储的所述图像数据中选取三行图像数据；

根据选取的三行图像数据，计算加权均值，计算公式表示形式为：

DB′＝DB(n1)×(1-SD)+DB(n1+1)×SD

其中，DB′为第n1次与n1+1曝光得到第二行图像数据的加权均值，SD为所述线扫描速度的小数部分，范围为[0，1)；

将DA(n0)与DB′两行数据进行直接叠加得到每个像素的红绿通道数据或红蓝通道数据，所述两行数据中相同像素位置的数据分别对应红绿蓝三种颜色分量中两种不同的颜色分量，DA(n0)为第n0次曝光输出的第一行图像数据。

可选地，所述根据所述线扫描方向和所述线扫描速度，从存储的所述图像数据中选取三行图像数据，包括：

在所述线扫描方向为正向时，选取的曝光次号为：

n0＝n-SI-1

n1＝n-1

在所述线扫描方向为正向时，选取的曝光次号为：

n0＝n

n1＝n-SI-1。

此外，为实现上述目的，本发明还提供了一种伪彩色线扫描相机的时间延迟积分装置，包括：

图像采集模块，用于利用线扫描图像传感器连续采集图像数据；

图像处理模块，用于采用时间延迟积分方法，根据线扫描方向与运动速度对各行图像数据进行组合与叠加，得到每个像素的红绿通道数据或蓝绿通道数据；

插值处理模块，用于对每个像素，使用其左右像素的红绿通道数据或蓝绿通道数据，进行色彩插值处理，得到缺失的蓝通道数据或红通道数据，以输出完整RGB数据。

可选地，所述图像处理模块包括：

图像选取单元，用于根据所述线扫描方向和所述线扫描速度，从存储的所述图像数据中选取三行图像数据；

加权均值计算单元，用于根据选取的三行图像数据，计算加权均值，计算公式表示形式为：

DB′＝DB(n1)×(1-SD)+DB(n1+1)×SD

其中，DB′为第n1次与n1+1曝光得到第二行图像数据的加权均值，SD为所述线扫描速度的小数部分，范围为[0，1)；

图像叠加单元，用于将DA(n0)与DB′两行数据进行直接叠加得到每个像素的红绿通道数据或红蓝通道数据，所述两行数据中相同像素位置的数据分别对应红绿蓝三种颜色分量中两种不同的颜色分量，DA(n0)为第n0次曝光输出的第一行图像数据。

此外，为实现上述目的，本发明还提供了一种伪彩色线扫描相机的时间延迟积分设备，包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行如上文所述的伪彩色线扫描相机的时间延迟积分方法。

此外，为实现上述目的，本发明还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如上文所述的伪彩色线扫描相机的时间延迟积分方法。

与现有技术相比，本发明存在以下技术效果：本发明通过利用线扫描图像传感器连续采集图像数据，并采用时间延迟积分方法，根据线扫描方向与运动速度对各行图像数据进行组合与叠加，得到每个像素的红绿通道数据或蓝绿通道数据，进而对每个像素，使用其左右像素的红绿通道数据或蓝绿通道数据，进行色彩插值处理，得到缺失的蓝通道数据或红通道数据，以输出完整RGB数据。本发明根据线扫描图像传感器的实际线扫描方向和速度调整插值的组合和系数，能更好适应工业应用场景中不同的镜头放大倍数、工作距离、运动速度等参数，有更好的叠加效果，能实现更好的图像边沿和色彩还原，避免出现色散、模糊等现象。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1为本发明一种伪彩色线扫描相机的时间延迟积分方法的流程图；

图2为本发明一种伪彩色线扫描相机的时间延迟积分装置的结构图；

图3为本发明一种伪彩色线扫描相机的时间延迟积分设备的结构图。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1所示，本实施例公开了一种伪彩色线扫描相机的时间延迟积分方法，包括如下步骤S10至S20：

S10：利用线扫描图像传感器连续采集图像数据；

S20：采用时间延迟积分方法，根据线扫描方向与运动速度对各行图像数据进行组合与叠加，得到每个像素的红绿通道数据或蓝绿通道数据；

S30：对每个像素，使用其左右像素的红绿通道数据或蓝绿通道数据，进行色彩插值处理，得到缺失的蓝通道数据或红通道数据，以输出完整RGB数据。

进一步地，所述步骤S10中的线扫描图像传感器的像素阵列上覆盖有伪彩色滤波阵列，所述像素阵列规格为L×2，L为所述线扫描图像传感器线列方向个数，共两行像素。

进一步地，所述步骤S20：利用线扫描图像传感器连续采集图像数据，包括如下步骤S21至S22：

S21：判断所述线扫描图像传感器的线扫描方向及计算线扫描速度；

需要说明的是，本实施例在拍摄物像运动方向为第一行像素至第二行像素，判断线扫描方向为正向，在拍摄物像运动方向为第二行像素至第一行像素时，判断线扫描方向为反向。

需要说明的是，线扫描速度的计算公式如下：

S＝t/T

其中，t为拍摄物像运动传感器像素尺寸距离所用时间，T为图像传感器曝光的行周期，S的整数部分记为SI，小数部分记为SD。

S22：利用所述线扫描图像传感器按照固定行周期T连续进行n次曝光采集图像数据，并对图像数据进行存储。

需要说明的是，线扫描图像传感器按固定行周期连续曝光取图，每次曝光输出两行图像数据，输出的每行数据记为DA(n)与DB(n)，其中DA(n)为第n次曝光输出的第一行图像数据，DB(n)为第n次曝光输出的第二行图像数据；完成第n次曝光采集图像数据后，对输出的图像数据进行存储。

进一步地，所述步骤S20：采用时间延迟积分方法，根据线扫描方向与运动速度对各行图像数据进行组合与叠加，得到每个像素的红绿通道数据或蓝绿通道数据，包括如下步骤S21至S23：

S21：根据所述线扫描方向和所述线扫描速度，从存储的所述图像数据中选取三行图像数据，分别为DA(n0)、DB(n1)与DB(n1+1)，其中n0、n1为根据线扫描方向与速度选取的曝光次号；

S22：根据选取的三行图像数据，计算加权均值，计算公式表示形式为：

DB′＝DB(n1)×(1-SD)+DB(n1+1)×SD

其中，DB′为第n1次与n1+1曝光得到第二行图像数据的加权均值，SD为所述线扫描速度的小数部分，范围为[0，1)；

S23：将DA(n0)与DB′两行数据进行直接叠加得到每个像素的红绿通道数据或红蓝通道数据，所述两行数据中相同像素位置的数据分别对应红绿蓝三种颜色分量中两种不同的颜色分量，DA(n0)为第n0次曝光输出的第一行图像数据。

进一步地，所述步骤S21中曝光次号的选取方法为：

在所述线扫描方向为正向时，选取的曝光次号为：

n0＝n-SI-1

n1＝n-1

在所述线扫描方向为正向时，选取的曝光次号为：

n0＝n

n1＝n-SI-1。

需要说明的是，本实施例对于伪彩色多线图像传感器，在完成时间延迟积分叠加后，每个像素位置仅能得到红绿或蓝绿两个颜色通道的数据，本方案对每个像素，使用其左右像素的红绿通道数据或蓝绿通道数据，进行色彩插值处理，得到缺失的蓝通道数据或红通道数据，以输出完整RGB数据。

并且结合实际线扫描方向与速度，对于所需的拍摄目标的同一位置，选取不同次曝光得到的多行数据进行组合，并根据精细的线扫描速度对多行数据进行加权平均，以得到伪彩色多线传感器的不同线列对拍摄目标的同一位置拍摄得到的数据，再进行插值，可以较好地保持图像边沿，实现更好的色彩还原度。

如图2所示，本实施例公开了一种伪彩色线扫描相机的时间延迟积分装置，包括：

图像采集模块10，用于利用线扫描图像传感器连续采集图像数据；

需要说明的是，线扫描图像传感器的像素阵列上覆盖有伪彩色滤波阵列，所述像素阵列规格为L×2，L为所述线扫描图像传感器线列方向个数，共两行像素。

图像处理模块20，用于采用时间延迟积分方法，根据线扫描方向与运动速度对各行图像数据进行组合与叠加，得到每个像素的红绿通道数据或蓝绿通道数据；

插值处理模块30，用于对每个像素，使用其左右像素的红绿通道数据或蓝绿通道数据，进行色彩插值处理，得到缺失的蓝通道数据或红通道数据，以输出完整RGB数据。

进一步地，所述图像采集模块10包括：

线扫描方向判断单元11，用于在拍摄物像运动方向为第一行像素至第二行像素，判断线扫描方向为正向，在拍摄物像运动方向为第二行像素至第一行像素时，判断线扫描方向为反向；

线扫描速度计算单元12，用于利用如下线扫描速度计算公式计算线扫描速度S：

S＝t/T

其中，t为拍摄物像运动传感器像素尺寸距离所用时间，T为图像传感器曝光的行周期，S的整数部分记为SI，小数部分记为SD；

图像采集单元13，用于利用所述线扫描图像传感器按照固定行周期T连续进行n次曝光采集图像数据，并对图像数据进行存储。

进一步地，所述图像处理模块20包括：

图像选取单元21，用于根据所述线扫描方向和所述线扫描速度，从存储的所述图像数据中选取三行图像数据；

加权均值计算单元22，用于根据选取的三行图像数据，计算加权均值，计算公式表示形式为：

DB′＝DB(n1)×(1-SD)+DB(n1+1)×SD

其中，DB′为第n1次与n1+1曝光得到第二行图像数据的加权均值，SD为所述线扫描速度的小数部分，范围为[0，1)；

图像叠加单元23，用于将DA(n0)与DB′两行数据进行直接叠加得到每个像素的红绿通道数据或红蓝通道数据，所述两行数据中相同像素位置的数据分别对应红绿蓝三种颜色分量中两种不同的颜色分量，DA(n0)为第n0次曝光输出的第一行图像数据。

进一步地，图像选取单元21中选取的三行图像数据的曝光次号的选取方法为：

在所述线扫描方向为正向时，选取的曝光次号为：

n0＝n-SI-1

n1＝n-1

在所述线扫描方向为正向时，选取的曝光次号为：

n0＝n

n1＝n-SI-1。

如图3所示，本实施例公开了一种伪彩色线扫描相机的时间延迟积分设备，包括处理器100、存储有程序指令的存储器200、总线300和通信接口400，处理器100、通信接口400和存储器200通过总线300连接；所述处理器100被配置为在执行所述程序指令时，执行如上实施例所述的伪彩色线扫描相机的时间延迟积分方法步骤。

其中，存储器200可能包含高速随机存取存储器(RAM：RandomAccessMemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口703(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线300可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。其中，存储器200用于存储程序，处理器100在接收到执行指令后，执行程序，前述本申请实施例任一实施方式揭示的伪彩色线扫描相机的时间延迟积分程序可以应用于处理器100中，或者由处理器100实现。

处理器100可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器100可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器200，处理器100读取存储器200中的信息，结合其硬件完成上述方法的步骤。

本实施例公开了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如上所述的伪彩色线扫描相机的时间延迟积分方法。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例提供的装置、设备、存储介质是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。