红外图像处理方法、装置、系统以及计算机可读存储介质

技术领域

本发明涉及红外图像处理技术领域，尤其是基于FPGA内存优化的红外图像的校正，具体而言涉及一种红外图像处理方法、装置、系统以及计算机可读存储介质。

背景技术

红外热成像技术有效地拓宽了人类的视力范围，在军事和民用领域都有广泛的应用。红外热成像运用光电技术检测物体热辐射的红外线特定波段信号，将该信号转换成可供人类视觉分辨的图像和图形。

在红外热成像探测系统中，主要通过探测器进行辐射的探测并通过后端的处理电路进行信号处理，将热辐射信号转换为温度/温度场的分布，形成可视化的图像和图形以及其动态变化过程。红外图像中的不规则条纹是红外焦平面阵列非均匀性的体现，其产生的非均匀性是制约红外成像系统成像质量的关键因素。然而，非均匀性产生的原因十分复杂，在成像系统/仪器生产过程中完全消除其非均匀性是不现实的，目前常用的方式是通过非均匀性校正来提高其性能有效去除图像的非均匀性，补偿探测器的响应不一致，去除低频固定模式噪声，改善图像质量。

现有技术针对基于黑体标定的校正方法中，以两点校正最为常用。目前从市售成熟红外热成像探测系统(红外相机)往往通过两点校正方式来计算每一个探测元在若干个焦平面阵列温度下的校正系数，然后存储至FPGA的寄存器中，在实际采集中，根据当前FPGA的温度进行插值计算，得到相应的校正系数，实现噪声的消除。

在进一步的优化过程中，改善两点校正存在的列条纹的问题，多点校正可解决两点校正不完全出现的列条纹问题，但需要存储(n+1)*i

发明内容

本发明目的的第一方面在于提供一种基于FPGA内存优化的红外图像处理方法，基于多段两点与不同温度区间的列条纹校正结合的融合校正，相比现有的多点校正选取的温度点的少，降低运算的复杂度和校正的准确性，用作多点校正(多段两点)的补充或代替。

进一步地，本发明在的第一方面目的基础上，对列条纹校正进行优化，还基于黑体列均值数据判断进行列条纹优化校正，降低FPGA的内存占用，同时可用FPGA的片内进行内存，不需要增加DDR读写功能，降低内存使用和复杂度，并进一步提高校正的准确率和精度。

根据本发明目的的第一方面提出一种红外图像处理方法，包括以下步骤：

步骤1、获取红外探测器采集的不同温度的黑体数据；

步骤2、图像预处理；

步骤3、基于预处理后的黑体数据，采用多点校正(包含两点校正)的方式得到增益系数和偏置系数；

步骤4、基于增益系数和偏置系数对黑体数据进行校正，得到不同温度下校正的黑体数据，并获取不同温度下对应的列条纹；

步骤5、基于增益系数和偏置系数对输入的红外图像进行非均匀校正；以及

步骤6、根据红外图像的灰度值，利用黑体的温度数据判断列条纹所处的温度，获得所处温度下的列条纹，对红外图像进行列条纹校正，得到去除列条纹的红外图像输出。

根据本发明目的的第二方面提出一种基于FPGA内存优化的红外图像处理方法，包括以下步骤：

步骤1、获取红外探测器采集的不同温度的黑体数据；

步骤2、图像预处理；

步骤3、基于预处理后的黑体数据，采用多点校正(包含两点校正)的方式得到增益系数和偏置系数；

步骤4、基于增益系数和偏置系数对黑体数据进行校正，得到不同温度下校正的黑体数据，并获取不同温度下对应的列条纹；

步骤5、基于增益系数和偏置系数对输入的红外图像进行非均匀校正；以及

步骤6、计算黑体数据的列均值数据，然后根据红外图像的灰度值，利用黑体数据的列均值数据，判断列条纹所处的温度得到列条纹；然后将非均匀校正输出的红外图像去除列条纹，输出列条纹校正的红外图像。

在优选的方式中，在步骤6替换前述第一方面的中的基于黑体数据进行列条纹校正，而是采用黑体数据的列均值进行优化校正，具体包括：

1)计算去盲元后的黑体列均值数据E'

2)基于Y'

由此，在本发明的第二方面提出的基于FPGA内存优化的红外图像处理方法中，在多段两点校正与不同温度区间的列条纹校正的基础上，对列条纹校正进行优化，还基于黑体列均值数据判断进行列条纹优化校正，降低FPGA的内存占用，同时可用FPGA的片内进行内存，不需要增加DDR读写功能，降低内存使用和复杂度，并进一步提高校正的准确率和精度。

根据本发明目的的第三方面提出一种基于FPGA内存优化的红外图像处理装置，包括：

用于获取红外探测器采集的不同温度的黑体数据的模块；

用于图像预处理的模块；

用于基于预处理后的黑体数据，采用多点校正(包含两点校正)的方式得到增益系数和偏置系数的模块；

用于基于增益系数和偏置系数对黑体数据进行校正，得到不同温度下校正的黑体数据，并获取不同温度下对应的列条纹的模块；

用于基于增益系数和偏置系数对输入的红外图像进行非均匀校正的模块；以及

用于基于黑体数据的列均值数据进行列条纹校正的模块，即根据输入的红外图像的灰度值，利用黑体数据的列均值数据，判断列条纹所处的温度得到列条纹；然后将非均匀校正输出的红外图像去除列条纹，输出列条纹校正的红外图像。

根据本发明目的的第四方面提出一种计算机系统，包括：

一个或多个处理器；

存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括执行所述红外图像处理方法的过程。

根据本发明目的的第五方面提出一种存储软件的计算机可读取介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令在被所述一个或多个计算机执行时执行红外图像处理方法的过程。

由以上本发明的技术方案可见，与现有技术相比，本发明的显著优点在于：

1)本发明提出一种基于多点校正(包含两点校正)算法与列条纹校正的融合校正方法，相比于现有技术多点校正方案，所需要选择的温度点少，降低运算量和运算过程，降低了内存占用，降低功耗，结合不同温度区间的列条纹校正的结合形成新的融合校正，提高了列条纹的配位准确率；

2)本发明进一步提出基于黑体列均值而非黑体数据进行判断，降低了FPGA的内存占用，同时可用FPGA的片内进行内存，不需要增加DDR读写功能，降低了内存和复杂度，并进一步提高校正的准确率。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是本发明示例性实施例的一种基于FPGA优化内存的非均匀校正去条纹的红外图像处理的流程图；

图2是温度T＝15°的黑体经过两点校正的红外图像；

图3是温度T＝15°的黑体经过两点校正+去列条纹的红外图像；

图4是温度T＝15°的黑体经过两点校正+列条纹优化的红外图像；

图5是温度T＝15°的黑体经过多点校正的红外图像；

图6是温度T＝15°对应的C

图7经过两点校正的场景图；

图8经过两点校正+去列条纹的场景图；

图9经过两点校正+去列条纹优化的场景图；

图10经过多点校正的场景图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

结合图1所示示例性实施例提出的一种红外图像处理方法，旨在实现对输入的红外图像进行列条纹优化和均匀校正，实现红外图像的校正，提供图像质量。如图1示例的红外图像处理方法包括以下步骤：

步骤1、获取红外探测器采集的不同温度的黑体数据；

步骤2、图像预处理；

步骤3、基于预处理后的黑体数据，采用多点校正(包含两点校正)的方式得到增益系数和偏置系数；

步骤4、基于增益系数和偏置系数对黑体数据进行校正，得到不同温度下校正的黑体数据，并获取不同温度下对应的列条纹；

步骤5、基于增益系数和偏置系数对输入的红外图像进行非均匀校正；以及

步骤6、根据红外图像的灰度值，利用黑体的温度数据判断列条纹所处的温度，获得所处温度下的列条纹，对红外图像进行列条纹校正，得到去除列条纹的红外图像输出。

可选地，在所述步骤1中，以设定的温度采集间隔T

T＝5°,10°,15°,20°,25°,30°,35°,40°。

在步骤2中，进行的图像预处理，旨在对输入的黑体图像进行预处理，例如盲元去除、中值滤波、降噪处理等。本发明的实施例中，以去盲元为例，将图像中的坏点去除。

在步骤3中，根据多点校正(包含两点校正)的方式确定增益系数和偏置系数，包括以下操作：

步骤S31、根据

步骤S32、根据

其中，V

V

优选地，在所述步骤4中，通过以下操作获得不同温度T对应的列条纹D

步骤S41、对预处理的黑体数据，取每一列的均值，得到对应温度下黑体数据的列均值向量C

步骤S42、对得到的列均值向量C

步骤S43、将对应温度下黑体数据的列均值向量与平滑后的列均值向量相减，得到对应温度下的列条纹为D

可选的实施例中，在所述步骤5中对红外图像的非均匀校正包括以下操作：

步骤S51、根据X

步骤S52、根据Y

其中，X

Y

a

优选地，所述步骤6中，根据红外图像的灰度值，利用黑体的温度数据判断列条纹所处的温度，获得所处温度下的列条纹，对红外图像进行列条纹校正，得到去除列条纹的红外图像输出，具体处理过程包括：

步骤S61、根据非均匀校正后输出的红外图像Y

步骤S62、根据Y'

下面我们将结合图示对上述实施过程进行更加具体的阐述。

本发明的以下实施实例中，一方面阐述多点校正(包含两点校正)与列条纹校正的融合校正方法，并进一步对融合校正进行优化，利用黑体列均值替代黑体数据进行判断，以降低了FPGA的内存占用，降低功耗，提高校正的精度和准确率。

另一方面，我们将对多点与列条纹融合优化的校正方法与现有技术的多点校正(8点校正)相比较，从内存占用以及校正效果(以15°黑体图以及场景图)来说明本发明的显著的有益效果和进步。

S1.利用探测器收集不同温度T的黑体数据E

本实施实例中获取T的黑体数据E

S2.图像预处理，如去盲元等，将图像中的坏点去除。本实施实例采用盲元替换。

S3.采用多段两点校正的方式得到增益系数a

T＝5°,10°,15°,20°,25°,30°,35°,40°

S3的操作中，多点校正(包含两点校正)的方式如下：

S31.根据

S32.根据

V

V

n表示多点校正的区间数目。

对于步骤S3中，本实施实例中对应的校正系数为a(i,j)和b(i,j)；对于多点校正对应为a

S4.利用校正后得到的a

具体地，在S4中获取不同温度T下对应的列条纹，具体处理步骤如下：

S41.对黑体图(黑体数据)进行预处理，如盲元替换、多点校正、去盲元处理。本实施实例采取的是两点校正和去盲元处理，图2为T＝15°经过两点校正的黑体图，实施例中a

S42.对预处理的黑体取每一列的均值得到该温度T下黑体的列均值向量C

S43.对得到的列均值向量C

S44.相减得到该温度下的列条纹为D

本实施实例中，图6是根据步骤S42、S43、S44求得温度T＝15°对应的C

S5.对于图片进行非均匀校正。具体步骤如下：

S51.根据X

S52.根据，得到校正后的场景图Y

S6.对图片进行列条纹校正。去除列条纹具体步骤如下：

S61.根据Y

S62.根据Y'

应当理解，前述步骤S5、S6对应的非均匀校正、列条纹校正顺序可顺序或者倒序调整执行。

根据S61和S62，本实施实例中利用Y

本实施实例中，利用T＝15°的黑体图与场景图分别进行两点校正、多点校正、两点+列条纹校正。对应附图说明中的图2、5、3和图7、10、8。

在另外的实施例中，在前述实施例的基础上进行进一步改进，由根据黑体的温度数据改为去盲元等预处理后的黑体列均值进行数据判断；可与传统两点校正、多点校正比较而言，能够进一步降低存储数据量，减少FPGA的内存占用。

作为本发明的第二方面实施例，对前述实施例的优化，以替换前述实施例的步骤6中采用黑体数据进行列条纹校正，具体优化的列条纹校正步骤如下：

S71.计算黑体数据的列均值数据E'

本实施实例中获取T＝5°,10°,15°,20°,25°,30°,35°,40°的黑体的列均值E'

S72.最后，根据Y'

根据S71和S72，本实施实例中利用Y

为了便于与前述实施例的步骤S6(S61、S62)对比，在此使用步骤S71、S72进行对比说明和防止混淆。应当理解，在本实施例中，是在前述实施例的基础上，采用步骤S71、S72的列条纹优化校正处理来替代前述实施的S6，构成本发明第二方面的独立实施的方案。

由此，在本发明的第二方面提出的基于FPGA内存优化的红外图像处理方法中，在多段两点校正与不同温度区间的列条纹校正的基础上，对列条纹校正进行进一步优化，基于黑体列均值数据判断进行列条纹优化校正处理，进一步可降低FPGA的内存占用，同时可用FPGA的片内进行内存，不需要增加DDR读写功能，降低内存使用和复杂度，并进一步提高校正的准确率和精度。

本实施实例中利用T＝15°的黑体图与场景图分别进行两点+列条纹校正优化校正。对于附图说明图4和图9。

为说明优化后更精确，利用对应温度查找表的方式比较列条纹D

S81.步骤S61与S71对最后Y'

S811.根据Y

S812.根据Y

S82.选取某个温度T的黑体数据测试；查看各点(i,j)对应的T(i,j)和T

本实施实例中利用温度T＝15°的黑体进行配位；统计对应表T(i,j)中T＝15°的个数；统计对应表T

本实施实例中，利用黑体T＝15°的黑体数据对两点+列条纹校正和两点+列条纹校正优化效果比较；校正效果图为附图说明中的图3和图4；校正的准确率对应如下表1所示：

其中图3中的两点校正+条纹校正图和图4校正两点+条纹优化校正图都很好的去除了图2两点校正带来的条纹；同时根据表格数据可以发现利用黑体列条纹优化校正比单独利用黑体数据校正的准确率更高。

预处理步骤：预处理可以得到校正的增益系数a

其中根据图6温度T＝15°对应的C

处理步骤：应用预处理获得数据，对于场景图可直接应用预处理数据进行多点校正和列条纹校正。

预处理可以得到校正的增益和偏置系数以及不同温度下的列条纹系数以及黑体数据和黑体列均值数据，用于存储器存储参数。

值得一提的是，为减少存储量，根据黑体数据计算可得a

下表2给出了四种校正方法对应的存数数据、存储量，实施实例中两点+列条纹校正优化后的数据存储量远远小于多点的数据存数量，效果明显增强。根据两点校正+列条纹优化的图4和图9，其效果明显优于两点图2和图7，去掉了黑体和场景图中的列条纹；且比两点的存储量只多了1.4％；同时效果比两点+列条纹好，准确率高，同时内存占用少；对于多点，从场景图9和10对比，发现效果基本一致，且对比下表的存储量，两点+列条纹优化的内存占用相当于多点内存的2.53％；所以本发明的方法降低了FPGA的内存占用，降低功耗，可用作多点校正的补充或代替。6温度T＝15°对应的C

由以上示例性实施例，本发明提出的红外图像处理方法还可以被设置成按照下述方式实施。

作为示例的红外图像处理装置，包括：

用于获取红外探测器采集的不同温度的黑体数据的模块；

用于图像预处理的模块；

用于基于预处理后的黑体数据，采用多点校正的方式得到增益系数和偏置系数的模块；

用于基于增益系数和偏置系数对黑体数据进行校正，得到不同温度下校正的黑体数据，并获取不同温度下对应的列条纹的模块；

用于基于增益系数和偏置系数对红外图像进行非均匀校正的模块；以及

用于基于黑体数据的列均值数据进行列条纹校正的模块，即根据红外图像的灰度值，利用黑体数据的列均值数据，判断列条纹所处的温度得到列条纹；然后将非均匀校正输出的红外图像去除列条纹，输出列条纹校正的红外图像。

作为示例的算机系统，包括：

一个或多个处理器；

存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括执行前述任意一种实施例的红外图像处理方法的过程。

在可选的实施例中，上述计算机系统，尤其是指基于FPGA内存优化的红外图像处理的计算机系统。

在另外的实施例中，上述计算机系统还可以被配置成以本地部署的客户端或者云端部署的服务器的形式以实施。

作为示例的存储软件的计算机可读取介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令在被所述一个或多个计算机执行时执行前述任意一种实施例的红外图像处理方法的过程。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。