一种颤振模糊图像的复原方法、采集复原装置及监控系统

技术领域

本发明涉及图像复原技术领域，特别涉及一种颤振模糊图像的复原方法、采集复原装置及监控系统。

背景技术

随着数字存储媒介的发展，数码相机、智能手机等消费类电子设备已经成为新兴图像信息获取的主要来源，图像清晰是保障采集信息可靠有效的首要因素之一。在数码相机普及化的今天，图像信息随时随地采集，每一幅采集的图像都包含着目标的特征。当采集图像能够正确反映目标区域的特征时，图像最理想。当采集图像不清晰或采集图像不能反映当时目标区域具体特征，说明有效信息丢失，此时图像产生了降质。如视频监控图像因白天与夜晚光照不同差异较大，航空、遥感图像易受大气的影响，水下成像受到折射等多径干扰等。因此，当图像产生降质时，有效信息会产生缺失或错误进而严重影响图像质量，如何保护图像的原始信息是前端图像采集、后端计算机图像处理中亟待解决的问题。

编码曝光成像技术是Raskar等人在2006年提出的一种计算成像手段，其核心思想是通过在相机曝光过程中预设特定的二进制编码序列来控制相机快门的开启和闭合。相较于传统的相机曝光模式，相当于在时间域上设定了一个宽带滤波器，从频域率分析来看，使得在图像获取过程中尽可能多的保留中高频信息，消除了在频域上的零点部分，实现了复原的可逆化，大大的改善了模糊图像复原的病态性问题。

图像降质是图像模糊、失真、噪声等的综合表征，其结果就是图像信息的缺失。造成图像降质的原因是多方面的，一般图像都会历经采集、成像、传输、保存等过程，每个部分都有可能造成图像降质。运动模糊是光学成像过程中经常会遇到的问题，其产生的原因是在相机曝光过程中由于被采集物和相机之间发生了相对位移，造成获取图像的运动模糊，降低了图像分辨率，极大的影响了成像质量。运动模糊图像复原技术，就是在不重新对目标景物采集的前提下，利用已有的运动模糊图像，通过对成像物理过程建模和数学求解，将模糊图像恢复为清晰图像，其在民用和军事等领域有着重要的应用价值。

中国授权专利CN110097509B利用编码曝光模式进行模糊图像采集，采用背景差分法进行目标初次提取，再综合编码曝光运动模糊叠加特性和运动先验信息，实现运动模糊目标区域的精确提取，结合student-t复原算法进行PSF精确估计和复原重建，迭代2-3次后通常可得到复原结果。在本发明中，需要输入一幅场景背景图像和一幅局部运动目标模糊图像。中国公开专利CN202011448781.2利用深度学习的方法估计模糊核，解决传统方法模糊核难以估计的问题，用遗传算法搜索出图像高频信息含量最多的图像块。但没有解决编码与运动模糊长度之间的匹配问题。由于模糊长度估计的准确性在图像复原重建中的重要作用，本发明利用基于图像结构相似性(SSIM)和图像信息熵(Entropy)的联合估计模糊长度的方法，以复原编码曝光图像。

发明内容

为了有效地解决以上技术问题，本发明基于结构相似性与熵，采用的技术方案是：一种颤振模糊图像复原方法，

步骤一：颤振模糊图像采集；

步骤二：通过预置编码长度为

步骤三：计算颤振模糊图像

步骤四：在结构相似度最大的图像附近的一定范围内确定图像信息熵值，搜索区间为

步骤五：公式

步骤六：取

步骤七：采用逆滤波方法实现图像清晰复原，公式为

进一步的，所述步骤一，颤振模糊图像采集为，设置曝光时间

进一步的，所述步骤一，设置曝光时间

进一步的，所述步骤二，通过预置长度为

另一方面，本发明还提供了一种颤振模糊图像的采集复原装置，使用一种颤振模糊图像复原方法，实现颤振模糊图像采集和复原，包括：图像采集模块、核心控制模块、通信模块、存储模块、时钟模块、传输及显示模块；所述图像采集模块由CCD图像传感器、时序驱动电路和信号调理与转换电路等部分组成；所述时序驱动电路分为水平时序驱动模块和垂直时序驱动模块，所述时序驱动电路为所述CCD图像传感器提供合适的驱动电平；所述信号调理与转换电路包括模拟信号放大滤波和模数转换；预制编码通过核心控制模块向图像采集模块发送指令，使其采集运动的颤振模糊图像；图像数据及预制编码保存于存储模块，整个电路受时钟模块和通信模块保障；所述CCD图像传感器包括水平移位寄存器和垂直移位寄存器。

进一步的，所述核心控制模块包括时序模块、解码重建模块、图像读取模块、DDR控制模块、FPGA千兆网核、曝光编码、基准时钟。

进一步的，所述驱动电平为三状态电平。

进一步的，所述图像采集模块还包括激光发生器和激光接收器，所述CCD图像传感器通过所述激光接收器接收所述激光发生器发出的激光进行自动聚焦，以解决因聚焦不准引起的图像模糊问题。

进一步的，所述图像采集模块还包括超声波发生器和超声波接收器，所述CCD图像传感器通过所述超声波接收器接收所述超声波发生器发出的超声波进行自动聚焦，以解决因聚焦不准引起的图像模糊问题。

进一步的，所述图像采集模块还包括红外发生器和红外接收器，所述CCD图像传感器通过所述红外接收器接收所述红外发生器发出的红外光进行自动聚焦，以解决因聚焦不准引起的图像模糊问题。

进一步的，一种颤振模糊图像的采集复原装置还包括三维模型和可视化模块，所述图像采集模块连接所述三维模型和可视化模块，通过所述三维模型和可视化模块以三维可视化进行动态显示。

进一步的，所述核心控制模块还包括目标跟踪模块，当采集到多个颤振模糊图像时，指定某一特定颤振模糊图像作为目标图像。

另一方面，本发明还提供了一种监控系统，使用若干所述颤振模糊图像的采集复原装置，所述监控系统还包括远程数据传输模块和区块链模块，所述区块链模块分为监控节点和管理节点，在所述若干颤振模糊图像采集复原装置上分别安装所述远程数据传输模块，成为若干监控节点，所述监控节点将本节点生成的最有序重建解码图像

本发明的有益效果是：

1.本发明公开了一种目标相对于相机在单一运动方向上颤振产生模糊的编码曝光成像复原方法。

2.本发明从完整保护目标图像信息的目的出发，是一种从成像与图像后处理两个角度同时考虑去除运动目标模糊的方法。利用预编码形式将曝光过程进行调制，将原有高频信息保护在采集图像中，并在后续图像复原过程中将其解码，获得清晰图像。

3.本发明方法省去了人工选择干预或外部测量设备的使用时间、打破了自然图像规律的图像限制。利用图像结构相似度和熵的联合图像复原算法进行估计，明显降低了现有技术使用的设备的复杂度。

4.本发明所公开的图像采集复原装置能够解决运动模糊图像的复原问题，以较低成本实现较高帧率相机的清晰复原图像，并利用无参考图像评价指标测试，与一般曝光相比，相关指标提升的平均值约为一般普通曝光相关指标值的2倍。

5.本发明的监控系统通过远程数据传输与控制模块将图像信息上链区块链模块，利用区块链技术去中心化、加密、不可篡改等优势，使其能广泛应用于交通监控等行业领域。

附图说明

为了更好地表达本发明的技术方案，下面将对本发明的进行附图说明：

图1为实施例一的图像结构相似性结构示意图；

图2为实施例一的预制编码曝光的模糊图像模糊核构造图；

图3为实施例一的一维相对运动与卷积计算之间的关系示意图；

图4为实施例一的颤振模糊图像采集及其重建解码过程图；

图5为实施例三的颤振模糊图像采集复原装置结构图；

图6为实施例三颤振模糊图像的编解码程序流程图；

图7为本发明实验效果对比图；

附图标号说明：1、图像采集模块，11、CCD图像传感器，12、时序驱动电路，13、信号调理与转换电路，2、核心控制模块，21、时序模块，22、解码重建模块，23、图像读取模块，24、DDR控制模块，25、FPGA千兆网核模块，26、曝光编码模块，27、基准时钟，3、通信模块，4、存储模块，5、时钟模块。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

本发明的工作原理是：利用Toeplitz矩阵构成模糊核，根据模糊核的构造形式，解决目标与相机单一运动方向下的图像复原问题。

编码曝光将一段完整的曝光时间

/>

从信号相对关系上看，上式相对于一维信号

从快门曝光角度看，编码曝光与普通曝光的区别在于快门不是保持一次开启状态，而是按照一定频率由预先设定的编码来控制开启和闭合。即若

如图3建立的是以静止的二进制编码序列

同一曝光编码和不同的模糊长度可以构成不同的模糊核，恢复重建解码图像的质量也并不相同。为了在众多重建解码图像中寻找到清晰的复原图像，将图像质量评价函数结构性相似度作为比较依据，形成图像的高质量重建，其系统框图如图1所示。

图1中，

、/>

式中有，

，/>

则颤振模糊图像

本式中，参数

然而，实际实验中无法获得清晰图像，颤振模糊图像

利用结构相似性方法只能找到与编码曝光模糊图像最为相似的重建图像，但该图像不一定是最有序的符合自然统计规律的图像。原始清晰图像一般应是有序自然图像，因此恢复重建图像亦将有序作为判别图像质量的指标。为避免单独使用结构相似性带来的偏差，则引入信息熵。熵是表示信息量的一个度量。结合结构相似性确定与模糊图像最相似的图像范围，再寻找图像信息最有序者确定最终复原图像。

当一个系统越有序，则该系统的信息熵就越低；反之，当这个系统越是混乱，该系统的信息熵就越高。这里利用空间熵计算搜索区间内图像像元之间灰度值的有序程度；同时，为了评判重建解码信号的平坦特性，利用离散余弦变换将信号变换至频域并计算其谱熵。通过调整空间熵和谱熵所占权重估计确定最优模糊长度，进而重建复原清晰图像。空间熵表征图像的有序化程度公式为：

，式中/>

为了得到精确解，将谱熵引入以便检测信号谱的平坦程度。当信号在空域内具有强相关性时，变换到频域表现为特定区域的集中汇聚，这里使用离散余弦变换(DCT)将空域信号变换到频域。由于图像像素值为实数，则其DCT也为实数运算，其运算速度比傅氏变换中的复数运算快。若信号

实施例一如图1-4，一种颤振模糊图像复原方法：

步骤一：颤振模糊图像采集，利用CCD图像传感器11完成，设置曝光时间

步骤二：通过预置编码长度为

如图2，通过预置长度为

为了不改变原始一维信号

一维信号

步骤三：计算颤振模糊图像

步骤四：在结构相似度最大的图像附近的一定范围内确定图像信息熵值，搜索区间为

步骤五：公式

步骤六：取

步骤七：采用逆滤波方法实现图像清晰复原，公式为

实施例二与实施例一的区别在于，步骤一的设置曝光时间

本方法仅用一次电荷的驱动转移时间

实施例三，一种颤振模糊图像采集复原装置，如图5-6。如图5，由图像采集模块1、核心控制模块2、通信模块3、存储模块4、时钟模块5、三维模型和可视化模块、传输及显示模块（图中未示）组成；图像采集模块1由CCD图像传感器11、时序驱动电路12和信号调理与转换电路13等部分组成；时序驱动电路2分为水平时序驱动模块和垂直时序驱动模块，为所述CCD图像传感器11提供合适的驱动电平，所述驱动电平为三状态电平；信号调理与转换电路13包括模拟信号放大滤波和模数转换。CCD图像传感器11包括水平移位寄存器和垂直移位寄存器（图中未示）。核心控制模块2包括时序模块21、解码重建模块22、图像读取模块23、DDR控制模块24、FPGA千兆网核模块25、曝光编码模块26、基准时钟27；图像采集模块1通过三维模型和可视化模块，以三维可视化进行动态显示。预制编码通过核心控制模块2向图像采集模块1发送指令，使其采集运动的颤振模糊图像；图像数据及预制编码保存于存储模块4，整个电路受时钟模块5和通信模块3保障。

为解决因聚焦不准引起的图像模糊，图像采集模块1可以使用发生器和接收器，CCD图像传感器11通过接收器接收发生器发出的信号进行自动聚焦。发生器和接收器可以使用市场可见种类产品，不限于激光发生器和激光接收器、超声波发生器和超声波接收器、红外发生器和红外接收器。

核心控制模块2可以选用Xilinx公司出品Spartan6系列中XC6SLX45T-3FG484C完成；基准时钟27选用

如图6，颤振模糊图像的编解码程序流程图。预置的二进制编码序列

实施例四，一种监控系统，使用若干颤振模糊图像采集复原装置，所述监控系统还包括远程数据传输模块和区块链模块，所述区块链模块分为监控节点和管理节点，所述若干颤振模糊图像采集复原装置分别安装所述远程数据传输模块，成为若干监控节点，所述监控节点将本节点生成的最有序重建解码图像

图7为使用了现有技术的其他方法的实验结果，与使用了本发明的方法与装置的实验效果对比图。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。