胶囊内窥镜图像处理方法及其装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种胶囊内窥镜图像处理方法及其装置。

背景技术

磁控胶囊内窥镜在检查过程中具有无痛、无创、病人可活动等特点，得到了广泛应用。胶囊内窥镜内部包括一个磁体，通过其与外部磁体间的相互作用控制内窥镜在体内移动，以拍摄胃部和肠道内壁图像。进而根据这些图像能够分析用户胃壁和肠壁的健康状况。在通过磁控胶囊内窥镜采集图像时受限于图像传输、保存等限制，导致采集到的图像分辨率较低、图像中细节纹理模糊不清，进而可能会影响胶囊内窥镜的检测结果的准确性。

目前通常对胶囊内窥镜采集到的图像做图像超分处理以得到更高分辨率、更多细节纹理的目标图像。然而采用现有的图像超分处理方式获得的目标图像的清晰度仍然不够，处理后的图像恢复效果不佳。进而由于目标图像效果不佳可能会影响对用户健康状态分析和判断的结果。

发明内容

鉴于上述问题，本申请的目的在于提供一种胶囊内窥镜图像处理方法及其装置，通过模拟胶囊内窥镜采集图像的退化过程获得样本图像数据对，以及基于图像数据对训练得到目标超分模型，并通过目标超分模型将胶囊内窥镜的采集图像超分处理得到目标图像，以解决现有技术中的问题。

根据本申请的第一方面，提供一种胶囊内窥镜图像处理方法，包括：

获取多个图像数据对，各图像数据对包括具有第一分辨率的高清样本图像以及具有第二分辨率的低清样本图像，其中，所述低清样本图像由所述高清样本图像与模拟退化核作用获得，第一分辨率高于第二分辨率；

基于所述多个图像数据对训练初始超分模型以获得目标超分模型；

将胶囊内窥镜的采集图像经由所述目标超分模型处理以获得目标图像，

其中，所述高清样本图像由设定镜头获得，所述高清样本图像的清晰度高于所述采集图像，所述模拟退化核为模拟所述采集图像形成前经历的退化过程得到的结果。

可选地，基于所述多个图像数据对训练初始超分模型以获得目标超分模型的步骤包括：

将每个所述图像数据对中的低清样本图像输入至所述初始超分模型获得具有所述第一分辨率的中间超分样本图像；

根据每个所述图像数据对中的高清样本图像及与之对应的所述中间超分样本图像获得各所述图像数据对对应的损失函数；

根据各所述图像数据对的损失函数更新所述初始超分模型中的模型参数；

将更新预设次数后的初始超分模型确定为所述目标超分模型。

可选地，根据每个所述图像数据对中的高清样本图像及与之对应的所述中间超分样本图像获得各所述图像数据对对应的损失函数的步骤包括：

基于所述高清样本图像及与之对应的所述中间超分样本图像计算得到第一损失函数、第二损失函数以及第三损失函数；以及

根据所述第一损失函数、所述第二损失函数、所述第三损失函数得到对应所述图像数据对的所述损失函数。

可选地，根据所述第一损失函数、所述第二损失函数、所述第三损失函数得到对应所述图像数据对的所述损失函数的步骤包括：

分别确定与所述第一损失函数对应的第一权重、与所述第二损失函数对应的第二权重、以及与所述第三损失函数对应的第三权重；

计算所述第一损失函数与所述第一权重之间的第一乘积、所述第二损失函数与所述第二权重之间的第二乘积、所述第三损失函数与所述第三权重之间的第三乘积；以及

将所述第一乘积、所述第二乘积、所述第三乘积求和获得所述图像数据对的所述损失函数。

可选地，所述第一损失函数表示像素损失，所述第二损失函数表示感知损失，所述第三损失函数表示对抗损失。

可选地，将胶囊内窥镜的采集图像经由所述目标超分模型处理以获得目标图像的步骤包括：

对所述采集图像进行图像归一化处理；以及

将处理后的图像输入所述目标超分模型以生成所述目标图像。

可选地，还包括：

在输入至所述目标超分模型之前将处理后的图像进行降采样处理。

可选地，还包括：

将所述目标图像进行图像对比度均衡处理和/或图像亮度提升处理。

可选地，由所述高清样本图像与模拟退化核作用获得所述低清样本图像的步骤包括：

将所述高清样本图像与标定模糊核作用获得模糊样本图像；

将所述模糊样本图像降采样处理获得低分辨率样本图像；

在所述低分辨率样本图像中注入标定噪声形成噪声样本图像；

对所述噪声样本图像进行压缩处理得到中间退化样本图像；以及

将所述中间退化样本图像执行与所述标定模糊核作用、降采样处理、注入标定噪声、压缩处理中的至少一种且至少一次以得到所述低清样本图像。

可选地，将所述高清样本图像与标定模糊核作用获得模糊样本图像的步骤包括：

所述高清样本图像同时与所述标定模糊核中的散焦模糊核和运动模糊核运算得到所述模糊样本图像，

其中，所述散焦模糊核表征所述胶囊内窥镜的相机在拍摄图像的过程中由于扭曲和散焦造成的图像模糊，所述运动模糊核表征所述胶囊内窥镜的相机在拍摄图像的过程中运动造成的图像模糊。

可选地，所述运动模糊核由高斯模糊核模拟运动模糊得到，所述高斯模糊核包括各向同性模糊核和各向异性模糊核。

可选地，所述散焦模糊核的标定步骤包括：

采用所述胶囊内窥镜的相机拍摄标准色卡的倾斜线并将所述倾斜线两侧的像素值变化曲线作为脉冲信号；

计算所述脉冲信号对应的边缘函数；

对所述边缘函数求微分得到线传播函数；

每隔预设角度旋转所述标准色卡，获取多条所述倾斜线对应的多个所述线传播函数；

将多个所述线传播函数旋转一周后合成到三维空间形成点传播函数；以及

将所述点传播函数做归一化处理得到所述散焦模糊核。

可选地，将所述模糊样本图像降采样处理获得低分辨率样本图像的步骤包括：

对所述模糊样本图像进行双三次插值的降采样处理以得到所述低分辨率样本图像。

可选地，在所述低分辨率样本图像中注入标定噪声形成噪声样本图像的步骤包括：

获取所述标定噪声中暗电流噪声和高斯噪声对应的函数分布；

分别将所述暗电流噪声和所述高斯噪声按照其对应的函数分布注入到所述低分辨率样本图像中以形成所述噪声样本图像，

其中，所述暗电流噪声表征所述胶囊内窥镜采集到的画面在信号转换过程中产生的噪声，所述高斯噪声表征所述胶囊内窥镜采集到的画面在形成RGB图像的过程中产生的噪声。

可选地，对所述噪声样本图像进行压缩处理得到中间退化样本图像的步骤包括：

将所述所述噪声样本图像的数据格式从RGB数据按照设定比例进行色度采样以转换成YUV数据；

将所述YUV数据格式的所述所述噪声样本图像分为多个阵列排布的单元格，并对每个单元格执行离散余弦变化；

在执行所述离散余弦变化之后，对所述图像进行量化处理以舍弃高频区数据；

对量化后的所述噪声样本图像对应的矩阵做熵编码形成所述低清样本图像。

根据本申请的第二方面，提供一种胶囊内窥镜图像处理装置，包括：

样本模块，获取多个图像数据对，各图像数据对包括具有第一分辨率的高清样本图像以及具有第二分辨率的低清样本图像，其中，所述低清样本图像由所述高清样本图像与模拟退化核作用获得，第一分辨率高于第二分辨率；

超分模块，基于所述多个图像数据对训练初始超分模型以获得目标超分模型，并将胶囊内窥镜的采集图像经由所述目标超分模型处理以获得目标图像，

其中，所述高清样本图像由设定镜头获得，所述高清样本图像的清晰度高于所述采集图像，所述模拟退化核为模拟所述采集图像形成前经历的退化过程得到的结果。

本申请提供的胶囊内窥镜图像处理方法及其装置，通过模拟胶囊内窥镜的采集图像退化过程以将设定镜头下采集的高清样本图像进行退化得到图像数据对，并采用上述图像数据对训练初始超分模型可以得到更适合处理胶囊内窥镜的采集图像的超分网络。进而使得超分处理后的目标图像清晰度更高、细节纹理更加丰富、且有一定的去噪效果。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示出了根据本申请实施例提供的胶囊内窥镜图像处理方法的流程示意图；

图2示出了根据本申请实施例提供的高清样本图像退化为低清样本图像的过程示意图；

图3示出了根据本申请实施例提供的高清样本图像退化为低清样本图像的方法流程示意图；

图4示出了根据本发明实施例提供的散焦模糊核标定过程的流程示意图；

图5示出了根据本发明实施例提供的低分辨率样本图像中注入标定噪声形成噪声样本图像的方法流程示意图；

图6示出了根据本发明实施例提供的基于多个图像数据对训练初始超分模型以获得目标超分模型的方法流程示意图；

图7示出了根据本发明实施例提供的基于多个图像数据对训练初始超分模型的过程示意图；

图8示出了根据本发明实施例提供的胶囊内窥镜图像处理装置的结构示意图；

图9示出了4组胶囊内窥镜的采集图像进行超分处理的示意图。

具体实施方式

以下将参照附图更详细地描述本发明的各种实施例。在各个附图中，相同的元件采用相同或类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按比例绘制。

图像超分处理技术一般分为传统超分方法和基于深度学习的超分方法。一般常用的传统超分方法是基于样条的差值采样方法，例如包括双线性插值(BilinearInterpolation)方法、双三次插值(Bicubic Interpolation)方法等。上述方法利用样条插值函数计算超分后的像素值，实现简易，技术成熟，然而生成的超分图像往往比较模糊，清晰度不够。随着深度学习技术的发展，还可以采用神经网络逼近低分辨率图像到高分辨率图像的映射关系，例如包括超分辨率卷积神经网络(SRCNN，Super ResolutionConvolutional Neural Networks)、深度学习超分辨率算法(EDSR，Enhanced DeepResolution Resolution Convolutional)、深度残差通道注意力网络(RCAN，ResidualChannel Attention Network)等。上述方法利用多层神经网络结合残差连接和Attention连接构建超分模型，以在提取中间特征之后，采用上采样层将中间特征的分辨率恢复到目标分辨率空间。上述方法在数据集构建方面，通常设定低分辨率图像由高清高分辨率图像通过双三次插值降采样的方式获得，进而形成包含低清图像与高清图像的训练样本对。通过这种方式训练出来的超分模型通常能取得较好的效果，峰值信噪比(PSNR，Peak Signal-to-Noise Ratio)和结构相似度(SSIM，Structure Similarity Index Measure)等指标远高于传统超分方法。然而现有的深度学习超分辨率算法在自然场景测试集上的效果往往不尽如人意，超分出来的图像容易出现模糊、伪影和噪声放大等问题。

本申请的发明人发现自然场景中的图像退化过程复杂，可能包含很多个不同的或者重复的退化过程，而采用现有技术方案制备低清样本图像时并未覆盖大部分退化场景。由胶囊内窥镜采集的胃壁和肠壁图像在传输和保存过程中涉及多个退化过程，由高清胃壁或者肠壁图像到低清图像的退化方式未知。为了恢复低清图像中的细节纹理，获得高分辨率且高清的胃壁或者肠壁图像，本申请提供了一种胶囊内窥镜图像超分方法及装置，旨在恢复低清采集图像的细节纹理，进而抑制采集图像中的噪声和缓解压缩伪影等问题。超分后的胶囊内窥镜目标图像具有高清、逼真的高分辨等特点，可以积极地促进分析诊断过程，减少因图像画质不清造成的误判。进一步地，超分后的胶囊内窥镜目标图像的细节纹理反映了人体被拍摄部位的真实情况细节，这些细节信息往往反映出被拍摄部位的患病情况。另外除了辅助诊断分析，超分后的目标图像也能够促进二次技术开发，例如可以采用超分后的目标图像做病理图像分割和病理图像识别与分类等相关性分析。

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

图1示出了根据本申请实施例提供的胶囊内窥镜图像处理方法的流程示意图。图2示出了根据本申请实施例提供的高清样本图像退化为低清样本图像的过程示意图。图3示出了根据本申请实施例提供的高清样本图像退化为低清样本图像的方法流程示意图。图4示出了根据本发明实施例提供的散焦模糊核标定过程的流程示意图。图5示出了根据本发明实施例提供的低分辨率样本图像中注入标定噪声形成噪声样本图像的方法流程示意图。图6示出了根据本发明实施例提供的基于多个图像数据对训练初始超分模型以获得目标超分模型的方法流程示意图。图7示出了根据本发明实施例提供的基于多个图像数据对训练初始超分模型的过程示意图。

如图1所示，胶囊内窥镜图像处理方法包括如下步骤：

步骤S100：获取多个图像数据对，各图像数据对包括具有第一分辨率的高清样本图像以及具有第二分辨率的低清样本图像。进一步地，每个图像数据对中的低清样本图像由其对应的高清样本图像与模拟退化核作用获得，每个图像数据对中的高清样本图像由设定镜头获得，第一分辨率高于第二分辨率。模拟退化核为模拟胶囊内窥镜的采集图像形成前经历的退化过程得到的结果。进一步地，设定镜头的采集图像的清晰度高于胶囊内窥镜的采集图像的清晰度。即本申请通过模拟胶囊内窥镜的采集图像形成前经历的退化过程得到模拟退化核，并将高清样本图像与模拟退化核作用得到低清样本图像，进而采用上述低清样本图像和高清样本图像可以训练得到更适合对胶囊内窥镜采集图像进行超分处理的目标超分模型。

具体地，例如首先基于设定镜头采集的高清样本图像进行退化得到对应的低清样本图像，结合图2、图3，示出了高清样本图像退化为低清样本图像的过程。之后将每个高清样本图像和与其对应的低清样本图像相对应并存储为一个图像数据对。

该退化过程模拟了胶囊内窥镜采集图像的退化过程。进一步地，胶囊内窥镜通过磁感应作用控制胶囊内窥镜在人体内移动，以对人体器官(肠胃等)进行拍摄。例如在目标区域表面拖动行走，以拍摄图像，而由于胶囊内窥镜与目标区域壁(例如胃壁)之间的摩擦力导致胶囊内窥镜的相机在拍摄过程中发生扭转和运动等，受到扭曲、散焦以及运动等因素的影响，不可避免地会产生画面模糊的问题。以及胶囊内窥镜的相机采集到的画面在经过数字传感器的处理时还会引入一定的噪声。甚至为了降低传输成本，通常会将图像先压缩或者降采样后再传输。这些都会影响胶囊内窥镜采集图像的退化，本实施例充分考虑了这些因素。

如图2所示，高清样本图像例如经过n阶退化获得低清样本图像，n为正整数。实际过程中获得胶囊内窥镜的采集图像(指用户看到的由胶囊内窥镜获得的图像)时，可能会对拍摄图像做二次编辑，以提升图像分辨率，保存时采用JPEG压缩。另外在将拍摄图像上传到云端时，例如还会做一次压缩编码和解码。因此采集图像图像退化过程可能为高阶退化过程(n-order)。本申请例如将高清样本图像一次退化后得到中间退化样本图像，之后将中间退化样本图像执行与标定模糊核作用、降采样处理、注入标定噪声、压缩处理中的至少一种且至少一次以得到低清样本图像。其中，一次退化的过程例如包括了图像模糊、降采样、注入噪声、图像压缩。具体地，例如首先将高清样本图像进行图像模糊，使之与标定模糊核作用获得模糊样本图像；然后降采样将图像分辨率降低以获得低分辨率样本图像；在注入标定噪声形成噪声样本图像；之后通过JPEG压缩(有损压缩)降低图像存储空间以得到中间退化样本图像。公式化表达上述过程，如下式(1)所示：

其中x表示输入的高清样本图像，y表示退化后的低清样本图像，↓s表示降采样处理，k表示标定模糊核，n表示标定噪声，jpeg表示JPEG压缩(有损压缩)，从式(1)可以看出，模糊、噪声、降采样和压缩都会对图像的退化产生影响。在其他实施例中，一次退化的过程例如还可能是先降采样，再模糊，然后压缩和注入噪声。高清样本图像退化为低清样本图像的方法具体参见图3。如图3所示，高清样本图像退化为低清样本图像的方法主要包括以下步骤：

步骤S110：将高清样本图像与标定模糊核作用获得模糊样本图像。

本步骤中，将获取到的具有第一分辨率的高清样本图像先与标定完成的标定模糊核作用得到模糊样本图像。标定模糊核模拟了在胶囊内窥镜采集图像形成过程，采集图像模糊的来源主要有两个地方：胶囊内窥镜的相机(镜头)散焦引起的相机模糊和场景运动带来的运动模糊。标定模糊核包括散焦模糊核和运动模糊核，散焦模糊核表征胶囊内窥镜的相机在拍摄图像的过程中由于扭曲和散焦造成的图像模糊，运动模糊核表征胶囊内窥镜的相机在拍摄图像的过程中在人体内运动造成的图像模糊。进一步地，模糊样本图像为高清样本图像同时与散焦模糊核和运动模糊核运算后得到的结果。高清样本图像与散焦模糊核或运动模糊核作用例如为二者之间进行卷积运算。散焦模糊核或运动模糊核视为一个矩阵，通过卷积运算使图像中每一点的像素相当于周围其他多点的像素平均值，使得图像中每一点相对于周围变得柔和，降低了图像的分辨率，得到模糊样本图像。

具体地，胶囊内窥镜的相机散焦引起的图像模糊与相机状态相关，例如由胶囊内窥镜的相机的点传播函数PSF来描述。如图4所示，散焦模糊核的标定过程主要包括如下步骤：

步骤S1111：采用胶囊内窥镜的相机拍摄标准色卡的倾斜线并将倾斜线两侧的像素值变化曲线作为脉冲信号。具体地，实际过程中标定时无法获得真正的脉冲信号σ(x)，因此，采用标准色卡的倾斜线作为胶囊内窥镜相机的拍摄对象，进而作出倾斜线两侧的像素值变化曲线，并采用倾斜线两侧的像素值变化曲线近似模拟脉冲信号σ(x)，设置倾斜线左侧区域较暗，右侧区域较亮，那么从左到右像素值先平滑变化，并在倾斜线临域附近像素值从极低值骤然上升极高值，然后平滑变化，该曲线类似脉冲信号的变化趋势。标准色卡例如是圆盘状，从圆心沿半径划分多条倾斜线，将色卡分成多个不同的颜色区域，每条倾斜线两侧的颜色不同，胶囊内窥镜的相机拍摄到的图像的像素值的分布近似为脉冲信号。

步骤S1112：计算脉冲信号对应的边缘函数。具体地，根据脉冲信号σ(x)计算边缘传播函数ESF(x)。公式化表达上述过程如下：

ESF(x)≈smooth(σ(x)) 式(2)

其中，公式(2)中，ESF(x)表示边缘传播函数，σ(x)表示脉冲信号。

步骤S1113：对边缘传播函数求微分得到线传播函数。具体地，对边缘传播函数ESF(x)求微分，获得对应的线传播函数LSF(x)。公式化表达上述过程如下：

LSF(x)＝diff(ESF(x)) 式(3)

公式(3)对边缘传播函数ESF(x)求微分，获得一条类似一维高斯分布的曲线，即为线传播函数LSF(x)，该曲线两侧信号值较低，且平滑对称，中间区域极窄，信号值较高，顶点的信号值最高，导数值为零。

步骤S1114：每隔固定的角度旋转标准色卡，获取多条倾斜线对应的多个线传播函数。具体地，例如每隔10度旋转标准色卡的倾斜线，并按照上述步骤求出每一条斜线的线传播函数，以得到多个线传播函数。

步骤S1115：将多个线传播函数旋转一周后合成到三维空间形成点传播函数。具体地，将这些线传播函数都旋转一圈，然后将旋转后的曲线按最大值对齐，合成到三维空间中形成点传播函数。旋转时沿着线传播函数的中轴线旋转360度，即可获得三维空间中的点传播函数PSF(x，y)，点传播函数例如在顶点处的信号值最高，沿着临域向外延伸，信号值越来越低，这与二维高斯模糊核极为相似。因此散焦模糊核例如是线性空间中某种扭曲的二维高斯模糊核的一种表达形式。

步骤S1116：将点传播函数做归一化处理得到散焦模糊核。具体地，将点传播函数视为二维高斯模糊曲线，以该三维空间中曲线的顶点为中心，选取合适的长宽范围的值，最后做归一化处理，获得最终的散焦模糊核。

另外，胶囊内窥镜的相机在拍摄过程中不可避免地存在抖动问题，导致所拍摄图像中包含了运动模糊。高斯模糊核是通用的模拟运动模糊的模糊核，在大多数情况下都能较好地拟合运动模糊场景，因此本实施例例如采用高斯模糊核来模拟场景运行模糊过程，以高斯模糊核作为运动模糊核，模糊核例如取固定值：[3，5，7，9，11，13]。为了拓展模糊核的空间范围，也同时采用各向同性模糊核和各向异性模糊核来表示运动模糊核，尽可能囊括不同的模糊场景。高斯模糊核的公式表达如下：

其中，σ表示方差，x表示水平方向坐标，y表示竖直方向坐标。在各向同性高斯模糊核中，方差σ例如从[0.2，3]区间的均匀分布中随机取值，竖直方向方差等于水平方向方差。在各向异性高斯模糊核中，水平方向方差和竖直方向方差分别从[0.2，3]区间的均匀分布中随机取值。本实施例中例如先将高清样本图像与运动模糊核作用，再与散焦模糊核作用得到模糊样本图像。

接着执行步骤S120：将模糊样本图像降采样处理获得低分辨率样本图像。具体地，例如采用双三次插值的降采样方法对模糊样本图像进行二倍降采样操作以得到低分辨率样本图像。具体地，在图像传输过程中，为了降低传输功耗，会对输入图像做2倍降采样操作，将图像尺寸降低到原来的一半，采用双三次插值(bicubic)降采样方法，利用待采样点周围的16个像素点做双三次插值。该插值采样方法不仅考虑周围4个相邻点的影响，还考虑各临点间灰度值变化率的影响，能够得到更接近低分辨率图像的缩小效果。

接着执行步骤S130：在低分辨率样本图像中注入标定噪声形成噪声样本图像。具体地，标定噪声主要包括暗电流噪声和高斯噪声，暗电流噪声表征胶囊内窥镜的相机采集到的画面在信号转换过程中产生的噪声，高斯噪声表征胶囊内窥镜采集到的画面在形成RGB图像的过程中产生的噪声。该过程主要模拟胶囊内窥镜的相机拍摄的画面在转换成图像的过程中受到的噪声影响。进一步地，本步骤具体包括：

步骤S131：分别获取暗电流噪声和高斯噪声对应的函数分布。具体地，暗电流噪声的标定过程包括：

设置初始图像的数据，将其置于不同相机增益的黑布环境下，打光固定时间后，分别统计初始图像在RGB三个通道下的全图像的像素均值、横向像素均值和纵向像素均值。具体地，例如首先设置胶囊内窥镜输出的初始图像为480x480的raw类型数据，保存为bmp格式。由于不同相机增益(gain)值伴随着不同的噪声强度，将增益值分别设置为1，2，4，8，对应保存100，102，100，104张图像。然后将上述图像置于黑布环境中，例如用LED灯打光0～20ms，之后统计全图的时间均值对应的像素均值、横向像素均值和纵像素均值。它们的计算公式分别如下式(5)、(6)、(7)：

其中T表示最后一次打光的时刻，M表示图像的长和宽，I(x，y，t)表示图像在第t次打光时刻在坐标(x，y)处的像素值。在标定时分别统计初始图像在RGB三个通道下的全图像素均值、横向像素均值和纵向像素均值。经过分析发现，暗电流(像素)均值随着增益的增大而增大，并且R通道的暗电流均值高于G通道的，G通道的暗电流均值高于B通道的。每一个通道的暗电流均值有较好的一致性，在部分区域存在较弱的条状纹理。

接着获得不同相机增益下的每个通道下的全图像的像素均值和方差。具体地，得到上述全图的像素均值之后，计算全图的像素方差，由于是在不同的增益值下测量的结果，可以得到不同通道下的全图像的像素均值和方差与增益值的关系。经过标定与测试，当增益取值{1，2，4，8}时，R通道的像素均值的取值范围是4.0～5.4，G通道的像素均值的取值范围是4.0～4.6，B通道的像素均值的取值范围是4.0～4.7。R通道的像素方差(暗电流方差)的取值范围是0.020～4.698，G通道的暗电流方差的取值范围是0.003～1.401，B通道的暗电流方差的取值范围是0.009～2.487。

接着获取初始图像在固定相机增益下的全图像像素值，据此制作图像像素值的直方图。具体地，测量初始图像在固定增益下的各通道下的全图像素值，统计图像像素值的直方图。由于使用较小的增益值测量的像素值易受随机误差的干扰，因此采用较大的增益值(例如增益值为8)作为基础测量条件，测量图像在各个通道的像素值，统计图像像素值的直方图。直方图中，横坐标表示像素值，纵坐标表示像素值的分布概率，由此可以得到全图像的像素直方图曲线，该曲线符合一定的分布规律，以下几个步骤就采用常规的几种函数分布来拟合该曲线，看哪种分布与暗电流噪声的分布最为吻合。

接着根据像素均值和方差，分别作出多种不同函数分布下的直方图。具体地，在获得暗电流的均值和方差之后，接下来拟合暗电流的统计分布规律。根据像素均值和方差，分别作出多种不同函数分布下的直方图，其中，均值μ＝ab，方差σ

高斯分布(Gaussian)和泊松分布(Poisson)的概率密度函数如下式(9)、(10)所示：

其中μ和σ分别是高斯分布的均值和方差，λ是泊松分布的内置参数。

接着对比多种不同函数分布下的直方图与图像像素值的直方图的拟合度，选取最吻合的函数分布作为暗电流噪声的分布。具体地，对比这三种分布的直方图曲线与实际数据的直方图曲线的拟合情况，选择最接近实际数据直方图曲线的分布。试验中，采用增益值gain＝8，分别测量R G B三通道下的暗电流均值与方差，根据均值与方差作上述三种分布的直方图曲线时，由于数值大于20的像素仅占0.1％左右，为显示方便，统计时省略大于20的像素值。其中了，随着方差σ的增强，高斯分布曲线越来越扁平；泊松分布的曲线形状受λ值影响较大，随着λ增大，曲线波峰逐渐右移；而伽马分布的曲线形状由a和b两个参数决定，其波形随参数的变化较小。通过验证发现，伽马分布的直方图曲线与实际数据的直方图曲线拟合最好，曲线形状和像素值大小两个方面都比较接近。高斯分布次之，泊松分布的曲线与实际数据的直方图曲线的差异最大，曲线形状和数值差异都比较大。因此最终例如选择伽马分布作为暗电流噪声的分布。当然，本实施例中仅是给出了几种常见函数分布来拟合实际图像的像素值的直方图曲线，从中选择出最为吻合的函数分布，在实际应用中也可以根据曲线的形状等选择其他合适的函数分布来拟合。

暗电流噪声的标定过程包括：

设置初始图像的数据和多个不同的相机增益。具体地，设置胶囊内窥镜输出的图像为JPEG-480x480，rawdata数据，保存为bmp图像格式，将相机增益值分别设置为1，2，4，8。

接着将初始图像置于多个不同相机增益的暗室环境中打光固定时间后，分别统计图像在RGB三个通道下的全图像的像素均值和方差。具体地，将初始图像置于不同相机增益下的暗室环境中，例如在LED灯下打光毫秒级时间，在暗室中对着白纸拍摄。相机增益值分别设置为1，2，4，8，对应保存100，102，100，104张图像。然后统计图像在RGB三通道下的全图的像素均值和像素方差，它们的计算公式如下式(11)(12)：

其中T为最后一次打光时刻，I(x，y，t)为第t次打光在图像(x，y)坐标处的像素值，

接着根据像素均值和方差的关系制作像素均值与方差的曲线图。具体地，分析像素均值与方差的关系，作出

这里k，d，a1，a2，a3，a4为标定参数。

接着获取相机拍摄的图像的像素均值，根据曲线图查找所述图像的方差。具体地，由于方差计算较为困难，因此先根据实验数据作出了均值-方差曲线图，然后获取实际拍摄图像的像素均值，根据上一步骤的

接着根据获取的方差产生零像素均值下的高斯噪声，高斯噪声符合高斯分布。具体地，利用获得的方差产生零均值的高斯噪声，由于高斯噪声的分布符合高斯分布，因此可以得到对应方差下的零像素均值的高斯噪声曲线。

步骤S132：分别将暗电流噪声和高斯噪声按照其对应的函数分布注入到低分辨率样本图像中以形成噪声样本图像。例如首先在得到的暗电流噪声的分布之后，将其注入到低分辨率样本图像中，使图像中各点像素值的分布吻合暗电流噪声的分布，降低图像的分辨率。接着将符合该分布的高斯噪声加入注入暗电流噪声的低分辨率样本图像中，使得各点像素值的分布符合高斯分布，从而降低图像的像素值。

接着执行步骤S140：对噪声样本图像进行压缩处理得到中间退化样本图像。具体地，为了保证传输效率，对噪声样本图像例如进行JPEG压缩，以降低图像的存储空间，得到压缩图像，降低传输功耗，便于后续图像的传输。进一步地，对图像进行有损压缩(JPEG压缩)的步骤包括：

首先将噪声样本图像从RGB数据转换成YUV数据，同时进行4:2:0色度抽样；然后将YUV数据格式的图像分为8x8的单元格，并对每个单元格执行离散余弦变化(DCT)；之后在执行离散余弦变化之后，对图像进行量化处理以舍弃高频区数据；最后对量化后的图像对应的矩阵做熵编码形成压缩图像。

接着执行步骤S150：将中间退化样本图像执行与标定模糊核作用、降采样处理、注入标定噪声、压缩处理中的至少一种且至少一次以得到低清样本图像。进一步地，本方案中例如n＝2，在降低退化复杂度、节省试验时间的同时，还兼顾了真实场景图像的退化多样性。也即，将中间退化样本图像先与标定模糊核作用，之后进行降采样处理、注入标定噪声、压缩处理之后以得到低清样本图像。

之后将上述退化后得到的低清样本图像以及原先未经过处理的高清样本图像作为一对图像数据对保存。并通过重复上述步骤S110-S150，以获取多个高清样本图像对应的低清图像，并建立多个高清-低清样本图像数据对，并将这些图像数据对共同作为训练数据集以应用于多种图像处理过程中模型建立。根据上述方法得到的图像数据对能更好的反映图像的真实退化过程，以此训练出的数据集更为精准，恢复出来的高分辨率图像结果更为清晰，纹理鲜明，更接近真实情况，便于图像在医学领域的研究和分析。

步骤S200：基于多个图像数据对训练初始超分模型以获得目标超分模型。进一步地，通过上述得到的多个图像数据对训练初始超分模型。具体地，如图6所示，训练初始超分模型以获得目标超分模型的方法包括如下步骤：

步骤S210：将每个图像数据对中的低清样本图像输入至初始超分模型获得具有所述第一分辨率的中间超分样本图像。具体地，如图7所示，初始超分模型例如采用残差密集块网络(RRDBNet，Residual-in-Residual Dense Block Network)，包括特征提取层210、残差连接层230、上采样层220。其中特征提取层210用于提起低清样本图像的特征。特征提取层210例如由23个稠密块(DenseBlock)组成。稠密块中例如包含了三个残差稠密块(Residual DenseBlock)串行连接。残差稠密块中例如包含5个卷积层稠密连接。上述卷积层稠密使得中间特征数据得到充分交流，有利于促进浅层特征信息与深层特征信息融合，以提高超分模型的表达能力。残差连接层230用于将特征提取层210的输出端输出的中间特征数据(低清样本图像被提取的特征)与输入数据(高清样本图像数据)做残差连接。其中，残差系数例如设为0.2。残差连接有利于缓解梯度消失问题，让超分模型在增加大量卷积层时仍然能够提取到有用特征。稠密连接和残差连接共同提升了初始超分模型的特征提取能力，能够提取出低清样本图像中的高频细节信息。其中上采样层220用于将残差连接层230输出的特征图(输出的数据(低清样本图像被提取的中间特征数据)与输入数据(高清样本图像数据)做残差连接的输出结果)恢复到具有第一分辨率的中间超分样本图像。上采样层220(upsample)采用最近邻上采样加卷积的结构，与反卷积上采样结构相比，有抑制瓷砖效应的能力，进而出现异常纹理的机率更低。进一步地，例如在特征提取层210之前、残差连接层230之前均设置了卷积块(Conv)，以及在上采样层220例如还设置有2个卷积块(Conv)。

步骤S220：根据每个图像数据对中的高清样本图像及与之对应的中间超分样本图像获得各图像数据对对应的损失函数。具体地，该步骤包括：基于高清样本图像及与之对应的中间超分样本图像计算得到第一损失函数、第二损失函数以及第三损失函数；以及根据第一损失函数、第二损失函数、第三损失函数得到对应图像数据对的损失函数。进一步地，首先分别确定与第一损失函数对应的第一权重、与第二损失函数对应的第二权重、以及与第三损失函数对应的第三权重。然后计算第一损失函数与第一权重之间的第一乘积、第二损失函数与第二权重之间的第二乘积、以及第三损失函数与第三权重之间的第三乘积。最后将第一乘积、第二乘积、第三乘积求和获得图像数据对的所述损失函数。具体地，例如首先训练以峰值信噪比为导向的初始超分模型，采用第一函数(例如为L1损失函数)，约束初始超分网络输出的中间超分样本图像与高清样本图像之间的绝对误差，绝对误差越低，峰值信噪比越高，则初始超分网络被训练的越好。L1损失函数的公式如下式所示：

其中f(i,j)表示中间超分样本图像的像素值，GT(i,j)表示高清样本图像的像素值。M和N分别表示具有第一分辨率的中间超分样本图像和高清样本图像的高和宽。从公式(13)可以看出，L1损失函数用于计算中间超分样本图像与高清样本图像的每个像素之间的绝对误差，当中间超分样本图像的每个像素值与高清样本图像的每个像素值相等，则对应的损失值达到最低。L1损失函数计算图像所有的像素绝对差的平均值，初始超分模型在训练优化过程中往往陷入局部最小值，即让每一个像素值与标准值接近，以维持平均值最小。通过损失了单个像素的精度，获得全体像素的高精确度。然而这会导致后续通过被训练模型生成的超分图像比较模糊，局部像素值与期望值有一定的距离，整体上看清晰度不高。因此在此基础上，还需要做以感知损失为导向的训练，以获得高清逼真的高分辨率图像。之后以感知损失为导向训练初始超分模型。例如采用生成式对抗网络来训练初始超分模型。具体地，将生成式对抗网络的生成器设置为残差密集块网络，判别器设置为Unet网络结构。进一步地，损失函数除了第一损失函数(L1损失函数)、第二损失函数(GAN损失函数)，例如还包括第三损失函数(感知损失perloss)。这三种损失函数对应的第一权重、第二权重、第三权重例如分别是1.0、1.0和0.1。感知损失perloss例如采用VGG19网络结构，通过计算中间超分样本图像和高清样本图像在感知空间的距离，距离越大则感知损失越高。每个图像数据对的损失函数如下式所示：

Loss＝L1Loss+perLoss+0.1GANLoss (14)

perLoss＝L1(VGG19(f(x,y)，VGG19(GT)) (15)

其中f(x,y)表示中间超分样本图像，GT表示高清样本图像。VGG19网络结构将其输入转换到高维特征空间，并在高维特征空间约束中间超分样本图像与高清样本图像之间的距离。以在一定程度上缓解了第一损失函数带来的模糊问题，让后续由目标超分模型输出的目标图像更加清晰。其中，第一损失函数表示像素损失，第二损失函数表示感知损失，第三损失函数表示对抗损失。

步骤S230：根据各图像数据对的损失函数更新初始超分模型中的模型参数。具体地，将每个图像数据对的损失函数向前传输以更新初始超分模型中的模型参数。

步骤S240：将更新预设次数后的初始超分模型确定为目标超分模型。进一步地，上述生成式对抗网络独特的对抗式训练方法有利于中间超分样本图像的统计分布逐渐逼近高清样本图像的统计分布，进而在视觉上接近高清样本图像的纹理分布。然而，当生成式对抗网络收敛时，其判别器无法区分输入为中间超分样本图像还是高清样本图像，因此在生成器端，当生成式对抗网络网络尽可能输出接近高清样本图像的预测图，可以骗过判别器网络。在这种对抗训练过程中，生成器端的输出图像越来越接近高清样本图像，在视觉上的表现是图像的清晰度逐渐提升，图像的细节纹理逐渐增多。综上在本实施例中，生成式对抗网络的初始化方式采用kaiming初始化，生成器和判别器的学习率例如都设为1e-4，优化方法例如采用Adam优化算法。当训达到预设次数(例如我40万)时将当前更新的初始超分模型确定为目标超分模型。

步骤S300：将胶囊内窥镜的采集图像经由目标超分模型处理以获得目标图像。进一步地，在采集图像进入目标超分模型之前例如先对采集图像进行图像归一化处理。之后将处理后的图像输入目标超分模型以生成目标图像。更进一步地，上述目标超分模型例如是2倍超分模型(对应地，图像数据对中的高清样本图像的分辨率也是低清样本图像的分辨率的2倍)，当不需要改变目标图像的分辨率时，还在将处理后的图像输入目标超分模型以生成目标图像之前，先将归一化后的采集图像降采样到原始尺寸的二分之一，然后进入目标超分模型以使得目标图像的分辨率与采集图像的分辨率相同。在采集图像与目标图像的分辨率不变的处理过程中目标超分模型的作用相当于去噪增强。在其他实施例中，例如在目标超分模型输出目标图像之后还对目标图像进行对比度均衡处理和/或图像亮度提升处理，以得到最终的目标图像。

图8示出了根据本发明实施例提供的胶囊内窥镜图像处理装置的结构示意图。

如图8所示，胶囊内窥镜图像处理装置包括样本模块400和超分模块500。样本模块400用于获取多个图像数据对，各图像数据对包括采集的具有第一分辨率的高清样本图像以及由高清样本图像与模拟退化核作用获得的具有第二分辨率的低清样本图像，其中，第一分辨率高于第二分辨率。超分模块500基于样本模块400提供的多个图像数据对训练初始超分模型以获得目标超分模型，并将胶囊内窥镜的采集图像经由目标超分模型处理以获得目标图像，其中，高清样本图像由设定镜头获得，高清样本图像的清晰度高于采集图像，模拟退化核为模拟采集图像形成前经历的退化过程得到的结果。进一步地，例如还包括第一处理模块(未示出)和第二处理模块(未示出)。其中，第一处理模块例如与超分模块500的输入端连接，用于在采集图像进入目标超分模型之前先对采集图像进行图像归一化处理。更进一步地，当不需要改变目标图像的分辨率时，还用于将归一化后的采集图像降采样到原始尺寸的二分之一。然后进入目标超分模型以使得目标图像的分辨率与采集图像的分辨率相同。第二处理模块与超分模块500的输出端连接，用于对目标图像进行对比度均衡处理和/或图像亮度提升处理，以得到最终的目标图像。

图9示出了4组胶囊内窥镜的采集图像进行超分处理的示意图。

如图9所示，示出了四种不同的采集图像(图9中第一列的4张图像)、上述采集图像通过Bicubic上采样得到的中间图像(图9中第二列的4张图像)、以及上述采集图像通过目标超分模型得到的目标图像(图9中第三列的4张图像)。如图所示，相比Bicubic上采样得到的中间图像，目标图像的清晰度更高，细节纹理更加丰富，且有一定的去噪效果。具体地，以第二行的肠壁图像为例可以看出，目标图像的边缘细节特征十分清晰，即使是暗处的肠壁纹理，肉眼仍能观察到肠壁边缘细节。进一步地，以第四行的血管图像为例，目标图像中的纹理更清晰，画质更符合人的视觉体验，而中间图像中仍然存在明显的噪点和纹理模糊问题。另外，以第三行的体内图像为例，目标图像有一定的磨皮光滑效应，相比采集图像，部分背景纹理被磨皮丢失。

本申请提供了一种恢复由胶囊内窥镜采集到的低清胃壁和肠壁图像的细节纹理的图像处理方法及装置，可以实现噪声抑制、压缩伪影去除等图像处理功能。

依照本发明的实施例如上文所述，这些实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施例。显然，根据以上描述，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。