一种超分辨率图像重建方法及系统

技术领域

本发明属于图像处理技术、分布式大数据处理技术领域，具体涉及一种超分辨率图像重建方法及系统。

背景技术

超分辨率图像现在高频率地应用于各社交软件的发布页面或者消息页面中，数量庞大的超分辨率图像存储在分布式的数据集群中，同一幅高分辨率的图像在分布式存储的过程中被复制成若干幅低分辨率的图像于若干个数据节点中存储，这样是为了防止节点数据迁移导致的数据丢失，传统的存储方法会使得超分辨率图像中的清晰度造成损伤，同时还原的过程也是大量耗费时间而且算法的时间复杂度极大，如果是利用深度学习模型进行还原的则还额外要求预先的训练时间，对计算资源的要求更是苛刻。

发明内容

本发明的目的在于提出一种超分辨率图像重建方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

本发明提供了一种超分辨率图像重建方法及系统，获取多幅低分辨率图像，作为材料图；将材料图进行序列化，组成材料图序列；在材料图序列中进行三角划痕，得到划痕碎片；利用材料图序列提炼出基准图，使用划痕碎片在基准图上得到重建图。

为了实现上述目的，根据本发明的一方面，提供一种超分辨率图像重建方法，所述方法包括以下步骤：

S100，获取多幅低分辨率图像，作为材料图；

S200，将材料图进行序列化，组成材料图序列；

S300，在材料图序列中进行三角划痕，得到划痕碎片；

S400，利用材料图序列提炼出基准图；

S500，使用划痕碎片在基准图上得到重建图。

进一步地，在S100中，获取多幅低分辨率图像，作为材料图的方法为：在分布式的数据集群中，同一幅高分辨率的图像在分布式存储的过程中被复制成若干幅低分辨率的图像于若干个数据节点中存储，以所述若干幅低分辨率的图像作为所述材料图。

进一步地，在S200中，将材料图进行序列化，组成材料图序列的方法为：为各幅材料图标记上序号，按序号将各幅材料图作为序列的元素组成的图像序列即为所述材料图序列。

进一步地，在S300中，在材料图序列中进行三角划痕，得到划痕碎片的方法为：

记所述材料图序列为序列Biseq，所述材料图序列中元素的数量为n，所述材料图序列中元素的序号为i，i∈[1,n]，所述材料图序列中序号为i的元素记为图像矩阵Bi(i)，图像矩阵Bi(i)为h行f列的矩阵，其中矩阵的行的序号为hi而列的序号为fi，hi∈[1,h]，fi∈[1,f]，图像矩阵Bi(i)中处于第hi行第fi列位置的数值即其位置对应的像素点像素值记为Bi(i,hi,fi)；

对所述材料图序列中的各元素的各行各列的数值分别计算其三角出率，记Bi(i,hi,fi)对应的三角出率为trigl(i,hi,fi)，从图像矩阵Bi(i)中获取Bi(i,hi,fi)行列位置相邻的各位置的数值组成Bi(i,hi,fi)的邻接集合，从Bi(i,hi,fi)的邻接集合中选出其中的数值最大的作为其最大值记作max(i,hi,fi)、选出其中的数值最小的作为其最小值记作min(i,hi,fi)以及选出其中的数值中位数的作为其中位值记作mid(i,hi,fi)，三角出率trigl(i,hi,fi)的计算公式为：

；

其中，exp为以自然常数为底的指数函数，上标的2表示平方，由此得到各像素图各行列位置对应的三角出率；

从所述材料图序列中序号i等于1起遍历至i等于n的各元素Bi(i)，首先，以所述材料图序列中序号等于1的元素为Bi(1)，选取Bi(1)中三角出率数值最大的和第二大的两个不同的行列位置的像素点并在之间进行连线，记所述两个不同的行列位置的像素点为所述Bi(1)的第一像素点和第二像素点，记所述Bi(1)的第一像素点和第二像素点之间的连线为线段line(1)，从所述Bi(1)中选出与所述线段line(1)不在同一直线上的各像素点中三角出率最大的一个像素点作为所述Bi(1)的第三像素点，将所述Bi(1)的第一像素点、第二像素点和第三像素点相连而成的三角形区域称为所述Bi(1)的三角区域；

然后，在Bi(1)基础上，令序号i的数值增加1以遍历所述材料图序列中序号等于2至n的元素，为了与Bi(1)进行区分此处记序号为2至n的各元素为Bi(i`)，其中i`∈[2,n]，计算所述Bi(i`)需要根据其前一个序号的元素Bi(i`-1)，首先，计算所述Bi(i`-1)的三角区域中的各像素点的像素值的平均值作为ang(i`-1)，再在所述Bi(i`)中筛选出像素值大于等于所述ang(i`-1)的像素点中随机抽取两个像素点作为所述Bi(i`)的第一像素点和第二像素，但若所述Bi(i`)中有且仅有一个像素点的像素值是大于等于所述ang(i`-1)的，则以所述像素点作为所述Bi(i`)的第一像素点，再以所述Bi(i`)中除所述Bi(i`)的第一像素点外的像素值数值与ang(i`-1)的差值最小的一个像素点作为所述Bi(i`)的第二像素点；另外，若所述Bi(i`)中不存在任一像素点的像素值是大于等于所述ang(i`-1)的，则以所述Bi(i`)中的像素值数值与ang(i`-1)的差值最小和第二小的两个像素点作为所Bi(i`)的第一像素点和第二像素；在得到所述Bi(i`)的第一像素点和第二像素后，记所述Bi(i`)的第一像素点和第二像素点之间的连线为线段line(i`)，从所述Bi(i`)中选出与所述线段line(i`)不在同一直线上的各像素点中三角出率最大的一个像素点作为所述Bi(i`)的第三像素点，将所述Bi(i`)的第一像素点、第二像素点和第三像素点相连而成的三角形区域称为所述Bi(i`)的三角区域；当i`等于2时，Bi(i`)的前一个序号的元素Bi(i`-1)即为Bi(1)，以此遍历，则当i`等于n时，Bi(i`)的前一个序号的元素Bi(i`-1)即为Bi(n-1)；

由此，遍历所述材料图序列中各序号的元素，各序号的元素的三角区域即为其所在图像矩阵上对应部分截取出的部分的图像矩阵，收集各序号的元素的三角区域组成划痕碎片的集合，所述划痕碎片的集合中的各三角区域即为各划痕碎片，所述划痕碎片保留其各自对应的在图像矩阵上的行列位置并能够覆盖至图像矩阵上对应的行列位置中。

有益效果：这些三角区域为图像矩阵在重建后的高分辨率图像里作为边界的可能性最大且最合适的三角划分位置，由三角区域在后续步骤中构成的划痕碎片能够有效的凸显低分辨率图像中这个区域平滑衔接边缘区域的位置的像素延续性，在后续重建超分辨率图像时，以三角区域的边界作为的连接辅助使的重建后的高分辨率图像的衔接位置的细节更加自然和清晰，并且三角出率的计算简单，通过三角出率的能够快速构建划痕碎片对低分辨率图像的重组聚合，并且由于通过上述方法构建出相同质量的高分辨率重建图所需的低分辨率的图像体积较小像素分辨率要求低，所以能够有效降低分布式集群的低分辨率的图像数据存储压力。

进一步地，在S400，利用材料图序列提炼出基准图的方法为：将所述材料图序列中的各材料图的图像矩阵中相同行列位置的像素点分别相互对齐，将所述材料图序列中的各材料图相同行列位置的像素点取像素值的平均值从而得到的一个图像矩阵作为基准图。

进一步地，在S500中，使用划痕碎片在基准图上得到重建图的方法为：

在所述基准图上，将所述划痕碎片覆盖至所述基准图上对应的行列位置中，其中，若存在不同的划痕碎片之间在所述基准图上覆盖的区域有所重叠，则重叠的部分中的各像素点的像素值采用不同的划痕碎片之间的数值较大的像素值，由此得到重建图。

本发明还提供了一种超分辨率图像重建系统，所述一种超分辨率图像重建系统包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述一种超分辨率图像重建方法中的步骤，所述一种超分辨率图像重建系统可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中，可运行的系统可包括，但不仅限于，处理器、存储器、服务器集群，所述处理器执行所述计算机程序运行在以下系统的单元中：

材料图获取单元，用于获取多幅低分辨率图像，作为材料图；

材料图序列组成单元，用于将材料图进行序列化，组成材料图序列；

三角划痕单元，用于在材料图序列中进行三角划痕，得到划痕碎片；

基准图提炼单元，用于利用材料图序列提炼出基准图；

重建图单元，用于使用划痕碎片在基准图上得到重建图。

本发明的有益效果为：本发明提供了一种超分辨率图像重建方法及系统，获取多幅低分辨率图像，作为材料图；将材料图进行序列化，组成材料图序列；在材料图序列中进行三角划痕，得到划痕碎片；利用材料图序列提炼出基准图，使用划痕碎片在基准图上得到重建图，实现了低成本短时间内提高图像清晰程度同时降低分布式集群数据存储压力的有益效果。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为一种超分辨率图像重建方法的流程图；

图2所示为一种超分辨率图像重建系统的系统结构图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

如图1所示为根据本发明的一种超分辨率图像重建方法的流程图，下面结合图1来阐述根据本发明的实施方式的一种超分辨率图像重建方法及系统。

本发明提出一种超分辨率图像重建方法，所述方法具体包括以下步骤：

S100，获取多幅低分辨率图像，作为材料图；

S200，将材料图进行序列化，组成材料图序列；

S300，在材料图序列中进行三角划痕，得到划痕碎片；

S400，利用材料图序列提炼出基准图；

S500，使用划痕碎片在基准图上得到重建图。

进一步地，在S100中，获取多幅低分辨率图像，作为材料图的方法为：在分布式的数据集群中，同一幅高分辨率的图像在分布式存储的过程中被复制成若干幅低分辨率的图像于若干个数据节点中存储，以所述若干幅低分辨率的图像作为所述材料图。

进一步地，在S200中，将材料图进行序列化，组成材料图序列的方法为：为各幅材料图标记上序号，按序号将各幅材料图作为序列的元素组成的图像序列即为所述材料图序列。

进一步地，在S300中，在材料图序列中进行三角划痕，得到划痕碎片的方法为：

记所述材料图序列为序列Biseq，所述材料图序列中元素的数量为n，所述材料图序列中元素的序号为i，i∈[1,n]，所述材料图序列中序号为i的元素记为图像矩阵Bi(i)，图像矩阵Bi(i)为h行f列的矩阵，其中矩阵的行的序号为hi而列的序号为fi，hi∈[1,h]，fi∈[1,f]，图像矩阵Bi(i)中处于第hi行第fi列位置的数值即其位置对应的像素点像素值记为Bi(i,hi,fi)；

对所述材料图序列中的各元素的各行各列的数值分别计算其三角出率，记Bi(i,hi,fi)对应的三角出率为trigl(i,hi,fi)，从图像矩阵Bi(i)中获取Bi(i,hi,fi)行列位置相邻的各位置的数值组成Bi(i,hi,fi)的邻接集合，从Bi(i,hi,fi)的邻接集合中选出其中的数值最大的作为其最大值记作max(i,hi,fi)、选出其中的数值最小的作为其最小值记作min(i,hi,fi)以及选出其中的数值中位数的作为其中位值记作mid(i,hi,fi)，三角出率trigl(i,hi,fi)的计算公式为：

；

其中，exp为以自然常数为底的指数函数，上标的2表示平方，由此得到各像素图各行列位置对应的三角出率，还需要进行无量纲化处理；

从所述材料图序列中序号i等于1起遍历至i等于n的各元素Bi(i)，首先，以所述材料图序列中序号等于1的元素为Bi(1)，选取Bi(1)中三角出率数值最大的和第二大的两个不同的行列位置的像素点并在之间进行连线，记所述两个不同的行列位置的像素点为所述Bi(1)的第一像素点和第二像素点，记所述Bi(1)的第一像素点和第二像素点之间的连线为线段line(1)，从所述Bi(1)中选出与所述线段line(1)不在同一直线上的各像素点中三角出率最大的一个像素点作为所述Bi(1)的第三像素点，将所述Bi(1)的第一像素点、第二像素点和第三像素点相连而成的三角形区域称为所述Bi(1)的三角区域；

然后，在Bi(1)基础上，令序号i的数值增加1以遍历所述材料图序列中序号等于2至n的元素，为了与Bi(1)进行区分此处记序号为2至n的各元素为Bi(i`)，其中i`∈[2,n]，计算所述Bi(i`)需要根据其前一个序号的元素Bi(i`-1)，首先，计算所述Bi(i`-1)的三角区域中的各像素点的像素值的平均值作为ang(i`-1)，再在所述Bi(i`)中筛选出像素值大于等于所述ang(i`-1)的像素点中随机抽取两个像素点作为所述Bi(i`)的第一像素点和第二像素，但若所述Bi(i`)中有且仅有一个像素点的像素值是大于等于所述ang(i`-1)的，则以所述Bi(i`)中唯一的像素值大于等于所述ang(i`-1)的像素点作为所述Bi(i`)的第一像素点，再以所述Bi(i`)中除所述Bi(i`)的第一像素点外的像素值数值与ang(i`-1)的差值最小的一个像素点作为所述Bi(i`)的第二像素点；另外，若所述Bi(i`)中不存在任一像素点的像素值是大于等于所述ang(i`-1)的，则以所述Bi(i`)中的像素值数值与ang(i`-1)的差值最小和第二小的两个像素点作为所Bi(i`)的第一像素点和第二像素；在得到所述Bi(i`)的第一像素点和第二像素后，记所述Bi(i`)的第一像素点和第二像素点之间的连线为线段line(i`)，从所述Bi(i`)中选出与所述线段line(i`)不在同一直线上的各像素点中三角出率最大的一个像素点作为所述Bi(i`)的第三像素点，将所述Bi(i`)的第一像素点、第二像素点和第三像素点相连而成的三角形区域称为所述Bi(i`)的三角区域；当i`等于2时，Bi(i`)的前一个序号的元素Bi(i`-1)即为Bi(1)，以此遍历，则当i`等于n时，Bi(i`)的前一个序号的元素Bi(i`-1)即为Bi(n-1)；

由此，遍历所述材料图序列中各序号的元素，各序号的元素的三角区域即为其所在图像矩阵上对应部分截取出的部分的图像矩阵，收集各序号的元素的三角区域组成划痕碎片的集合，所述划痕碎片的集合中的各三角区域即为各划痕碎片，所述划痕碎片保留其各自对应的在图像矩阵上的行列位置并能够覆盖至图像矩阵上对应的行列位置中。

有益效果：这些三角区域为图像矩阵在重建后的高分辨率图像里作为边界的可能性最大且最合适的三角划分位置，由三角区域在后续步骤中构成的划痕碎片能够有效的凸显低分辨率图像中这个区域平滑衔接边缘区域的位置的像素延续性，在后续重建超分辨率图像时，以三角区域的边界作为的连接辅助使的重建后的高分辨率图像的衔接位置的细节更加自然和清晰，并且三角出率的计算简单，通过三角出率的能够快速构建划痕碎片对低分辨率图像的重组聚合，并且由于通过上述方法构建出相同质量的高分辨率重建图所需的低分辨率的图像体积较小像素分辨率要求低，所以能够有效降低分布式集群的低分辨率的图像数据存储压力。

进一步地，在S400，利用材料图序列提炼出基准图的方法为：将所述材料图序列中的各材料图的图像矩阵中相同行列位置的像素点分别相互对齐，所述基准图是将所述材料图序列中的各材料图相同行列位置的像素点取像素值的平均值从而得到的一个图像矩阵。

进一步地，在S500中，使用划痕碎片在基准图上得到重建图的方法为：

在所述基准图上，将所述划痕碎片覆盖至所述基准图上对应的行列位置中，其中，若存在不同的划痕碎片之间在所述基准图上覆盖的区域有所重叠，则重叠的部分中的各像素点的像素值采用不同的划痕碎片之间的数值较大的像素值，由此得到重建图。

所述一种超分辨率图像重建系统运行于桌上型计算机、笔记本电脑、掌上电脑或云端数据中心的任一计算设备中，所述计算设备包括：处理器、存储器及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述一种超分辨率图像重建方法中的步骤,可运行的系统可包括，但不仅限于，处理器、存储器、服务器集群。

本发明的实施例提供的一种超分辨率图像重建系统，如图2所示，该实施例的一种超分辨率图像重建系统包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种超分辨率图像重建方法实施例中的步骤，所述处理器执行所述计算机程序运行在以下系统的单元中：

材料图获取单元，用于获取多幅低分辨率图像，作为材料图；

材料图序列组成单元，用于将材料图进行序列化，组成材料图序列；

三角划痕单元，用于在材料图序列中进行三角划痕，得到划痕碎片；

基准图提炼单元，用于利用材料图序列提炼出基准图；

重建图单元，用于使用划痕碎片在基准图上得到重建图。

其中，优选地，本发明中所有未定义的变量，若未有明确定义，均可为人工设置的阈值。

所述一种超分辨率图像重建系统可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中。所述一种超分辨率图像重建系统包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种超分辨率图像重建方法及系统的示例，并不构成对一种超分辨率图像重建方法及系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种超分辨率图像重建系统还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立元器件门电路或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种超分辨率图像重建系统的控制中心，利用各种接口和线路连接整个一种超分辨率图像重建系统的各个分区域。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种超分辨率图像重建方法及系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明提供了一种超分辨率图像重建方法及系统，获取多幅低分辨率图像，作为材料图；将材料图进行序列化，组成材料图序列；在材料图序列中进行三角划痕，得到划痕碎片；利用材料图序列提炼出基准图，使用划痕碎片在基准图上得到重建图，实现了低成本短时间内提高图像清晰程度同时降低分布式集群数据存储压力的有益效果。

尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。