一种三维图像显示方法

技术领域

本发明涉及3D显示技术领域，具体涉及一种三维图像显示方法。

背景技术

三维重建是通过特定的装置及算法对现实世界中的三维物体的数学模型进行重新构建，对于虚拟现实、增强现实、机器人感知、人机交互及机器人路径规划等具有极其重要的意义；随着人工智能的迅速发展，通过手机、平板电脑等集成有摄像头的电子设备对真实场景中的物体进行三维重建，在诸多应用场景中均得到了广泛应用。例如，可以应用于AR(Augmented Reality，增强现实)等下游应用之中，而为了增强AR效果和物理场景之间的沉浸感，三维重建结果需要尽可能地平滑，且三维重建过程需要尽可能地实时。

目前重建后的三维模型在显示终端进行显示时，大多数会存在分辨率较低、图像失真等技术问题，且在每一帧图像进行融合时，图像失真较为明显，从而导致实时重建的三维图像存在不清晰且整体较为别扭；目前市场上的三维图像显示装置大多数结构较为复杂，例如中国专利CN111580285A公开的一种风扇式旋转显示装置，通过采用风扇式的结构来进行3D图像的显示，但是其整体结构较为复杂（从附图和说明书整体内容可以看出），从而导致整体制作成本较高，因此需要在现有技术的基础上加以改进。

发明内容

针对现有技术的不足，本发明提供了一种三维图像显示方法，最终在三维图像显示方法上显示出来的三维图像更清晰，分辨率更高。

为了实现本发明的目的，本发明提供一种三维图像显示方法，具体包括：

S1：接收预处理图像并将预处理图像中的每一帧图像输送至关键空间中进行融合处理，得到实时重建后的三维图像；

S2：对重建后的三维图像进行渲染和压缩处理，将处理后的三维图像输送至显示装置，再对三维图像进行图像预处理，并通过显示装置显示经过预处理后的三维图像；

其中，显示装置包括相互连接的控制电机和显示组件，所述显示组件包括固定块和显示板，所述显示板为多个，多个所述显示板均与所述固定块连接，多个所述显示板之间间隔设置，且多个所述显示板之间的间隔相同，所述控制电机与所述显示组件通过所述固定块连接，所述控制电机可控制所述固定块带动所述显示板进行转动，所述显示板上设有多个显示灯，通过控制电机控制固定块带动显示板进行转动，显示板上的显示灯在急速转动下形成显示区域，所述显示区域用于显示经过图像预处理后的三维图像；

其中图像预处理包括：

针对边缘明显的图像，基于轮廓提取的矫正算法进行图像处理；

针对边缘不明显，但是排列整齐的三维图像，基于霍夫直线探测的矫正算法进行图像处理。

优选的，所述步骤S2中的显示板成对设置，或所述显示板为四个，四个所述显示板均与所述固定块连接且呈十字形状。

优选的，所述步骤S2中的多个显示灯之间并排设置形成灯组，所述显示板上设有多组灯组，多组所述灯组之间设有间隔且间隔相同。

优选的，步骤S2中轮廓提取的矫正算法的具体步骤为：

设输入图像为：F={fij}，设初始NBD=1，NBD为当前边界的序列数；采用光栅扫描法扫描图像F，当扫描到像素点（i，j）的灰度值fij≠0时执行下列步骤：

S021：确定点边界类型；

当fi，j=1且fi，j-1=0时，则确定像素点（i，j）是外边界起始点，NBD+=1，（i2，j2）←（i，j-1）；

当fi，j≥1且fi，j+1=0时，则确定像素点（i，j）是孔边界起始点，NBD+=1，（i2，j2）←（i，j+1），若fij>1，则NBD←fij；

当不满足上述两个条件时，则执行S024；

S022：根据上一个边界B′和当前新遇到的边界B的类型得出当前边界B的父边界；

S023：从边界起始点（i，j）开始进行边界跟踪；

S024：若fij≠1，且LNBD←|fij|，则从点（i，j+1）开始继续光栅扫描，当扫描到图像的右下角顶点时结束扫描。

优选的，步骤S023的具体步骤包括：

S0231：以(i,j)为中心，(i2,j2)为起始点，按顺时针方向查找(i,j)的4（8）邻域是否存在非0像素点；若找到非0像素点，则令(i1,j1)作为顺时针方向的第一个非0像素点；否则令fij=−NBD，并转到S024；

S0232：(i2,j2)←(i1,j1) 且 (i3, j3)←(i, j)；

S0233：以(i3,j3)为中心，按逆时针方向将(i2,j2)的下一个点作为起始点查找(i3,j3)的4（8）邻域是否存在非0像素点，若存在非0像素点，则将(i4,j4)作为逆时针方向的第一个非0像素点；

S0234：根据以下规则修改点(i3, j3)的NBD值fi3,j3；

S02341：当(i3,j3+1)是(3.3)中已经检查过的像素点且是0像素点，则fi3,j3←-NBD；

S02342：当(i3,j3+1)不是(3.3)中已经检查过的0像素点，并且fi3,j3=1，则fi3,j3←NBD；

S02343：当不满足上述两个条件时，则不改变fi3,j3的数值；

S02344：当(i4,j4)=(i,j)且(i3,j3)=(i1,j1)，则转到步骤S024；否则令(i2,j2)←(i3,j3)，(i3,j3)←(i4,j4)，并转到步骤S02341。

优选的，步骤S2中基于霍夫直线探测的矫正算法进行图像处理的具体步骤包括：

将平面中任一条直线采用极坐标方式表示，其公式为：

S221：在ρ和θ的最大值和最小值之间建立一个离散的参数空间，将参数空间(ρ,θ)量化成m*n个单元，并设置累加器矩阵；

S222：将参数空间中的每个单元分别分配一个累加器Q(i，j)，并将累加器的初始值设置为0；

S223：将图像边界上的每个点（x，y）带入公式

S224：在参数空间中找到ρ和θ所对应的单元，并将该单元的累加器加1，即：Q（i，j）=Q（i，j）+1；

S225：当直角坐标系中每个点都经过步骤S223和S224两步遍历后，检验参数空间中每个累加器的值，并将累加器最大单元所对应的ρ和θ作为直角坐标系中直线方程的参数。

优选的，采用集群服务器对重建后的三维图像进行渲染，再通过对渲染后的三维图像进行压缩处理，再对三维图像通过图像预处理，将处理后的三维图像输送至显示装置，并经过解码操作处理后对经过图像预处理后的三维图像进行显示；

其中，压缩过程具体包括编码处理，编码处理过程依次为：预测、变换编码、量化、滤波和熵编码操作处理。

优选的，步骤S1中将预处理图像中的每一帧图像输送至关键模型中进行融合处理，得到实时重建后的三维图像的具体步骤包括：

将预处理图像中的每一帧图像进行变换并输送到关键空间中，从而在关键空间中创建一个静态的物体表面模型，再通过将关键空间中的物体表面模型经过旋转、平移或形变处理后还原到实时帧中，得到重建后的三维图像。

优选的，步骤S1中将预处理图像中的每一帧图像进行变换并输送到关键空间中，从而在关键空间中创建一个静态的物体表面模型的具体步骤包括：

S11：表面融合：根据第一帧图像构建并初始化三维体空间，并更新图像表面附近的体素；

S12：表面提取：通过将关键空间下的TSDF模型转换为关键空间下的Mesh模型得到关键模型；

S13：更新节点图：通过将关键模型中图像的顶点进行聚类操作得到节点。

优选的，步骤S1的具体步骤还包括：

预处理图像中每一帧图像进入关键空间中需要执行如下操作：

S110：估算提翘曲场；

S111：根据提翘曲场将深度图像融合到三维场景中；

S112：扩展提翘曲场。

本发明的有益效果为：本发明提供的三维图像显示方法，最终在显示装置上显示出来的三维图像更清晰，分辨率更高，且显示装置结构更加简单、成本更低。

附图说明

通过附图中所示的本发明优选实施例更具体说明，本发明上述及其它目的、特征和优势将变得更加清晰。在全部附图中相同的附图标记指示相同的部分，且并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本的主旨。

图1为本发明实施例提供的显示装置的具体结构示意图；

图2为本发明实施例提供的图像预处理前后的对比示意图；

图3为本发明实施例提供的图像分辨率预处理前后的对比示意图；

图4为为本发明实施例提供的霍夫直线探测的矫正算法的具体示意图；

图中：11-控制电机、12-固定块、13-显示板、14-显示灯。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

请参考图1-3，本发明实施例提供一种三维图像显示方法，具体包括：

S1：接收预处理图像并将预处理图像中的每一帧图像输送至关键空间中进行融合处理，得到实时重建后的三维图像；

S2：对重建后的三维图像进行渲染和压缩处理，将处理后的三维图像输送至显示装置，再对三维图像进行图像预处理，并通过显示装置显示经过预处理后的三维图像；

其中，显示装置包括相互连接的控制电机11和显示组件，显示组件包括固定块12和显示板13，显示板13为多个，多个显示板13均与固定块12连接，多个显示板13之间间隔设置，且多个显示板13之间的间隔相同，控制电机11与显示组件通过固定块12连接，控制电机11可控制固定块12带动显示板13进行转动，显示板13上设有多个显示灯14，通过控制电机11控制固定块12带动显示板13进行转动，显示板13上的显示灯14在急速转动下形成显示区域，显示区域用于显示经过图像预处理后的三维图像；

其中图像预处理包括：

针对边缘明显的图像，基于轮廓提取的矫正算法进行图像处理；

针对边缘不明显，但是排列整齐的三维图像，基于霍夫直线探测的矫正算法进行图像处理。

控制电机11用于与外部设备进行连接，从而供电和控制显示组件转动，通过控制电机11控制显示板13进行急速转动，在转动到一定情况下（转速达到一定数值，具体数值可自由设定），显示板13上的多个显示灯14的发光区域形成一个整体的显示区域，从而来显示出三维图像。本发明提供的三维图像显示方法，结构更加简单，制作成本更低。

请参考图1-3，在优选实施例中，显示板13成对设置，或显示板13为四个，四个显示板13均与固定块12连接且呈十字形状。

请参考图1-3，在优选实施例中，多个显示灯14之间并排设置形成灯组，显示板13上设有多组灯组，多组灯组之间设有间隔且间隔相同，通常灯组为三组，三组灯组自显示灯14宽度方向朝下依次间隔设置。

在优选实施例中，显示装置还包括温度传感器、气压传感器、光敏传感器、控制芯片，控制芯片用于根据传感器的数值来分析显示装置是否正常工作。

请参考图1-3，在进一步的优选实施例中，步骤S2中轮廓提取的矫正算法的具体步骤为：

设输入图像为：F={fij}，设初始NBD=1（将F的frame看成第一个边界），NBD为当前边界的序列数；采用光栅扫描法扫描图像F，当扫描到像素点（i，j）的灰度值fij≠0时执行下列步骤（每次当扫描到图像的新行的起始位置时，将LNBD重置为1）：

S021：确定点边界类型；

当fi，j=1且fi，j-1=0时，则确定像素点（i，j）是外边界起始点，NBD+=1，（i2，j2）←（i，j-1）；

当fi，j≥1且fi，j+1=0时，则确定像素点（i，j）是孔边界起始点，NBD+=1，（i2，j2）←（i，j+1），若fij>1，则NBD←fij；

当不满足上述两个条件时，则执行S024；

S022：根据上一个边界B′和当前新遇到的边界B的类型得出当前边界B的父边界；

S023：从边界起始点（i，j）开始进行边界跟踪；

S024：若fij≠1，且LNBD←|fij|，则从点（i，j+1）开始继续光栅扫描，当扫描到图像的右下角顶点时结束扫描。

请参考图1-3，本发明提供的3D显示方法，主要针对基于重建后的三维模型的图像失真或其他原因导致的三维模型不清晰等进行处理，基于轮廓提取和霍夫直线探测的矫正算法对图像进行相应的处理，从而使重建后在显示终端显示的三维图像或视频更加清晰且看起来更加逼真。

请参考图1-3，在优选实施例中，步骤S2中进行图像预处理的具体操作还包括：

ICP配准法基本原理为：设三维空间R3存在有n个坐标点的点集，分别为： PL和PR；三维空间点集PL中各点经过三维空间变换后与点集PR中点一一对应，其单点变换关系式为：

基于ICP配准法对三维图像进行图像失真处理，其ICP配准法具体步骤为：

S21：根据点集PLk中的点坐标，在曲面S上搜索就近点点集Prk；

S22：计算点集PLk和就近点点集Prk的重心位置坐标，并进行点集中心化生成新的点集；

S23：通过生成的新的点集计算正定矩阵N，并计算正定矩阵N的最大特征值及最大特征向量；

S24：根据四元数算法将最大特征向量转换为旋转矩阵R，根据重心点和旋转矩阵确定平移向量T；

S25：重复步骤S21-S24，通过点集PLk计算旋转后的点集P′Lk，根据PLk和P′Lk计算距离平方和fk+1，并以连续两次距离平方和之差

S26：当

请参考图1-3，在进一步的优选实施例中，步骤S2中轮廓提取的矫正算法的具体步骤为：

S0231：以(i,j)为中心，(i2,j2)为起始点，按顺时针方向查找(i,j)的4（8）邻域是否存在非0像素点；若找到非0像素点，则令(i1,j1)作为顺时针方向的第一个非0像素点；否则令fij=−NBD，并转到S024；

S0232：(i2,j2)←(i1,j1) 且 (i3, j3)←(i, j)；

S0233：以(i3,j3)为中心，按逆时针方向将(i2,j2)的下一个点作为起始点查找(i3,j3)的4（8）邻域是否存在非0像素点，若存在非0像素点，则将(i4,j4)作为逆时针方向的第一个非0像素点；

S0234：根据以下规则修改点(i3, j3)的NBD值fi3,j3；

S02341：当(i3,j3+1)是(3.3)中已经检查过的像素点且是0像素点，则fi3,j3←-NBD；

S02342：当(i3,j3+1)不是(3.3)中已经检查过的0像素点，并且fi3,j3=1，则fi3,j3←NBD；

S02343：当不满足上述两个条件时，则不改变fi3,j3的数值；

S02344：当(i4,j4)=(i,j)且(i3,j3)=(i1,j1)，则转到步骤S024；否则令(i2,j2)←(i3,j3)，(i3,j3)←(i4,j4)，并转到步骤S02341。

在优选实施例中，步骤S2中基于霍夫直线探测的矫正算法进行图像处理的具体步骤包括：

将平面中任一条直线采用极坐标方式表示，其公式为：

S221：在ρ和θ的最大值和最小值之间建立一个离散的参数空间，将参数空间(ρ,θ)量化成m*n个单元，并设置累加器矩阵；

S222：将参数空间中的每个单元分别分配一个累加器Q(i，j)，并将累加器的初始值设置为0；

S223：将图像边界上的每个点（x，y）带入公式

S224：在参数空间中找到ρ和θ所对应的单元，并将该单元的累加器加1，即：Q（i，j）=Q（i，j）+1；

S225：当直角坐标系中每个点都经过步骤S223和S224两步遍历后，检验参数空间中每个累加器的值，并将累加器最大单元所对应的ρ和θ作为直角坐标系中直线方程的参数。

请参考图1-3，在进一步的优选实施例中，步骤S1的具体步骤包括：

将预处理图像中的每一帧图像进行变换并输送到关键空间中，从而在关键空间中创建一个静态的物体表面模型，再通过将关键空间中的物体表面模型经过旋转、平移或形变处理后还原到实时帧中，得到重建后的三维图像。

将预处理图像中的每一帧图像进行变换并输送到关键空间中，从而在关键空间中创建一个静态的物体表面模型，再通过将关键空间中的物体表面模型经过旋转、平移或形变处理后还原到实时帧（live frame）中（每帧都有个对应的 体翘曲场，能够将canonical空间中的模型还原到live frame中），得到重建后的三维图像（canonical空间建立的是每一帧的表面模型，需要将每一帧的变化融合到live frame才能建立一个3D模型、三维图像）。

本申请主要基于DynamicFusion系统进行三维模型或图像的重建；DynamicFusion系统的核心是：建立一个关键帧（canonical frame）下的模型，之后场景发生的变化都可以通过几何变换对应到这个模型上（通过将同一个物体或图像多个角度的图像进行几何变换并融合在一起形成三维图像）；每一次新读取了深度图都通过几何变换之后再融合到模型当中，这里变换的过程相当于取消了场景的变换；就这样场景逐渐的变得真实丰满。

其系统两部分构成：重建的三维场景（reconstructed scene geometry），记为V。体翘曲场（a dense volumetric 6D warp(motion) field），记为W。重建的三维场景V使用TSDF模型表示，类似于KinectFusion中的模型表示方法。体翘曲场W可以简单的理解为：记录了V中点与深度图像D中点想换转换的矩阵，D中数据经过W的变换之后才能融合到V中。

DynamicFusion中模型V也是使用TSDF模型表示的。TSDF模型将需要表示的空间划分成网格，一般为256*256*256个或者512*512*512个。每一个小格子成为体素（voxel），其中存放了两个数值：加权平均的距离v(x)，表示这个体素到三维场景表面的距离；权重和w(x)，代表当前这个距离v(x)的权重。其中v(x)为0的地方即为场景表面，但是很难直接出现v(x)为0的体素，一般通过插值得到。

 DynamicFusion中模型V也是使用TSDF模型表示的。TSDF模型将需要表示的空间划分成网格，一般为256*256*256个或者512*512*512个。每一个小格子成为体素（voxel），其中存放了两个数值：加权平均的距离v(x)，表示这个体素到三维场景表面的距离；权重和w(x)，代表当前这个距离v(x)的权重。其中v(x)为0的地方即为场景表面，但是很难直接出现v(x)为0的体素，一般通过插值得到。

TSDF模型的更新是一个体素一个体素进行的，以一个体素的更新为例。

其中，xt为

其中：dc(.)表示将离散的点转化到对应的TSDF中的体素。

请参考图1-3，在优选实施例中，步骤S1中将预处理图像中的每一帧图像进行变换并输送到关键空间中，从而在关键空间中创建一个静态的物体表面模型的具体步骤包括：

S11：表面融合（Surface Fusion）：根据第一帧图像构建并初始化三维体空间（volume），并更新图像表面附近的体素（voxel）（建立canonical space下的TSDF模型）；

S12：表面提取（ Extract Surface）：通过将关键空间（canonical space）下的TSDF模型转换为关键空间下的Mesh模型得到关键模型（canonical model）；

S13：更新节点图（Update nodes graph）：通过将关键模型中图像的顶点（vertexes）进行聚类操作得到节点（nodes）。

请参考图1-3，在优选实施例中，步骤S1的具体步骤还包括：

预处理图像中每一帧图像进入关键空间中需要执行如下操作：

S110：估算提翘曲场；

S111：根据提翘曲场将深度图像融合到三维场景中；

S112：扩展提翘曲场。

请参考图1-3，在优选实施例中，步骤S2中对重建后的三维图像进行渲染和压缩处理，将处理后的三维图像输送至三维图像显示方法，再对三维图像进行图像预处理的具体步骤包括：

采用集群服务器对重建后的三维图像进行渲染，再通过对渲染后的三维图像进行压缩处理，将处理后的三维图像输送至显示终端，再对三维图像通过图像预处理，并经过解码操作处理后进行显示；

其中，压缩过程具体包括编码处理，编码处理过程依次为：预测、变换编码、量化、滤波和熵编码操作处理；

通过图像或视频压缩处理解决传输实时性问题，而视频压缩的基本原理就是去除这些冗余信息，将视频压缩300到500倍，常见的压缩方法有预测编码、变换编码和熵编码技术。将输入的视频信息按照各个编码模块进行处理，输出码流的过程称为视频编码过程，再通过对应的熵解码、变换解码和预测解码过程，将码流还原成YUV420视频流的过程称为视频解码过程。可以将视频编解码的过程看作是压缩和解压缩的过程，但在该过程中，由于压缩的算法有所差异，所以解码的算法必须对应着编码的算法，不同的编解码算法效果不一。

其中，压缩过程具体包括编码处理，编码处理过程依次为：预测、变换编码、量化、滤波和熵编码操作处理。由于失真处理一般出现在数据传输部分，所以是在编码后传输到显示显示终端后，解码操作一般通过显示终端的解码器进行处理图像失真问题；

预测：视频由按照时间序列的图像构成。每一幅图像相邻像素之间存在较强的空间相关性，而相邻图像（不同时间）之间存在时间上的相关性。充分利用这些信息，可以有效的帮助我们去除这些冗余信息。根据空间和时间相关性，存在帧内预测和帧间预测两种不同的方式。两者都需要根据已编码的像素去预测未编码像素。通常选取第一帧作为参考帧，而不进行处理。通过帧内/帧间预测的方式，我们可以将预测值和真实值的残差进行编码操作。下面逐一介绍帧内预测和帧间预测的方法：

(a) 帧内预测：该预测值来自于周围已编码结果的线性组合。由于图像中存在特定的纹理，因此该预测值的计算存在几种不同的模式，例如：垂直模式，水平模式，DC模式，Plane 模式等。在实际中我们需要扫描所有的模式从而通过拉格朗日率失真优化进行选择。

(b)帧间预测：主要采用基于块的运动补偿技术。该技术通过相邻图像高度的时间相关性，可以为当前图像中的每一个像素寻找之前已经编码图像的一个最佳匹配块（运动估计），用参考像素块和当前像素块，可以定义一个运动矢量。类似于帧内预测，这里我们也只需要传输运动矢量的残差。在运动补偿过程中，我们也需要对块的划分进行遍历，利用最小均方误差或者最小平均绝对误差等对运动矢量残差进行估计，计算拉格朗日率失真优化，从而选择最优的运动矢量，进而将运动矢量残差传递到后续的编码过程中。

变换编码：视频图像中存在较多变化比较缓慢的区域，因此我们可以通过适当的变换将图像数据集中在某一个区域，然后针对变换后的区域进行量化等编码操作。常用的变换方法包括：离散余弦/正弦变换。对于一个周期性函数，我们可以将其按照三角函数进行傅立叶展开。对于某些特殊情况，如函数具有明确的奇偶性，我们可以只使用正弦函数或余弦函数。对于周期性函数，结果可表示为一系列特定频谱的信号，当函数不具有周期性时，傅立叶展开表现为一个连续频谱的叠加。当输入为离散信号时，我们需采用离散的正弦/余弦变换。因此傅立叶变换本质上是将信号分解为特定波形的叠加，从而简化分析。

量化：经过变换编码之后需要进行量化处理。基本思想为将连续或者大量离散的数值映射到有限几个离散数值的过程，即多对一的映射关系。量化过程将丢失信号，是有损压缩。这种映射关系不唯一，存在多种选择。具体采用哪种方案可根据均方误差，信噪比，峰值信噪比进行估计。

滤波：在基于块的混合编码框架下，视频压缩过程中会存在方块效应，振玲效应，颜色偏差等失真行为。为了降低编码过程中这些失真对视频质量的影响，我们需要滤波技术，包括去方块滤波以及像素自适应补偿技术。

（a)去方块滤波：基于块的编码技术中，各个块的变换量化过程相对独立，从而导致量化过程中产生的误差以及分布也具有独立性质，因此导致编码块的边界不连续，产生方块效应。环路去方块滤波技术可以有效地降低、去除这种不连续行为。

（b)自适应补偿技术：

熵编码：熵编码是一种无损编码方式；将视频序列信息转换为用来传输或存储的压缩码流。

本发明的有益效果为：本发明提供了一种三维图像显示方法，最终在三维图像显示方法上显示出来的三维图像更清晰，分辨率更高。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。