一种基于鱼眼相机的三维成像方法及装置、成像系统

技术领域

本发明涉及三维全景拍摄技术领域，特别涉及一种基于鱼眼相机的三维成像方法及装置、成像系统。

背景技术

通过利用3D相机的双镜头相机拍摄3D图像，可以在一些视角内拍摄3D图像，但有些视角受到设备摄影范围的限制，例如360度周围的全景图像需要由持有相机并转过身的摄影师来完成拍摄。然而，摄影师必须花费大量时间来利用这种方法拍摄全景图像。

通常情况下，可以采用多个3D相机来拍摄3D全景图像的方法，现在存在三个摄像机到几十个摄像机的配置，但它们都属于单眼视觉系统，因为相机的照片范围重叠较少，并且通过利用视差不能计算或获取深度信息，且虚拟现实和增强现实的3D信息需要深度信息。因此，如何通过使用相机获得3D深度信息非常重要。

现有技术中，通过“全景系统+激光雷达”、“单目相机+激光雷达”两种方式提供三维重建服务，两种方案都是购买现有的相机产品和雷达产品进行组装，损失了对原始数据的获取以及处理能力，因此成像的质量不高。

发明内容

本发明提供一种基于鱼眼相机的三维成像方法及装置、成像系统，解决现有技术中的三维成像质量不佳的技术问题。

本发明的技术方案为：提供了一种基于鱼眼相机的三维成像方法，包括：

对鱼眼相机采集的图像分别进行球坐标系的转换；

对经过球坐标系转换的图像进行拼接，得到拼接图像；

对所述拼接图像的拼接缝进行颜色校正；

基于经过颜色校正的拼接图像对激光雷达采集的图像数据进行融合处理，得到目标图像。

在一种可选的方式中，所述对鱼眼相机采集的图像分别进行球坐标系的转换，包括：

对鱼眼相机采集的图像分别进行去畸变处理；

对经过畸变处理的图像分别进行等距投影图的转换；

对经过等距投影图转换的图像分别进行球坐标系的转换。

在一种可选的方式中，所述鱼眼相机为三个，三个所述鱼眼相机分别固定于相机固定座的三个侧面，所述对经过等距投影图转换的图像分别进行球坐标系的转换，包括：

分别基于第一公式将所述经过等距投影图转换的图像进行球坐标系的转换。

在一种可选的方式中，所述对经过球坐标系转换的图像进行拼接，得到拼接图像，包括：

基于三个所述鱼眼相机的球坐标系来进行图像拼接，得到拼接图像。

在一种可选的方式中，所述基于三个所述鱼眼相机的球坐标系来进行图像拼接，得到拼接图像，包括：

在相邻两个所述鱼眼相机的重叠区域进行像素点的梯度分析；

根据梯度分析结果进行图像拼接。

在一种可选的方式中，所述对所述拼接图像的拼接缝进行颜色校正，得到目标图像，包括：

基于第二公式对所述拼接图像的拼接缝进行像素均衡处理。

在一种可选的方式中，所述激光雷达采集数据的时间与所述鱼眼相机采集图像的时间同步，所述基于经过颜色校正的拼接图像对激光雷达采集的图像数据进行融合处理，得到目标图像，包括：

从所述经过颜色校正的拼接图像中提取像素点的像素值；

对所述采集的数据进行球坐标系的转换，得到二维点云数据；

将所提取的像素值赋值给所述二维点云数据中的对应点云点，得到目标图像，所述目标图像携带彩色三维点云信息。

本发明还提供一种基于鱼眼相机的三维成像装置，所述装置包括：

转换模块，用于对所述鱼眼相机采集的图像分别进行球坐标系的转换；

拼接模块，用于对经过球坐标系转换的图像进行拼接，得到拼接图像；

校正模块，用于对所述拼接图像的拼接缝进行颜色校正；

融合模块，用于基于经过颜色校正的拼接图像对激光雷达采集的图像数据进行融合处理，得到目标图像。

本发明还提供一种成像系统，所述成像系统包括：激光雷达、雷达座、相机固定座、至少两个鱼眼相机，所述相机固定座与所述雷达座固定连接，所述激光雷达固定于所述雷达座，所述至少两个鱼眼相机固定于所述相机固定座上。

在一种可选的方式中，所述至少两个鱼眼相机为两个，或者

所述至少两个鱼眼相机为三个，所述雷达座固定于电机座，所述电机座与所述相机固定座固定连接，所述电机座设置有旋转电机，所述雷达座通过所述旋转电机带动所述激光雷达旋转；或者

所述至少两个鱼眼相机为n个，分布在所述相机固定座的侧壁，所述n＞3。

本发明还提供一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行所述鱼眼相机的三维成像方法的步骤。

本发明还提供一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行所述鱼眼相机的三维成像方法的步骤。

本发明相较于现有技术，其有益效果为：首先对鱼眼相机采集的图像进行去畸变处理，然后进行球坐标系的转换，然后对转换后的图像进行拼接，并对拼接缝进行颜色校正，最后进行图像的融合上色处理，可以提高三维成像的质量，获得高精度彩色三维点云信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例中所需要使用的附图作简单的介绍，下面描述中的附图仅为本发明的部分实施例相应的附图。

图1示出了本发明实施例提供了一种基于鱼眼相机的三维成像方法的流程示意图；

图2示出了本发明实施例提供了一种基于鱼眼相机的三维成像方法的鱼眼相机设置结构示意图；

图3示出了本发明实施例提供了一种基于鱼眼相机的三维成像方法的球坐标系变换后的等距投影图；

图4示出了本发明实施例提供了一种基于鱼眼相机的三维成像方法的球坐标到柱坐标转换的示意图；

图5示出了本发明实施例提供了一种基于鱼眼相机的三维成像方法的图像拼接的示意图；

图6示出了本发明实施例提供了一种基于鱼眼相机的三维成像方法的拼接缝隙伪影的示意图；

图7示出了本发明实施例提供了一种基于鱼眼相机的三维成像装置的结构示意图；

图8示出了本发明实施例提供了一种成像系统的一优选实施例的部分结构示意图；

图9示出了本发明实施例提供了一种成像系统的另一优选实施例的部分结构示意图；

图10示出了本发明实施例提供的计算设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明中所提到的方向用语，例如「上」、「下」、「前」、「后」、「左」、「右」、「内」、「外」、「侧面」、「顶部」以及「底部」等词，仅是参考附图的方位，使用的方向用语是用以说明及理解本发明，而非用以限制本发明。

本发明术语中的“第一”“第二”等词仅作为描述目的，而不能理解为指示或暗示相对的重要性，以及不作为对先后顺序的限制。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

请参见图1，本发明优选实施例提供了一种基于鱼眼相机的三维成像方法的流程示意图，在本发明实施例中，可以应用于全景系统(或全景相机)，该全景系统有若干鱼眼相机，其中，该鱼眼相机可以是三个，两个或者多个，例如该全景系统设置有一个激光雷达及两个鱼眼相机，或者，该全景系统设置有一个激光雷达及三个鱼眼相机，或者，该全景系统设置有一个激光雷达及n个鱼眼相机(n大于3)，又或者，该全景系统设置有一个激光雷达及三个鱼眼相机，该激光雷达可旋转，此处对此不作限制，在本实施例中，以该全景系统设置有一个激光雷达及三个鱼眼相机，该激光雷达不可旋转为例来说明本发明的方案，该方法包括：

步骤S1、对鱼眼相机采集的图像分别进行球坐标系的转换；

具体地，鱼眼相机首先采集图像，然后对采集的图像进行球坐标系的转换。

步骤S2、对经过球坐标系转换的图像进行拼接，得到拼接图像；

具体地，对经过球坐标系转换的图像进行拼接，得到拼接图像，例如可以根据坐标系之间的关系来进行图像拼接。

步骤S3、对所述拼接图像的拼接缝进行颜色校正，得到目标图像；

具体地，对拼接图像进行拼接，主要是对拼接缝进行颜色校正，以使得拼接缝的颜色不会出现突变，可以一定程度上提高图像的拼接质量。

步骤S4、基于经过颜色校正的拼接图像对激光雷达采集的图像数据进行融合处理，得到目标图像。

具体地，基于激光雷达采集的数据对经过颜色校正的拼接图像进行融合处理，得到目标图像，例如通过对采集的数据进行上色融合，得到目标图像，其中，所述目标图像为具有高精度的彩色三维点云信息图像，即所述目标图像携带彩色三维点云信息。

在本发明实施例中，首先对鱼眼相机采集的图像进行去畸变处理，然后进行球坐标系的转换，然后对转换后的图像进行拼接，并对拼接缝进行颜色校正，然后进行图像融合上色处理，可以提高三维成像的质量，也可以获得高精度彩色三维点云信息。

在本实施例的一个可选方式中，该步骤S1包括：

对鱼眼相机采集的图像分别进行去畸变处理；

在本实施例中，优选地，该鱼眼相机为三个，分别设置于相机固定座的三个侧面，该相机固定座优选为矩形，此时该三个鱼眼相机中的一个设置于第一侧面，另外两个设置于所述第一侧面的两个侧面上，如图2所示，优选地，采用视野范围为0-185°的鱼眼相机，该鱼眼相机的标定模型为KB8，基于KB8原理分别对采集的图像进行畸变处理，例如，KB8模型可以认为是图像光心到投影点的距离与角度的关系存在着比例关系，可以通过该比例关系来讲折射光线从原路追溯到凸透镜的入射点，由入射点重新射入光心，这个过程实现了去畸变。

对经过畸变处理的图像分别进行等距投影图的转换；

具体地，经过畸变处理后的图像需要进行球坐标系的转换。由于拼接全景图像是基于单位球，去畸变处理后的图像是直角坐标系无法进行全景拼接，因此需要进行坐标转换，通过KB8的鱼眼相机去畸变后，投影到单位球坐标系上，然后进行球坐标系的转换。

进一步地，见图2，选用视野为185°的三个鱼眼相机(包括前视相机(cameraFront)、左视相机(camera Left)及右视相机(camera Ri ght))作为全景系统的一部分，三个鱼眼相机重叠区域范围约为95°，前视相机主要负责视野前90°范围的图像采集，左视及右视相机对称设置，负责全景系统145°的拍摄范围，拼接缝位于前视相机的45°及145°的位置，左视相机约145°，右视相机约145°处，均属于相机畸变较小的区域。这样设置可以减少畸变，一定程度上提高三维成像的质量。去畸变后的图像实际上是三维实际点的坐标通过KB8模型运算后被投影到一个单位球的球坐标系下，但球坐标系的图像是三维图像，无法存储，因此需要将球坐标系的图像转为柱坐标图像。

对经过等距投影图转换的图像分别进行球坐标系的转换；

具体地，全景系统经外参标定后，可以得到多相机之间的位置关系，假设多相机的光心距离比较近，此处只使用相机之间的旋转关系作为变换条件，作为拼接算法的初始条件。将左视、右视相机的球坐标系下的像素点的位置转换为前视相机球坐标系上，即统一像素投影单位球的坐标系。然后将所有鱼眼相机采集的图像转换为等距投影图。如图3所示，白色区域为有像素区域，从上至下依次为左视，前视，右视鱼眼相机转换的全景相机等距投影图，如图2所示，三个相机之间有一个物理上固定的位置，预先确定好参数。每个相机都有自己的球坐标系，通过平移和旋转可以将三个球坐标系变换重合到一起。由此三个相机的图像也都拼到了一起。

在本实施例的一个可选方式中，该鱼眼相机为三个，三个所述鱼眼相机分别固定于相机固定座的三个侧面，即如图2所示，分别为前视相机、左视相机及右视相机，所述所述对经过等距投影图转换的图像分别进行球坐标系的转换具体包括：

分别基于第一公式将所述经过等距投影图转换的图像进行球坐标系的转换。转换过程如图4所示，该第一公式为：

在本发明的一个优选方式中，该步骤S2包括：基于三个鱼眼相机的球坐标系来进行图像拼接，得到拼接图像；

具体地，首先是在相邻两个所述鱼眼相机的重叠区域进行像素点的梯度分析，然后根据梯度分析结果进行图像拼接。

例如：经过球坐标系转换后的图像，由于已知的视野范围及相机外参，经过转换后的图像变为等距投影图，可以得到清晰的重叠区域，于是可以清晰地划定重叠区域，然后通过匹配算法来进行图像拼接，例如：基于三个所述鱼眼相机的球坐标系来进行图像拼接，得到拼接图像，进一步度，由于三个鱼眼相机的图像拼接到一起，相邻两个相机之间有一定的重叠区域，对该重叠区域进行像素点的梯度分析得到特征点，例如得到重叠区域的像素点的像素变化梯度值，然后梯度值进行排序，并对重叠区域的像素点根据梯度值来匹配，根据匹配结果来进行拼接，然后完成重叠区域的其他像素点的拼接，进而实现图像的拼接，如图5所示。

在本发明的一个优选方式中，该步骤S3包括：基于第二公式对拼接图像的拼接缝进行像素均衡处理；

具体地，如图6所示，等距投影图拼接后，接缝处会出现比较明显的缝隙伪影，将重叠区域(如拼接缝)作均衡处理，采用第二公式来进行像素均衡处理，该第二公式为:

由于相邻两个照片在拍摄时由于入射角度不同，光线的数量不一样，亮度会有区别，因此会存在缝隙伪影，通过上述公式对重叠的两个像素点进行亮度的加权平均，以消除缝隙伪影。

在本发明的一个优选方式中，所述激光雷达采集数据的时间与所述鱼眼相机采集图像的时间同步，这样可以提高图像的相似度，实际情况下，雷达、相机等固件都有自己独立的时钟系统，需要经过额外的时钟系统来将二者统一，同时触发、同时调度，该步骤S4具体包括：

从经过颜色校正的拼接图像中提取像素点的像素值；

具体地，遍历拼接图像的每一像素点，采集对应的像素值；

对激光雷达采集的数据进行球坐标系的转换，得到二维点云数据；

具体地，激光雷达通过扫描采集数据(点云信息)，该点云信息中的每个点相对于雷达坐标都有(x,y,z)三维坐标信息，可以通过坐标投影变换将点云中每个点的坐标转换为在相机坐标系下的(u,v)二维坐标(即将三维点云平铺为一张二维的照片，后续称为点云图像)，先将图像先映射到单位球坐标系下，再映射到柱坐标系下，再展开获得二维图片，因此点云图片与前述拼接图像的尺寸相同，可以获得拼接图像中的单位像素与点云图片中的点云点之间的对应关系。

例如：将雷达的坐标系(x,y,z)与相机坐标系(x1,y1,z1)对齐。雷达与鱼眼相机的坐标系都是由机械结构决定，只需对激光雷达的坐标系进行坐标旋转平移变换即可获得相机坐标系下的三维点云信息，接着，将相机坐标系转换为单位球坐标系。采用转换公式将直角坐标系转换为单位球坐标系，该转换公式为：

将所提取的像素值赋值给所述二维点云数据中的对应点云点，得到目标图像，所述目标图像携带彩色三维点云信息。

具体地，将从拼接图像提取的像素值赋值给该二维点云数据(点云图像)中对应的点云点，即将拼接图像的像素点与点云图像的点云点对应，优选地，可以根据坐标来匹配对应的点云点，即将坐标一致的像素点与点云点对应，将该像素点的像素值赋值给对应的点云点，将拼接图像的像素值替代点云图像的像素值，完成对点云图像的上色融合，得到目标图像，所述目标图像携带彩色三维点云信息。

在本发明实施例中，首先对鱼眼相机采集的图像进行去畸变处理，然后进行球坐标系的转换，然后对转换后的图像进行拼接，并对拼接缝进行颜色校正，然后基于校正的拼接图像对激光雷达采集的数据进行上色融合，可以提高三维成像的质量。

基于上述实施例，本发明还提出一种基于鱼眼相机的三维成像装置，如图7所示：该装置包括：转换模块71、与转换模块71连接的控制模块72、与控制模块72连接的拼接模块73、与拼接模块73连接的融合模块74，其中：

转换模块71，用于对畸变处理后的图像分别进行球坐标系的转换；

拼接模块72，用于对经过球坐标系转换的图像进行拼接，得到拼接图像；

校正模块73，用于对所述拼接图像的拼接缝进行颜色校正，得到目标图像；

融合模块74，用于基于经过颜色校正的拼接图像对激光雷达采集的图像数据进行融合处理，得到目标图像。

在一种可选方式中，所述转换模块71具体用于：

对鱼眼相机采集的图像分别进行去畸变处理；

对经过畸变处理的图像分别进行等距投影图的转换；

对经过等距投影图转换的图像分别进行球坐标系的转换。

在一种可选方式中，所述鱼眼相机为三个，三个所述鱼眼相机分别固定于相机固定座的三个侧面，所述转换模块71具体用于：

分别基于第一公式将所述经过等距投影图转换的图像进行球坐标系的转换。

在一种可选方式中，所以拼接模块72具体用于：基于三个所述鱼眼相机的球坐标系来进行图像拼接，得到拼接图像。

在一种可选方式中，所以拼接模块72具体用于：

在相邻两个所述鱼眼相机的重叠区域进行像素点的梯度分析；

根据梯度分析结果进行图像拼接。

在一种可选方式中，所述校正模块73具体用于：

基于第二公式对所述拼接图像的拼接缝进行像素均衡处理。

在一种可选方式中，所述激光雷达采集数据的时间与所述鱼眼相机采集图像的时间同步，所述融合模块74具体用于；

从所述经过颜色校正的拼接图像中提取像素点的像素值；

对所述激光雷达采集的数据进行球坐标系的转换，得到二维点云数据；

将所提取的像素值赋值给所述二维点云数据中的对应点云点，得到目标图像，所述目标图像携带彩色三维点云信息。

在本发明实施例中，首先对鱼眼相机采集的图像进行去畸变处理，然后进行球坐标系的转换，然后对转换后的图像进行拼接，并对拼接缝进行颜色校正，然后基于校正的拼接图像对激光雷达采集的数据进行上色融合，可以提高三维成像的质量。

基于上述实施例，本发明还提出一种成像系统，如图8所示，包括：激光雷达4、雷达座5、相机固定座6、至少两个鱼眼相机(1、2、3)，所述相机固定座6与所述雷达座5固定连接，所述激光雷达4固定于所述雷达座5，所述至少两个鱼眼相机固定于所述相机固定座6上。

在本实施例的一个优选方式中，该成像系统还包括如上述实施例所述的基于鱼眼相机的三维成像装置，该三维成像装置的具体结构、工作原理及所带来的技术效果与上述实施例所述的一致，此处不再赘述。

或者，该成像系统应用于上述实施例所述的基于鱼眼相机的三维成像方法中。

在本实施例的一个优选方式中，该所述至少两个鱼眼相机为两个，或者所述至少两个鱼眼相机为三个(见图1)，该相机固定座外形为矩形结构，三个相机(1、2、3)在矩形的相邻三个面上安装，分别为前视相机2、左视相机1、右视相机3，左视相机1及右视相机3均各有两个90°范围的重叠区域。(每个鱼眼相机是视场角范围180°)

在本实施例的一个优选方式中，如图9所示，该成像系统还包括：电机座7及旋转电机8，所述雷达座5固定于电机座7，所述电机座7与所述相机固定座6固定连接，所述电机座7设置有旋转电机8，所述雷达座5通过所述旋转电机8带动所述激光雷达4旋转；通过旋转激光雷达4增加其旋转自由度，使得扫描范围更加全面，可以增加扫描效率，缩短扫描时间，提高效率。

在本实施例的另一个优选方式中，所述至少两个鱼眼相机为n个，分布在所述相机固定座的侧壁，所述n＞3。增加鱼眼相机个数，将相机所覆盖到的范围平均分为n份，增大重叠区域。提高拼接图像的质量。

在本实施例的另一个优选方式中，所述鱼眼相机为两个，两个鱼眼相机轴线呈扇形锐角分布，保证一部分重叠区域，可以一定程度上提高拼接图像的质量。

本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的逆变器的三维成像方法。

可执行指令具体可以用于使得处理器执行以下操作：

对鱼眼相机采集的图像分别进行球坐标系的转换；

对经过球坐标系转换的图像进行拼接，得到拼接图像；

对所述拼接图像的拼接缝进行颜色校正；

基于经过颜色校正的拼接图像对激光雷达采集的图像数据进行融合处理，得到目标图像。

在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：

对鱼眼相机采集的图像分别进行去畸变处理；

对经过畸变处理的图像分别进行等距投影图的转换；

对经过等距投影图转换的图像分别进行球坐标系的转换。

在一种可选的方式中，所述鱼眼相机为三个，三个所述鱼眼相机分别固定于相机固定座的三个侧面，所述可执行指令使所述处理器执行以下操作：

分别基于第一公式将所述经过等距投影图转换的图像进行球坐标系的转换。

在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：

基于三个所述鱼眼相机的球坐标系来进行图像拼接，得到拼接图像。

在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：

在相邻两个所述鱼眼相机的重叠区域进行像素点的梯度分析；

根据梯度分析结果进行图像拼接。

在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：

基于第二公式对所述拼接图像的拼接缝进行像素均衡处理。

在一种可选的方式中，所述激光雷达采集数据的时间与所述鱼眼相机采集图像的时间同步，所述可执行指令使所述处理器执行以下操作：

从所述经过颜色校正的拼接图像中提取像素点的像素值；

对所述激光雷达采集的数据进行球坐标系的转换，得到二维点云数据；

将所提取的像素值赋值给所述二维点云数据中的对应点云点，得到目标图像，所述目标图像携带彩色三维点云信息。

在本发明实施例中，首先对鱼眼相机采集的图像进行去畸变处理，然后进行球坐标系的转换，然后对转换后的图像进行拼接，并对拼接缝进行颜色校正，然后基于校正的拼接图像对激光雷达采集的数据进行上色融合，可以提高三维成像的质量。

图10示出了本发明实施例提供的计算设备的结构示意图，本发明具体实施例并不对设备的具体实现做限定。

如图10所示，该计算设备可以包括：处理器(processor)1002、通信接口(Communications Interface)1004、存储器(memory)1006、以及通信总线1008。

其中：处理器1002、通信接口1004、以及存储器1006通过通信总线1008完成相互间的通信。通信接口1004，用于与其它设备比如客户端或其它服务器等的网元通信。处理器1002，用于执行程序1010，具体可以执行上述鱼眼相机的三维成像方法实施例中的相关步骤。

具体地，程序1010可以包括程序代码，该程序代码包括计算机操作指令。

处理器1002可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或各个集成电路。设备包括的一个或各个处理器，可以是同一类型的处理器，如一个或各个CPU；也可以是不同类型的处理器，如一个或各个CPU以及一个或各个ASIC。

存储器1006，用于存放程序1010。存储器1006可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序1010具体可以用于使得处理器1002执行以下操作：

对鱼眼相机采集的图像分别进行球坐标系的转换；

对经过球坐标系转换的图像进行拼接，得到拼接图像；

对所述拼接图像的拼接缝进行颜色校正；

基于经过颜色校正的拼接图像对激光雷达采集的图像数据进行融合处理，得到目标图像。

在一种可选的方式中，程序1010具体可以用于使得处理器1002执行以下操作：

对鱼眼相机采集的图像分别进行去畸变处理；

对经过畸变处理的图像分别进行等距投影图的转换；

对经过等距投影图转换的图像分别进行球坐标系的转换。

在一种可选的方式中，所述鱼眼相机为三个，三个所述鱼眼相机分别固定于相机固定座的三个侧面，程序1010具体可以用于使得处理器1002执行以下操作：

分别基于第一公式将所述经过等距投影图转换的图像进行球坐标系的转换。

在一种可选的方式中，程序1010具体可以用于使得处理器1002执行以下操作：

基于三个所述鱼眼相机的球坐标系来进行图像拼接，得到拼接图像。

在一种可选的方式中，程序1010具体可以用于使得处理器1002执行以下操作：

在相邻两个所述鱼眼相机的重叠区域进行像素点的梯度分析；

根据梯度分析结果进行图像拼接。

在一种可选的方式中，程序1010具体可以用于使得处理器1002执行以下操作：

基于第二公式对所述拼接图像的拼接缝进行像素均衡处理。

在一种可选的方式中，所述激光雷达采集数据的时间与所述鱼眼相机采集图像的时间同步，程序1010具体可以用于使得处理器1002执行以下操作：

从所述经过颜色校正的拼接图像中提取像素点的像素值；

对所述激光雷达采集的数据进行球坐标系的转换，得到二维点云数据；

将所提取的像素值赋值给所述二维点云数据中的对应点云点，得到目标图像，所述目标图像携带彩色三维点云信息。

在本发明中，首先对鱼眼相机采集的图像进行去畸变处理，然后进行球坐标系的转换，然后对转换后的图像进行拼接，并对拼接缝进行颜色校正，然后基于校正的拼接图像对激光雷达采集的数据进行上色融合，可以提高三维成像的质量，也可以获得高精度彩色三维点云信息。

综上，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。