标定板及多光谱与可见光相机内外参数标定方法及装置

技术领域

本发明涉及农业智能监测技术，特别是一种标定板及应用该标定板的多光谱相机与可见光相机内外参标定装置与方法。

背景技术

作物长势信息反映作物生长的状况和趋势，是农情信息的重要组成部分。作物监测可以对农作物的实时苗情、环境动态和分布状况进行宏观的估测，及时了解作物的分布概况、生长状态、肥水行情以及病虫草动态，便于采取各种管理措施，为农作物生产管理或决策者提供及时准确的数据信息平台。

多光谱相机采用红外光与红边光通道，这两个波段可以反应作物的某些生理状态。但红外光是不可见光，在基于传统方法的相机标定前提下，很难获得图像信息进行内外参标定。

发明内容

本发明所要解决的技术问题是针对现有技术的上述缺陷，提供一种标定板及多光谱与可见光相机内外参数标定装置及方法。

为了实现上述目的，本发明提供了一种标定板，其中，用于不可见光相机和可见光相机同时做标定，包括：

壳体；

板体，安装在所述壳体上，并与所述壳体共同围合成一个容置空间，所述板体包括均匀间隔排列的遮光板和透光板；以及

红外光源，安装在所述容置空间内；所述红外光源的红外光均匀平铺在所述板体上，所述遮光板用于阻挡所述红外光的照射，所述透光板用于透过所述红外光。

上述的标定板，其中，所述壳体为黑色亚克力板材料件，以将所述红外光限制在所述容置空间内。

上述的标定板，其中，所述遮光板和透光板均匀间隔排列呈棋盘格结构。

上述的标定板，其中，所述棋盘格结构的每个角点之间的距离为5mm。

上述的标定板，其中，所述板体为透明亚克力板，所述板体上对应于所述遮光板的位置设置有凹槽，所述遮光板嵌入所述凹槽内，相邻所述遮光板之间的板体为透光板。

为了更好地实现上述目的，本发明还提供了一种多光谱相机与可见光相机内外参数标定方法，其中，包括如下步骤：

S100、准备如上述的标定板，分别用多光谱相机和可见光相机对所述标定板进行不同角度拍摄，得到一组两两对应的图像；

S200、对所述图像中的标定板角点进行检测，得到所述标定板角点的像素坐标值，根据所述标定板的棋盘格大小和世界坐标系原点，计算获得所述标定板角点的物理坐标值；

S300、求解所述可见光相机的内参矩阵与外参矩阵；

S400、求解所述多光谱相机的内参矩阵与外参矩阵；以及

S500、根据所述多光谱相机和可见光相机相对于所述标定板的外参矩阵，获得所述多光谱相机和可见光相机之间的位姿变换关系。

上述的多光谱相机与可见光相机内外参数标定方法，其中，求解所述可见光相机和多光谱相机的内参矩阵时，所述图像的世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换关系为：

其中，(u,v)为像素坐标系的一点，其在世界坐标系的坐标为(U,W,V)，Z为尺度因子；

其中，相机的内参矩阵为：

其中，f为像距，dx、dy为X、Y方向上的像素在相机感光板上的长度；(u

相机的畸变参数为：

径向畸变：

切向畸变：

其中，(x，y)为无畸变的归一化坐标，

上述的多光谱相机与可见光相机内外参数标定方法，其中，求解所述可见光相机和多光谱相机的内参矩阵时，把世界坐标系固定在所述标定板的表面，所述标定板的棋盘格上的点坐标w＝0；由世界坐标系的点坐标获得像素点坐标的转换关系为：

其中H为相机内参矩阵与外参矩阵的积；(u，v)为像素坐标系下标定板上的点的坐标，(U，V)为世界坐标系下标定板上的点的坐标。

上述的多光谱相机与可见光相机内外参数标定方法，其中，通过所述标定板对单一相机内参与外参矩阵的求解获得每个相机相对于所述标定板的位姿变换矩阵；

可见光相机相对所述标定板之间的位姿变换关系为：

T

多光谱相机与所述标定板之间的位姿变换关系为：

T

所述多光谱相机与可见光相机之间的位姿变换关系为：

T

其中，T

为了更好地实现上述目的，本发明还提供了一种用于实现上述的多光谱相机与可见光相机内外参数标定方法的装置。

本发明的技术效果在于：

本发明的标定板，采用红外光作为主动发光光源，该标定板可以在红外通道镜头下有非常明显的图像效果，为相机参数标定提供标准。同时采用该标定板对可见光相机与多光谱相机内外参数标定，同一张标定板可以为可见光与红外光提供角点信息，并以此作为坐标变换的基础，获得两个相机的外参矩阵。为可见光相机与多光谱相机数据融合提供了支持，实现了植物表型与生长状况信息的对应，为作物监测提供了多维度的信息来源。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为本发明一实施例的标定板结构示意图；

图2为本发明一实施例的方法原理图。

其中，附图标记

1外壳

2透光板

3遮光板

4红外光源

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

本发明采用可见光相机与多光谱相机数据融合，实现植物表型与生长状况的对应，实现信息的对应，为作物监测提供多维度的信息来源。为了实现作物信息的高度融合，每株作物表型信息与光谱信息高度对应，则需要满足两个条件：每个相机的图像反应真实的信息，且两个相机图像之间的位置关系确定。

植物表型是指能够反映植物细胞、组织、器官、植株和群体的结构及功能特征的物理、生理和生化性质，其本质实际是植物基因图谱的时序三维表达及其地域分异特征和代际演进规律。植物表型采用可见光相机，主要观察农作物的生长、发育、耐性、抗性、生理、结构、产量等。可测量参数包括植物高度、叶形态(如叶片长度、叶片宽度、叶片数量、叶面积、叶面倾角、叶空间分布等)、根形态(如根长度、根的数量等)、生物量(指某一时刻单位面积内实存生活的有机物质总量)、果实特征(如果实大小、果实形状、果实颜色等)及生物胁迫(包括病害、虫害、杂草危害等)与非生物胁迫(包括干旱、盐碱、洪涝等)等。

多光谱相机在作物信息监测中，利用先进的成像技术和光谱技术，实现对植物肉眼不可见的组分、生理、胁迫、病害等可视化。作物在可见光部分(被叶绿素吸收)有较强的吸收峰，近红外波段(受叶片内部构造影响)有强烈的反射率，形成突峰，这些敏感波段及其组合形成植被指数，可以反射作物生长的空间信息。

参见图1，图1为本发明一实施例的标定板结构示意图。本发明的标定板，可用于不可见光相机和可见光相机同时做标定，包括：壳体，是整个标定板的外壳1，用于将透光板2平面与红外光源4分隔开，形成一个空间使得红外光的灯光可以均匀平铺在标定板上；板体，安装在所述壳体上，并与所述壳体共同围合成一个容置空间，所述板体包括均匀间隔排列的遮光板3和透光板2；以及红外光源4，安装在所述容置空间内，红外光源4可以是一个发射红外光波段的灯，红外光线可以在多光谱相机的红外镜头下显影，而在可见光镜头下无法显现。红外光源4可置于外壳1的后端，红外光线可以通过透光板2照射出来，被多光谱相机捕捉到，在红外镜头下格外清晰；所述红外光源4的红外光均匀平铺在所述板体上，所述遮光板3用于阻挡所述红外光的照射，所述透光板2用于透过所述红外光。

本实施例中，所述壳体优选为黑色亚克力板材料件，以将所述红外光限制在所述容置空间内。所述遮光板3和透光板2均匀间隔排列呈棋盘格结构，所述板体优选为透明亚克力板，所述板体上对应于所述遮光板3的位置设置有与遮光板3适配的凹槽，所述遮光板3嵌入所述凹槽内，相邻所述遮光板3之间的板体作为透光板2，即透光板2可以是一个5mm厚的透明亚克力板，是标定装置的最前端。遮光板3用来阻挡红外光的照射，可以形成棋盘格的图像效果。其中，所述棋盘格结构的每个角点之间的距离优选为5mm。可在透光板2上有依次间隔设置深度为3mm凹槽，将厚度为3mm的遮光板3嵌入凹槽内，形成棋盘格结构。

参见图2，图2为本发明一实施例的方法原理图。本发明的多光谱相机与可见光相机内外参数标定方法，内参数主要为相机的焦距，虽然这在相机出厂时是设置好的，但实际使用时既然会存在误差，这个误差会影响图像处理的效果，因此需要标定；外参数即位置关系，用旋转与平移表示。通过两相机相对于标定板的外参，可以获得两个相机之间的外参。虽然两个相机安装时的外参是已知的固定的，但会存在安装误差，因此需要通过标定获取实际的外参。可获取相机的内参矩阵相对于标定板的外参，获得两个相机相对于标定板的外参后，即可获得两个相机之间的外参。该多光谱相机与可见光相机内外参数标定方法包括如下步骤：

步骤S100、准备上述的标定板，分别用多光谱相机和可见光相机对所述标定板进行不同角度拍摄，得到一组两两对应的图像；

相机的内参与外参标定需要知道世界坐标系下点的位置坐标，同时为了便于提取标定板上的点，采用上述分隔透光的棋盘格标定板，棋盘格的大小是已知的，即需要设置的参数为标定板的棋盘格宽度，如每个角点之间的距离设置为5mm。标定板的背部采用一个红外灯作为光源，以使得多光谱相机的红外光通道获得棋盘格信息；通过两个相机对同一标定板进行拍摄，获取两个相机对不同角度的标定板拍摄照片。此时相机的位置是不动的，需要将标定板设置不同的角度与位置进行拍摄；

其中，多光谱相机用于采集近红外与红边波段的光谱信息，是绘制NDVI图的必备传感器，归一化植被指数：NDVI＝(NIR-R)/(NIR+R)。NDVI的应用包括检测植被生长状态、植被覆盖度和消除部分辐射误差等；NIR为近红外波段的反射值，R为红光波段的反射值。其中，红边NDVI(NDVIre)方法是一种植被指数，利用红边波段来评估植被健康状况。在叶绿素浓度相对较高的生长中后期，该指数对于评估作物健康状况尤其有用。此外，NDVIre可用于绘制田间叶氮变异，以了解作物的肥料需求。NDVIre＝(NIR-RedEdge)/(NIR+RedEdge)。NIR为近红外波段的反射值，RedEdge为红边波段的反射值；

步骤S200、对所述图像中的标定板角点进行检测，得到所述标定板角点的像素坐标值，根据已知的所述标定板的棋盘格大小和世界坐标系原点，计算获得所述标定板角点的物理坐标值；

步骤S300、求解所述可见光相机的内参矩阵与外参矩阵；

步骤S400、求解所述多光谱相机的内参矩阵与外参矩阵；以及

步骤S500、根据所述多光谱相机和可见光相机相对于所述标定板的外参矩阵，获得所述多光谱相机和可见光相机之间的位姿变换关系。

其中，求解所述可见光相机和多光谱相机的内参矩阵时，所述图像的世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换关系为：

其中，(u,v)为像素坐标系的一点，其在世界坐标系的坐标为(U,W,V)，Z为尺度因子；

其中，相机的内参矩阵为：

其中，f为像距，dx、dy为X、Y方向上的像素在相机感光板上的长度；(u

相机的畸变参数为：

径向畸变：

切向畸变：

/>

其中，(x，y)为无畸变的归一化坐标，

本实施例中，求解所述可见光相机和多光谱相机的内参矩阵时，把世界坐标系固定在所述标定板的表面，所述标定板的棋盘格上的点坐标w＝0；由世界坐标系的点坐标获得像素点坐标的转换关系为：

其中H为相机内参矩阵与外参矩阵的积；(u，v)为像素坐标系下标定板上的点的坐标，(U，V)为世界坐标系下标定板上的点的坐标。

可通过所述标定板对单一相机内参与外参矩阵的求解获得每个相机相对于所述标定板的位姿变换矩阵；

可见光相机相对所述标定板之间的位姿变换关系为：

T

多光谱相机与所述标定板之间的位姿变换关系为：

T

所述多光谱相机与可见光相机之间的位姿变换关系为：

T

其中，T

本发明还提供了用于实现上述的多光谱相机与可见光相机内外参数标定方法的装置。该装置包括上述的标定板和处理器，多光谱相机与可见光相机分别与该处理器连接，在标定相机时，多光谱相机与可见光相机只对标定板进行拍照，再输入到处理器中采用上述的多光谱相机与可见光相机内外参数标定方法进行内外参数的标定。其中的标定板，采用红外光作为主动发光光源，该标定板可以在红外通道镜头下有非常明显的图像效果，为相机参数标定提供标准。同时将该标定板用于可见光相机与多光谱相机内外参标定，同一张标定板可以为可见光与红外光提供角点信息，并以此作为坐标变换的基础，获得两个相机的外参矩阵。

其中，单一相机参数标定，相机参数的标定是非常关键的环节，其标定结果的精度及稳定性直接影响相机工作产生结果的准确性。相机的内参标定需要明确相机的内参矩阵、外参矩阵、畸变参数，畸变是对直线投影的偏移，主要包括径向畸变与切向畸变。

首先，关于相机成像系统。相机标定的第一个目的是明确内参矩阵与外参矩阵。进行内参标定的第一步首先明确世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换关系为：

其中(u,v)为像素坐标系的一点，其在世界坐标系的坐标为(U,W,V)，Z为尺度因子。

为相机的内参矩阵，其中的参数取决于相机的固有属性。f为像距，dx、dy表示为X、Y方向上的像素在相机感光板上的长度；(u

其次，关于畸变模型。相机标定的第二个目的是取得相机的畸变参数。相机拍摄的图片存在畸变，畸变包括桶形畸变和枕形畸变，畸变模型包括径向畸变与切向畸变。

其中，径向畸变公式：

切向畸变公式：

其中，(x，y),

再次，关于内参矩阵与外参矩阵的求解。求解内参矩阵与外参矩阵需要明确：对于不同的图片，内参矩阵是相同的；对于同一张图片，外参矩阵是相同的；对于同一张图片上的一个点，内参矩阵、外参矩阵、尺度因子是相同的。

采用标定板进行相机标定，把世界坐标系固定在标定板表面，此时棋盘格上的点坐标w＝0，此时由世界点获得像素点坐标的转换关系为：

其中，H为相机内参矩阵与外参矩阵的积；(u，v)为像素坐标系下标定板上的点的坐标，(U，V)为世界坐标系下标定板上的点的坐标。

每个标定板上的点可以提供两个约束，采用四个点可以求解矩阵H，当大于四个点时可以获得最佳的最小二乘解。

已知H＝A(R

其中，B＝A

最后，关于两个相机外参标定。通过标定板对单一相机内参与外参矩阵的求解可以获得每个相机相对于标定板的姿态变换矩阵，即两个相机之间的外参矩阵。

已知可见光相机相对标定板之间的位姿变换关系为：

T

多光谱相机与标定板之间的位姿变换关系为：

T

则多光谱相机与可见光相机之间的位姿变换关系为：

T

其中，T

本发明的标定板，采用红外光作为主动发光光源，该标定板可以在红外通道镜头下有非常明显的图像效果，为相机参数标定提供标准。同时采用该标定板对可见光相机与多光谱相机内外参数标定，同一张标定板可以为可见光与红外光提供角点信息，并以此作为坐标变换的基础，获得两个相机的外参矩阵。为可见光相机与多光谱相机数据融合提供了支持，实现了植物表型与生长状况信息的对应，为作物监测提供了多维度的信息来源。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。