智能搬运机器人目标识别方法及系统

技术领域

本发明属于机器视觉技术领域，具体涉及一种智能搬运机器人目标识别方法及系统。

背景技术

目前移动机器人已在工业自动化中有诸多应用，比如仓储物流系统中货物的分拣、搬运、工厂流水线加工等，大大降低了人力劳动成本。移动机器人通常设计为可远程控制或自动控制，基于机器视觉的移动机器人控制已成为机器人相关产业的重要方向。

而在对目标颜色进行识别时，外界环境条件如光照、背景等可能会发生变化，即便在同样的环境条件下在不同角度、位置看到的同一目标的光线条件也会有差异定，对目标颜色和明暗度产生影响，尤其是对于表面光滑、易反光的目标，会影响机器人对目标识别的准确度和目标定位精度。

发明内容

有鉴于此，本发明提出了一种智能搬运机器人目标识别方法及系统，用于解决光照条件不稳定下机器人对目标的颜色识别误差过大的问题。

本发明第一方面，公开一种智能搬运机器人目标识别方法，所述方法包括：

获取机器人在不同位置采集的待识别区域的多角度图像序列，对图像序列进行预处理，转换到LAB色彩空间；

分别提取图像序列中同一目标对应的目标图像及对应的LAB值；

分别对图像序列中同一目标对应的目标图像进行特征融合及拼接，得到融合后的目标图像；

基于各个融合后的目标图像的LAB值计算各个融合后的目标图像的亮度调节系数并进行各个融合后的目标图像的亮度校正；

判断校正后的目标图像的LAB值所属的颜色区间，识别目标对应的颜色。

优选的，所述分别提取图像序列中同一目标对应的目标图像及对应的LAB值具体为：

提取图像序列中的各个图像的特征并进行特征匹配，确定不同图像中同一目标对应的特征；

分别计算每张图像中背景图像和多个不同目标之间的最优分割阈值，基于所述最优分割阈值分别对同一图像中不同目标进行多阈值分割；

分别提取不同图像中同一目标分割出的区域作为目标图像，获取对应的LAB值。

优选的，所述对不同图像中同一目标对应的目标图像进行特征融合及拼接具体为：

对不同图像中同一目标对应的目标图像进行畸变校正和图像配准；

从不同图像中同一目标对应的目标图像中选取亮度分布最均匀、清晰度高于预设阈值的一张目标图像作为基准图像；

以基准图像为参照，提取同一目标的其余目标图像与基准图像的重叠区域和非重叠区域，对重叠区域进行特征融合，对非重叠区域进行特征拼接，在特征融合和特征拼接的过程中进行初步平滑校正得到融合后的目标图像。

优选的，所述对重叠区域进行特征融合，对非重叠区域进行特征拼接具体为：

分别对不同图像中同一目标对应的目标图像进行相同尺度的网格划分，计算各个网格中像素的亮度均值；

统计各个图像中各个网格亮度均值的总体分布特征，提取亮度分布在预设置信度区间之外的网格；

筛选出与基准图像存在重叠区域的目标图像，将亮度分布在预设置信度区间之外的网格从筛选出的目标图像中剔除，按照重叠区域中亮度分布在预设置信度区间之外的网格所占的面积与重叠区域面积的比值由小到大的顺序对筛选出的目标图像排序；

按照目标图像排序依次将目标图像与基准图像进行加权融合，直到融合后的区域最大程度的覆盖基准图像，若基准图像中存在非重叠区域，将非重叠区域与融合后的区域拼接，直到与基准图像融合拼接完成。

优选的，所述基于各个融合后的目标图像的LAB值计算各个融合后的目标图像的亮度调节系数并进行各个融合后的目标图像的亮度校正具体为：

获取待识别区域不同目标对应的融合后的目标图像中各个像素的LAB值，并映射到同一个以L、A、B为分量的球形颜色空间中；

以不同目标的类内像素方差之和最小且类间像素方差最大为优化目标，采用优化算法计算各个目标的最优亮度调节系数；

基于各个目标的最优亮度调节系数分别对各个融合后的目标图像进行亮度校正。

优选的，所述采用优化算法计算各个目标的最优亮度调节系数具体为：

以不同目标的亮度调节系数

模拟黏菌的扩散和觅食行为，并引入天牛须搜索算子进行种群位置更新，位置更新公式为：

以所述优化目标为适应度函数进行迭代运算，输出全局最优解作为各个目标的最优亮度调节系数；

设

优选的，所述优化目标为：

本发明第二方面，公开一种智能搬运机器人目标识别系统，所述系统包括：

数据获取模块：用于获取机器人在不同位置采集的待识别区域的多角度图像序列，对图像序列进行预处理，转换到LAB色彩空间；

图像处理模块：用于分别提取图像序列中同一目标对应的目标图像及对应的LAB值；

图像融合模块：用于分别对图像序列中同一目标对应的目标图像进行特征融合及拼接，得到融合后的目标图像；

图像校正模块：用于基于各个融合后的目标图像的LAB值计算各个融合后的目标图像的亮度调节系数并进行各个融合后的目标图像的亮度校正；

目标识别模块：用于判断校正后的目标图像的LAB值所属的颜色区间，识别目标对应的颜色。

本发明第三方面，公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；

其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如本发明第一方面所述的方法。

本发明第四方面，公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明第一方面所述的方法。

本发明相对于现有技术具有以下有益效果：

1）本发明通过机器人移动过程中在不同位置采集的同一区域的多角度图像序列进行特征匹配与多阈值分割，提取同一目标的多个目标图像进行图像融合，在图像融合过程中剔除了亮度分布在预设置信度之外的网格，平衡光照，减少目标图像因光线明暗变化或周围环境光线遮挡变化带来的光斑或阴影、反光等问题，使目标更接近实际颜色；本发明实现了在LAB空间融合同一目标、不同角度的亮度和色彩，减少因角度、位置不佳带来的光线差异对目标识别的影响，增强对光线变化的适应性；

2）本发明在图像融合的基础上，通过在黏菌优化算法中引入天牛须算法来改进寻优算法，加快算法收敛速度，从而快速计算出不同目标之间的最优亮度调节系数，在该最优亮度调节系数下，图像A、B通道的颜色值处于图像颜色识别的最佳范围内，因此本发明基于最佳亮度调节系数进一步校正目标图像，在保留目标原有色彩特征的基础上实现不同目标之间颜色的最大区分；

3）本发明可同时兼顾不同目标之间的颜色准确区分和同一目标的颜色准确识别，提高智能搬运机器人目标识别准确率；

4）本发明可一次性同时识别某一区域内多个不同目标的颜色，不需要每次搬运重复识别，提高智能搬运机器人的搬运效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的智能搬运机器人目标识别方法流程示意图；

图2为LAB球形颜色空间示意图；

图3为不同算法的收敛性能比较结果；

图4智能搬运机器人目标识别系统结构示意图；

图5为本发明实施例使用的智能搬运机器人立体图；

图6为本发明实施例的待识别区域物块示意图；

图7为本发明实施例提供的不同光照条件下测试结果对比图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

请参阅图1，本发明公开一种智能搬运机器人目标识别方法，所述方法包括：

S1、获取机器人在不同位置采集的待识别区域的多角度图像序列，对图像序列进行预处理，转换到LAB色彩空间。

首先将预处理后的图像序列由RGB色彩空间转换至XYZ空间，然后将XYZ空间的图像序列转换至LAB色彩空间。

S2、分别提取图像序列中同一目标对应的目标图像及对应的LAB值。

具体的，提取图像序列中的各个图像的特征并进行特征匹配，确定不同图像中同一目标对应的特征；分别计算每张图像中背景图像和多个不同目标之间的最优分割阈值，基于所述最优分割阈值分别对同一图像中不同目标进行多阈值分割；分别提取不同图像中同一目标分割出的区域作为目标图像，获取对应的LAB值。

S3、分别对图像序列中同一目标对应的目标图像进行特征融合及拼接，得到融合后的目标图像。

步骤S3具体包括如下分步骤：

S31、对不同图像中同一目标对应的目标图像进行畸变校正和图像配准；

S32、从不同图像中同一目标对应的目标图像中选取亮度分布最均匀、清晰度高于预设阈值的一张目标图像作为基准图像；

S33、以基准图像为参照，提取同一目标的其余目标图像与基准图像的重叠区域和非重叠区域；

S34、对重叠区域进行特征融合，对非重叠区域进行特征拼接，在特征融合和特征拼接的过程中进行初步平滑校正得到融合后的目标图像。

步骤S34进一步包括如下步骤：

S341、分别对不同图像中同一目标对应的目标图像进行相同尺度的网格划分，计算各个网格中像素的亮度均值；

S342、统计各个图像中各个网格亮度均值的总体分布特征，提取亮度分布在预设置信度区间之外的网格；

S343、筛选出与基准图像存在重叠区域的目标图像，将亮度分布在预设置信度区间之外的网格从筛选出的目标图像中剔除，按照重叠区域中亮度分布在预设置信度区间之外的网格所占的面积与重叠区域面积的比值由小到大的顺序对筛选出的目标图像排序；

S344、按照目标图像排序依次将目标图像与基准图像进行加权融合，直到融合后的区域最大程度的覆盖基准图像，若基准图像中还存在非重叠区域，将非重叠区域与融合后的区域拼接，在进行拼接处理之前采用渐入渐出的平滑算法，使图像在拼接处的光强平滑过渡，实现图像无缝拼接，直到与基准图像融合拼接完成。

本发明通过机器人移动过程中在不同位置采集的同一区域的多角度图像序列进行特征匹配与多阈值分割，提取同一目标的多个目标图像进行图像融合，在图像融合过程中剔除了亮度分布在预设置信度之外的网格，平衡光照，融合拼接后的目标更接近实际颜色且无光斑和阴影，相较于单一角度的图像颜色识别，这种多角度融合拼接方式可有效适应光线明暗变化，减少环境因素对移动机器人目标识别的影响。

S4、基于各个融合后的目标图像的LAB值计算各个融合后的目标图像的亮度调节系数并进行各个融合后的目标图像的亮度校正。

步骤S4具体包括如下分步骤：

S41、获取待识别区域不同目标对应的融合后的目标图像中各个像素的LAB值，并映射到同一个以L、A、B为分量的球形颜色空间中；

S42、基于球形颜色空间中目标图像中各个像素的LAB值，以不同目标的类内像素方差之和最小且类间像素方差最大为优化目标，采用优化算法计算各个目标的最优亮度调节系数。

步骤S42进一步包括如下步骤：

S421、以不同目标的亮度调节系数

S422、以所述优化目标为适应度函数计算种群中各个个体的适应度值并升序排列，将适应度最小的作为当前迭代最优位置，比较历次迭代的最优位置，得到历史最优位置；具体的，所述优化目标为：

S423、模拟黏菌的扩散和觅食行为，并引入天牛须搜索算子进行种群位置更新，位置更新公式为：

S424、重新计算适应度值，并更新当前最优位置和历史最优位置。

S425、判断是否达到结束条件，若达到结束条件，输出全局最优解作为各个目标的最优亮度调节系数；若否返回步骤S422，直到模型收敛于全局最优解。

S43、基于各个目标的最优亮度调节系数分别对各个融合后的目标图像进行亮度校正。

设

将上述优化算法称为黏菌-天牛须优化算法（SMA-BAS），为了证明改进的黏菌-天牛须优化算法的收敛性，将黏菌-天牛须优化算法与常规黏菌优化算法（SMA）、天牛须优化算法（BAS）进行了比较，请参阅图3的收敛曲线比较结果，其中横轴表示迭代次数t，纵轴表示与当前迭代次数t对应的最优适应度评分（best score），结果显示黏菌-天牛须优化算法的收敛性良好。

本发明在LAB球形颜色空间中以不同目标的类内像素方差之和最小且类间像素方差最大为优化目标，通过在黏菌优化算法中引入天牛须优化算法来改进寻优算法，利用天牛须算子对方向的判断能力使当前黏菌个体朝着最优个体方向运动，有效加快算法收敛速度；同时，由

S5、判断校正后的目标图像的LAB值所属的颜色区间，识别目标对应的颜色。

将各个目标校正后的目标图像的LAB值与预先标定的各种颜色的标准颜色区间范围进行比较，若目标图像的LAB值落入某一标准颜色区间范围内，则判定目标的颜色是该颜色区间对应的颜色。

本发明多角度图像序列进行特征匹配与多阈值分割，对同一目标，提取的多个目标图像进行图像融合；对不同目标，计算不同目标之间的最优亮度调节系数，使在最优亮度调节系数下，图像A、B通道的颜色值处于图像颜色识别的最佳范围内，因此本发明可同时兼顾不同目标之间的颜色准确区分和同一目标的颜色准确识别，且一次性同时识别某一区域内多个不同目标的颜色，不需要每次搬运重复识别，提高智能搬运机器人的基于颜色的目标识别准确率和搬运效率。

与所述方法实施例相对应，本发明还公开一种智能搬运机器人目标识别系统，请参阅图4，所述系统包括：

数据获取模块10：用于获取机器人在不同位置采集的待识别区域的多角度图像序列，对图像序列进行预处理，转换到LAB色彩空间；

图像处理模块20：用于分别提取图像序列中同一目标对应的目标图像及对应的LAB值；

图像融合模块30：用于分别对图像序列中同一目标对应的目标图像进行特征融合及拼接，得到融合后的目标图像；

图像校正模块40：用于基于各个融合后的目标图像的LAB值计算各个融合后的目标图像的亮度调节系数并进行各个融合后的目标图像的亮度校正；

目标识别模块50：用于判断校正后的目标图像的LAB值所属的颜色区间，识别目标对应的颜色。

下面结合具体实验验证本发明的目标识别效果，请参阅图5，图5为本实施例使用的智能搬运机器人立体图，该搬运机器人为六自由度机器人，底部装有四个麦克纳姆轮，可以向任意方向移动，末端执行器为机械抓手，机器人上安装有摄像头。

机器人执行搬运任务时，首先移动至指定位置通过摄像头识别二维码的方式领取搬运任务，搬运任务要求按照指定的顺序搬运多个物块，每个物块只有一个颜色，然后向存放物料的待识别区域移动，本实施例中待识别区域示意图如图6所示。机器人在移动过程中采集待识别区域的多角度图像序列，通过本发明前述的智能搬运机器人目标识别方法对待识别区域的目标进行颜色识别，然后根据搬运任务依次完成搬运。基于同样的搬运任务，本发明在不同光照条件下对本发明前述的智能搬运机器人目标识别方法进行了多组测试实验，并与传统的灰色传感器颜色识别方法进行对比。每次测试时，以每次搬运任务中搬运正确的物块占搬运物块总数的比例作为正确率，设定不同的光照条件，光照由案到明，图7为不同光照条件下测试结果对比图。由图可知传统的基于灰度传感器的颜色识别方法，在光线较暗、光线变化、或光线过强时识别准确率均较差，且有一定的随机性，仅仅在光线条件较好的一小段光照范围内识别准确率较好。而本发明的方法除了在光线极暗或极强下准确率有所下降外，在较宽的光线变化范围内，均有较好的颜色识别准确率，且光线变化时识别率较为稳定，受其他影响较小。

本发明还公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明前述的方法。

本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明实施例所述方法的全部或部分步骤。所述存储介质包括：U盘、移动硬盘、只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。