一种基于RGB-D视觉的在线果蔬识别系统及方法

技术领域

本发明属于果蔬识别技术领域，具体涉及一种基于RGB-D视觉的在线果蔬识别系统及方法。

背景技术

我国食品加工产业日渐发展，果蔬分级工作是果蔬采后加工的必要前期步骤，因其工作量巨大，需要大量的劳动力投入其中，所以采用果蔬分级机器人成为了产业发展方向。随着机器视觉的发展，视觉传感器及果蔬识别技术的多样化及高性能，是提升果蔬分级系统性能及行业技术含量的关键所在。而当前市面上的果蔬分级机器人，通用性不高，往往局限于同类型果蔬的分级，想要提高果蔬分级机器人的通用性，就需要在分级之前通过视觉检测，判断果蔬类型，采用不同的分级标准和分级方式。采用传统视觉检测，准确率低，识别速度缓慢，人机交互性差，实用性、操作性不强，且难以进行二次开发。

发明内容

为了解决上述现有技术中存在的技术问题，本发明设计了一种基于RGB-D视觉的在线果蔬识别系统及方法。

为了解决上述现有技术中存在的技术问题，本发明一方面采用了以下技术方案：

一种基于RGB-D视觉的在线果蔬识别系统，包括在线载物平台、实感深度相机和识别控制系统，所述识别控制系统包括主控机及点云处理模块、点云识别模块、人机交互模块;所述实感深度相机与所述主控机连接。

进一步，所述点云处理模块包括点云图像生成模块、点云图像增强模块、点云图像滤波模块、点云图像配准模块、点云图像分割模块和点云图像发送模块。

进一步，所述点云识别模块包括点云图像匹配模块和点云模型特征数据库；所述点云模型特征数据库包括点云颜色数据库、点云轮廓数据库和点云特征数据库。

进一步，所述人机交互模块包括人机交互界面、交互信息收发器、用户输入器、状态反馈器、程序载入器和模拟调试器，所述交互信息收发器与用户输入器、状态反馈器、程序载入器、模拟调试器连接；

所述人机交互界面，获取用户操作指令并发送至所述交互信息收发器，并从所述交互信息收发器获取系统当前执行状态和识别结果向用户展示；

所述用户输入器，捕获用户输入的动静态分析指令、程序载入指令、开始识别指令，并通过操作指令发送器发送至所述点云识别模块；

所述状态反馈器，实时接收识别结果和系统执行状态，并显示至人机交互界面；

所述程序载入器，在用户操作下，将既定程序识别参数载入所述识别控制系统；

所述模拟调试器，通过对载入的程序进行调试，采用所述识别控制系统点云模型特征数据库内的特征点云作为数据流参数，并将调试结果显示至人机交互界面。

进一步，所述在线载物平台包括恒稳传输带装置，所述恒稳传输带装置由所述识别控制系统控制。

进一步，所述实感深度相机设置有红外线发射器、红外线传感器、色彩传感器和电源指示灯，所述实感深度相机采集目标物的RGB-D数据流信息。

进一步，还包括移动终端，所述移动终端与所述识别控制系统通过WI-FI路由器通讯连接。

本发明另一方面还公开了：

一种基于RGB-D视觉的在线果蔬识别方法，包括以下步骤：

S1，开启识别控制系统, 并载入程序进行模拟调试；所示识别控制系统模拟调试通过后，开启在线载物平台和实感深度相机；

S2，当所述在线载物平台上的待检测果蔬进入识别区域内时，所述实感深度相机捕获当前视线范围内待检测果蔬的三维点云图像信息，并将三维点云图像信息通过信号线传送给所述识别控制系统的主控机；所述三维点云图像信息包括RGB-D数据流信息；

S3，所述识别控制系统利用点云处理模块对接收到的三维点云图像进行点云图像处理，从而得到可被识别的特征点云图像数据；

S4，所述识别控制系统利用点云识别模块对特征点云图像数据进行识别，并将识别结果和实时的系统执行状态发送至人机交互模块的人机交互界面；

S5，当最终识别结果发送至人机交互界面后，所述识别控制系统控制所述在线载物平台继续输送，将下一待检测果蔬送至识别区域内内，重复上述步骤S2-S4进行检测。

进一步，所述S3包括以下步骤：

S31，所述三维点云图像通过点云图像生成模块生成（X，Y，Z，R，G，B）点云数据；

S32，所述（X，Y，Z，R，G，B）点云数据通过点云图像增强模块，采用基于相机坐标展示的方法，形成增强点云图像数据；

S33，所述增强点云图像数据通过点云图像滤波模块，实现点云滤波降噪，形成去噪点云图像数据；

S34，所述去噪点云图像数据通过点云图像配准模块，实现三维校准、自动旋转变换，形成配准点云图像数据；

S35，所述配准点云图像数据通过点云图像分割模块实现点云数据的分割，去除环境背景干扰，形成可被识别的特征点云图像数据；

S36，点云图像发送模块将所述特征点云图像数据传送至点云识别模块。

进一步，所述S4中，所述点云识别模块对所述特征点云图像数据进行特征提取，获得当前特征点云图像数据的轮廓数据、色彩数据、特征点数据，并在点云颜色数据库、点云轮廓数据库、点云特征数据库中进行检索相应特征信息进行匹配识别；当特征拟合度满足既定条件时，则将识别结果发送至人机交互界面；在识别过程中，系统通过执行状态发送器，向人机交互界面实时发送系统执行状态，系统执行状态的种类包括识别进行中、无匹配模型、多值匹配、二次识别、识别结束。

进一步，所述S4中，所述点云识别模块对所述特征点云图像数据进行特征提取前，先对所述特征点云图像数据进行动态分割以实现识别前的预处理。

进一步，所述S4中，所述识别控制系统将最终识别结果，通过WI-FI信号传输的方式，发送至用户的移动终端。

该基于RGB-D视觉的在线果蔬识别系统及方法具有以下有益效果：

（1）本发明中，采用实感深度相机，对在线载物平台上的果蔬产品进行图像捕获，并采用点云处理、点云识别技术，有效解决了传统识别方式准确度低，易产生误差等问题。

（2）本发明中，采用多重点云预处理手段，对捕获到的点云信息，进行多重预处理，使点云特征数据便于提取，提高识别精度，降低误识别率。

（3）本发明中，设计的人机交互界面，可实现模拟调试、人机交互、程序执行可视化等功能，避免了传统识别系统难以二次开发，操作性差等问题，在程序执行前调用既定点云模型，验证程序可行性，降低了误识别率。

（4）本发明中，采用共WI-FI信号传输的方式，将识别结果发送至用户移动端识别设备的显示界面，增强系统人机交互性，减少环境限制，提高了系统自动化。

（5）本发明通用性好，自动化程度高，人机交互界面友好。

附图说明

图1：本发明实施方式中基于RGB-D视觉的在线果蔬识别系统的工作示意图；

图2：本发明实施方式中基于RGB-D视觉的在线果蔬识别系统的模块化结构示意图；

图3：本发明实施方式中实感深度相机的结构示意图；

图4：本发明实施方式中点云处理模块及点云识别模块的结构示意图；

图5：本发明实施方式中人机交互界面的示意图；

图6：本发明实施方式中基于RGB-D视觉的在线果蔬识别系统的工作流程图。

附图标记说明：

1—在线载物平台；11—恒稳传输带装置；12—待识别果蔬;2—实感深度相机;21—红外线发射器（IR Laser Projector）;22—红外线传感器（IR Camera Lens）;23—色彩传感器（Color Camera Lens）；24—电源指示灯（Power LED Indicator）；3—识别控制系统；31—点云处理模块；311—点云图像生成模块；312—点云图像增强模块；313—点云图像滤波模块；314—点云图像配准模块；315—点云图像分割模块；316—点云图像发送模块；32—点云识别模块；321—点云图像匹配模块；322—点云模型特征数据库；33—人机交互模块；4—移动终端；5—WI-FI路由器；6—用户。

具体实施方式

下面结合附图，对本发明做进一步说明：

图1至图6示出了本发明一种基于RGB-D视觉的在线果蔬识别系统及方法的具体实施方式。图1和图2是本实施方式中基于RGB-D视觉的在线果蔬识别系统的结构示意图及工作示意图；图3是本实施方式中实感深度相机的结构示意图；图4是本实施方式中点云处理模块及点云识别模块的结构示意图；图5是本实施方式中人机交互界面的示意图；图6是本实施方式中基于RGB-D视觉的在线果蔬识别系统的工作流程图。

如图1至图2所示，本实施方式中的基于RGB-D视觉的在线果蔬识别系统，包括在线载物平台1、实感深度相机2和识别控制系统3，识别控制系统3包括主控机及点云处理模块31、点云识别模块32、人机交互模块33;实感深度相机2与所述主控机连接。

优选地，点云处理模块31包括点云图像生成模块311、点云图像增强模块312、点云图像滤波模块313、点云图像配准模块314、点云图像分割模块315和点云图像发送模块316，如图4所示。

优选地，点云识别模块32包括点云图像匹配模块321和点云模型特征数据库322；点云模型特征数据库322包括点云颜色数据库、点云轮廓数据库和点云特征数据库，如图4所示。

优选地，人机交互模块33包括人机交互界面、交互信息收发器、用户输入器、状态反馈器、程序载入器和模拟调试器，所述交互信息收发器与用户输入器、状态反馈器、程序载入器、模拟调试器连接，如图5所示；

所述人机交互界面，获取用户6操作指令并发送至所述交互信息收发器，并从所述交互信息收发器获取系统当前执行状态和识别结果向用户展示；

所述用户输入器，捕获用户6输入的动静态分析指令、程序载入指令、开始识别指令，并通过操作指令发送器发送至所述点云识别模块；

所述状态反馈器，实时接收识别结果和系统执行状态，并显示至人机交互界面；

所述程序载入器，在用户6操作下，将既定程序识别参数载入所述识别控制系统；

所述模拟调试器，通过对载入的程序进行调试，采用所述识别控制系统点云模型特征数据库内的特征点云作为数据流参数，并将调试结果显示至人机交互界面。

优选地，在线载物平台1包括恒稳传输带装置11，述恒稳传输带装置11由识别控制系统3控制，如图1所示。

本实施例中，实感深度相机2设置有红外线发射器21、红外线传感器22、色彩传感器23和电源指示灯24，如图3所示，实感深度相机2采集目标物的RGB-D数据流信息。

优选地，还包括移动终端4，移动终端4与识别控制系统3通过WI-FI路由器5通讯连接，如图1所示。

本实施方式中的基于RGB-D视觉的在线果蔬识别方法，如图6所示，包括以下步骤：

S1，开启识别控制系统, 并载入程序进行模拟调试；所示识别控制系统模拟调试通过后，开启在线载物平台和实感深度相机；

S2，当在线载物平台1上的待检测果蔬12进入识别区域内时，实感深度相机2捕获当前视线范围内待检测果蔬12的三维点云图像信息，并将三维点云图像信息通过信号线传送给识别控制系统3的主控机；所述三维点云图像信息包括RGB-D数据流信息；

S3，识别控制系统3利用点云处理模块31对接收到的三维点云图像进行点云图像处理，从而得到可被识别的特征点云图像数据；

S4，识别控制系统3利用点云识别模块32对特征点云图像数据进行识别，并将识别结果和实时的系统执行状态发送至人机交互模块33的人机交互界面；

S5，当最终识别结果发送至人机交互界面后，识别控制系统3控制在线载物平台1继续输送，将下一待检测果蔬12送至识别区域内内，重复上述步骤S2-S4进行检测。

具体地，如图4和图6所示，所述S3包括以下步骤：

S31，所述三维点云图像通过点云图像生成模块311生成（X，Y，Z，R，G，B）点云数据；

S32，所述（X，Y，Z，R，G，B）点云数据通过点云图像增强模块312，采用基于相机坐标展示的方法，形成增强点云图像数据；

S33，所述增强点云图像数据通过点云图像滤波模块313，实现点云滤波降噪，形成去噪点云图像数据；

S34，所述去噪点云图像数据通过点云图像配准模块314，实现三维校准、自动旋转变换，形成配准点云图像数据；

S35，所述配准点云图像数据通过点云图像分割模块315实现点云数据的分割，去除环境背景干扰，形成可被识别的特征点云图像数据；

S36，点云图像发送模块316将所述特征点云图像数据传送至点云识别模块32。

具体地，如图4、图5和图6所示，所述S4中，点云识别模块32对所述特征点云图像数据进行特征提取，获得当前特征点云图像数据的轮廓数据、色彩数据、特征点数据，并在点云颜色数据库、点云轮廓数据库、点云特征数据库中进行检索相应特征信息进行匹配识别；当特征拟合度满足既定条件时，则将识别结果发送至人机交互界面；在识别过程中，系统通过执行状态发送器，向人机交互界面实时发送系统执行状态，系统执行状态的种类包括识别进行中、无匹配模型、多值匹配、二次识别、识别结束等。

优选地，如图6所示，所述S4中，点云识别模块32对所述特征点云图像数据进行特征提取前，先对所述特征点云图像进行动态分割以实现识别前的预处理。这一步可根据用户6的动静态分析指令取舍。

优选地，如图1和图6所示，所述S4中，识别控制系统3将最终识别结果，通过WI-FI信号传输的方式，发送至用户1的移动终端4。

本发明中，采用实感深度相机，对在线载物平台上的果蔬产品进行图像捕获，并采用点云处理、点云识别技术，有效解决了传统识别方式准确度低，易产生误差等问题。

本发明中，采用多重点云预处理手段，对捕获到的点云信息，进行多重预处理，使点云特征数据便于提取，提高识别精度，降低误识别率。

本发明中，设计的人机交互界面，可实现模拟调试、人机交互、程序执行可视化等功能，避免了传统识别系统难以二次开发，操作性差等问题，在程序执行前调用既定点云模型，验证程序可行性，降低了误识别率。

本发明中，采用共WI-FI信号传输的方式，将识别结果发送至用户移动端识别设备的显示界面，增强系统人机交互性，减少环境限制，提高了系统自动化。

本发明能够多维一体化地解决在线果蔬识别问题，并使其操作难度低，实用性强，能够在规定时间内高效准确地识别指定物品，并完成执行结果的输出任务。

上面结合附图对本发明进行了示例性的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。