一种基于机器视觉的辅料智能识别拆分入库方法及装置

技术领域

本公开涉及智能识别分拣领域，具体而言，涉及一种基于机器视觉的辅料智能识别拆分入库方法及装置。

背景技术

在卷烟生产过程中，生产辅料智能仓储是现代化生产企业的技术根基。生产辅料智能仓储是通过对辅料进行分装或混装模式装箱、称重后，经入库输送系统进入配方库存放。此生产辅料智能仓储基于卷烟原材料具有的品种单一、批量入库等特点，在入库环节可以通过条形码、二维码、RFID等标识技术，实现自动分类入库的仓储方式。但是，现有的生产辅料仓储方式往往因为品种数量繁多，相同品种不同厂家，同一厂家不同批次物料、包装形式及尺寸差异性较大，而且码放无规律、辅料更换频繁等因素，要实现分类分拣只能通过人工分拣搬运手段实现，而人工分拣存在生产效率低，劳动强度大，分拣误差率高以及自动统计困难等因素。同时在生产过程中，为了满足均质化、人性化、精细化的生产要求，更加加大了人工分拣的工作量。

因此，需要一种或多种方法解决上述问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种基于机器视觉的辅料智能识别拆分入库方法、装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开的一个方面，提供一种基于机器视觉的辅料智能识别拆分入库方法，包括：

基于多目视觉成像的三维模型快速生成算法，通过多目机器视觉对码垛辅料进行图像采集、激光扫描，生成码垛辅料三维模型。

基于多维度特征点提取算法，通过周边视频扫描对所述码垛辅料三维模型进行多维度特征提取，生成辅料特征点，基于所述辅料特征点，通过对单物料进行数字标签赋值，生成多维度模型。

基于逆工程人工智能算法，通过对所述多维度模型进行单物料拆分，生成单物料模型。

基于所述单物料模型，通过物流分拣模块对所述单物料进行抓取分拣，完成辅料的智能识别拆分入库。

在本公开的一种示例性实施例中，基于多目视觉成像的三维模型快速生成算法，通过辅料视觉对所述码垛辅料进行图像采集，生成辅料画面信息。

基于所述辅料画面信息，通过三维激光扫描模块对所述码垛辅料进行建模，生成码垛机器三维模型。

在本公开的一种示例性实施例中，基于人工辅助引导模式，通过人工视觉对码垛辅料进行图像采集，生成训练画面信息。

基于所述训练画面信息，通过三维激光扫描模块对所述码垛辅料进行建模，生成码垛训练三维模型。

通过对所述码垛机器三维模型、所述码垛训练三维模型进行复合，生成码垛辅料三维模型。

在本公开的一种示例性实施例中，基于多维度特征点提取算法，通过周边视频扫描对码垛辅料立体轮廓线、码垛辅料颜色、码垛辅料标签、码垛辅料条形码、码垛辅料二维码、码垛辅料生产批号进行多维度特征提取，生成辅料特征点。

基于人工智能自学习辅料验证算法，通过对所述辅料特征点进行修正，生成多维度特征值。

基于所述多维度特征值，通过对所述码垛辅料三维模型进行单物料数字标签赋值，生成多维度模型。

在本公开的一种示例性实施例中，基于人工智能自学习算法，通过对所述码垛训练三维模型进行信息标定，生成训练集。

基于人工智能自学习算法，通过对所述训练集进行预设障碍场景识别，生成测试集。

在本公开的一种示例性实施例中，基于人工智能算法、逆工程算法，通过所述测试集对模型赋值算法进行开发，生成码垛物料模型自动拆分算法。

基于所述码垛物料模型自动拆分算法，通过对所述多维度模型进行拆分，生成单物料模型。

在本公开的一种示例性实施例中，基于所述单物料模型，通过对码垛辅料种类、码垛辅料生成厂商、码垛辅料生产批次进行识别，生成码垛物料信息。

基于预设入库任务，所述物流分拣模块通过所述码垛物料信息对预设单物料位置进行锁定，生成单物料位置信息。

基于所述单物料位置信息，伺服模块通过机械臂对单物料进行抓取分拣，完成码垛辅料的智能识别拆分入库。

在本公开的一个方面，提供一种基于机器视觉的辅料智能识别拆分入库装置，包括：

图像采集模块，用于通过多目机器视觉对码垛辅料进行图像采集，生成码垛辅料三维模型。

特征提取模块，用于通过周边视频扫描对所述码垛辅料三维模型进行多维度特征赋值，生成多维度模型。

物料拆分模块，用于通过对所述多维度模型进行单物料拆分，生成单物料模型。

抓取分拣模块，用于对单物料进行抓取分拣，完成辅料的智能识别拆分入库。

在本公开的一个方面，提供一种电子设备，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的方法。

在本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的方法。

本公开的示例性实施例中的一种基于机器视觉的辅料智能识别拆分入库方法及装置。其中，该方法包括：基于多目视觉成像的三维模型快速生成算法，通过多目机器视觉对码垛辅料进行图像采集、激光扫描，生成码垛辅料三维模型；基于多维度特征点提取算法，通过周边视频扫描对所述码垛辅料三维模型进行多维度特征提取，生成辅料特征点，基于所述辅料特征点，通过对单物料进行数字标签赋值，生成多维度模型；基于逆工程人工智能算法，通过对所述多维度模型进行单物料拆分，生成单物料模型；基于所述单物料模型，通过物流分拣模块对所述单物料进行抓取分拣，完成辅料的智能识别拆分入库。一方面，本公开通过对码放辅料的精准识别和辨认，实现码放辅料的单体拆分解析，另一方面，本公开基于对辅料的单体拆分解析，通过物流分拣模块完成辅料的精准抓取分拣和智能识别入库。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

通过参照附图来详细描述其示例实施例，本公开的上述和其它特征及优点将变得更加明显。

图1示出了根据本公开一示例性实施例的一种基于机器视觉的辅料智能识别拆分入库方法的流程图；

图2示出了根据本公开一示例性实施例的一种基于机器视觉的辅料智能识别拆分入库方法的应用场景示意图；

图3示出了根据本公开一示例性实施例的一种基于机器视觉的辅料智能识别拆分入库装置的示意框图；

图4示出了根据本公开一示例性实施例的一种基于机器视觉的辅料智能识别拆分入库装置的模型主视图；

图5示出了根据本公开一示例性实施例的一种基于机器视觉的辅料智能识别拆分入库装置的模型俯视图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

在本示例实施例中，首先提供了一种基于机器视觉的辅料智能识别拆分入库方法；参考图1中所示，该一种基于机器视觉的辅料智能识别拆分入库方法可以包括以下步骤：

步骤S110，基于多目视觉成像的三维模型快速生成算法，通过多目机器视觉对码垛辅料进行图像采集、激光扫描，生成码垛辅料三维模型；

步骤S120，基于多维度特征点提取算法，通过周边视频扫描对所述码垛辅料三维模型进行多维度特征提取，生成辅料特征点，基于所述辅料特征点，通过对单物料进行数字标签赋值，生成多维度模型；

步骤S130，基于逆工程人工智能算法，通过对所述多维度模型进行单物料拆分，生成单物料模型；

步骤S140，基于所述单物料模型，通过物流分拣模块对所述单物料进行抓取分拣，完成辅料的智能识别拆分入库。

本公开的示例性实施例中的一种基于机器视觉的辅料智能识别拆分入库方法及装置。其中，该方法包括：基于多目视觉成像的三维模型快速生成算法，通过多目机器视觉对码垛辅料进行图像采集、激光扫描，生成码垛辅料三维模型；基于多维度特征点提取算法，通过周边视频扫描对所述码垛辅料三维模型进行多维度特征提取，生成辅料特征点，基于所述辅料特征点，通过对单物料进行数字标签赋值，生成多维度模型；基于逆工程人工智能算法，通过对所述多维度模型进行单物料拆分，生成单物料模型；基于所述单物料模型，通过物流分拣模块对所述单物料进行抓取分拣，完成辅料的智能识别拆分入库。一方面，本公开通过对码放辅料的精准识别和辨认，实现码放辅料的单体拆分解析，另一方面，本公开基于对辅料的单体拆分解析，通过物流分拣模块完成辅料的精准抓取分拣和智能识别入库。

下面，将对本示例实施例中的一种基于机器视觉的辅料智能识别拆分入库方法进行进一步的说明。

在模版配置步骤S110中，可以基于多目视觉成像的三维模型快速生成算法，通过多目机器视觉对码垛辅料进行图像采集、激光扫描，生成码垛辅料三维模型。

在本示例的实施例中，如图2-图5所示，在物流辅料装配到托盘上以后，由物流工作传送带送往伺服模块的分拣机械臂(分拣装置)之间的路径上划分出视觉捕捉三维扫描区域，通过在所述视觉捕捉三维扫描区域中设置的辅料视觉(一般以三角形的分布形式设立三根设备支架立杆，再在其中一根设备支架立杆上设置一根横杆，所述横杆延伸至辅料托盘的正上方。每根设备立杆上在正视入库辅料的高度位置安装一台高清智能摄像机、横杆上在俯视入库辅料的水平位置也安装一台高清智能摄像机，作为辅料图像信息捕捉的辅料视觉)对托盘上的码垛辅料进行图像采集，生成辅料的画面信息。所述方法通过四台高清摄像机的无死角拍摄，可以完美捕捉到入库辅料的全部视觉画面，为下一步的三维建模做好准备。

同时，通过在每根设备立杆、横杆上安装的三维激光扫描模块，对辅料托盘上各种辅料的位置信息进行三维扫描，在基于所述辅料画面信息的前提下(即，画面中的物品特征)，通过多目视觉成像的三维模型快速生成算法进行3D建模，同步构建出码垛机器的三维模型。所述方法通过识别码垛辅料的形状和特征标识，并将其进行全面还原，可识别出立体空间状态内的所有辅料的形状特征，并可以根据辅料特征对辅料信息进行一个初步的研判。

在本示例的实施例中，如图2-图5所示基于人工辅助引导模式，通过人工视觉对码垛辅料进行图像采集，生成训练画面信息；基于所述训练画面信息，通过三维激光扫描模块对所述码垛辅料进行建模，生成码垛训练三维模型。即，在本示例构建初期可以通过人工辅助引导的方式对码垛辅料图像进行录入采集和建模，生成码垛训练三维模型。以方便后续的人工智能进行自学习。

最后，通过对所述码垛机器三维模型、所述码垛训练三维模型进行复合，生成码垛辅料三维模型。

在模版配置步骤S120中，可以基于多维度特征点提取算法，通过周边视频扫描对所述码垛辅料三维模型进行多维度特征提取，生成辅料特征点，基于所述辅料特征点，通过对单物料进行数字标签赋值，生成多维度模型。

在本示例的实施例中，如图2所示，基于周边视频扫描技术的多维度特征点提取算法，通过周边视频扫描对码垛辅料立体轮廓线、码垛辅料颜色、码垛辅料标签、码垛辅料条形码、码垛辅料二维码、码垛辅料生产批号等特征值进行多维度特征提取，生成辅料特征点。

之后，基于人工智能自学习辅料验证算法，在码垛训练三维模型上通过对所述辅料特征点进行数字标签赋值，完成对所述辅料特征点的修正，生成多维度特征值。

最后，基于所述多维度特征值，在所述码垛机器三维模型上进行多维度赋值，将提取修正后的多维度特征值分别赋值到模型中的不同立体轮廓内，生成多维度模型。本示例通过AI自学习能对不同码放辅料进行反复的验证，以不断修正提取误差和赋值误差。

在模版配置步骤S130中，可以基于逆工程人工智能算法，通过对所述多维度模型进行单物料拆分，生成单物料模型。

在本示例的实施例中，如图2所示，基于人工智能自学习算法，通过人工采集视觉图片信息并对所述码垛训练三维模型进行信息标定，生成训练集。并通过人为的设置障碍场景对所述训练集进行场景识别训练和测试，生成测试集。

本示例可以通过人为的不断丰富训练集资料和设置障碍场景来提高机器自学习系统对目标物识别的准确率，提高系统的智能程度，降低辅料信息识别的误差率。

在本示例的实施例中，如图2所示，首先，基于人工智能算法、逆工程算法，通过所述测试集对模型赋值算法进行开发，实现对物料模型自动拆分算法的改进，生成码垛物料模型自动拆分算法。

之后，基于所述码垛物料模型自动拆分算法，能够快速将多维度模型自动拆分，实现机器识别对码垛辅料的单物料拆分，生成单物料模型。

在模版配置步骤S140中，可以基于所述单物料模型，通过物流分拣模块对所述单物料进行抓取分拣，完成辅料的智能识别拆分入库。

在本示例的实施例中，如图2所示，基于所述单物料模型，通过物流分拣模块和伺服模块的联动，对码垛辅料的颜色、码垛辅料的形状、码垛辅料的条形码等特征进行智能识别，生成码垛辅料种类、码垛辅料生成厂商、码垛辅料生产批次等码垛物料信息。将所述码垛物料信息上传到物流控制中心平台进行归档。

同时，物流控制中心平台基于预设的入库任务对物流分拣模块下发入库任务指令，所述物流分拣模块基于所述码垛物料信息，通过对预设单物料的位置进行锁定，生成单物料位置信息。

最后，伺服模块基于所述单物料位置信息，通过控制机械臂对单物料进行精准的抓取分拣，完成码垛辅料的智能识别拆分入库。

需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

此外，在本示例实施例中，还提供了一种基于机器视觉的辅料智能识别拆分入库装置。参照图3所示，该一种基于机器视觉的辅料智能识别拆分入库装置300可以包括：图像采集模块310、特征提取模块320物料拆分模块330以及抓取分拣模块340。其中：

图像采集模块310，用于通过多目机器视觉对码垛辅料进行图像采集，生成码垛辅料三维模型；

特征提取模块320，用于通过周边视频扫描对所述码垛辅料三维模型进行多维度特征提取，生成辅料特征点，用于通过对单物料进行数字标签赋值，生成多维度模型；

物料拆分模块330，用于通过对所述多维度模型进行单物料拆分，生成单物料模型；

抓取分拣模块340，用于对单物料进行抓取分拣，完成辅料的智能识别拆分入库。

上述中各一种基于机器视觉的辅料智能识别拆分入库装置模块的具体细节已经在对应的一种基于机器视觉的辅料智能识别拆分入库方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了一种基于机器视觉的辅料智能识别拆分入库装置300的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。