一种多模态信息融合的集装箱类型识别方法及系统

技术领域

本发明涉及图像识别技术领域，特别涉及一种多模态信息融合的集装箱类型识别方法及系统。

背景技术

在港口自动化改造进程中，集装箱类型的自动化识别主要采用机器视觉的方法，通过识别集装箱箱面上存在的箱型码来区分集装箱的类型。尽管该类方法对大部分场景能完成分类任务，但是在面对一些特殊场景时，如集装箱箱面由于污损、遮挡或其他等原因导致箱型码区域无法被正确辨识时，将导致该类方法失效。

发明内容

本发明的目的在于提一种基于机器视觉与多模态信息融合的集装箱类型识别方法，用以解决在特殊场景下集装箱类型识别困难的问题。

鉴于此，本发明的方案如下：

一种多模态信息融合的集装箱类型识别方法，包括以下步骤：

S1.构建集装箱信息的编码表，采集集装箱数据并进行视觉感知，获取感知信息；

S2.将感知所得信息在编码表中检索，获得的集装箱类型；

S3.对S2中无法被检索或感知错误的结果进行特征编码与特征融合，获得融合编码；

S4. 以融合编码为输入，利用深度神经网络模型对集装箱类型进行预测。

进一步地，所述编码表基于集装箱的数字序列，颜色外观以及几何形状信息；所述集装箱对应的编码唯一。

进一步地，所述集装箱数据的采集方法包括数字图像采集和三维扫描数据采集。

进一步地，所述视觉感知包含对集装箱数字序列信息感知、颜色外观的感知以及几何形状的感知。优选地，所述数字序列信息感知和颜色外观的感知均以集装箱的彩色数字图像为输入，对其集装箱的箱号、箱型码、颜色进行识别。优选地，所述几何形状的感知利用三维传感器获取集装箱的三维点云信息，对集装箱的高度、长度、表面形状进行测量与识别。

进一步地，所述特征编码采用词嵌入以及独热编码。

进一步地，所述特征融合对特征编码的结果进行拼接，组成融合特征。

本发明另一个目的在于提供一种多模态信息融合的集装箱类型识别系统，包括视觉感知模块、结果检查模块、信息融合模块以及集装箱类型预测模块；其中：

所述视觉感知模块对图像中的集装箱相关内容进行感知和识别；

所述结果检查模块通过将视觉感知模块的集装箱抽象描述结果进行编码并与本地集装箱信息编码表进行检索与比对，对感知结果的正确与否进行判定；

所述信息融合模块对视觉感知模块所感知的内容进行分析与信息融合，得到集装箱的信息；

所述集装箱类型预测模块对信息融合模块的结果进行推理与预测，输出集装箱的类型。

进一步地，所述视觉感知模块包括集装箱数字序列信息感知子模块、集装箱颜色外观感知子模块以及集装箱几何形状的感知子模块；所述信息融合模块输出集装箱的信息包括集装箱的数字序列，颜色外观以及几何形状。

相对于现有技术，本发明的有益效果为：

1. 本发明提一种利用集装箱多模态信息进行融合的集装箱类型识别方法，可充分利用集装箱各个模态下的语义信息，各模态信息相互依赖且相互补充，可更加全面的对集装箱进行描述，具有更好的鲁棒性和准确性。

2. 本发明构建了一个关于集装箱信息的信息的编码表，通过利用信息的编码表，可以对本发明所感知的结果进行错误检查，从而增加方法的健壮性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明一种基于机器视觉与多模态信息融合的集装箱类型识别方法总体流程图。

图2为本发明视觉感知流程图。

图3为本发明集装箱信息融合流程图。

图4为本发明融合成一个1570维的特征向量的示意图。

具体实施方式

为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。

本发明提供一种的集装箱类型识别系统主要包括：“视觉感知模块”，“结果检查模块”、“信息融合模块”以及“集装箱类型预测模块”，其中：

“视觉感知模块”对图像中的集装箱相关内容进行感知和识别，包括集装箱数字序列信息感知子模块、集装箱颜色外观感知子模块以及集装箱几何形状的感知子模块；

“结果检查模块”通过将“视觉感知模块”的集装箱抽象描述结果进行编码并与本地集装箱信息编码表进行检索与比对，对感知结果的正确与否进行判定；

“信息融合模块”对“视觉感知模块”所感知的内容进行分析与信息融合，从而得到关于集装箱的抽象描述，包括其数字序列描述（集装箱箱号、集装箱箱型码）、颜色外观描述（集装箱颜色），几何形状描述（集装箱高度、集装箱长度、表面形状）；“集装箱类型预测模块”对“信息融合模块”的结果进行推理与预测，输出集装箱的类型。

基于上述集装箱类型识别系统，本发明的多模态信息融合的集装箱类型识别方法步骤为：

步骤1，构建一个关于集装箱信息的编码表T0；所述信息的编码表对全球所有现役集装箱信息进行编码，包括对集装箱所有者，颜色、重量、长度、高度、箱号、箱型码等信息进行编码。各集装箱的编码具有唯一性，且符合一定的编码规则，存储于所述编码表T0中。

步骤2，对集装箱数据进行采集，所述数据采集包括数字图像采集和三维扫描数据采集；

步骤3，对采集的数据进行视觉感知；本发明所述“视觉感知模块”模块包含对集装箱数字序列信息感知、颜色外观的感知以及几何形状的感知三部分。其中数字序列信息感知和颜色外观的感知均以集装箱的彩色数字图像为输入，对其集装箱箱号、集装箱箱型码、集装箱颜色进行识别。几何形状的感知利用三维传感器获取集装箱的三维点云信息，从而对集装箱高度、集装箱长度、表面形状进行测量与识别。

所述对集装箱数字序列信息感知，采用基于机器视觉的文本检测与识别方法，可对集装箱上的集装箱箱号与箱型码文本进行检测识别。

所述对集装箱颜色外观的感知，采用基于机器视觉的图像分类方法，对集装箱图像进行颜色分类，可以准确识别所感知集装箱的颜色。

所述对集装箱几何形状的感知，采用基于机器视觉的三维点云处理方法，对所采集的三维点云数据进行集装箱箱门、箱面区域进行分割，并对其长度、高度进行测量。所述集装箱表面形状识别，采用模板匹配的方法，将所采集的集装箱点云数据与对本方法预先存储的各种样式的集装箱类型模板进行匹配，挑选出最相似的形状类型。

步骤4，对感知的结果进行检查，本发明以所述“视觉感知模块”的结果为输入，将其进行编码并将其在本发明所述编码表T0中进行检索，对比检索的结果与“视觉感知模块”结果的差异。对于一个现役合法的集装箱，其编码结果具有唯一性。若当前结果无法被检索，则说明感知结果存在一定的错误，或者说明该集装箱未被收录至当前编码表中。对于上述感知结果存在部分错误的或者无法在信息编码表T0中检索的集装箱，需要通过本发明所述的多模态信息融合与感知模块进行预测。

步骤5，对感知的结果进行信息融合，本发明“信息融合模块”抽取“视觉感知模块”的感知结果进行特征编码与特征融合。

所述特征编码主要采用词嵌入（Word2vec）技术以及独热编码（one hotencoding）两种。其中集装箱箱号、箱型码、集装箱颜色、采用Word2vec技术转化为512维度的词向量;集装箱外型则采用独热编码转化为32维的向量，分别对应32种类型的形状;高度和长度则将对应的数值归一化，组合成一个2维的张量。对于受限于感知模块的性能瓶颈，或者由于场景缺陷导致的部分感知结果无法被正确识别的情况，则采用0进行相应填充。经过特征编码后，可以保留各感知结果的独有信息，也便于将多模态信息进行组合。

所述特征融合采用特征拼接的方式，将经过特征编码的结果进行拼接，组合成一个512+512+512+32+2 = 1570维的融合特征。

如图4所示，对于感知信息为集装箱号：SITU2854623,箱型码：22G1,集装箱颜色：蓝色 ，高度：2591mm,长度：6096 mm,表面形状：普通集装箱外形。将融合成一个1570维的特征向量。该特征具有具有更丰富的集装箱的语义信息，更利于对集装箱类型的预测。

本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。