舾装件编码采集方法及装置、存储介质和终端

技术领域

本发明属船舶技术领域，涉及一种舾装件编码采集方法，特别是涉及一种舾装件编码采集方法及装置、存储介质和终端。

背景技术

随着现代造船模式的演进，生产过程以中间产品和零件为核心，因此在船体零件的切割、加工、装配、焊接和物流方面，对零件属性信息的准确识别变得至关重要。船舶零件的来源，包括船厂内制造和外部供应商提供的成品舾装件两方面。通常外部供应的零件由船厂工作人员手写编码进行标记，并在流程中依赖人工目视识别和采集这些编码。对于大批量的舾装件来讲，人工识别和录入信息既费时又容易出错，这制约了编码信息采集的效率和数据的准确性。

深度学习神经网络技术的飞速发展为高效准确的采集舾装件编码提供了可能性。然而，在实际产业应用中，神经网络模型的落地应用还存在诸多问题。其一，难以获取足够数量的高质量数据，制约模型效果。高质量数据集的标注不仅需要精准标出目标的位置和特征，还需要兼顾多样性，包括采集不同光照条件、各种角度下和包含噪声、遮挡和变形等复杂现实场景下的数据，最后还需要确保不同类别的数据在数据集中均衡存在，而许多产业线上的员工并不熟悉如何才能标注出符合要求的图像数据，这导致采集足够数量的数据变得非常困难；其二，模型训练周期长，落地应用缓慢。无论是标注人员的培训还是数据的采集，都是繁琐且具有挑战性的任务，耗时耗力，再者，神经网络模型的效果依赖大量数据下进行多次调优，这无疑增加了模型训练的时间成本，许多时候模型从研发到落地应用周期需要半年甚至更久；其三，识别模式单一，实用性不足。现有神经网络训练完成后，在识别阶段通常仅仅是简单的进行识别，并未对识别的结果进行进一步的判断以保障准确性，也没有基于业务逻辑对识别模式进行改进以增强实用性。

因此在舾装件的编码采集业务上，我们需要一种方法来快速部署应用神经网络模型，以克服这些挑战，这对船舶制造的智能化和车间信息化至关重要。

发明内容

本发明的目的在于提供一种舾装件编码采集方法及装置、存储介质和终端，用于解决现有技术中识别模式单一、数据集获取困难和落地应用缓慢的技术问题。

第一方面，本发明提供一种舾装件编码采集方法，包括：

获取待入库舾装件的编码图片；

使用舾装件编码识别神经网络模型对所述编码图片进行识别，获取编码识别结果；

判断当前所述编码识别结果是否满足编码特征约束条件，若是则将当前所述编码识别结果作为待匹配结果，否则对当前所述编码图片进行预设处理，并对预设处理后的所述编码图片重新进行识别，以获取新的编码识别结果；

将所述待匹配结果与编码清单中的编码进行匹配，获取匹配结果，若所述匹配结果为匹配成功，则将所述待匹配结果作为所述待入库舾装件的最终编码结果存储于舾装件数据库中，否则对当前所述编码图片进行预设处理，并对预设处理后的所述编码图片重新进行识别，以获取新的编码识别结果。

于本发明的一实施例中，所述编码特征约束条件包括：编码识别结果的字符长度等于预设长度、编码识别结果中的每个字符都属于预设字符集和编码识别结果中特定位置处的字符为预设特定字符中的至少一个。

于本发明的一实施例中，对当前所述编码图片进行预设处理，并对预设处理后的所述编码图片重新进行识别，以获取新的编码识别结果包括：

判断对所述编码图片的识别次数是否大于预设次数阈值，若是则将所述待入库舾装件的最初编码图片添加至迭代数据集中，否则对当前所述编码图片进行预设处理，并对预设处理后的所述编码图片重新进行识别，以获取对应的编码识别结果；

其中，所述迭代数据集用于定期对所述舾装件编码识别神经网络模型进行训练。

于本发明的一实施例中，所述预设处理包括重新采集图片、图像超分辨率、图像去噪中的至少一个。

于本发明的一实施例中，所述舾装件编码识别神经网络模型的获取方式包括：基于舾装件编码图像训练数据集对字符识别基线模型进行训练，获取舾装件编码识别神经网络模型。

于本发明的一实施例中，将所述待匹配结果与编码清单中编码进行匹配，获取匹配结果包括：

提取所述待匹配结果的船段信息，并判断编码清单中是否存在船段信息与所述待匹配结果的船段信息相同的编码，若是则从所述编码清单中筛选出所有与所述待匹配结果的船段信息相同的编码，形成临时编码组，否则设定匹配结果为匹配失败；

提取所述待匹配结果的零件信息，并分别计算所述待匹配结果的零件信息与所述临时编码组中各编码零件信息的相似度，以获取相似度结果集合；

判断所述相似度结果集合中最大相似度是否唯一且大于预设相似度阈值，若是则设定匹配结果为匹配成功，否则设定匹配结果为匹配失败；

其中，所述船段信息包括船号信息、总段信息和分段信息。

于本发明的一实施例中，所述舾装件编码采集方法运行于AI推理芯片上。

第二方面，本发明还提供一种舾装件编码采集装置，包括图像采集模块、编码识别模块、约束判断模块和入库匹配模块：

所述图像采集模块，用于获取待入库舾装件的编码图片；

所述编码识别模块，用于使用舾装件编码识别神经网络模型对所述编码图片进行识别，获取编码识别结果；

所述约束判别模块，用于判断当前所述编码识别结果是否满足编码特征约束条件，若是则将当前所述编码识别结果作为待匹配结果，否则对当前所述编码图片进行预设处理，并对预设处理后的所述编码图片重新进行识别，以获取新的编码识别结果；

所述入库匹配模块，用于将所述待匹配结果与编码清单中的编码进行匹配，获取匹配结果，若所述匹配结果为匹配成功，则将所述待匹配结果作为所述待入库舾装件的最终编码结果存储于舾装件数据库中，否则对当前所述编码图片进行预设处理，并对预设处理后的所述编码图片重新进行识别，以获取新的编码识别结果。

第三方面，本发明还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的舾装件编码采集方法。

第四方面，本发明还提供一种终端，包括处理器以及存储器，所述存储器与所述处理器之间通信连接；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上所述的舾装件编码采集方法。

如上所述，本发明所述的舾装件编码采集方法、装置、存储介质与终端，具有以下有益效果：

1、本发明通过神经网络模型进行识别，实现了对舾装件编码信息的高效采集；

2、本发明以编码特征为约束，将舾装件业务入库匹配逻辑融合到神经网络模型的识别过程中，对不满足约束和入库匹配原则的图片进行预设处理及重新识别，有效保障了精度，提高了实用性；

3、本发明利用基线模型加速模型落地应用，相比于直接训练神经网络模型所需采集的业务数据更少，节省了数据标注成本和训练成本，降低了模型应用落地的数据采集难度；

4、本发明的舾装件编码采集方法运行于AI推理芯片上，使得识别速度更快。

附图说明

图1示出了本发明实施例所述的舾装件编码采集方法的流程示意图；

图2示出了本发明实施例所述的舾装件编码采集方法中编码匹配的流程示意图；

图3示出了本发明实施例所述的舾装件编码采集装置的结构示意图；

图4示出了本发明实施例所述的终端的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

以下将详细阐述本实施例的舾装件编码采集方法、装置、存储介质与终端的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的舾装件编码采集方法、装置、存储介质与终端。

为了解决现有技术中存在的上述技术问题，本发明实施例提供了一种舾装件编码采集方法。

图1示出了本发明实施例一舾装件编码采集方法的流程示意图，参考图1所示，本发明实施例舾装件编码采集方法主要包括步骤S100～S400。

步骤S100：获取待入库舾装件的编码图片。

具体地，船厂外来成品舾装件上通常会有手工标注的编码信息，不同舾装件的编码信息也不相同，可采用工业摄像头对舾装件上的编码进行拍摄以获取编码图片。为了获得更广的拍摄视角，还可以使用双目摄像头对舾装件编码图片进行采集，这也使得摄像头能提供景深和空间信息，以适应更多样化的工业场景。另外，还可以根据具体应用场景进行其它附加功能的添加配置，例如，当环境光亮不足的情况下提供照明以保证拍摄出的照片足够清晰便于识别，当舾装件摆放位置无法提供合适的拍摄角度时使用可伸缩云台将摄像头顶升到合适的高度进行图像采集。

步骤S200：使用舾装件编码识别神经网络模型对编码图片进行识别，获取编码识别结果。

具体地，先调研和选取通用领域的字符识别基线模型，此时的基线模型本身已经使用通用领域的数据集进行了训练，产生有模型参数文件；再采集舾装件编码图像进行标注并构建舾装件编码图像训练数据集；最后使用舾装件编码图像训练数据集对字符识别基线模型进行训练，更新模型参数文件和优化模型，即可得到舾装件编码识别神经网络模型。上述方法由于利用了字符识别基线模型而基线模型本身已经使用通用领域数据集进行了训练，所以相比于传统的神经网络模型来说，无需标注大量的舾装件数据，只需采集少量的舾装件编码图像进行训练即可达到较好的识别效果。

可选地，舾装件编码采集方法运行于AI推理芯片上。AI推理芯片是专门设计用于加速深度学习模型推理的硬件，这些芯片采用了高度优化的架构，专注于神经网络的前向传播操作，与通用的CPU和GPU相比，AI推理芯片能够在舾装件编码识别应用中提供更高的性能和能效。例如，可选择FPGA(Field Programmable Gate Array)，即现场可编程门阵列，因其较低的能效比，以及可灵活配置硬件结构的特性，因此更佳适用于工业领域边缘AI的部署。优选地，AI推理芯片型号为华为Atlas200。

步骤S300：判断当前编码识别结果是否满足编码特征约束条件，若是则将当前编码识别结果作为待匹配结果，否则对当前编码图片进行预设处理，并对预设处理后的编码图片重新返回步骤S200进行识别，以获取新的编码识别结果。

其中，编码特征约束条件包括编码识别结果的字符长度等于预设长度、编码识别结果中的每个字符都属于预设字符集和编码识别结果中特定位置处的字符为预设特定字符中的至少一个。预设长度为舾装件编码的字符个数n；且n个字符中的每一个字符都应属于预设字符集，预设字符集通常包括部分英文字母、数字和特殊字符，如果识别出的结果中出现了某个字符并不属于预设字符集，此时识别的结果应被判定为不符合编码特征约束条件；另外，n个舾装件编码字符中，不同位置的字符分别表示不同的特定含义，因此各自类型也不相同，例如，前3个字符为字母，如果识别的结果的前3个位置出现了数字字符，也应被判定为不符合编码特征约束条件。

可选地，预设处理包括重新采集图片、图像超分辨率、图像去噪中的至少一个。在实际生产环境中获取舾装件编码图片，常见的影响识别效果的原因是现场拍摄的图像不全、图片中编码重影、图片中有其他噪声等，而重新采集图片、图像超分辨率、图像去噪中可以相应的解决上述图片数据问题。对识别不满足约束条件的编码图片进行预设处理后再重新识别，可以弥补由于现场图片采集错误造成的识别不准的问题，从而保障编码采集的准确率。

具体地，对编码图片进行预设处理，并对预设处理后的编码图片重新进行识别，以获取对应的编码识别结果还包括：判断同一待入库舾装件所对应的所有编码图片的总识别次数是否大于预设次数阈值，若大于预设次数阈值，也即多次预设处理图片仍然无法准确识别，则说明舾装件神经网络模型缺乏对该图片中编码特征的学习，应停止对该编码图片进行预设处理及重新识别，同时将基于待入库舾装件最初获取的编码图片添加至迭代数据集中并进行标注。迭代数据集用于定期对舾装件编码识别神经网络模型进行训练，通过这一方式既保证了舾装件的编码采集效率，同时还使得模型可以升级迭代以增强识别能力。若当前识别次数未超出预设次数阈值，则对当前编码图片进行预设处理，并返回步骤S200对预设处理后的编码图片重新进行识别，以获取新的编码识别结果。

步骤S400：将待匹配结果与编码清单中的编码进行匹配，获取匹配结果，若匹配结果为匹配成功，则将待匹配结果作为待入库舾装件的最终编码结果存储于舾装件数据库中，否则对当前编码图片进行预设处理，并对预设处理后的编码图片重新进行识别，以获取新的编码识别结果。

可选地，预设处理包括重新采集图片、图像超分辨率、图像去噪中的至少一个。在实际生产环境中获取舾装件编码图片，常见的影响识别效果的原因是现场拍摄的图像不全、图片中编码重影、图片中有其他噪声等，而重新采集图片、图像超分辨率、图像去噪中可以相应的解决上述图片数据问题。对识别不满足匹配条件的进行预设处理后再重新识别，可以弥补由于现场图片采集错误导致最终匹配失败的问题，从而保障编码采集的准确率。

具体地，对编码图片进行预设处理，并对预设处理后的编码图片重新进行识别，以获取对应的编码识别结果还包括：判断同一待入库舾装件所对应的所有编码图片的总识别次数是否大于预设次数阈值，若大于预设次数阈值，也即多次预设处理图片仍然无法准确识别，则说明舾装件神经网络模型缺乏对该图片中编码特征的学习，应停止对该编码图片进行预设处理及重新识别，同时将基于待入库舾装件最初获取的编码图片添加至迭代数据集中并进行标注。迭代数据集用于定期对舾装件编码识别神经网络模型进行训练，通过这一方式保证了工业场景下落地应用的编码采集效率，同时还使得模型可以升级迭代以增强识别能力。若当前识别次数未超出预设次数阈值，则对当前编码图片进行预设处理，并返回步骤S200对预设处理后的编码图片重新进行识别，以获取新的编码识别结果。

图2示出了本发明实施例一舾装件编码采集方法中编码匹配的流程示意图，参考图2所示，编码匹配主要包括步骤S401～S403。

步骤S401：提取待匹配结果的船段信息，并判断编码清单中是否存在船段信息与待匹配结果的船段信息相同的编码，若是则从编码清单中筛选出所有与待匹配结果的船段信息相同的编码，形成临时编码组，否则设定匹配结果为匹配失败。

具体地，舾装件编码的组成通常为船段信息和零件信息，其中船段信息包括船号信息、总段信息和分段信息，零件信息包括长度、直径、工艺处理和编号字段。由于不同的编码中，有可能船段信息不同但零件信息完全相同，因此首先需要对船段信息进行比对，以确认船段信息的准确性，同时船段信息字符个数小于整体编码长度，预先对船段信息的字符部分是否正确进行判断，可以提高编码匹配效率。可选地，将编码清单中的编码条目按照船号、总段和分段字段依次降序排列。

步骤S402：提取待匹配结果的零件信息，并分别计算待匹配结果的零件信息与临时编码组中各编码零件信息的相似度，以获取相似度结果集合。

可选地，相似度计算的算法使用编辑距离算法，编辑距离算法的优势在于速度较快，可以有效保障编码匹配的效率。

步骤S403：判断相似度结果集合中最大相似度是否唯一且大于预设相似度阈值，若是则设定匹配结果为匹配成功，否则设定匹配结果为匹配失败。

需要说明的是，相似度阈值可基于实际情况设置为50％-100％之间的任一合理数值，本实施例在此不对其进行固定限制。

本发明实施例的舾装件编码采集方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。

本发明以编码特征为约束，将舾装件业务入库匹配逻辑融合到神经网络模型的识别过程中，对不满足约束和入库匹配原则的图片进行预设处理及重新识别，有效保障了精度，提高了实用性，同时利用基线模型加速模型应用，节省了数据标注和训练成本，模型训练时间和投入应用的时间短。因此加速了神经网络模型在舾装件编码采集上的落地应用，并且本发明的舾装件编码采集方法在AI推理芯片上运行，提高了模型识别速度，实现了对舾装件编码信息的高效采集。

为了解决现有技术中存在的上述技术问题，本发明实施例还提供了一种舾装件编码采集装置。

图3示出了本发明实施例二舾装件编码采集装置的结构示意图，参考图3所示，本发明实施例舾装件编码采集装置包括图像采集模块、编码识别模块、约束判断模块和入库匹配模块。

图像采集模块，用于获取待入库舾装件的编码图片。

编码识别模块，用于使用舾装件编码识别神经网络模型对编码图片进行识别，获取编码识别结果。

约束判别模块，用于判断当前编码识别结果是否满足编码特征约束条件，若是则将当前编码识别结果作为待匹配结果，否则对当前编码图片进行预设处理，并对预设处理后的编码图片重新进行识别，以获取新的编码识别结果。

入库匹配模块，用于将待匹配结果与编码清单中的编码进行匹配，获取匹配结果，若匹配结果为匹配成功，则将待匹配结果作为待入库舾装件的最终编码结果存储于舾装件数据库中，否则对当前编码图片进行预设处理，并对预设处理后的编码图片重新进行识别，以获取新的编码识别结果。

可选地，还供电模块、存储模块及附加功能模块。编码识别模块、约束判别模块和入库匹配模块可集成在微型电脑主板上运行软件程序，微型电脑主板连接电容触摸屏，用户通过手机点击即可完成操作，减少对键盘和鼠标等外设的需求，而供电模块、存储模块、附加功能模块分别与微型电脑主板之间以可拆卸连接结构机械连接。其中，可拆卸连接结构包括卡扣连接、螺纹连接和磁吸连接，附加功能模块中包含有照明模块和可伸缩云台模块。通过以上多个模块之间的组合，可以使得不同模块组件便于拆卸、维修和组装携带，从而满足不同工作场景下的使用。

本发明实施例提供的舾装件编码采集装置，以编码特征为约束，将舾装件业务入库匹配逻辑融合到神经网络模型的识别过程中，对不满足约束和入库匹配原则的图片进行预设处理及重新识别，有效保障了精度，提高了实用性，同时利用基线模型加速模型应用，节省了数据标注和训练成本，模型训练时间和投入应用的时间短。因此加速了神经网络模型在舾装件编码采集上的落地应用，实现了对舾装件编码信息的高效采集

为了解决现有技术中存在的上述技术问题，本发明实施例还提供了一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现实施例一中舾装件编码采集方法的所有步骤。

舾装件编码采集方法的具体步骤以及应用本发明实施例提供的可读存储介质获取的有益效果均与实施例一相同，在此不在对其进行赘述。

本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(magnetic tape)，软盘(floppy disk)，光盘(optical disc)及其任意组合。上述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

为了解决现有技术中存在的上述技术问题，本发明实施例还提供了一种终端，其特征在于，包括处理器以及存储器，存储器与处理器之间通信连接；

存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使终端执行实施例一中舾装件编码采集方法的所有步骤。

舾装件编码采集方法的具体步骤以及应用本发明实施例提供的终端获取的有益效果均与实施例一相同，在此不在对其进行赘述。

需要说明的是，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。同理处理器也可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。