基于数字孪生的针对机器视觉训练的虚拟软测方法及系统

技术领域

本发明涉及机器视觉领域，尤其涉及一种基于数字孪生的针对机器视觉训练的虚拟软测方法及系统。

背景技术

随着科技的进步，机器视觉的应用已经拓展至农业生产、金属加工、化工监测、医药制造等众多领域的工业环境中。由于工业自动化与智能化的新需求，机器视觉的重要性与日俱增，其表现与可靠性也在不断提高。

数据采集和人工智能训练是搭建机器视觉的两个基本部分。对于现有技术的机器视觉搭建范式，数据采集和人工智能训练这两部分存在严重耦合，即训练数据必须被先行采集，再被发送至训练端，训练后的人工智能再被部署在相机中工作。因此，数据采集与人工智能训练无法同时进行，就势必影响机器视觉的搭建效率。

数据采集在很多情景下非常费时费力。以产品质检为例，用于质量检测的机器视觉需要大量的存在缺陷的产品图像作为训练数据。而以现在的质量工程技术，残次品往往万里挑一，难以获得足量的缺陷产品图像。因此，残次品数据的收集往往要先经历大量的产品生产，就势必影响机器视觉的搭建。如果环境或目标发生了改变，就需要再进行重新训练，进一步影响了机器视觉的搭建效率。现有技术中，为了应对训练数据难以获取的问题，通常会使用数据增强。其中，数据增强指通过对真实图像数据进行遮挡、改变色域、翻转等部分修改，达到训练数据量倍增式扩充的效果。增强后的训练集会经过调参、模型适配等后续处理，来优化最终的训练效果。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

由于数据增强所产生的新数据并非物理世界中的现实情况，对机器视觉的训练效果往往不稳定。数据增强后的训练集由于场景一致，经常带来训练后过度拟合问题，即机器视觉的准确度仅在特定场景可靠。因此，数据增强对于解决机器视觉的搭建效率仍存在关键不足。

即便现有技术中有使用虚拟软测工具来解决机器视觉的训练问题，虚拟软测工具指通过搭建一个虚拟仿真环境，来提供不同情境下的分析、模拟、验证等功能。在现有技术中，由于测试硬件经常无法获取或难以搭建，虚拟软测工具有效的简化了开发过程。在机器视觉领域，虚拟软测工具可以通过仿真模拟来快速而有针对性的客制化的扩充训练数据，从而有效解决训练过度拟合的问题。但是，由于数据量有限，现在虚拟软测工具还难以足够真实的还原物理世界中的机制。同时，虚拟软测工具与现实情景并没有直接的关联，其更新依靠人工操作且往往未周期性，就势必造成虚拟模型中数据的滞后性。并且虚拟软测工具的构建通常基于工程师的知识、经验与认知，就不免与实际情况产生偏差。

发明内容

为了至少解决现有技术中机器视觉训练过度拟合、虚拟软测与现实没有直接关联得到的训练数据不符合实际的问题。第一方面，本发明实施例提供一种基于数字孪生的针对机器视觉训练的虚拟软测方法，包括：

利用嵌入式端搭载的图像处理模型对在工业环境内动态捕捉的图像进行预处理，将预处理后得到的带有目标物体边缘特征的图像输入至图像数据库；

通过视觉孪生主核从所述图像数据库中获取所述带有目标物体边缘特征的图像，对模型数据库中所述工业环境的虚拟模型进行动态更新；

所述视觉孪生主核根据客制化需求配置信息在所述动态更新的虚拟模型中采集用于图像处理模型的客制化训练数据，并将所述客制化训练数据发送至人工智能训练端，同步的进行所述客制化训练数据的采集和图像处理模型的训练；

所述嵌入式端重新搭载所述人工智能训练端训练后的图像处理模型，以实现在所述工业环境中对机器视觉的自动化控制训练。

第二方面，本发明实施例提供一种基于数字孪生的针对机器视觉训练的虚拟软测系统，包括：

图像处理程序模块，用于利用嵌入式端搭载的图像处理模型对在工业环境内动态捕捉的图像进行预处理，将预处理后得到的带有目标物体边缘特征的图像输入至图像数据库；

虚拟模型更新程序模块，用于通过视觉孪生主核从所述图像数据库中获取所述带有目标物体边缘特征的图像，对模型数据库中所述工业环境的虚拟模型进行动态更新；

训练程序模块，用于所述视觉孪生主核根据客制化需求配置信息在所述动态更新的虚拟模型中采集用于图像处理模型的客制化训练数据，并将所述客制化训练数据发送至人工智能训练端，同步的进行所述客制化训练数据的采集和图像处理模型的训练；

动态软测程序模块，用于所述嵌入式端重新搭载所述人工智能训练端训练后的图像处理模型，以实现在所述工业环境中对机器视觉的自动化控制训练。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于数字孪生的针对机器视觉训练的虚拟软测方法的步骤。

第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行实现本发明任一实施例的基于数字孪生的针对机器视觉训练的虚拟软测方法的步骤。

本发明实施例的有益效果在于：在虚拟软测中根据实际环境对虚拟模型动态更新，保证数据的时效性，确保能够根据不同工业环境需求在虚拟模型中生成贴近真实场景的可用的训练数据，从而提升了机器视觉搭建的效率与可靠性，同时方法中引入的嵌入式端也降低了视觉孪生主核的数据处理以及数据传输的负担。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测方法的流程图；

图2是本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测方法的数字孪生协同示意图；

图3是本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测方法的视觉孪生框架示意图；

图4是本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测方法的视觉孪生运行流程示意图；

图5是本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测方法的视觉孪生模块化示意图；

图6是本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测方法的工作场景示意图；

图7是本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测方法的虚拟生成场景图像示意图；

图8是本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测方法的树轮廓绘制示意图；

图9是本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测方法的边缘识别模型示意图；

图10是本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测方法的训练模型参数设置示意图；

图11是本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测方法的真实场景的轮廓绘制示意图；

图12是本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测方法的场景中树的高度与位置数据图；

图13是本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测方法的场景的虚拟模型自动构建示意图；

图14是本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测系统的结构示意图；

图15为本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测的电子设备的实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测方法的流程图，包括如下步骤：

S11：利用嵌入式端搭载的图像处理模型对在工业环境内动态捕捉的图像进行预处理，将预处理后得到的带有目标物体边缘特征的图像输入至图像数据库；

S12：通过视觉孪生主核从所述图像数据库中获取所述带有目标物体边缘特征的图像，对模型数据库中所述工业环境的虚拟模型进行动态更新；

S13：所述视觉孪生主核根据客制化需求配置信息在所述动态更新的虚拟模型中采集用于图像处理模型的客制化训练数据，并将所述客制化训练数据发送至人工智能训练端，同步的进行所述客制化训练数据的采集和图像处理模型的训练；

S14：所述嵌入式端重新搭载所述人工智能训练端训练后的图像处理模型，以实现在所述工业环境中对机器视觉的自动化控制训练。

数字孪生是视觉孪生中方法的核心，其中，数字孪生为一个建立于数据与模型上，用于反映物理对象状态的多物理量、多尺寸、基于概率的、高精度的仿真模型。其中，数字孪生代表了由虚拟空间实时的、高精度地映射物理环境及目标物体的即时状态的理念。数字孪生的构成主要分为三部分，包括物理区间，虚拟区间，及两个区间的数据交互。数字孪生在工业制造的许多关键环境已经有了研究与实践，如概念性设计、智能客制化、维护管理、供应链管理等。如图2所示，数字孪生可以成为解决机器视觉训练问题的关键部分。机器视觉的效率受制于数据采集以及其与训练的耦合，虚拟软测工具提供了虚拟数据生成与采集训练同步进行的平台，而数字孪生则在虚拟软测工具的基础上进一步提升了准确度、数据时效性、及可靠性，可以将数字孪生与机器视觉进行融合，但如何采集大量的训练数据和如何利用训练数据来进行机器时间的训练仍是需要解决的问题，进而，本方法以数字孪生来驱动机器视觉的数据生成及采集-训练的同步进行，可以称其为视觉孪生。图3为本方法视觉孪生的框架，包括了工业环境、视觉系统、嵌入式端、视觉孪生主核、用户交互以及人工智能训练端。

在本实施方式中，对于步骤S11，机器视觉已经可以应用于农林业监测、金属加工、化工监测、医药制造等众多领域的工业环境中，在不同的工业环境中通常都有着不同的用途。所述工业环境包括：目标物体的监控环境、目标物体的运动控制环境；具体的，在某个环境中监控目标物体的状态、特征，例如，监控农林业植物的成长进度的工业环境；又或者某个物体的运动控制状态，例如自动化生产线环境中机械臂的运动控制状态的工业环境。

以目标物体的监控环境为例，将本方法应用于农林业植物成长进度监测的工业环境，该工业环境中通常有着树木、稻田、河流、穿梭在林间的电线杆等其他目标物体。也可以将本方法应用于金属加工的产品质检的工业环境，该工业环境中通常有着各种零件的目标物体。用于农林业监测的机器视觉关注植物的间距、高度、大小等。而在用于产品质检的机器视觉则重点关注产品类别、缺陷参数、光影效果等。也就是说本方法的视觉孪生不存在通用模型，是要根据用户需求明确所应用的场景，并且会根据不同场景和具体应用进行客制化。

视觉系统代表工业环境中的监测相机，以应用于林业的成长进度监测为例，具体的，有的区域高压电塔被建立在林地中，然而随着树木的生长可能会触碰到输电塔的电线上造成安全隐患。通常可以在林区附近的物体安装监测相机，例如可以将监测相机安装在高压电塔上，既确保了监测相机有足够的可视范围，也减少了周围环境因素对相机安置的干扰。监测相机的主要监测目标有：草、树、高压线等。监测相机动态捕捉视野中的包含监测目标与环境信息的图像信息。

嵌入式端代表监测相机中接入的边缘计算平台。嵌入式端是机器视觉系统与视觉孪生主核交互的桥梁。嵌入式端承担以下任务：1、将监测相机传输来的图片进行压缩、转换、筛选等预处理；2、搭载训练的机器视觉用于图像处理的人工智能模型，该人工智能模型支撑了嵌入式的自动处理与视觉应用功能；3、嵌入式端也是一个通信平台，可以将捕获的图像信息与图像预处理结果、以及机器视觉的任务执行结果直接发送至其他服务器或嵌入式端，同时也可以从其他服务器或嵌入式端接收数据。

当所述工业环境为目标物体的监控环境时，所述预处理包括：清洗和/或图像压缩和/或色域转换和/或边缘检测；

当所述工业环境为目标物体的运动控制环境时，所述预处理包括：图像分割和/或边缘检测。

在本实施方式中，因为“视觉孪生”是一个为广泛的工业场景的视觉信息采集与处理所搭建的系统方法，需要根据具体的工业环境与视觉信息问题进行客制化搭建。由于物理虚拟区间的同步及高精度建模，必然带来大量的数据处理与传输任务，如果都交由视觉孪生主核处理，视觉孪生主核的负担过于大。为了进一步降低视觉孪生主核的计算量，利用嵌入式端搭载的图像处理模型先对图像进行预处理，分担视觉孪生的数据处理与数据传输负担。

针对不同的工业环境进行对应的预处理，将预处理后得到的带有目标物体边缘特征的图像输入至图像数据库，总的来说，嵌入式端会将对监测相机动态捕捉的初始图像信息进行压缩、转换、筛选、边缘等预处理。灰度或结构等信息的突变处称之为边缘。例如，灰度级的突变、颜色的突变，纹理结构的突变等。边缘是一个区域的结束，也是另一个区域的开始，利用该特征可以分割图像。确保视觉孪生主核可以直接对图像信息进行虚拟模型的建模，减轻视觉孪生主核的负担。具体的，为产品质量检测的机器视觉所搭建的视觉孪生中，在嵌入式端的图像预处理需对每个图像进行清洗、压缩、色域转换、边缘检测。而对于为机械臂运动控制的机器视觉中，在嵌入式端的图像预处理的任务更多放在图像分割与边缘检测上。上述仅为部分场景的示例，不做限定。

对于步骤S12，本方法的视觉孪生主核指实时映射机器视觉的虚拟平台。主核依托于云服务器或本地服务器搭建。有着以下功能：实时监测机器视觉中的场景情况以及为机器视觉训练客制化虚拟模型(用于模拟反映真实场景的虚拟场景)。随着监测相机不断的抓取工业环境中的图像(例如，目标树木不断的在长高)，嵌入式端不断对图像数据库的扩充，视觉孪生主核从图像数据库中获取到目标树木最新状态的图像，对工业环境的虚拟模型进行动态更新，确保工业环境的虚拟模型的时效性。

对于步骤S13，视觉孪生主核还会为图像处理模型生成客制化训练数据(其中，客制化训练数据包括对应场景的虚拟生成图像及其边缘特征图像。)，并且也兼任了数据处理和数据传输的任务分配工作。如图4所示，视觉孪生沿着两条主要功能运行，即机器视觉的虚拟映射和训练数据的客制化。

训练数据的客制化指从建立虚拟模型中针对性的产出训练数据。按照客制化需求配置信息，主核从库中调出虚拟场景，依照数据需求随机生成场景中不同的视角图片。生成的图片经过后续处理后将会发送至人工智能训练端，同步的进行客制化训练数据的采集和图像处理模型的训练。其中，所述客制化需求配置信息由用户在所述视觉孪生的交互界面输入。在本实施方式中，用户可以在交互界面中配置各种信息：1、用户可以人为的在视觉孪生中创建与修改虚拟模型；2、用户可以控制与调整虚拟训练数据的生成；3、用户可以管理与设置视觉孪生的数据库。用户的介入可以有效提升视觉孪生的工作效率与质量。进而客制化地设置自身的需求配置信息。

对于步骤S14，在人工智能训练端利用客制化训练数据对图像处理模型训练完之后，人工智能训练端将训练后的图像处理模型发送给嵌入式端，嵌入式端重新搭载训练后的图像处理模型。这样嵌入式端利用训练后的图像处理模型继续为视觉孪生主核提供实时的工业环境中带有目标物体边缘特征的图像，而本方法中的图像处理模型并不是由现有真实图像来进行训练的，以现实场景的图像为映射，建立与现实场景所见即所得的虚拟模型，在虚拟模型中按照客制化需求来生成符合用户需求的图片。

上述步骤示例了在嵌入式端配置了图像处理模型的虚拟软测过程，然而，在初始时，嵌入式端并没有图像处理模型，需要为其训练一个最初的图像处理模型，继续如图4所示。

作为一种实施方式，在所述嵌入式端搭载图像处理模型之前，所述方法包括：

视觉孪生主核对嵌入式端输入的工业环境的训练图像进行图像后处理，其中所述图像后处理包括：清洗和/或图像分割和/或色域转换和/或图像压缩和/或边缘检测；

识别所述图像后处理之后的训练图像中各物体的物体种类以及物体特征，确定目标物体，并将所述训练图像编译为三维点云的空间图像；

通过所述视觉孪生主核对所述目标物体在所述三维点云的空间图像进行机器视觉的虚拟映射，构建所述工业环境的虚拟模型，将所述虚拟模型存储至模型数据库；

所述视觉孪生主核根据客制化需求配置信息在所述虚拟模型中采集客制化训练数据，并将所述客制化训练数据发送至人工智能训练端进行图像处理模型的训练；

所述人工智能训练端将训练后的图像处理模型搭载至所述嵌入式端。

在本实施方式中，可以人为的使用监测相机拍摄工业环境内的图像作为训练图像，通过嵌入式端将训练图像输入至视觉孪生主核中，视觉孪生主核对训练图像进行清洗、图像分割、色域转换、图像压缩、边缘检测等多种方式的图像后续处理，以便于更清楚的识别出训练图像中的目标物体，并将所述训练图像编译为三维点云的空间图像。

作为一种实施方式，可以通过基于即时渲染引擎的视觉孪生主核对所述目标物体在所述三维点云的空间图像的图像数据类型进行编译，确定所述工业环境的空间信息；

基于所述空间信息构建所述工业环境的虚拟模型。

在本实施方式中，视觉孪生的平台软件选用即时渲染引擎来开发，尽管现有技术中大多数的数字孪生应用都选择三维固体建模软件作为开发平台。三维固体建模软件以多物理量仿真的全面性与真实性而著称，并被广发用于飞行器、数控机床、风叶等数字孪生研究。但在本方法中，视觉信息是最主要的数据类型，而物理量特征等数据并不被看重。例如，如尺寸的长短，体积的大小，物质的多少等。因此，三维固体建模软件的多物理量仿真反倒会成为本方法计算资源的负担。也有些公司为特定场景与应用开发专门的数字孪生软件，如Plant Simulation，为货物运输开发的Azure等。这些数字孪生软件由于特定优化，在适度占用运算资源的同时，也能实现很好的仿真效果。但是，这些专用软件都是为特定场景开发，适用度有限，且在图像信息上精度不足。相比之下，实时渲染引擎专为图像处理与编辑而开发，在实现卓越的图像真实度的情况下不浪费计算资源，对于本方法而言最为合适。在构建出工业环境的虚拟模型之后，将其存储至模型数据库中，以便于后续调用/更新。

同样的，有了虚拟模型就可以根据客制化需求配置信息在所述虚拟模型中采集客制化训练数据，并将所述客制化训练数据发送至人工智能训练端进行图像处理模型的训练，得到图像处理模型，将搭载至所述嵌入式端来为后续的虚拟软测中降低视觉孪生主核的数据处理负担。

总的来说本方法的视觉孪生结构如图5所示，视觉孪生整体分为七个部分，包括嵌入式端、监测端、主服务器、交互界面、建模端、存储库、及模拟端。嵌入式端承担图像预处理任务并搭载训练后的用于图像处理的人工智能。监测端用于实时反映机器视觉中的场景。主服务器是数据处理与传输的中枢。交互界面是用户与视觉孪生的交互窗口。建模端是模型自动生成与模型客制化的处理区间。存储库负责管理与存储所有相关数据与模型。模拟端是虚拟数据生成的部分。

通过该实施方式可以看出，在虚拟软测中根据实际环境对虚拟模型动态更新，保证数据的时效性，确保能够根据不同工业环境需求在虚拟模型中生成贴近真实场景的可用的训练数据，从而提升了机器视觉搭建的效率与可靠性，同时方法中引入的嵌入式端也降低了视觉孪生主核的数据处理以及数据传输的负担。

对本方法进行具体实验说明，在实践中已有初步尝试。如图6中两个场景所示，本方法被用于某地区的一个高压输电塔保护工作。该区域的高压输电塔大量被建立在林地中，为防止树木生长触碰输电塔电线，需要不断的监测树高来发送预警。由于该区域未经成熟开发，通行不便，使得人为监测非常困难(也就是说这个场景下，想要获得多角度真实的图片相对较难，利用监控相机也仅能得到几个角度的图像，训练数据采集十分困难)。因此，经和有关某部门协商，预警工作将通过安置在输电塔上的相机来自动化地实现。由于时间较紧且通行不便，当前难以收集足量场景图片来训练相机中部署的用于图像处理的人工智能。因此，决定应用本方法视觉孪生来实现训练与监测的虚拟软测。

部署的相机型号为Sony IMX219，分辨率3648*2736，焦距3.04mm。嵌入式端由Raspberry Pi 4搭载，拥有8GB缓存和1.5GHZ四核处理器。训练用主机搭载3.7GHz

对应于本方法的初始，现场仅采集了20张场景图片，方案设定先由视觉孪生参照场景照片进行自动虚拟模型的构建，以及根据虚拟模型生成客制化的虚拟图像，利用这些虚拟图像(也就是客制化训练数据)来训练出部署在相机嵌入式端的图像处理模型(人工智能)。图像处理模型训练之后，再由训练后的图像处理模型来主动抓取场景中目标物体(例如树木)的图像并进行实时建模来达到监测效果。人工智能模型则选取最常用的卷积神经网络。如图7所示，训练数据由在Blender中进行粒子效果随机来实现，随机对象包括地形、草的粒子效果、树的粒子效果、树和草的尺寸来实现。同时，由于场景中树和草的颜色均为绿色且相对恒定，为防止卷积神经网络依照绿色的色域作为识别标准而非色差，场景的色域也在设定范围内随机。同时，方案设定通过测量树的轮廓来推断树高，如图8所示，训练数据中也会对应场景生成树的轮廓来作为训练数据组。树的轮廓生成由Python中OpenCV库来实现。最终，总计有400组场景与轮廓图像生成作为训练集。为提升训练效果，方案选取了10张真实图像及轮廓图片作为卷积神经网络的调参数据。

卷积神经网络模型具体采用了边缘识别方法。具体模型如图9所示，图像首先进行噪声处理，再由每个像素点的识别来判定边缘，最后进行渲染处理来提升边缘图像质量。具体的训练参数设置如图10所示。训练中，400组图像数据被分割成2.2万个图像块导入，其中1/7为边缘图像块。10张真实图片被切割为5500个图像块作为训练矫正，其中1/7为边缘图像块。

训练后的模型将接下来用于监测场景情况并通过自动化建模来反映。由于场景的地形背景基本恒定，因此被预先设置。需要判别的关键点在于树的位置与树高。由于塔的几何参数已知，相机参数已知，塔间距已知，通过三角函数集合推断，已知树的整体轮廓的情况下可自动推导出树的位置与真实高度。为验证方案，如图11所示，两张真实图片被随机抽取并录入训练好的神经网络模型并输出绘制好的轮廓。由于树的整体色差变动不明显且与草的颜色接近，输出的轮廓图像中含有大量噪声。因此，输出图像被提取外轮廓并进一步剔除噪声，从而得出轮廓的几何信息。经几何推导，所得出的树的对应位置和高度如图12所示。基于得出的位置与高度信息，场景的自动构建如图13所示。实现了对该工业环境的虚拟软测。

如图14所示为本发明一实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测系统的结构示意图，该系统可执行上述任意实施例所述的基于数字孪生的针对机器视觉训练的虚拟软测方法，并配置在终端中。

本实施例提供的一种基于数字孪生的针对机器视觉训练的虚拟软测系统10包括：图像处理程序模块11，虚拟模型更新程序模块12，训练程序模块13和动态软测程序模块14。

其中，图像处理程序模块11用于利用嵌入式端搭载的图像处理模型对在工业环境内动态捕捉的图像进行预处理，将预处理后得到的带有目标物体边缘特征的图像输入至图像数据库；虚拟模型更新程序模块12用于通过视觉孪生主核从所述图像数据库中获取所述带有目标物体边缘特征的图像，对模型数据库中所述工业环境的虚拟模型进行动态更新；训练程序模块13用于所述视觉孪生主核根据客制化需求配置信息在所述动态更新的虚拟模型中采集用于图像处理模型的客制化训练数据，并将所述客制化训练数据发送至人工智能训练端，同步的进行所述客制化训练数据的采集和图像处理模型的训练；动态软测程序模块14用于所述嵌入式端重新搭载所述人工智能训练端训练后的图像处理模型，以实现在所述工业环境中对机器视觉的自动化控制训练。

本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于数字孪生的针对机器视觉训练的虚拟软测方法；

作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：

利用嵌入式端搭载的图像处理模型对在工业环境内动态捕捉的图像进行预处理，将预处理后得到的带有目标物体边缘特征的图像输入至图像数据库；

通过视觉孪生主核从所述图像数据库中获取所述带有目标物体边缘特征的图像，对模型数据库中所述工业环境的虚拟模型进行动态更新；

所述视觉孪生主核根据客制化需求配置信息在所述动态更新的虚拟模型中采集用于图像处理模型的客制化训练数据，并将所述客制化训练数据发送至人工智能训练端，同步的进行所述客制化训练数据的采集和图像处理模型的训练；

所述嵌入式端重新搭载所述人工智能训练端训练后的图像处理模型，以实现在所述工业环境中对机器视觉的自动化控制训练。

作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施例中的基于数字孪生的针对机器视觉训练的虚拟软测方法。

图15是本申请另一实施例提供的基于数字孪生的针对机器视觉训练的虚拟软测方法的电子设备的硬件结构示意图，如图15所示，该设备包括：

一个或多个处理器1510以及存储器1520，图15中以一个处理器1510为例。基于数字孪生的针对机器视觉训练的虚拟软测方法的设备还可以包括：输入装置1530和输出装置1540。

处理器1510、存储器1520、输入装置1530和输出装置1540可以通过总线或者其他方式连接，图15中以通过总线连接为例。

存储器1520作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的基于数字孪生的针对机器视觉训练的虚拟软测方法对应的程序指令/模块。处理器1510通过运行存储在存储器1520中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例基于数字孪生的针对机器视觉训练的虚拟软测方法。

存储器1520可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器1520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器1520可选包括相对于处理器1510远程设置的存储器，这些远程存储器可以通过网络连接至移动装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置1530可接收输入的数字或字符信息。输出装置1540可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器1520中，当被所述一个或者多个处理器1510执行时，执行上述任意方法实施例中的基于数字孪生的针对机器视觉训练的虚拟软测方法。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于数字孪生的针对机器视觉训练的虚拟软测方法的步骤。

本申请实施例的电子设备以多种形式存在，包括但不限于：

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如平板电脑。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)其他具有数据处理功能的电子装置。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。