一种智能车间数字孪生系统的构建方法

技术领域

本发明属于智能制造技术领域，涉及一种智能车间数字孪生系统的构建方法。

背景技术

随着云计算、物联网、大数据、移动互联、人工智能等新一代信息技术与制造的融合和落地应用，世界各国相继提出了各自国家层面的制造发展战略，发展智能制造新模式。在智能制造快速发展的背景下，数字孪生得到了迅猛的发展，数字孪生车间也成为智能制造的重要解决方式之一。

智能制造的核心问题是实现物理世界和信息世界的融合，数字孪生技术则是物理世界与信息世界融合的有效途径。作为由物理空间到数字孪生模型的映射，数字孪生车间模型的构建、虚实数据的融合与交互是实现数字孪生车间的重要基础。一方面，孪生模型的构建是重要的基础环节，选择合适的建模方法对于后续的研究十分关键。另一方面，由于车间内物理要素的状态时刻发生变化，为保证孪生模型与物理设备状态的一致性，物理车间与数字孪生车间必须深度融合，实现数据的实时双向交互。通过该种方式，孪生模型既能基于物理车间传递而来的数据信息进行实时变化与决策，以实控虚，也可通过数字孪生模型来模拟物理车间的状态和行为，反向控制相应的设备，即以虚控实。此外，加之以三维可视化交互设计，可为设备的实时监控、远程控制、故障预警、设备维护提供基础，增强用户交互感。

近年来，数字孪生的相关理论发展迅速，数字孪生车间虽有了一定的理论基础与支撑技术研究，但应用实例仍较少，且多为“数字模型”或“数字影子”，虚实融合的实现方法仍有待探索。此外，现有的车间显示与线控设备多以二维图表的形式呈现，数据呈现单调，交互感与沉浸感相对较差。因此，有必要对数字孪生车间的关键技术进行研究，探究车间数字孪生系统的实现方法，使其在智能制造及智能工厂领域得到更加广泛的应用。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种智能车间数字孪生系统的构建方法，解决了数据呈现单调、交互感与沉浸感差的技术问题，更为有效地实现了虚实数据的双向映射。

为了达到上述目的，本发明采用以下技术方案予以实现：

本发明公开了一种智能车间数字孪生系统的构建方法，包括：

1)针对物理车间生产要素，构建车间全要素多层次的孪生模型，得到数字孪生车间模型；2)构建数据采集系统采集物理车间的多源异构数据，针对所得多源异构数据进行预处理与标准化后存入数据库；以步骤1)构建的数字孪生车间模型作为客户端，配合服务器实现数字孪生车间客户端与数据库的交互，使数字孪生车间客户端与物理车间实现双向映射；3)基于三维可视化系统集成，使物理车间和步骤1)构建的数字孪生车间模型进行深度融合交互，完成智能车间数字孪生系统的构建。

优选地，步骤1)中，车间的生产要素包括人员、设备、物料和环境；其中，人员的孪生模型包括：人员简化模型、RFID标签信息、人员位置信息及关键操作信息；其中，设备的孪生模型包括：参与生产加工过程的设备；其中，物料的孪生模型包括：生产物料及加工工件模型、RFID标签信息、标签块内的加工数据；其中，环境的孪生模型包括：物理车间内的其他静止物体、车间墙壁、环境灯光。

优选地，步骤1)中，多层次包括几何模型、物理模型、行为模型和规则模型，具体包括以下操作：①将物理车间生产要素的几何模型文件进行预处理，实现几何模型的构建；②基于步骤①构建的几何模型，通过模型材质及物理属性的添加、刚体属性设置和环境渲染，实现物理模型的构建；③基于步骤②构建的物理模型，针对物理车间生产要素中的运动部件进行模块化的拆分与组装，以父子关系建立主从运动部件的约束关系，实现行为模型的构建；④基于步骤③构建的行为模型，通过物理车间的设备关联规则、车间行为触发规则和车间演化规则，实现规则模型的构建。

进一步优选地，通过三维软件人工构建、厂商提供标准格式的模型文件、资源商店获取和三维点云重建模型的方式组合构建，得到几何模型文件。

优选地，步骤2)中，多源异构数据包括加工设备数据、辅助设备数据、外界传感器数据、调度排程数据及车间辅助数据。

优选地，步骤2)中，数据库采用内存数据库与关系数据库相结合。

进一步优选地，数字孪生车间客户端内所需数据可分为实时驱动数据、面板显示数据与历史加工数据；其中，实时驱动数据与面板显示数据存入内存数据库中，历史加工数据存入关系数据库中。

优选地，步骤2)中，数字孪生车间客户端与服务器进行异步数据交互，具体包括以下操作：对于数字孪生车间客户端发送的数据请求，服务器接收请求后查询数据库并返回数据；对于数字孪生车间客户端的指令下达，服务器接收到指令下达后连接物理车间，实现物理车间的远程控制。

优选地，步骤2)中，数字孪生车间客户端与服务器之间构建消息中间件。

优选地，步骤3)中，三维可视化系统集成包括：场景漫游、监控面板显示、人机交互和AR支持。

与现有技术相比，本发明具有以下有益效果：

本发明公开了一种智能车间数字孪生系统的构建方法，通过车间全要素多层次的孪生模型的建模，实现车间生产要素数字孪生体物理空间与虚拟空间的准确映射；通过数据采集系统、数据库协同，以服务器为核心，共同实现数字孪生车间客户端与物理车间实现双向映射，进行虚实数据融合与交互，实现虚拟产线与物理产线的实时映射与远程控制；通过集成三维可视化系统，使物理空间和虚拟空间深度融合交互，使所得数字孪生车间模型达到更真实的使用效果。此外，通过对数据进行采集、预处理与标准化，使结构化数据与非结构化数据实现统一表达，保证了数据传输与存储的一致性与高效性；因此，本发明在高效逼真的孪生模型基础上，实现虚实数据的实时交互与融合，使虚拟车间与物理车间保持高度一致，实现实时数据双向映射，此外，通过三维可视化交互系统的集成增强用户交互感与沉浸感，达到更佳的使用效果，解决了现有数字车间数据呈现单调、交互感与沉浸感差的技术问题，提供了有效地实现虚实数据的双向映射的方法。

进一步地，通过人员、设备、物料和环境(人机料环)的生产要素选择，能够实现物理车间的高度还原。

进一步地，通过从几何模型、物理模型、行为模型和规则模型的多层次进行孪生模型的构建，能够提高物理车间运行状态的还原真实度；其中，通过行为模型的构建，为后续数据驱动提供有效的模型保障；有利于实现车间内设备数字孪生模型物理空间与虚拟空间的准确映射。

进一步地，采用内存数据库与关系数据库结合的方式进行实时数据的高效读取和历史数据的持久化；通过多数据库的协同工作，优化实时数据的存取效率，提升计算机的性能，对于大量数据的交互与传输有较大益处。

进一步地，实时驱动数据与面板显示数据存入内存数据库中，通过高速的数据采集不断进行更新覆盖，有利于快速更新数字孪生车间客户端内的孪生模型与监控面板；历史加工数据存入关系数据库中，设置数据生命周期，通过采集时的时间戳进行时间标定，有利于数字孪生车间客户端历史加工状态的重现。

进一步地，通过数字孪生车间客户端与服务器之间构建消息中间件，防止高并发场景下出现错误，以实现解耦、异步、削峰的作用；通过消息中间件使各方数据之间进行有序的异步传输，防止高并发场景下出现错误，提升了系统的稳定性与可靠性。

进一步地，通过集成了场景漫游、界面显示、人机交互、AR支持多种三维可视化交互方式，使数字孪生车间客户端在不同的功能与应用场景下得到更好的使用效果。三维场景漫游可全方位多角度查看车间的实时状态，二维监控界面直观展示车间数据，人机交互模块支持远程控制，AR支持可通过头戴式设备及其他交互方式增强交互感与沉浸感，多方式结合使用对虚拟仿真模型进行更贴近真实的表达。

综上所述，本发明提供了完整的基于数字孪生车间的智能车间数字孪生系统的构建方法。现有技术中，多从数据融合或三维监控平台的角度探究数字孪生车间的构建，并未对数字孪生车间的完整构建方法展开研究。本发明从孪生模型的构建，虚实数据的交互至虚拟仿真的数字孪生车间客户端的可视化集成，提出了一套数字孪生车间完整可行的解决方案。

本发明通过对物理车间进行全要素、多层次的孪生模型构建，使数字孪生车间内人员、设备、环境、物料从几何、物理、行为、规则多个层面均高度还原物理车间，从外观渲染至内部运行规律均进行了高度仿真，实现物理车间与数字孪生车间最大程度的一致性，提高数字孪生车间的仿真程度。此外，本发明的虚实数据交互框架完善，优化了现有的数字孪生车间数据架构。

附图说明

图1为本发明的总体框架图；

图2为本发明的孪生模型构建流程图；

图3为本发明的数据交互架构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

参见图1所示，一种智能车间数字孪生系统的构建方法，包含车间全要素多层次的孪生模型构建、虚实数据融合与交互、三维可视化系统集成三部分。车间全要素多层次孪生模型的构建为整个智能车间数字孪生系统的基础，车间全要素多层次的孪生模型构建后进行虚实数据的融合与交互，使所构建的车间全要素多层次的孪生模型与物理车间双向映射；最后加之以三维可视化系统的集成，使孪生模型达到更真实的效果，以此完成智能车间数字孪生系统的构建。

下面结合具体实施例对本发明做进一步详细说明：

实施例：

(1)构建车间全要素多层次的孪生模型

1.1)通过对物理车间众多生产要素的分析与分解，可将物理车间生产要素分为人员、设备、物料、环境，分别进行车间全要素多层次的孪生模型的建模。

其中，人员的孪生模型包含人员简化模型、RFID(Radio FrequencyIdentification无线射频识别)标签信息、人员位置信息及关键操作信息；具体地，人员为车间操作人员；

设备包含车间参与生产加工过程的全部设备，如数控机床、工业机器人、自动导引运输车(AGV，Automated Guided Vehicle)、物料转运台和仓储平台等，从几何、物理、行为、规则多个层次，针对参与生产加工过程的设备进行孪生模型的构建，以高度还原物理车间内机器与设备的加工过程；

物料包含生产物料与加工工件，其孪生模型包含生产物料及加工工件模型、 RFID标签信息、标签块内的加工数据；

环境包含车间内的其他静止物体、车间墙壁、环境灯光等，通过几何模型的渲染实现物理车间环境的高度还原。

1.2)对于上述物理车间生产要素，从几何、物理、行为、规则多个层次进行孪生模型的构建，真实还原物理车间的运行状态。

具体地，在本实施例中，如图2所示，可通过三维软件人工构建、厂商提供标准格式的模型文件、资源商店获取、三维点云重建模型等方式组合构建几何模型文件。

对于厂商提供、资源商店获取、三维点云重建方式获得的复杂几何模型文件，可进行轻量化处理，实现几何模型初步构建。所述轻量化可利用Pixyz studio软件进行孔洞剔除、镶嵌细分等操作实现。轻量化处理后得到车间生产要素的几何模型，使模型最大程度还原物理车间的同时优化计算机性能与资源。

几何模型初步构建完成后，对模型进行优化与渲染。将三维软件人工构建的几何模型，以及轻量化处理后模型导入3dsMax中进行数字孪生车间虚拟场景的搭建，并对模型进行修改、渲染与优化，得到几何模型。

具体地，所述修改为调整几何模型文件坐标系原点与方向，及模型之间的相对位置等；所述渲染与优化，即利用Photoshop制作二维贴图，在3dsMax中添加模型的材质与贴图，添加环境灯光与效果动画等。

在所得几何模型的基础上，将所得几何模型以.fbx格式导入Unity3d中，进行数字孪生车间的物理模型、行为模型、规则模型的构建。

通过模型材质及物理属性的添加、刚体属性设置和环境渲染等方式实现物理模型构建；物理模型的构建完成后，通过给物体附加脚本的方式进行行为模型与规则模型的构建。

具体地，对设备的各个运动部件进行模块化的拆分与组装，以父子关系建立主从运动部件的约束关系，例如机器人的各个运动关节、机床的各个轴的运动方向需要在Unity3D中进行定义，包括每个关节和每个轴的局部坐标系，坐标原点等，还需要对每个关节转角，速度，加速度等一系列矢量进行定义。通过上述工作，建立一套设备的模型行为约束构建方法，通过对机器人、机床进行运动学分析，实现行为模型的构建，为后续数据驱动做准备。如图1所示。

最后，通过程序定义物理车间的设备关联规则、车间行为触发规则和车间演化规则，实现规则模型的构建。

基于上述步骤1.1)和步骤1.2)，通过车间全要素多层次的孪生模型的建模 (即多维模型的构建)，实现物理车间生产要素的数字孪生体物理空间与虚拟空间的准确映射，得到数字孪生车间模型。

因此，如图2所示，对物理车间的环境与要素进行总体分析，多种方式结合共同进行几何模型的初步构建，对复杂模型进行轻量化处理后进行三维虚拟场景搭建，通过模型的修改、渲染与优化使几何模型达到更加真实的效果。在几何模型完备的基础上，以Unity3D为基础附加物理模型、行为模型、规则模型，实现车间全要素多层次的孪生模型的构建。

(2)所述虚实数据交互与融合方法

如图3所示，在局域网下，通过数据采集系统、数据库(多数据库协同)、服务器、消息中间件及步骤(1)构建的数字孪生车间模型之间实时数据的高效数据传输，进行物理车间内多源异构数据的采集、预处理与标准化，通过数据的传输与交互使步骤(1)构建的数字孪生车间模型与物理车间双向映射，进行虚实数据融合与交互，实现数字孪生车间的虚实数据融合与交互，进而虚拟产线与物理产线的实时映射与远程控制。(实现多维模型的融合)其中，步骤(1) 构建的数字孪生车间模型作为三维虚拟仿真的客户端。

对物理车间的多源异构数据进行采集，构建数据采集系统。所述多源异构数据包含加工设备数据、辅助设备数据、外界传感器数据、调度排程数据及车间辅助数据。

加工设备数据包含机床CNC数据、PLC数据，通过数控系统开放的协议或接口读取内部数据；辅助设备数据如机器人数据、AGV数据等，通过厂商提供的二次开发接口获取；调度排程数据包含物料、工件、人员数据，通过RFID二次开发接口可进行读取；外界传感器如温度传感器、切削力传感器等，其数据由数据采集卡等方式获取；车间辅助数据包含环境数据及其他数字化资料。

多源异构数据采集后，进行预处理与标准化后存入数据库。

所述多源异构数据的预处理，包含数据的解析、数据进制转换、野值剔除。数据的解析表示提取所需数据的数据项、数据值与时间戳；数据进制转换表示对涉及二进制、十六进制的数据进行转换；野值剔除表示对采集到的数据进行初步判断，剔除由于外界因素导致的异常数据，保证模型运动的准确性。

所述多源异构数据的标准化，为结构化数据与非结构化数据的统一表达。所述结构化数据，可用key-value键值对方式存贮；所述非结构化数据，如图片数据格式为JEPG，数控加工程序格式为NC等，可将非结构化数据转换为二进制数据，消除异构性后通过key-value键值对方式存贮。对于结构化数据与非结构化数据，通过Json格式进行统一表达，进行数据传输。

采用内存数据库与关系数据库结合的方式进行实时数据的高效读取和历史数据的持久化。本实施例中内存数据库采用Redis，关系数据库采用MySQL，二者结合使用进行数据的高速存取与持久化。

数字孪生车间客户端内所需数据可分为设备的实时驱动数据、面板显示数据与历史加工数据。设备的实时驱动数据与面板显示数据存入内存数据库中，通过高速的数据采集不断进行更新覆盖，用于快速更新数字孪生车间客户端内的孪生模型与监控面板；历史加工数据存入关系数据库中，设置数据生命周期，通过采集时的时间戳进行时间标定，用于数字孪生车间客户端历史加工状态的重现。

通过对采集到的历史加工数据进行分析处理，利用自编码器的方法提取信号特征，然后利用卷积神经网络对加工态势进行预测，可将预测结果通过二维图表的方式显示在数字孪生车间客户端的监控面板。

数字孪生车间的构建基于Unity3D实现，单个设备模型视为一个客户端，为设备附加C#脚本，通过脚本程序与服务器进行异步数据交互。

服务器为系统数据交互的核心。对于数字孪生车间客户端发送的实时数据与历史数据的数据请求(Query)，服务器接收请求后查询数据结果库并返回数据，数字孪生车间客户端接收到数据后对模型进行Update更新；对于数字孪生车间客户端下达的远程控制指令，服务器接收到用户指令后，连接底层物理车间中的设备，基于设备的二次开发接口或商业软件进行NC与PLC数据的写入(Write)，实现物理车间的设备的远程控制。

数字孪生车间客户端与服务器之间构建消息中间件，本实施例中选用 RabbitMQ消息队列，将所有数据请求与指令通过消息队列的入队与出队进行异步传输，防止高并发场景下出现错误，以实现解耦、异步、削峰的作用。

数字孪生车间客户端与物理车间断开连接时，可在给定条件下进行仿真与分析。通过给定信息(给定信息例如物料数据及加工信息)进行仿真设置，编写 Unity脚本驱动数字孪生车间运转，查看给定信息下数字孪生车间的运行状况，根据仿真结果进行真实物理车间的加工调整。

因此，如图3所示，通过OPC UA通讯协议(OPC Unified Architecture，OPC 统一架构)、二次开发接口等方式对车间内的机床、机器人、AGV、RFID等设备进行数据的采集，构建数据采集系统，同时将数据存入实时数据库与关系数据库中。构建服务器与消息中间件，以服务器为核心进行数字孪生客户端与数据库之间的数据传输。同时，服务器通过通信接口、二次开发接口对车间底层设备进行远程控制与用户指令下达。

(3)三维可视化系统集成

步骤(1)构建的数字孪生车间的三维可视化系统集成，包含场景漫游、监控面板显示、人机交互、AR支持四部分。

具体地，在本实施例中，步骤(1)构建的数字孪生车间的三维可视化系统集成基于Unity3D实现。

如图3所示，所述场景漫游，通过Unity中的Input类检测鼠标与键盘输入，通过双击设备模型选择视图中心，通过脚本程序切换当前相机，同时操作控件使相机根据输入进行移动与缩放，实现第一人称视角的变换，使用户可自由观察物理车间内的任意位置，达到场景漫游效果；

所述监控面板展示，通过Unity的UGUI面板设计二维监控界面，以数据和图表的形式对设备运行状态、加工进程、物料及工件统计信息、报警信息及预测结果等进行展示，实现物理车间信息的全面数字化监控；

所述人机交互，通过点击数字孪生车间界面内按键、输入命令流等方式，向物理车间下达控制指令，从而实现数控机床NC程序运行的启停、PLC中I/O信号的变换、机器人；

所述AR支持，即数字孪生车间客户端支持AR设备的应用，通过AR眼镜进行物理车间场景漫游，实现设备状态的自主呈现，通过语音、手势等方式进行人机交互，实现设备状态查看与远程操作，增强沉浸感与交互感。

综上，通过数字孪生车间的构建与三维可视化系统的集成，实现实时状态显示、历史加工状态重现、产线模型运动仿真、车间监控、故障报警、远程控制、加工态势预测等功能的集成。

因此，本发明提供了一种智能车间数字孪生系统的构建方法，具体包含物理车间全要素多层次建模、虚实数据融合与交互，以及三维可视化交互系统集成。首先，综合运用多个软件，对物理车间全部生产要素，即人员、设备、物料、环境进行几何、物理、行为、规则多个层次的建模，使虚拟车间最大程度还原真实物理车间，得到数字孪生车间模型。其次，构建数据采集系统、数据库、数据库的服务器、消息中间件以及以得到的数字孪生车间模型作为三维虚拟仿真的客户端，进行多源异构数据的采集、预处理与标准化，并通过数据的高速传输与交互实现虚拟产线与物理产线的实时映射与远程控制。最后，通过场景漫游、监控面板显示、人机交互、AR支持这四种方式实现数字孪生车间的三维可视化系统集成，使物理空间和虚拟空间深度融合交互，从而实现实时状态显示、历史状态重现、远程控制、故障报警、状态预测等功能。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。