一种基于VR技术和动作捕捉技术的装配仿真方法

技术领域

本发明涉及虚拟装配制造领域，尤其涉及一种基于VR技术和动作捕捉技术的装配仿真方法。

背景技术

工业产品的装配过程有以下特点：产品装配过程复杂、精度要求高等特点，导致装配协调困难，装配周期长。装配过程是产品设计、研发过程中非常重要的环节，工作人员必须按照合理的装配顺序进行装配。传统的工艺文件仅采用文字和部分图纸描述，因此其具有直观性差，现场直接查阅困难的缺陷。现有的工艺文件对工人有着极强的理解和经验要求。工人容易在装配作业中出现差错，因此装配效率较低。

“人”是装配过程中重要的组成部分和影响因素，设计人员需要对装配过程中的“人”需要进行人体姿态和劳动强度的分析、可操作性分析、可视性及可达性分析，及时发现产品在设计、工艺规划、工装设计制造、工具使用中的不足并加以优化，以此制定出最优的工艺流程和相应标准，使得工人在更加舒适安全的环境下开展装配工作，减少由于疲劳带来的质量问题，从而提高装配效率和装配质量。

在传统装配仿真系统(例如在DELMIA环境下的装配仿真)中，用户是一个外部的观察者，只是通过显示屏这个范围很有限的小窗口，观察计算机内的合成环境。由于现有的装配仿真系统没有生动直观的可视化装配环境指导装配，不便于装配人员理解，导致的分析结果可信度不高，理论和实际都存在误差，易在现场装配时出现问题，从而造成产品制造周期延长以及生产成本的增加。

因此，有必要开发一种能够运用于工业产品的生产制造过程中，并且可视化程度较高的装配仿真方法。

发明内容

针对装配仿真系统及方法的上述现状，本发明的目的之一在于提供一种基于VR技术和动作捕捉技术的装配仿真方法，其能够便捷、可视化程度高的装配仿真试验。

该目的通过本发明以下形式的方法来实现。其中，所述装配仿真方法包括以下步骤：

搭建数据采集系统，所述数据采集系统用于采集工作人员的肢体动作和位置；

搭建场景的虚拟模型，所述虚拟模型包括飞机舱以及搭接在飞机舱内的零部件模型；

采集装配数据，在该步骤中，工作人员佩戴VR头显以在虚拟现实环境中观察和装配所述零部件模型，并由所述数据采集系统采集能够无干涉地装配所有零部件模型时的装配工艺数据，所述装配工艺数据至少包括所有零部件模型的安装顺序以及移动方式；

获取工艺流程包，基于所采集的装配工艺数据生成能够在最短时间内装配所有零部件模型的安装顺序以及移动方式生成工艺流程包。

根据本发明的一种优选实施方式，所述搭建场景的虚拟模型步骤包括对所有待装配的零部件模型的名称、编号以及装配顺序进行预编辑。

根据本发明的一种优选实施方式，在所述采集装配数据的步骤中，记录能够被装配到所需位置的零部件模型的编号以及装配起始时刻和装配完毕时刻。

根据本发明的一种优选实施方式，所述数据采集系统包括动作捕捉手套，所述动作捕捉手套包括分别布置在手心、各手指中的关节处的惯性传感器。

根据本发明的一种优选实施方式，在所述采集装配数据的步骤中，数据采集系统至少在部分时段内采集至少两个工作人员的动作和位置。

根据本发明的一种优选实施方式，所述装配仿真方法还包括数据优化处理，在该步骤中，由计算机采集所述装配工艺数据中各零部件模型装配前后时刻的飞机舱的剩余空间数据，并基于各零部件模型的形状、尺寸数据分析采用其他零部件模型安装顺序时的所需总装配时间。

根据本发明的一种优选实施方式，所述数据采集系统包括布置在场地中的VR头显设备、全身动作捕捉设备，所述全身动作捕捉设备包括光学传感器和惯性传感器。

根据本发明的一种优选实施方式，所述工艺流程包包括装配零部件模型的视频数据和表征零部件模型装配顺序的流程图。

在符合本领域常识的基础上，上述各优选实施方式，可任意组合，即得本发明各较佳实例。通过阅读下列的附图和详细描述本领域技术人员可理解本发明的其他系统、方法、特征和优点。目的是所有这种额外的系统、方法、特征和优点包括在本说明书中和本发明内容中，且包括在本发明的范围内，并被所附权利要求保护。

附图说明

为了更好地理解本发明的上述及其他目的、特征、优点和功能，可以参考附图中所示的优选实施方式。附图中相同的附图标记指代相同的部件。本领域技术人员应该理解，附图旨在示意性地阐明本发明的优选实施方式，对本发明的范围没有任何限制作用，图中各个部件并非按比例绘制。

图1是根据本发明的优选实施方式的基于VR技术和动作捕捉技术的装配仿真方法的流程图。

图2是装配仿真方法的记录装配所有零部件模型的所需时间的流程图。

具体实施方式

接下来将参照附图详细描述本发明的发明构思。这里所描述的仅仅是根据本发明的优选实施方式，本领域技术人员可以在所述优选实施方式的基础上想到能够实现本发明的其他方式，所述其他方式同样落入本发明的范围。在以下的具体描述中，例如“上”、“下”、“内”、“外”、“纵”、“横”等方向性的术语，参考附图中描述的方向使用。本发明的实施例的部件可被置于多种不同的方向，方向性的术语是用于示例的目的而非限制性的。

参见图1，其示出了根据本发明的基于VR技术和动作捕捉技术的装配仿真方法。如图1所示，装配仿真方法包括搭建数据采集系统11、搭建场景的虚拟模型12、采集装配数据13和获取工艺流程包14等步骤。

在搭建数据采集系统步骤11中，数据采集系统采集工作人员的肢体动作和位置。所采用的数据采集系统可由布置在场地中的光学摄像头、VR头显设备、全身动作捕捉设备等组成。全身动作捕捉设备由各类光学传感器、惯性传感器等组成。根据本申请的一些实施例，全身动作捕捉设备的动作捕捉手套同时设有光学传感器和惯性传感器。光学传感器能够捕捉精确的定位，惯性传感器则可以解决光线被遮挡后光学传感器无法作用的难题。对于手部而言，动作捕捉手套仅布置惯性传感器，并且惯性传感器被分别布置在手心、各手指中的关节处。根据本发明，手部位置处的惯性传感器包括加速度计、陀螺仪、磁力计等组件，其能够测算出手部的动作及姿态。

用于捕捉工作人员的躯干位置及动作的传感器可分别设置在头部、肩部、上臂、腰部、大腿、膝盖、脚部、手腕等位置处，例如，可以在左右手的腕部各设1枚传感器，各大腿处各设1枚、小腿处各设1枚，后背处设置1枚。通过全身动作捕捉设备，数据采集系统可首先确定工作人员的身高以及后续做进行的动作，例如弯腰、屈膝、转身等动作。捕捉躯干位置的传感器可由光学传感器和惯性传感器组成。在一些实施例中，捕捉躯干位置的传感器可集成在带有马克点(marker)的服装中。

可选地，传感器等被布置在人体双手、双脚、头部(可集成在VR头显中)、背部等7处。

借助于数据采集系统，系统内可以生成与待装配的零部件模型、飞机舱等比例的人体模型，并将工作人员的现实动作反馈在VR头显的虚拟影像中。

在搭建场景的虚拟模型的步骤12中，可搭设飞机舱以及搭接在飞机舱内的零部件模型等虚拟模型。虚拟模型例如可通过CATIA等软件制作、导入仿真平台中。针对不同的装配需求，工作人员进行装配仿真试验前可先行设定针对特定舱室所要装配零件的对应的零部件模型。

在采集装配数据的步骤13中，工作人员佩戴VR头显观察零部件模型。借助于VR头显的可视化视野，工作人员通过实际动作抓取此前设定的零部件模型(虚拟模型)，并将其安装在VR头显所呈现的飞机舱中的对应位置上。在这个过程中，数据采集系统时时采集工作人员的动作以及所抓取的零部件模型，并呈现在工作人员佩戴的VR头显中。工作人员可采用不同的零部件模型安装顺序，以及移动零部件模型的不同方式来确认采用能够无干涉地装配所有零部件模型的装配工艺数据。装配工艺数据可选地包括装配所有零部件模型的所需时间。借助于VR头显，工作人员能够通过真实的动作来装配零件，因此能够为工作人员提供真实的装配感受。

根据本发明，VR头显中可集成音响等，在采集装配数据的步骤13中，倘若工作人员移动零部件碰撞了舱室内壁或其他零部件，VR头显可通过声音报警的形式来提醒工作人员。此外，被碰撞的舱室内壁或其他零部件的具体部位可着色标记并进一步在VR头显中显示。

此外，在选定好飞机舱模型以及相应的零部件模型后，可以进一步通过数据优化处理步骤15来获取优化后的装配工艺数据。具体而言，在飞机舱空间、各零部件模型的形状和尺寸数据以及所需装配的位置在由采集装配数据步骤13中给予确认后，计算机可以获得各零部件模型处于目标位置后的飞机舱的剩余空间数据。此外，由于此前系统内采集了能够装配所有零部件模型的装配工艺数据，其中，该装配工艺数据包括了零部件模型的移动方式，系统因此可以基于该零部件模型的移动方式信息以及飞机舱的剩余空间数据在虚拟环境空间中调节各零部件模型的安装顺序，确认其他可行零部件模型的装配顺序，并由此得到采用其他装配所有零部件模型的所需总装配时间，得到最优的装配工艺数据。

可以理解，倘若未设置数据优化处理步骤15，系统内记录的装配工艺数据只能根据工作人员实操过的所有可行零部件模型的装配顺序和移动方式的对应所需最少安装时间来确定。显然的，在有限的时间和精力条件下，这将难以获得最优的零部件模型的安装方式。通过数据优化处理步骤15，工作人员无需经过多次试错环节即可得到最优的装配工艺数据。

在获得装配工艺数据(或者经过优化处理的装配工艺数据)后，系统可基于所采集的装配工艺数据生成能够在最短时间内装配所有零部件模型的安装顺序以及移动方式生成工艺流程包，从而完成获取工艺流程包步骤14。优选地，为了在后续的实操过程中为工人提供更便利的说明，上述工艺流程包可集成装配零部件模型的视频数据和表征零部件模型装配顺序的流程图。通过结合视频说明的方式，工人将在实操中更准确、快速地安装现实零部件。

在搭建场景的虚拟模型12过程中，可事先对所有待装配的零部件模型的名称、编号以及装配顺序等进行预编辑，从而便于工作人员进行装配仿真前选定准确的零部件模型。

对零部件模型进行预编辑后，在采集装配数据的步骤13中，可采用图2的流程来记录装配所有零部件的装配时间。具体而言，装配每个零部件模型时，由系统记录对应零部件模型被抓取时的起始时刻及该零部件模型的编号。倘若判断零部件模型(第二零部件模型)处于所需装配的目标位置则记录该零部件模型(第二零部件模型)被装配完毕的时刻，由此获得装配该第二该零部件模型的所需装配时间；倘若该第二零部件模型未被装配到位置上，则继续等待。在继续等待的过程中，如果已装配的零部件模型(第一零部件模型)被移出装配位置，则表示第二零部件模型无法被装配上，采用当前的零部件模型安装顺序将无法装配所有的零部件模型。系统此时重新记录第一零部件模型的装配起始时间，并按照以上方式循环地确定其他可行的零部件模型的安装顺序。

根据本发明的一些优选实施方式，装配仿真系统允许至少两个工作人员在部分或全部时段中一同进行仿真试验，并在采集装配数据的步骤13中采集这些两个工作人员的动作和位置。由此，本发明的装配仿真方法还可适用于需要多协同配合安装零部件的仿真试验中。

本发明的装配仿真方法运用虚拟现实技术和动作捕捉技术，将真实的产品数模与虚拟现实环境相融合，搭建一个虚拟的装配仿真环境，可以为用户提供便捷的可视化装配指导方法。

本发明的保护范围仅由权利要求限定。得益于本发明的教导，本领域技术人员容易认识到可将本发明所公开结构的替代结构作为可行的替代实施方式，并且可将本发明所公开的实施方式进行组合以产生新的实施方式，它们同样落入所附权利要求书的范围内。