虚拟场景中虚拟物体与数字物体间的运动关联方法和系统
文献发布时间:2023-06-19 18:58:26
技术领域
本发明涉及虚拟现实技术和数字孪生领域,具体地涉及一种虚拟场景中虚拟物体与数字物体间的运动关联方法和系统。
背景技术
数字孪生(Digital Twin)体是在虚拟空间构建的表征物理实体实时运行状态的虚拟实体,具备融合几何建模、仿真模拟、数据分析的全方位功能,扮演着综合分析决策的角色。数字物体中以数字人体为例,数字人体即数字人体模型简称数字人,是利用医学影像CT/MRI/彩色照片数据通过计算机技术构建的体现三维解剖结构的人体模型,主要用于核医学及辐射防护等领域。
理想的医学影像数字孪生需要具备三个要求:一,外在视觉表形内容和内在机理拟真之间是有机融合,互动操作,关联影响的,不能是各自独立操作的,机械集成的两个内容。二,数字孪生系统的操作流程要和临床规范操作一致,图像逼真度高,操作实时性和真机基本一致。三,真实系统和孪生系统之间存在着数据的交互。其中第一个要求,指的是,虚拟场景中的所有运动和操作,都需要体现在最终的虚拟扫描结果上。具体而言,虚拟场景中的虚拟设备的运动(比如倾斜角度),虚拟人体模型的不同定位和摆位姿势,虚拟扫描中的不同参数设置,最后都需要科学准确的反映在虚拟扫描图像上,即外在的虚拟场景和内在的机理模型之间是需要联动的。
公告号CN 102722908 B的专利公开了一种在三维虚拟现实场景中的物体空间摆位方法,该方法通过获取可获得三个轴向驱动数据的外置设备操控三维虚拟现实场景中的物体产生的驱动数据,再将驱动数据转换为运动偏移量,包括移动偏移量和旋转偏移量,从而实现了只在三维视图中就能完成对三维虚拟现实场景中的物体空间准确摆位。该方法仅仅实现了空间的摆位,并没有体现外在的虚拟场景和内在的机理模型之间的联动。
发明内容
针对上述存在的技术问题,本发明目的是:提供一种虚拟场景中虚拟物体与数字物体间的运动关联方法及系统,可以将虚拟场景的模型操作与运行机理模型中数字物体模型的运动联动,从而使得数字物体模型获得运动信息,便于后续对数字物体模型的实时操作,通过矩阵操作,运算量小,实时性高,例如作为虚拟扫描对象进行机理仿真,从而使得虚拟扫描的图像与虚拟场景中的虚拟人体模型的部位、体位和摆位完全一致,实现高度逼真的虚拟扫描效果。
本发明的技术方案是:
一种虚拟场景中虚拟物体与数字物体间的运动关联方法,包括以下步骤:
S01:在虚拟场景中构建虚拟物体模型;
S02:获取构建的虚拟物体模型的连接信息,将构建的虚拟物体模型根据连接信息进行拆分,得到虚拟物体子体模型,虚拟物体子体模型间根据连接信息构建受限的活动范围;
S03:获取虚拟物体的特征信息矩阵,并与该虚拟物体模型的三维空间结构组合得到数字物体模型;根据虚拟物体子体模型的三维空间结构得到数字物体子体模型V;
S04:控制虚拟物体在虚拟场景中运动,计算得到各虚拟物体子体模型的运动信息矩阵V1;
S05:将数字物体子体模型V与运动信息矩阵V1进行矩阵乘积运算,得到运动后的数字物体子体模型V’=V×V1。
优选的技术方案中,所述步骤S02中根据真实物体得到虚拟物体模型的连接信息,所述连接信息包括连接类型、自由度和自由度范围,自由度表示在某个断面方向上的运动,包括矢状平面S、冠状平面C、及横断平面T。
优选的技术方案中,所述步骤S03中特征信息矩阵包括物理信息、化学信息和生理信息。
优选的技术方案中,所述步骤S04中计算得到虚拟物体各子体模型的运动信息矩阵V1包括:
S41:构建每个虚拟物体模型的几何信息属性;
S42:在几何信息属性下关联有世界坐标系矩阵子属性;
S43:构建世界坐标系矩阵子属性,包括世界坐标系中的位置P(x,y,z),x,y,z的值分别表示在X,Y,Z方向的平移值;世界坐标系中的缩放S(s1,s2,s3),s1,s2,s3的值分别表示在X,Y,Z方向的缩放比例值;世界坐标系中的旋转R(r1,r2,r3),r1,r2,r3的值分别表示在X,Y,Z方向的旋转角度值;
S44:改变构建的每个虚拟物体模型的几何信息属性,计算得到平移矩阵、缩放矩阵和旋转矩阵;
S45:将平移和缩放分别沿X,Y,Z轴的旋转矩阵进行连乘,得到各虚拟物体子体模型的运动信息矩阵V1。
优选的技术方案中,所述步骤S05之后还包括:
S61:获取虚拟物体的感兴趣区的空间信息矩阵Vs;
S62:将得到的运动后的数字物体子体模型V’与感兴趣区Vs进行矩阵点积运算,得到感兴趣区内的运动后的数字物体子体模型V0=V’·Vs;
S63:如果感兴趣区包括多个虚拟物体子体模型,则对各虚拟物体子体模型进行矩阵拼接后,计算感兴趣区内的运动后的数字物体子体模型V0。
本发明还公开了一种医学影像数字孪生系统,包括:
虚拟场景模块,构建虚拟场景;
虚拟设备模块,构建虚拟设备,虚拟设备运动功能化、接口和运动控制;
虚拟人体模块,构建虚拟人体,虚拟人体骨连接运动功能化;
虚拟扫描仿真模块,将上述的虚拟场景中虚拟物体与数字物体间的运动关联方法得到V
优选的技术方案中,所述感兴趣区域的选择方法包括:
获取虚拟场景成像操作中设置的医学影像成像的相关参数;
将机架空腔的三维中心处坐标作为V
根据扫描射野FOV确定V
根据扫描范围得到V
确定V
优选的技术方案中,CT和MRI模式下V
本发明又公开了一种虚拟场景中虚拟物体与数字物体间的运动关联系统,包括:
虚拟物体模型构建模块,在虚拟场景中构建虚拟物体模型;
虚拟物体子体模型构建模块,获取构建的虚拟物体模型的连接信息,将构建的虚拟物体模型根据连接信息进行拆分,得到虚拟物体子体模型,虚拟物体子体模型间根据连接信息构建受限的活动范围;
数字物体子体模型构建模块,获取虚拟物体的特征信息矩阵,并与该虚拟物体模型的三维空间结构组合得到数字物体模型;根据虚拟物体子体模型的三维空间结构得到数字物体子体模型V;
虚拟物体子体模型运动信息矩阵计算模块,控制虚拟物体在虚拟场景中运动,计算得到各虚拟物体子体模型的运动信息矩阵V1;
运动关联模块,将数字物体子体模型V与运动信息矩阵V1进行矩阵乘积运算,得到运动后的数字物体子体模型V’=V×V1。
优选的技术方案中,还包括感兴趣区信息输出模块,包括:
S61:获取虚拟物体的感兴趣区的空间信息矩阵Vs;
S62:将得到的运动后的数字物体子体模型V’与感兴趣区Vs进行矩阵点积运算,得到感兴趣区内的运动后的数字物体子体模型V0=V’·Vs;
S63:如果感兴趣区包括多个虚拟物体子体模型,则对各虚拟物体子体模型进行矩阵拼接后,计算感兴趣区内的运动后的数字物体子体模型V0。
与现有技术相比,本发明的优点是:
1、可以将虚拟场景的模型操作与运行机理模型中数字物体模型的运动联动,从而使得数字物体模型获得运动信息,便于后续对数字物体模型的实时操作。构建模型矩阵和运动信息矩阵,只需要进行矩阵操作,运算量小,实时性高。将虚拟物体模型根据连接信息进行拆分成多个子体,分别计算运动信息,然后进行关联,大大提高了逼真度。
2、可以将运动关联后的数字物体作为虚拟扫描对象进行机理仿真,以虚拟场景中的虚拟设备、虚拟人体模型的任意摆位和体位变化所得到的旋转信息作为桥梁,对虚拟人体模型关联的内在物理数字人体矩阵进行相同的坐标映射变换,从而得到扫描视野内的物理数字人体矩阵信息,作为虚拟扫描的对象进行机理仿真,从而使得虚拟扫描的图像与虚拟场景中的虚拟人体模型的部位、体位和摆位完全一致,实现高度逼真的虚拟扫描效果。
3、该方法是实现医学影像数字孪生的外在视觉模型和内在机理模型有融合的基础,是医学影像数字孪生体高度逼真真实医学影像系统的关键,是后续开展元宇宙医院的重要组成部分。医学影像数字孪生体可实现无需昂贵庞大的硬件设备,避开辐射伤害,广泛用于医学影像技师、医师和工程师实训教学和规范化培训等方面,也可以用于医学影像虚拟扫描和医学影像人工智能样本增广。
附图说明
下面结合附图及实施例对本发明作进一步描述:
图1为本实施例虚拟场景中虚拟物体与数字物体间的运动关联方法的流程图;
图2为较佳实施例虚拟场景与真实场景联动方法的流程图;
图3为本实施例虚拟场景中虚拟物体与数字物体间的运动关联原理图;
图4为本实施例医学影像数字孪生系统的工作流程图;
图5为本实施例医学影像数字孪生的CT数字孪生案例;
图6为本实施例虚拟设备、虚拟人运动功能化3D建模方法流程图;
图7为本实施例枕寰连接导致的头部子体昂头和低头动作示意;
图8为本实施例枕寰连接导致的头部子体左侧头和右侧头动作示意;
图9为本实施例枕寰连接导致的头部子体左转头和由右转头动作示意;
图10为本实施例CT/MRI数字孪生中的虚拟人体摆位和体位效果;
图11为本实施例CT定位成像机理模拟融合效果;
图12为本实施例CT断层成像机理模拟融合效果;
图13为本实施例MR任意断层成像和机理模拟融合效果;
图14为本实施例医学影像数字孪生系统的佩戴头显和遥控手柄操作示意。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
实施例1:
如图1所示,一种虚拟场景中虚拟物体与数字物体间的运动关联方法,包括以下步骤:
S01:在虚拟场景中构建虚拟物体模型;
S02:获取构建的虚拟物体模型的连接信息,将构建的虚拟物体模型根据连接信息进行拆分,得到虚拟物体子体模型,虚拟物体子体模型间根据连接信息构建受限的活动范围;
S03:获取虚拟物体的特征信息矩阵,并与该虚拟物体模型的三维空间结构组合得到数字物体模型;根据虚拟物体子体模型的三维空间结构得到数字物体子体模型V;
S04:控制虚拟物体在虚拟场景中运动,计算得到各虚拟物体子体模型的运动信息矩阵V1;
S05:将数字物体子体模型V与运动信息矩阵V1进行矩阵乘积运算,得到运动后的数字物体子体模型V’=V×V1。
该步骤S01中的虚拟物体可以是虚拟人体、虚拟动植物、虚拟设备、虚拟人造物等等。
虚拟场景中的虚拟物体模型的构建,可采用Unity,U3D,Unreal等3D建模软件按照真实医学影像设备的外观进行构建。虚拟人体也可以采用3D建模软件进行建模完成。
但本实施例中优选的虚拟人体建模方法可通过医学影像设备的容积成像的图像经表面重建得到。也可以通过3维旋转录制视频后经处理得到。
一较佳的实施例中,步骤S02中根据真实物体得到虚拟物体模型的连接信息,连接信息包括连接类型、自由度和自由度范围,自由度表示在某个断面方向上的运动,包括矢状平面S、冠状平面C、及横断平面T。
虚拟物体具备运动功能,包括虚拟空间中的三维平移、三维旋转和三维缩放运动。
虚拟物体可以通过关节连接,也可以通过绳索,铰链,弹簧或其他形式的连接方式,或者是子体可运动的无物理连接方式等等。具体的连接方式根据具体的虚拟物体来定。
根据应用场景需求,虚拟物体可以拆分成多个关联的子体,子体之间可以构建受限的三维平移、缩放和旋转运动功能。这里的受限为以自由度和自由度范围为限。
一较佳的实施例中,步骤S03中特征信息矩阵包括物理信息、化学信息和生理信息。
数字物体的特征信息可包括密度、质子密度、电子密度、弛豫时间、扩散系数等等各种物理信息,也可以是化学位移、J耦合强度等化学信息,也可以是代谢系数等生理等信息。
数字物体模型即虚拟物体内在的物理信息矩阵,具体的构建方法可以采用申请号为201710361588.7,名称为数字MRI图谱的构建方法及设备的专利构建。另,申请号为202011525280X的一种DR/CT数字物体构建方法和系统可以用以构建CT/DR数字人体。当然也可以采用其他方法构建,这里不做限定。
根据虚拟物体的子体拆分,对应的将数字物体物理信息矩阵拆分成多个子体物理信息矩阵。
一较佳的实施例中,步骤S04中计算得到虚拟物体各子体模型的运动信息矩阵V1包括:
S41:构建每个虚拟物体模型的几何信息属性;
S42:在几何信息属性下关联有世界坐标系矩阵子属性;
S43:构建世界坐标系矩阵子属性,包括世界坐标系中的位置P(x,y,z),x,y,z的值分别表示在X,Y,Z方向的平移值;世界坐标系中的缩放S(s1,s2,s3),s1,s2,s3的值分别表示在X,Y,Z方向的缩放比例值;世界坐标系中的旋转R(r1,r2,r3),r1,r2,r3的值分别表示在X,Y,Z方向的旋转角度值;
S44:改变构建的每个虚拟物体模型的几何信息属性,计算得到平移矩阵、缩放矩阵和旋转矩阵;
S45:将平移和缩放分别沿X,Y,Z轴的旋转矩阵进行连乘,得到各虚拟物体子体模型的运动信息矩阵V1。
一较佳的实施例中,如图2所示,步骤S05之后还包括:
S61:获取虚拟物体的感兴趣区空间信息矩阵Vs;
S62:将得到的运动后的数字物体子体模型V’与感兴趣区Vs进行矩阵点积运算,得到感兴趣区的运动后的数字物体子体模型V0=V’·Vs;
S63:如果感兴趣区包括多个虚拟物体子体模型,则对各虚拟物体子体模型进行矩阵拼接后,计算感兴趣区的运动后的数字物体子体模型V0。
另一实施例中,如图3所示,一种虚拟场景中虚拟物体与数字物体间的运动关联系统,包括:
虚拟物体模型构建模块10,在虚拟场景中构建虚拟物体模型;
虚拟物体子体模型构建模块20,获取构建的虚拟物体模型的连接信息,将构建的虚拟物体模型根据连接信息进行拆分,得到虚拟物体子体模型,虚拟物体子体模型间根据连接信息构建受限的活动范围;
数字物体子体模型构建模块30,获取虚拟物体的特征信息矩阵,并与该虚拟物体模型的三维空间结构组合得到数字物体模型;根据虚拟物体子体模型的三维空间结构得到数字物体子体模型V;
虚拟物体子体模型运动信息矩阵计算模块40,控制虚拟物体在虚拟场景中运动,计算得到各虚拟物体子体模型的运动信息矩阵V1;
运动关联模块50,将数字物体子体模型V与运动信息矩阵V1进行矩阵乘积运算,得到运动后的数字物体子体模型V’=V×V1。
一实施例中,还包括感兴趣区信息输出模块60,包括:
S61:获取虚拟物体的感兴趣区空间信息矩阵Vs;
S62:将得到的运动后的数字物体子体模型V’与感兴趣区Vs进行矩阵点积运算,得到感兴趣区内的运动后的数字物体子体模型V0=V’·Vs;
S63:如果感兴趣区包括多个虚拟物体子体模型,则对各虚拟物体子体模型进行矩阵拼接后,计算感兴趣区的运动后的数字物体子体模型V0。
另一实施例中,一种医学影像数字孪生系统,包括:
虚拟场景模块,构建虚拟场景;
虚拟设备模块,构建虚拟设备,虚拟设备运动功能化、接口和运动控制;
虚拟人体模块,构建虚拟人体,虚拟人体骨关节运动功能化;
虚拟扫描仿真模块,将上述的虚拟场景中虚拟物体与数字物体间的运动关联方法得到V
下面以一最佳的实施例详细叙述医学影像数字孪生系统,其中,数字物体以数字人体为例进行说明:
医学影像数字孪生系统的整体工作流程图如图4所示。
典型的医学影像数字孪生体构建中,涉及虚拟数字人体模型和虚拟医学影像设备模型构建。虚拟数字人体整体具有三维平移和三维旋转运动,但不包含三维缩放运动。三维平移运动通常是通过虚拟数字人体模型在虚拟检查床上的升降和进出来实现的。虚拟设备也一般固定不动的。如图5所示。
医学影像数字孪生体构建中,对于虚拟数字人体模型,根据常规医学影像检查的摆位需要,将虚拟人体模型拆分成头部、颈部、躯干(胸腹盆腔)、上臂×2、前臂×2、手掌×2、大腿×2、小腿×2、足×2等15个子体。并基于关节功能对子体进行3维自由度运动设置,关节包括枕寰关节、颈椎关节、胸椎关节、腰椎关节、肩关节、肘关节、腕关节、髋关节、膝关节、踝关节等。
虚拟设备、虚拟人运动功能化3D建模方法如图6所示,根据正常人体的关节运动功能构建虚拟人体的关节运动功能,表1给出了虚拟人体各关节类型、自由度(Degree ofFreedom,DOF)维数和自由度范围。自由度表示在某个断面方向上的运动。3D表示在三个断面上可以运动,其中S为矢状平面,C为冠状平面,T为横断平面。考虑临床检查的关节运动需求,可以不考虑颞颌关节、指关节和趾关节功能化。
表1虚拟人体全身关节类型和自由度
以上子体拆分以枕寰关节为例来说明。以枕寰关节为界,可以将虚拟数字人体的头部单独拆分为一个子体。枕寰关节类型为球窝关节,因此头部子体可以在三个断面内做受限的旋转运动。比如,在前后的矢状面S内,旋转角度范围为[-45,55]之间;在左右的冠状面C内,头部摆动角度范围为[-30,30];在垂直于人体长轴的横断面T内,头部旋转范围为[-60,60]。
枕寰关节导致的头部子体运动示例,选中头部,会出现枕寰关节在三个断面内旋转的操作圆环,分别为带箭头的红色、蓝色和绿色圈表示,拖动相应的圈上的箭头运动,即可带动头部做相应方向的旋转运动。此时头部为原始状态,枕寰关节的三自由度均为0值。
调整红色圈,头部将在矢状面内前后转动,即昂头和低头动作,如图7所示。
调整蓝色圈,头部将在冠状面内做旋转运动,即左侧头和右侧头动作,如图8所示。
调整绿色圈,头部将在横断面内做旋转运动,即左转头和由右转头动作。如图9所示。
同理,其余各个子体都是通过关节及关节的旋转自由度进行拆分。
步骤3,构建虚拟物体相对的数字物体模型(虚拟物体内在的物理信息矩阵),并与虚拟物体3D模型对应分成多个子体物理信息矩阵V;
虚拟物体对应的数字物体,是虚拟物理内在的物理信息矩阵,其构建方法依照物理信息的不同而不同。
根据虚拟物体的子体拆分,对应的将数字人体信息矩阵拆分成多个子体物理信息矩阵,记位V。
典型实例,医学影像数字孪生体构建中,本步骤的物理数字人体矩阵是指虚拟人体模型对应的人体内部组织的医学影像物理信息模型数据库。医学影像物理信息是能够影响医学影像信号的人体组织的物理信息,包括电子密度、有效原子序数、质子密度、自旋-自旋弛豫时间、自旋晶格弛豫时间、化学位移、扩散系数等等,其具体构建方法见本申请人的现有专利。
对应着虚拟人体拆分情况,将数字人体矩阵拆分成头部、颈部、躯干(胸腹盆腔)、上臂×2、前臂×2、手掌×2、大腿×2、小腿×2、足×2等15个子体矩阵,记位V。
同样,以枕寰关节为例,对物理数字人体数据库,以枕寰关节为界,将物理数字人体的头部子体数据拆分出来,并记为V。
其余各个子体,按照相同的方法进行拆分。
步骤4,对3D虚拟场景中虚拟物体的整体运动和内部子体运动,可以基于3D虚拟场景的WebGL 3D等绘图工具协议,得到虚拟物体各子体的位置、缩放和旋转信息后,计算得到运动信息矩阵V
3D虚拟场景中,每个物体模型都有其几何信息属性(geormetry)。几何属性下都有一个世界坐标系矩阵子属性(matrixworld),下面都有三个字段,分别为position,scale,rotation。
Position为该子体在世界坐标系中的位置(x,y,z),其变化表示三维平移运动,或者说该子体在三维虚拟空间中的任何平移运动会导致该字段值的变化。x,y,z的值分别表示在X,Y,Z方向的平移值。
Scale为该子体在世界坐标系中的缩放(s1,s2,s3),其变化表示子体有缩小或放大,或者说该子体在三维虚拟空间中的任何缩放会导致该字段值的变化。s1,s2,s3的值分别表示在X,Y,Z方向的缩放比例值。
Rotation为该子体在世界坐标系中的旋转(r1,r2,r3),其变化表示子体有旋转运动,或者说该子体在三维虚拟空间中的任何旋转运动会导致该字段值的变化。r1,r2,r3的值分别表示在X,Y,Z方向的旋转角度值。
对获取的position,scale,rotation字段值,计算得出平移、缩放和旋转矩阵,并将三个矩阵连乘得到整体的运动信息矩阵V1。具体的平移、缩放和旋转矩阵如下:
(1)平移矩阵为:
将各子体的缩放Position字段值(三个值),分别对应为Tx,Ty,Tz并给出该矩阵形式,即得到了平移矩阵。
(2)缩放矩阵为:
将各子体的缩放scale字段值(三个值),分别对应为S1,S2,S3并给出该矩阵形式,即得到了缩放矩阵。
单x轴的旋转矩阵为:
将各子体的旋转rotation字段值的第一个值,作为θ,代入该矩阵计算出来的矩阵即为沿x轴的旋转矩阵。
(3)单y轴的旋转矩阵为:
将各子体的旋转rotation字段值的第二个值,作为β,代入该矩阵计算出来的矩阵即为沿y轴的旋转矩阵。
(4)单z轴的旋转矩阵为:
将各子体的旋转rotation字段值的第三个值,作为α,代入该矩阵计算出来的矩阵即为沿y轴的旋转矩阵。
将上述的平移矩阵、缩放矩阵以及沿X,Y,Z轴的旋转矩阵进行连乘,得到子体的整体运动信息矩阵V
典型实例,医学影像数字孪生体构建中,对虚拟空间中,虚拟数字人体模型只包含平移和旋转运动,不存在缩放运动。
医学影像数字孪生体中,数字人体的整体平移运动主要通过人体的移动、虚拟人体在检查床上随着检查床的升降和进出床运动被带者平移运动的。检查床的运动可以通过虚拟场景中对虚拟设备的运动控制操作实现。
CT/MRI数字孪生中的虚拟人体摆位和体位效果如图10所示。
医学影像数字孪生体中,数字人体的整体旋转运动,主要由CT和MR的体位操作控制的,包括,仰卧头先进(HFS)、仰卧脚先进(FFS)、俯卧头先进(HFP)、俯卧脚先进(FFP)、右侧卧头先进(HFDR)、右侧卧脚先进(FFDR)、左侧卧头先进(HFDL)、左侧卧脚先进(FFDL)等8种,对于DR检查,包括立式、卧式和坐式等三种基本体位。
虚拟数字人体的内部子体,一般不包含单独的平移运动,所有运动都是通过关节旋转运动形成的。
虚拟数字人体的内部子体旋转运动,根据各个关节的三维受限旋转运动(人为操作)带动各虚拟数字人体各子体的运动。
步骤5,对数字物体的每个子体矩阵V与运动信息矩阵V
典型的,医学影像数字孪生体构建中,对物理数字人体的各子体信息矩阵V与虚拟数字人体的运动矩阵V1,进行矩阵乘积运算,得到运动后的物理数字人体的各子体的信息矩阵V’。该V’是数字人体各子体进行了与虚拟人体相应的运动之后的物理信息矩阵。
医学影像数字孪生体中,实际影像检查的摆位操作中,不会出现各子体信息矩阵的位置叠加情况。在极特殊情况下,子体矩阵的旋转形成矩阵位置叠加时,可以对界面处的矩阵信息按照弹性进行收缩处理。
步骤6,对虚拟场景中运动后的数字物体信息V’,选择虚拟空间中整体区域内或者某个特定区域(感兴趣区)Vs,经矩阵点积运算得到感兴趣区内的数字物体信息V
感兴趣区可以是整个虚拟三维空间,也可以是特定的感兴趣区。
典型的,医学影像数字孪生体构建中,感兴趣区域的选择方法可以是,根据使用者在虚拟场景成像操作中设置的医学影像成像的相关参数(如层厚、层间距、层数,FOV,机架倾斜角度,任意断层角度等),计算得到感兴趣区信息空间矩阵V
将感兴趣区矩阵V
V
CT定位成像机理模拟融合效果如图11所示,CT断层成像机理模拟融合效果如图12所示,MR任意断层成像和机理模拟融合效果如图13所示。
医学影像数字孪生系统也可以佩戴头显,遥控手柄操作,增强沉浸感,如图14所示。
本发明创设的以虚拟人体模型的任意摆位和体位变化所得到旋转信息作为桥梁,对虚拟人体模型关联的内在物理数字人体矩阵进行相同的坐标映射变换,从而得到扫描视野内的物理数字人体矩阵信息,作为虚拟扫描的对象进行机理仿真,从而使得虚拟扫描的图像与虚拟场景中的虚拟人体模型的部位、体位和摆位完全一致。该方法是实现医学影像数字孪生的外在视觉模型和内在机理模型有融合的基础,是医学影像数字孪生体高度逼真真实医学影像系统的关键,是后续开展元宇宙医院的重要组成部分。
医学影像数字孪生体可实现无需昂贵庞大的硬件设备,避开辐射伤害,广泛用于医学影像技师、医师和工程师实训教学和规范化培训等方面,也可以用于医学影像虚拟扫描和医学影像人工智能样本增广。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。