医学培训考核评价方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，具体而言，本申请涉及一种医学培训考核评价方法、装置、电子设备及存储介质。

背景技术

通常，标准的医学手术操作过程包括手术器械的选择是否准确、操作位置是否准确、操作步骤的顺序是否合理等。可以理解，不同的操作有不同的执行时间、优先级、执行顺序，一个错误的操作在不同时间发生就会产生不同的错误结果，执行操作的顺序有误也可能产生错误结果。

基于此，医学培训考核尤为重要，目前，医学培训考核评价主要依赖于与人工考核，不仅评价的效率低，而且因具有一定主观性影响评价的准确率；此外，医学培训考核评价的考核内容过于局限，尚缺乏智能考核方案来实现对考核对象的全方位客观评价。

由上可知，如何实现医学培训考核评价过程中对考核对象的全方位客观评价的问题仍有待解决。

发明内容

本申请各提供了一种医学培训考核评价方法、装置、电子设备及存储介质，可以解决相关技术中存在的医学培训考核评价过程无法实现对考核对象的全方位客观评价的问题。所述技术方案如下：

根据本申请的一个方面，一种医学培训考核评价方法，所述方法包括：显示为医学培训考核而构建的虚拟场景；响应于考核对象在所述虚拟场景中的触发操作，得到第一评价数据；所述触发操作包括所述考核对象在所述虚拟场景中对手术器械进行的模拟操作、所述考核对象在所述虚拟场景中针对考核内容进行的答复操作；针对所述考核对象在所述虚拟场景中对手术器械进行的模拟操作过程，将基于图像采集设备采集到的相应操作视频、以及基于混合现实设备采集到的相应传感数据输入视觉评价网络模型，对所述考核对象在现实场景中的关键动作进行评价，得到第二评价数据；根据所述第一评价数据和所述第二评价数据，对所述考核对象的本次医学培训考核进行综合评价，输出所述考核对象的综合评价结果。

根据本申请的一个方面，一种医学培训考核评价装置，所述装置包括：虚拟场景显示模块，用于显示为医学培训考核而构建的虚拟场景；虚拟场景评价模块，用于响应于考核对象在所述虚拟场景中的触发操作，得到第一评价数据；所述触发操作包括所述考核对象在所述虚拟场景中对手术器械进行的模拟操作、所述考核对象在所述虚拟场景中针对考核内容进行的答复操作；计算机视觉评价模块，用于针对所述考核对象在所述虚拟场景中对手术器械进行的模拟操作过程，将基于图像采集设备采集到的相应操作视频、以及基于混合现实设备采集到的相应传感数据输入视觉评价网络模型，对所述考核对象在现实场景中的关键动作进行评价，得到第二评价数据；综合评价模块，用于根据所述第一评价数据和所述第二评价数据，对所述考核对象的本次医学培训考核进行综合评价，输出所述考核对象的综合评价结果。

根据本申请的一个方面，一种电子设备，包括：至少一个处理器、至少一个存储器、以及至少一条通信总线，其中，存储器上存储有计算机程序，处理器通过通信总线读取存储器中的计算机程序；计算机程序被处理器执行时实现如上所述的医学培训考核评价方法。

根据本申请的一个方面，一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述的医学培训考核评价方法。

根据本申请的一个方面，一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序存储在存储介质中，计算机设备的处理器从存储介质读取计算机程序，处理器执行计算机程序，使得计算机设备执行时实现如上所述的医学培训考核评价方法。

本申请提供的技术方案带来的有益效果是：

在上述技术方案中，在为医学培训考核而构建的虚拟场景中，若考核对象进行了触发操作，便能够得到第一评价数据，同时基于图像采集设备采集到的相应视频、以及基于混合现实设备采集到的相应传感数据，得到第二评价数据，进而根据第一评价数据和第二评价数据，对考核对象的本次医学培训考核进行综合评价，输出考核对象的综合评价结果，上述评价不仅能够从虚拟仿真出发，针对考核对象在虚拟场景中对手术器械进行的模拟操作、以及考核对象在虚拟场景中针对考核内容进行的答复操作做出评价，而且能够利用混合现实技术，对考核对象在现实场景中的关键动作所对应的操作效果做出评价，从而实现一种新型的多模态智能考核方案，避免因人工考核造成的效率低和准确率不高等缺陷，进而能够有效地解决相关技术中存在的医学培训考核评价过程无法实现对考核对象的全方位客观评价的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1是根据本申请所涉及的实施环境的示意图；

图2是根据一示例性实施例示出的一种医学培训考核评价方法的流程图；

图3是图2对应实施例中步骤330在一个实施例的流程图；

图4是图2对应实施例中步骤330在另一个实施例的流程图；

图5是图2对应实施例中步骤330在另一个实施例的流程图；

图6是根据一示例性实施例示出的视觉评价网络模型的训练过程的流程图；

图7是根据一示例性实施例示出的综合评价结果中学习效果对比分析曲线的示意图；

图8是图2对应实施例中步骤350在一个实施例的流程图；

图9是一应用场景中一种医学培训考核评价方法的具体实现示意图；

图10是根据一示例性实施例示出的一种医学培训考核评价装置的结构框图；

图11是根据一示例性实施例示出的一种电子设备的硬件结构图；

图12是根据一示例性实施例示出的一种电子设备的结构框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

如前所述，现有医学培训考核不仅考核内容过于局限，尚无法对医学手术操作的操作效果(例如医学手术操作的规范性、逻辑性、熟练程度、顺序以及应对紧急处理等复杂性情况的合理性等)行评价，而且主要依赖于人工实现，效率低且过于主观。

随着近年来虚拟现实和混合现实技术的发展，将虚拟现实和混合现实技术应用到医学培训考核已逐步成为新的趋势。相对于传统的考核模式，虚拟现实和混合现实技术有着十分显著的优势，可以进行低成本、可重复、可客观量化评估的数字化考核，允许考核对象在可重复考核的环境中学习成长，从而能够有效地改善考核过于依赖人工实现的难题。

然而，引入虚拟现实和混合现实技术的医学培训考核，由于评价准确率不够高，例如，医学手术操作过程中有部分操作使用相同的手术器械且动作差别不大时，容易发生误判，而影响对操作执行顺序的评价，故仍然不可避免地依赖于人工考核；并且，过于单一的考核内容缺乏对考核对象在医学培训考核过程中应对紧急处理等复杂性情况的准确评估，仍然无法实现对考核对象的全方位客观评价。

由上可知，相关技术中仍存在医学培训考核评价过程中无法实现对考核对象的全方位客观评价的局限性。

为此，本申请提供的医学培训考核评价方法，能够有效地提升医学培训考核评价的准确率，相应地，该医学培训考核评价方法适用于医学培训考核评价装置、该医学培训考核评价装置可部署于电子设备，例如，该电子设备可以是配置冯诺依曼体系结构的计算机设备，该计算机设备包括但不限于台式电脑、笔记本电脑、服务器等等。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1为一种医学培训考核评价方法所涉及的实施环境的示意图。该实施环境包括评价设备110、图像采集设备130和混合现实设备150。

具体地，评价设备110可供具有医学培训考核功能的客户端运行，可以是台式电脑、笔记本电脑、服务器等等电子设备，在此不进行限定。

其中，客户端，用于对考核对象进行医学培训考核，可以是应用程序形式，也可以是网页形式，相应地，客户端对考核对象进行医学培训考核的用户界面可以是程序窗口形式，还可以是网页页面形式的，此处也并未加以限定。

图像采集设备130可以是具有图像采集功能的电子设备，例如，该电子设备可以是摄像头、摄像机，还可以是携带摄像头的智能手机等，此处并未加以限定。随着图像采集设备130被部署在进行医学培训考核的空间中，便能够相应地采集到关于考核对象的图像，例如，该图像可以是在考核对象在虚拟场景中对手术器械进行模拟操作过程中，由图像采集设备130采集到的相应操作视频。

同理，随着混合现实设备150被部署在进行医学培训考核的空间中，或者该混合现实设备150由考核对象自身佩戴，便能够相应地采集到关于考核对象的传感数据，例如，该传感数据可以是在考核对象在虚拟场景中对手术器械进行模拟操作过程中，由混合现实设备150采集到的相应传感数据。其中，混合现实设备150可以是姿态传感器、智能眼镜、智能头盔等等，此处并未加以限定。

评价设备110分别与图像采集设备130、混合现实设备150之间通过有线或者无线等方式预先建立通信连接，以通过该通信连接实现彼此间的数据传输。例如，传输的数据包括但不限于操作视频、传感数据等。

随着评价设备110分别与图像采集设备130、混合现实设备150之间的交互，在考核对象在虚拟场景中对手术器械进行模拟操作过程中，评价设备110便能够接收到相应操作视频以及相应传感数据输入视觉评价网络模型，从而通过对考核对象在现实场景中的关键动作做出评价，得到第二评价数据。

同时，响应于考核对象在虚拟场景中的触发操作，得到第一评价数据，并根据第一评价数据和第二评价数据，对考核对象的本次医学培训考核进行综合评价，最终输出考核对象的综合评价结果，实现了对考核对象的全方位客观评价。

当然，根据实际营运的需要，图像采集设备和混合现实设备也可以整合在同一个电子设备中，例如，携带摄像头的智能头盔，也可以将图像采集设备、混合现实设备和评价设备整合在同一个电子设备中，以使医学培训考核评价方法由该电子设备独立完成，此处并非构成具体限定。

请参阅图2，本申请实施例提供了一种医学培训考核评价方法，该方法适用于电子设备，该电子设备可以是图1所示出实施环境中的评价设备110。

在下述方法实施例中，为了便于描述，以该方法各步骤的执行主体为电子设备为例进行说明，但是并非对此构成具体限定。

如图2所示，该方法可以包括以下步骤：

步骤310，显示为医学培训考核而构建的虚拟场景。

其中，虚拟场景是利用计算机技术为医学培训考核而构建的数字化场景，可以通过模拟医学培训考核所需环境(例如医学手术实验室)的画面来呈现，进而通过虚拟仿真的方式对考核对象进行医学培训考核。

在图1所示出的实施环境中，评价设备是可供具有医学培训考核功能的客户端运行的电子设备，那么，当考核对象期望参与医学培训考核时，便可启动该客户端而进入到相应画面，视为虚拟场景的显示。例如，显示的虚拟场景可以是模拟的医学手术实验室。

相应地，现实场景，是指考核对象参与医学培训考核时的所在的空间。例如，现实场景可以是机房，该机房中部署的台式电脑能够通过虚拟场景的显示，给考核对象从视觉、听觉以及触觉上带来对模拟的医学手术实验室的沉浸感。

步骤330，响应于考核对象在虚拟场景中的触发操作，得到第一评价数据。

其中，触发操作包括但不限于：考核对象在虚拟场景中对手术器械进行的模拟操作、考核对象在虚拟场景中针对考核内容进行的答复操作。

相应地，针对触发操作中的模拟操作或答复操作，第一评价数据包括以下至少一种：考核对象在相应模拟操作过程中操作执行顺序的执行评分、考核对象针对相应模拟操作过程的时长评分、考核对象针对考核内容的分数。

应当说明的是，根据电子设备所配置输入组件(例如显示屏幕上覆盖的触摸层、鼠标、键盘等)的不同，触发操作的具体行为也可以有所区别。例如，电子设备为配置触摸层的笔记本电脑，触发操作可以是点击、滑动等手势操作；而对于电子设备为配置鼠标的台式电脑来说，触发操作则可以是拖拽、单击、双击等机械操作，本实施例并未对此加以限定。

在一种可能的实现方式，如图3所示，若触发操作为模拟操作，则步骤330可以包括以下步骤：步骤331，响应于考核对象在虚拟场景中的模拟操作，得到考核对象的操作执行数据；其中，操作执行数据用于指示考核对象在相应模拟操作过程中执行操作的顺序；步骤332，将操作执行数据所指示的顺序与模拟操作过程的标准执行顺序进行比对，得到考核对象在相应模拟操作过程中操作执行顺序的执行评分，并添加至第一评价数据。

其中，模拟操作过程的标准执行顺序预先存储于电子设备。例如，利用脚本文件存储模拟操作过程中的各个模拟操作，每一个模拟操作具有唯一的前置操作和后续操作，从而按照脚本文件中各个模拟操作的前后顺序执行遍历，便能够得到模拟操作过程的标准执行顺序。

举例来说，假设模拟操作过程的标准执行顺序为：模拟操作a->模拟操作b->模拟操作c，而操作执行数据所指示的顺序为：模拟操作a->模拟操作b->模拟操作c，那么，通过比对，便可确定考核对象在相应模拟操作过程中操作执行顺序的执行评分为100分。

此种方式下，实现了对考核对象在相应模拟操作过程中执行操作的顺序的准确且客观量化的评价。

在一种可能的实现方式，如图4所示，若触发操作为模拟操作，则步骤330可以包括以下步骤：步骤334，响应于考核对象在虚拟场景中的模拟操作，确定考核对象的模拟操作过程的时长；步骤335，根据考核对象的模拟操作过程的时长与设定阈值之间的差值，得到考核对象针对相应模拟操作过程的时长评分，并添加至第一评价数据。

其中，考核对象的模拟操作过程的时长，可以通过计时器等方式实现。具体而言，当考核对象开始模拟操作过程，相应地启动计时器，直至考核对象结束模拟操作过程，停止计时器，此时，计时器的数值可作为考核对象的模拟操作过程的时长。

进一步假设设定阈值为10分钟，可以基于考核对象的模拟操作过程的时长与10分钟之间的差值，设置相应的评分规则：若考核对象的模拟操作过程的时长在10分钟以内(可以理解为差值为非正数)，则时长评分为100分；若考核对象的模拟操作过程的时长与10分钟之间的差值在(0,2)，则时长评分为90分；若考核对象的模拟操作过程的时长与10分钟之间的差值在[2,5]，则时长评分为80分；若考核对象的模拟操作过程的时长与10分钟之间的差值在(5,8)，则时长评分为70分；若考核对象的模拟操作过程的时长与10分钟之间的差值在[8,10]，则时长评分为60分；否则，时长评分为不及格(即60分以下)。那么，若考核对象A的模拟操作过程的时长为11分钟，则考核对象A针对相应模拟操作过程的时长评分为90分；若考核对象B的模拟操作过程的时长为16分钟，则考核对象B针对相应模拟操作过程的时长评分为70分。

此种方式下，实现了对考核对象的模拟操作过程的时长的准确且客观量化的评价。

在一种可能的实现方式，如图5所示，若触发操作为答复操作，则步骤330可以包括以下步骤：步骤337，响应于考核对象在虚拟场景中的答复操作，确定考核对象针对考核内容的答复数据；步骤338，将答复数据与考核内容的标准答复进行比对，得到考核对象针对考核内容的分数，并添加至第一评价数据。

其中，考核内容可以根据应用场景的实际需要灵活地设置，例如，考核内容可以设置为选择题或判断题形式的考题，此处并未加以限定。相应地，针对不同的考核内容，考核内容的标准答复也可以有所差异，例如，考核内容为考题时，标准答复即是指考题的正确答案。那么，答复数据指示的是考核对象针对考题的答案，通过与预先存储于电子设备中的正确答案进行比对，便可确定考核对象针对考核内容的分数。

在上述过程中，实现了对考核对象针对考核内容的准确且客观量化的评价。

步骤350，针对考核对象在虚拟场景中对手术器械进行的模拟操作过程，将基于图像采集设备采集到的相应操作视频、以及基于混合现实设备采集到的相应传感数据输入视觉评价网络模型，对考核对象在现实场景中的关键动作进行评价，得到第二评价数据。

首先说明的是，操作视频包括多帧画面，各画面分别用于描述考核对象在虚拟场景中对手术器械进行模拟操作时，考核对象在现实场景中的一个关键动作。可以理解，每一帧画面对应一个关键动作，当然，画面不同，所对应的关键动作可以不同，也有可能相同，也就是说，一个持续性关键动作可能对应多帧画面。该操作视频是基于图像采集设备采集到，并发送至电子设备的。该图像采集设备可以是部署于现实场景中的具有图像采集功能的电子设备，还可以是佩戴在考核对象自身且配置有图像采集功能组件的电子设备。

由此，基于操作视频所描述的考核对象在现实场景中的关键动作，将有利于实现对考核对象在现实场景中关键动作所对应的操作效果进行评价。

值得一提的是，由于能够实现对考核对象在现实场景中关键动作所对应的操作效果加以评价，即使是针对因模拟操作的手术器械相同而差别不大的关键动作，也能够实现对该关键动作的准确评价，由此能够降低在虚拟场景中因对该关键动作误判而对操作执行顺序的评价所造成的影响，从而有利于提高对考核对象的全方位客观评价的准确率。

其次，传感数据，是由混合现实设备采集到并发送至电子设备的，可以是用于描述考核对象在现实场景中执行关键动作时的位置和姿态的位姿数据，还可以用于描述考核对象在现实场景中执行关键动作时的心理状态的心电数据。可以理解，每一帧画面对应一个传感数据，也可以理解为，考核对象在现实场景中执行的关键动作不同，其执行关键动作时的心理状态也可能有所差异。该混合现实设备可以是部署于现实场景中的姿态传感器，还可以是佩戴在考核对象自身的具有混合现实功能的电子设备，例如，智能头盔。

那么，基于传感数据所描述的考核对象在现实场景中执行关键动作时的心理状态，能够准确地反映考核对象应对紧急处理等复杂性情况的心态变化，进而辅助评价考核对象在现实场景中关键动作所对应的操作效果，进一步有利于提高对考核对象的全方位客观评价的准确率。

在得到操作视频和传感数据之后，便可对考核对象在现实场景中的关键动作进行评价，本实施例中，对考核对象在现实场景中的关键动作所进行的评价是基于视觉评价网络模型实现的。其中，第二评价数据用于指示考核对象在现实场景中的关键动作所对应的操作效果，例如，操作效果可以是指关键动作的规范性、逻辑性、熟练程度、顺序、以及应对紧急处理等复杂性情况的合理性等等。

在一种可能的实现方式，视觉评价网络模型是经过训练得到的具有评价考核对象在现实场景中的关键动作能力的机器学习模型。该机器学习模型可以是卷积神经网络模型等，此处并未加以限定。

具体而言，如图6所示，视觉评价网络模型的训练过程，可以包括以下步骤：

步骤410，基于训练对象在虚拟场景中对手术器械进行的模拟操作过程，构建训练集。

其中，训练集包括携带标签的训练样本，标签用于指示训练对象在现实场景中关键动作的评价类型。

在此说明的是，该训练对象实质是为了进行视觉评价网络模型的训练而参与医学培训考核的考核对象，例如，可以选取资深临床医生、三年临床经验医生、普通带教医生、操作熟练的学生、初学没有操作经验的学生等水平不同的考核对象，作为训练对象，以此丰富训练对象在现实场景中关键动作的评价类型。

基于此，评价类型可以包括优秀、良好、中等、及格、不及格等。当然，在其他实施例中，评价类型也可以通过不同分数(0～100)表示，此处并非构成具体限定。应当理解，不同评价类型反映的是不同考核对象在现实场景中的关键动作所对应的操作效果将有所区别，例如，评价类型为优秀，反映的是资深临床医生作为考核对象时该医生在现实场景中的关键动作所对应的操作效果最好；评价类型为不及格，则反映了初学没有操作经验的学生作为考核对象时该学生在现实场景中的关键动作所对应的操作效果最差。

那么，训练样本实质包括训练对象在虚拟场景中对手术器械进行模拟操作时，分别由图像采集设备和混合现实设备采集到的相应操作视频和传感数据。

步骤430，将训练样本输入机器学习模型，对训练对象在现实场景中的关键动作进行评价类型预测，得到训练样本的预测数据。

其中，预测数据用于指示预测到的训练对象在现实场景中关键动作的评价类型。

步骤450，根据标签所指示的评价类型与预测到的评价类型之间的差异，计算损失值。

其中，损失值的计算可以采用损失函数等算法实现。在一种可能的实现方式，损失函数包括但不限于：余弦损失函数、交叉熵函数、类内分布函数、类间分布函数、激活分类函数。

若损失值不满足模型收敛条件，则执行步骤470。

反之，若损失值满足模型收敛条件，视为训练完成，则执行步骤490。

在此说明的是，模型收敛条件可以根据应用场景的实际需要灵活地调整，例如，模型收敛条件可以是指损失值达到最小，此种方式下提高模型的精准度；模型收敛条件还可以是指迭代次数超过设定阈值，此种方式下提高模型训练的效率，此处并未加以限定。

步骤470，更新机器学习模型的参数并继续训练。

在机器学习模型的参数更新完成后，便可以从训练集中获取另一个训练样本输入机器学习模型，继续对训练对象在现实场景中的关键动作进行评价类型预测，得到该另一个训练样本的预测数据，即返回执行步骤430，并执行步骤450。

通过如此循环，直至损失值满足模型收敛条件，完成视觉评价网络模型的训练过程。

步骤490，得到视觉评价网络模型。

基于上述训练过程，便得到了具有评价考核对象在现实场景中的关键动作能力的视觉评价网络模型。那么，通过该视觉评价网络模型的调用，便能够对考核对象在现实场景中的关键动作进行评价，得到第二评价数据。

步骤370，根据第一评价数据和第二评价数据，对考核对象的本次医学培训考核进行综合评价，输出考核对象的综合评价结果。

如前所述，第一评价数据可以是考核对象在相应模拟操作过程中操作执行顺序的执行评分、考核对象针对相应模拟操作过程的时长评分、考核对象针对考核内容的分数中的至少一种数据子项，第二评价数据可以用于描述考核对象在现实场景中的关键动作所对应的操作效果。

那么，在得到第一评价数据和第二评价数据后，便能够对考核对象的本次医学培训考核进行综合评价。在一种可能的实现方式，综合评价包括根据第一评价数据和第二评价数据的各数据子项及对应的权重，计算考核对象的综合得分，具体而言，综合得分＝∑(各数据子项×对应权重)。例如，综合得分＝执行评分×执行权重+时长评分×时长权重+分数×分数权重+评价类型(通过分数表示)×类型权重。值得一提的是，各数据子项对应的权重之和等于1。

在基于第一评价数据和第二评价数据完成对考核对象的本次医学培训考核的综合评价后，可以向考核对象输出相应的综合评价结果。

在一种可能的实现方式，综合评价结果包括以下至少一种：考核对象的综合得分、考核对象在相应模拟操作过程中操作执行顺序的执行评分、考核对象针对相应模拟操作过程的时长评分、考核对象针对考核内容的分数、考核对象在现实场景中的关键动作的评价类型。

可选地，综合评价结果还包括关键点的位置信息，其中，关键点用于指示考核对象在现实场景中的关键动作，关键点的位置信息用于指示关键点在现实场景中的位置。此种方式下，可以让考核对象及时地了解到其自身在虚拟场景中对手术器械进行模拟操作时的关键动作是否规范等，有利于考核对象在可重复考核的环境中学习成长。

可选地，综合评价结果还包括学习效果对比分析曲线，以此让考核对象及时地了解到其自身在不同批次的医学培训考核中是否有进步等，进一步有利于考核对象在可重复考核的环境中学习成长。例如，图7展示了综合评价结果中学习效果对比分析曲线的示意图，在图7中，学习效果对比分析曲线包括考核对象的综合得分的学习效果对比分析曲线701、以及考核对象针对相应模拟操作过程的时长的学习效果对比分析曲线702，其中，学习效果对比分析曲线701、702的横坐标均为不同批次的医学培训考核的时间，而学习效果对比分析曲线701的纵坐标为成绩Score，学习效果对比分析曲线702的纵坐标为考核对象针对相应模拟操作过程的时长，可以看出，该考核对象在不同批次的医学培训考核过程中，成绩逐步提高，针对相应模拟操作过程的时长越来越短。

应当说明的是，根据电子设备所配置输出组件(例如显示屏幕、音响组件等)的不同，向考核对象输出相应综合评价结果的方式也可以有所差异。例如，基于台式电脑所配置的音响组件，向考核对象播报考核对象的综合得分。或者，基于笔记本电脑所配置的显示屏幕，向考核对象展示考核对象的综合评价结果，本实施例并未对此加以限定。

通过上述过程，实现了一种新型的多模态智能考核方案，不仅从虚拟仿真出发，针对考核对象在虚拟场景中对手术器械进行的模拟操作、考核对象在虚拟场景中针对考核内容完成的答复操作做出评价，而且利用混合现实技术，对考核对象在现实场景中的关键动作所对应的操作效果进行评价，既能够不依赖于人工考核，以此提高评价的效率和准确率，而且充分考虑了对医学手术操作的操作效果进行评价，最终完成了对考核对象的全方位客观评价。

请参阅图8，在一示例性实施例中，步骤350可以包括以下步骤：

步骤351，调用视觉评价网络模型，根据操作视频中的各画面及与各画面相应的位姿数据，对考核对象在虚拟场景中对手术器械进行模拟操作时的关键点进行识别。

其中，位姿数据用于描述考核对象在现实场景中执行关键动作时的位置和姿态。关键点用于指示考核对象在现实场景中的关键动作。

也就是说，考核对象在现实场景中的关键动作，是通过关键点识别确定的。可以理解，若由画面识别到的关键点不完全相同，则考核对象在现实场景中的关键动作将有所区别。在一种可能的实现方式，对于考核对象而言，存在至少14个关键点：头关键点、颈部关键点、左肩关键点、左肘关键点、左手关键点、左髋关键点、左膝关键点、左踝关键点、右肩关键点、右肘关键点、右手关键点、右髋关键点、右膝关键点、右踝关键点等。应当说明的是，由于引入各画面相应的位姿数据，由画面识别到的关键点反映的是现实场景中考核对象执行关键动作时的位置和姿态，而不是考核对象在画面中的相应位置。

步骤353，基于由各画面识别到的关键点以及与各画面相应的心电数据，对考核对象在现实场景中的关键动作进行评价类型预测，得到第二评价数据。

其中，心电数据用于描述考核对象在现实场景中执行关键动作时的心理状态。

应当理解，视觉评价网络模型具有评价考核对象在现实场景中关键动作的能力，实质是指该视觉评价网络模型反映了不同评价类型与不同考核对象在现实场景中的关键动作之间的数学映射关系，例如，以资深临床医生作为考核对象在现实场景中的关键动作与评价类型为优秀之间的数据映射关系，那么，基于视觉评价网络模型所反映的数据映射关系，在确定考核对象在现实场景中的关键动作后，便能够预测得到相应的评价类型。

在一种可能的实现方式，评价类型预测，可以通过视觉评价网络模型中配置的分类器(例如softmax函数)实现，用于计算考核对象在现实场景中的关键动作属于不同评价类型的概率。

举例来说，假设评价类型至少包括优秀、良好、中等、及格、不及格。

那么，计算考核对象在现实场景中的关键动作分别属于优秀、良好、中等、及格、不及格等评价类型的概率，分别为P1、P2、P3、P4、P5。若P1最大，则表示考核对象在现实场景中的关键动作的评价类型为优秀；同理，若P2最大，则表示考核对象在现实场景中的关键动作的评价类型为良好，以此类推，若P5最大，则表示考核对象在现实场景中的关键动作的评价类型为不及格。

当然，在其他实施例中，还设置有用于表示预测到的评价类型的可信程度的可信度及设定阈值，若该可信度小于设定阈值，则表示预测到的评价类型不可信，需要重新进行评价类型的预测。其中，设定阈值为可以根据应用场景的实际需要灵活地设置，以使视觉评价网络模型的精确度和召回率保持平衡，例如，对于精确度要求高的应用场景，设置相对较高的设定阈值；对于召回率要求高的应用场景，则设置相对较低的设定阈值，此处并未具体限定。

值得一提的是，本实施例中，在进行评价类型的预测过程中，还引入与各画面相应的心电数据，从而能够准确地反映考核对象在现实场景中执行关键动作时的心态状态，以此来反映考核对象应对紧急处理等复杂性情况的心态变化，进而辅助评价考核对象在现实场景中关键动作所对应的操作效果，进一步有利于提高对考核对象的全方位客观评价的准确率。

在上述实施例的作用下，利用混合现实技术，将位姿数据和心电数据引入评价类型的预测过程，能够更加准确地评价考核对象在现实场景中关键动作的规范性、逻辑性、熟练程度、顺序、以及应对紧急处理等复杂性情况的合理性等，有利于实现对考核对象的准确的全方位客观评价。

图9是一应用场景中一种医学培训考核评价方法的具体实现示意图。该应用场景中，提供了一种用于实现医学培训考核评价方法的评价框架，该评价框架包括：虚拟现实场景内容评判模块801、计算机视觉评判模块802、以及评估报告模块803。

具体地，虚拟现实场景内容评判模块801，负责构建虚拟场景，并检测考核对象在虚拟场景中的触发操作，以便于响应于该触发操作而得到第一评价数据，并输入综合成绩评估模型。

计算机视觉评判模块802，在考核对象在虚拟场景中对手术器械进行模拟操作过程时，接收到基于图像采集设备采集的操作视频、基于混合现实设备采集的位姿数据和心电数据后，便调用利用携带标签的训练样本预先训练得到的视觉评价网络模型，对考核对象在现实场景中的关键动作进行评价，得到第二评价数据，并输入综合成绩评估模型，以便于综合成绩评估模型根据第一评价数据和第二评价数据，对考核对象的本次医学培训考核进行综合评价。

评估报告模块803，负责输出综合成绩评估模型得到的考核对象的综合评价结果，包括但不限于：考核对象的综合得分、针对考核内容的分数、关键点的位置信息、在现实场景中关键动作的评价类型、学习效果对比分析曲线等等。

在本应用场景中，通过虚拟仿真和混合现实的医学培训考核所实现的新型模拟教学方式，通过对真实人体进行多维度数据采集，并通过仿真建模构建数字化人体或者目标组织模型，实现低成本、可重复、可量化评估的数字化教学，允许考核对象在可重复练习的环境中学习成长，能够有效地缩短考核对象临床实践学习曲线，同时可以充分地保证考核对象在学习过程中的医疗安全性，避免对患者造成损害等高风险问题；此外，相较于以动物标本、教学辅助器械为主的传统医科教育体系，通过虚拟场景的构建，可以为考核对象提供案例丰富、科学规范的学习素材，从而能够有效地改善教学资源不足的难题。

下述为本申请装置实施例，可以用于执行本申请所涉及的医学培训考核评价方法。对于本申请装置实施例中未披露的细节，请参照本申请所涉及的医学培训考核评价方法的方法实施例。

请参阅图10，本申请实施例中提供了一种医学培训考核评价装置900，包括但不限于：虚拟场景显示模块910、虚拟场景评价模块930、计算机视觉评价模块950以及综合评价模块970。

其中，虚拟场景显示模块910，用于显示为医学培训考核而构建的虚拟场景。

虚拟场景评价模块930，用于响应于考核对象在虚拟场景中的触发操作，得到第一评价数据。触发操作包括考核对象在虚拟场景中对手术器械进行的模拟操作、考核对象在虚拟场景中针对考核内容进行的答复操作。

计算机视觉评价模块950，用于针对考核对象在虚拟场景中对手术器械进行的模拟操作过程，将基于图像采集设备采集到的相应操作视频、以及基于混合现实设备采集到的相应传感数据输入视觉评价网络模型，对考核对象在现实场景中的关键动作进行评价，得到第二评价数据。

综合评价模块970，用于根据第一评价数据和第二评价数据，对考核对象的本次医学培训考核进行综合评价，输出考核对象的综合评价结果。

需要说明的是，上述实施例所提供的医学培训考核评价装置在进行医学培训考核评价时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即医学培训考核评价装置的内部结构将划分为不同的功能模块，以完成以上描述的全部或者部分功能。

另外，上述实施例所提供的医学培训考核评价装置与医学培训考核评价方法的实施例属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。

图11根据一示例性实施例示出的一种电子设备的结构示意。需要说明的是，该电子设备只是一个适配于本申请的示例，不能认为是提供了对本申请的使用范围的任何限制。该电子设备也不能解释为需要依赖于或者必须具有图11示出的示例性的电子设备2000中的一个或者多个组件。

电子设备2000的硬件结构可因配置或者性能的不同而产生较大的差异，如图11所示，电子设备2000包括：电源210、接口230、至少一存储器250、以及至少一中央处理器(CPU,Central Processing Units)270。

具体地，电源210用于为电子设备2000上的各硬件设备提供工作电压。

接口230包括至少一有线或无线网络接口231，用于与外部设备交互。例如，进行图1所示出实施环境中评价设备110与图像采集设备130之间的交互。

当然，在其余本申请适配的示例中，接口230还可以进一步包括至少一串并转换接口233、至少一输入输出接口235以及至少一USB接口237等，如图11所示，在此并非对此构成具体限定。

存储器250作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统251、应用程序253及数据255等，存储方式可以是短暂存储或者永久存储。

其中，操作系统251用于管理与控制电子设备2000上的各硬件设备以及应用程序253，以实现中央处理器270对存储器250中海量数据255的运算与处理，其可以是WindowsServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM等。

应用程序253是基于操作系统251之上完成至少一项特定工作的计算机程序，其可以包括至少一模块(图11未示出)，每个模块都可以分别包含有对电子设备2000的计算机程序。例如，医学培训考核评价装置可视为部署于电子设备2000的应用程序253。

数据255可以是存储于磁盘中的照片、图片等，还可以是传感数据等，存储于存储器250中。

中央处理器270可以包括一个或多个以上的处理器，并设置为通过至少一通信总线与存储器250通信，以读取存储器250中存储的计算机程序，进而实现对存储器250中海量数据255的运算与处理。例如，通过中央处理器270读取存储器250中存储的一系列计算机程序的形式来完成医学培训考核评价方法。

此外，通过硬件电路或者硬件电路结合软件也能同样实现本申请，因此，实现本申请并不限于任何特定硬件电路、软件以及两者的组合。

请参阅图12，本申请实施例中提供了一种电子设备4000，该电子设备400可以包括：台式电脑、笔记本电脑、电子设备等。

在图12中，该电子设备4000包括至少一个处理器4001、至少一条通信总线4002以及至少一个存储器4003。

其中，处理器4001和存储器4003相连，如通过通信总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。

处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

通信总线4002可包括一通路，在上述组件之间传送信息。通信总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。通信总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器4003上存储有计算机程序，处理器4001通过通信总线4002读取存储器4003中存储的计算机程序。

该计算机程序被处理器4001执行时实现上述各实施例中的医学培训考核评价方法。

此外，本申请实施例中提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例中的医学培训考核评价方法。

本申请实施例中提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在存储介质中。计算机设备的处理器从存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述各实施例中的医学培训考核评价方法。

与相关技术相比，一方面，采用结合虚拟仿真和混合现实的新型的多模态智能考核方案，能够对考核对象进行更加准确地全方位客观评价，大大降低了对考官的要求，并且有利于提高医学培训考核评价的效率和准确率；另一方面，通过构建贴近真实考核场所的虚拟场景，有效地减少了医学培训考核过程中对考核场所的要求。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。