用于在医学成像过程期间进行依赖于传感器信号的对话生成的方法和系统

技术领域

本发明涉及用于依赖于传感器信号的对话管理器和相关的动作生成的系统和方法，所述依赖于传感器信号的对话管理器用于捕获患者的状态。特别地，本发明涉及用于在医学成像过程期间进行依赖于传感器信号的对话生成的系统和方法、训练机器学习模型的方法、计算机程序单元以及计算机可读介质。

背景技术

EP 3473181 A1描述了用于操作医学图像记录设备的方法、图像记录设备、计算机程序和电子可读数据载体。其中，所描述的设备包括语音交互系统，所述语音交互系统至少具有患者噪声接收麦克风和针对患者的至少一个扬声器，其中，借助于麦克风记录源自患者的声音，并且由语音交互系统的语音识别单元评估所述声音，以确定描述患者状况和/或话语内容的患者信息。

在自主成像期间，有几种情形，患者可能在准备阶段、扫描阶段以及扫描后独自一人。在磁共振成像(MRI)或计算机断层摄影(CT)流程期间，患者被隔离在模态室中并且被提供有一些需要遵守的指令。

这些指令可能是静止不动、每隔一段时间屏住呼吸以及在一定时间内不动。患者大致了解了扫描所需的时间。患者在经受流程时也没有时间进度感。

在某些场景中，患者可能会在扫描或医学成像过程期间感到焦虑和不适。这可能是由于扫描的持续时间比预期的长、其他生物特征状况的变化，或者类似和对应的方面。

然而，在自主成像场景中，在扫描期间或在医学成像过程期间，患者可能无法清楚地表达他们的反馈或他们的焦虑。

发明内容

因此，可能需要改进的医学成像系统。本发明的目的通过独立权利要求的主题来实现，其中，在从属权利要求中包含了进一步的实施例。应当注意，本发明的以下描述的方面等同地适用于所述系统和所述方法、训练机器学习模型的方法、计算机程序单元以及计算机可读介质。

根据本发明的第一方面，提供了一种用于在医学成像过程期间进行依赖于传感器信号的对话生成的系统，所述系统包括：传感器模块，其被配置为测量患者的状况数据；处理器模块，其被配置为分析所述患者的所述状况数据，以确定所述患者的生物特征和身体状况数据；对话数据生成模块，其被配置为生成问卷数据，以用于在所述医学成像过程期间获得来自所述患者的实时反馈，其中，所述问卷数据基于所述医学成像过程的参数和所确定的所述患者的生物特征和身体状况数据。

与现有技术相比，本发明允许自动执行用于在医学成像过程期间或在医学成像过程的单次扫描期间获得来自患者的实时反馈的方法。

本发明有利地使用基于患者心理和身体状况的相关问卷的自动生成来得到期望的反馈。

本发明有利地使用自动化系统来持续监测患者的生物特征、生理或身体状况，以获得相关反馈来采取适当的后续动作。

本发明允许根据患者表现出的面部表情和身体表现来判断患者是否理解了问题。本发明有利地使用感觉输入和/或反馈数据，通过使患者灵活地使用简单的手势、语音命令和包括唇读在内的面部表情来提供反馈，从而使患者更加舒适。

由于患者合作更好并且患者焦虑减少，本发明有利地允许改进的工作流程。

根据本发明的示例性实施例，所述传感器模块还被配置为测量患者的音频数据，并且其中，所述处理器模块还被配置为分析所测量的所述患者的音频数据，以执行情绪识别并确定所述患者的舒适度水平。

根据本发明的示例性实施例，患者的舒适度水平可以例如指的是描述身体疼痛、声学噪声、视觉刺激或固定或移动限制或睡眠障碍对患者的影响程度。

根据本发明的示例性实施例，所述传感器模块还被配置为测量患者的视频数据，并且其中，所述处理器模块还被配置为分析所测量的所述患者的视频数据，以执行情绪识别并确定所述患者的舒适度水平。

根据本发明的示例性实施例，所述情绪识别包括面部识别、语音识别和手势识别中的至少一项。

根据本发明的示例性实施例，所述传感器模块还被配置为测量患者的反馈数据，并且其中，所述处理器模块还被配置为分析所测量的所述患者的反馈，以控制所述医学成像过程。

根据本发明的示例性实施例，所述医学成像过程的所述参数包括以下各项中的至少一项：所述医学成像过程的扫描类型、所述医学成像过程的扫描序列、所述医学成像过程的扫描时间段、所述医学成像过程的所述患者的目标部位。

根据本发明的示例性实施例，所述对话数据生成模块被配置为生成问卷数据，以使所需的来自所述患者的反馈数据量最小化。

根据本发明的示例性实施例，所述处理器模块包括神经网络，并且所述神经网络被配置为基于所述医学成像过程的所述参数和所确定的所述患者的生物特征和身体状况数据来优化所述问卷数据的所述生成。

在又一方面，提供了一种计算机程序单元，所述计算机程序单元在由至少一个处理单元运行时适于引起一种方法来执行根据前述方面的方法。

在又一方面，提供了至少一种计算机可读介质，其上存储有程序单元或者其上存储有机器学习模块。

一般而言，“机器学习”可以包括基于算法的编程分类，该算法基于样本数据(被称为“训练数据”)来构建模型，以便在没有明确编程的情况下进行预测或决策。

一些机器学习算法是基于模型的。基于模型的ML算法操作用于调节机器学习模型的参数。这个调节流程被称为“训练”。

因此，通过训练来配置模型以执行任务。ML算法还包括基于实例的学习。在训练中使用的新的训练数据越多，ML算法实现的任务性能的提高就越显著。当向系统提供测试数据时，可以通过客观测试来测量性能。可以根据针对给定测试数据要达到的某个错误率来定义性能。

附图说明

现在将参考以下附图来描述本发明的示例性实施例，除非另有说明，否则这些附图不是按比例绘制的，其中：

图1示出了根据本发明的示例性实施例的功能模块的流程图；

图2示出了根据本发明的示例性实施例的表示患者心理和身体状况估计的数据；

图3示出了根据本发明的示例性实施例的计算机实施的用于在医学成像过程期间进行依赖于传感器信号的对话生成的系统的框图；并且

图4示出了根据本发明的示例性实施例的用于在医学成像过程期间进行依赖于传感器信号的对话生成的方法的流程图。

附图标记列表：

10 传感器模块

20 处理器模块

30 对话数据生成器模块

100 系统

S1 测量

S2 分析

S3 生成

具体实施方式

图1示出了功能模块的流程图。

根据本发明的示例性实施例，图1所示的框图图示了在实现所提出的系统时先前描述的所有不同模块是如何连接的。

根据本发明的示例性实施例，该过程可以从持续监测各种传感器数据开始，这些传感器包括：

i)监测患者心理状况(ECG、EMG、体温、BP和SPO

ii)用于面部识别和患者运动检测的相机(也能够用于心率和呼吸检测)

iii)用于语音和声音情绪识别的麦克风

iv)床垫中集成的基于电磁传感器的疼痛传感器

v)皮肤电导传感器，例如，GSR

vi)AI模块分析每个传感器模块的输出，以确定患者的心理和身体状况。

vii)患者心理/生物特征状况持续估计患者生命参数(如氧饱和度、心率、血压)的变化。

viii)通过使用从使用预训练的AI模型的一个或多个相机获得的图像序列来分析面部表情而实现压力程度。

根据本发明的示例性实施例，压力程度识别模块还可以使用生物测定AI模型的输出作为输入特征中的一个输入特征。最初，使用能够通过来自患者的反馈获得的已知的真实情况样本作为标签来实现有监督的AI模型。

根据本发明的示例性实施例，该算法可以是用于估计当前压力程度的机器学习方法(如SVM、CNN等)与用于预测在接下来的几分钟内的压力程度发展的机器学习方法(例如，RNN或LSTM)的组合。

根据本发明的示例性实施例，通过关注以下两个特定的生命参数传感器的输出来评估压力程度：i)GSR传感器，其中，压力程度被登记为峰值强度的总和(更准确地说是背景水平以上的峰值的上升沿的总和)，其被视为几分钟的时间段内的行进平均值，和/或ii)患者的心率变化的周期性，由此更强的周期性与更放松的患者相关联。

根据本发明的示例性实施例，任选地，ii)如果心率变化是周期性的并且还与患者的呼吸频率(由第三生命参数传感器测量)同步，那么可以认为患者更加放松。

根据本发明的示例性实施例，患者的疼痛程度可以从床垫中集成的疼痛传感器获得，或者可以从附着到患者的存在许多汗腺的任何方便的外围点(例如，一只手上的两个相邻的手指、腕带内侧上的两个电极)的疼痛传感器获得，从附着到脚部等的电磁传感器获得，或者从皮肤(例如，GSR、皮肤电反应)获得。

根据本发明的示例性实施例，通过分析从相机获得的图像序列或运动传感器的输出或这两者的组合来估计患者运动水平或运动等级，例如区分为无运动水平、最小运动水平、中等运动水平、严重运动水平。

根据本发明的示例性实施例，使用面部表情、其他身体移动和上面指示的生命参数测量结果来检测患者的情绪水平，从而估计患者舒适度水平。

根据本发明的示例性实施例，具体地，在诸如经历自主扫描之类的压力情形中，情绪水平常常与所遇到的压力总量相关联——随着压力总量的增加，情绪的效价变得更加负面。

根据本发明的示例性实施例，这通过例如在GSR测量中的峰值强度的整个测量周期期间测量积分和来进一步评估(与上面描述的行进平均值相反)

图2所示的框图图示了不同传感器的输出如何能够用于确定患者的心理和身体状况。

根据本发明的示例性实施例，在下一步骤中，这些AI模型的输出用于生成相关问卷，以更容易且更舒适地得到所需的反馈。

根据本发明的示例性实施例，可以通过简单性和答案范围(封闭式问题(只有“是”和“否”作为答案)、半开放式问题(“更冷”、“更热”、“好”、“坏”、“更好”)和开放式问题)来对问题进行预定义和评级。

根据本发明的示例性实施例，使用患者状况模块的输出从这些组中选择问题，使得在患者状况更差的情况下，问题故意保持得更简单。在实际的MR扫描期间，优选地，只发布封闭式问题或半开放式问题。这使得回答简短，因此最大限度地减少了回答所引起的动作。其次，能够应用唇读来分析嘈杂环境中的回答，因为答案范围较小且大多是已知的。

根据本发明的示例性实施例，能够基于每次解剖扫描的扫描序列/阶段将问题列表生成为查找表。该列表能够通过分析人类技术人员在针对选取的患者简档的正常扫描中询问的问题来填充。

根据本发明的示例性实施例，如果患者简档与老年人有关，那么系统需要在扫描的每个阶段询问更多问题。通过分析群体水平数据并生成取决于患者简档、扫描阶段和扫描解剖结构等的上下文问题来填充该列表。

根据本发明的示例性实施例，问卷数据也可以包括指令。

根据本发明的示例性实施例，所生成的问卷数据的问题可以包括但不限于：

o你感到疼痛吗？

o你感到焦虑/不适吗？

o你是否想要停止扫描一段时间？

o你是否想要永久停止扫描？

o你想稍微移动一下身体来放松一下吗？

o你想知道扫描的剩余时间吗？

o你呼吸有困难吗？

o很冷吗？

o你想去洗手间吗？

o你觉得暖和吗？

根据本发明的示例性实施例，通过视觉文本音频、触觉、骨传导等将所生成的问卷传送给患者。

根据本发明的示例性实施例，在大多数场景中，在扫描或医学成像过程期间，患者可能无法清楚地表达他们的反馈或他们的焦虑。因此，基于更相关的问题，接受检查的患者能够使用麦克风通过简单形式的手势(如移动手部或眼睛移动)或简单的语音命令(如“是”或“否”)来提供反馈/响应。

根据本发明的示例性实施例，生命参数传感器也可以用于评估患者的响应——如从测谎仪技术中已知的那样。

根据本发明的示例性实施例，能够基于扫描类型、扫描序列、目标解剖结构、患者生理和心理状况来生成相关或更相关的问题。

根据本发明的示例性实施例，例如，对于完整的脊柱扫描，一旦对颈部和上背部的扫描结束，就能够生成如“你想要稍微放松/移动一下你的颈部吗”的问题，因为患者在扫描的初始部分期间会试图保持静止，因此此时可能需要放松一下。如果患者的心理状况显示为“压力”，对话生成器将生成与压力有关的问题，例如，你压力大吗？而且如果问题是肯定的，还能够生成动作(例如，通过播放音乐等来减轻压力的动作)。

类似地，如果识别出患者的生理状况(例如，HR/RR升高)，那么能够生成关于患者焦虑的问题，并且在确认后，能够部署触觉解决方案来降低HR。在接收到的负反馈比预期的正反馈大的实例中，为了患者的安全，能够调整或者甚至停止扫描流程。这能够是机器采取的另一动作。

在另一实例中，能够利用额外的方法使用从相机和其他传感器接收的组合图像来分析患者的惊恐反应，即将入睡。例如，在呼吸受制的扫描中，如果患者入睡，系统必须唤醒患者并确保患者开始遵循指令。另一实例是在施用造影剂之后检查患者是否感觉舒适的情况。

根据本发明的示例性实施例，CT造影剂能够引发热流通过身体的感觉。根据本发明的示例性实施例，问题能够是“你感觉热/温暖吗”，并且基于该回答，患者能够确信这是正常的。

根据本发明的示例性实施例，NLP模块能够被实施为神经网络分类模型，所述神经网络分类模型是利用一组扫描序列、患者状况、扫描中的时间实例、目标解剖结构以及真实情况问题/问卷来训练的。经训练的模型然后能够基于输入来检索问题/问卷。

根据本发明的示例性实施例，在扫描或肿瘤治疗疗程期间，应当避免患者在使用睡意检测的不同扫描序列期间入睡或失去知觉。往往患者入睡时间很短时醒来后会表现出惊恐反应。另外，操作者与患者之间的通信是不可能的。

根据本发明的示例性实施例，为了防止入睡，使用了与音频信号相结合的致动器或轻推。

根据本发明的示例性实施例，结合患者的NLP响应时间，使用3D感测(例如，雷达或激光雷达)、光检测和测距来实现检测。

根据本发明的示例性实施例，在入睡的情况下，应用特殊的通信协议：喂不要睡觉，保持清醒，另外，修改和调整娱乐以防止入睡。

根据本发明的示例性实施例，当开始一系列不同扫描时，每个扫描都具有短的自主音频标签来向患者通知或传达扫描类型，这有助于减少焦虑。应用音频标签的决定由AI算法来控制，该AI算法直接对患者的情绪状态进行分类。标签向患者通知定时、抵抗运动的鲁棒性等。该标签也能够应用于与治疗相结合的扫描。

根据本发明的示例性实施例，在MRI扫描期间基于麦克风的通信在90％的常规扫描中是不可行的。技术上，可以通过使用基于3D雷达或激光雷达的方法的非接触式手势和嘴唇读取来支持包括噪声水平消除的麦克风信号。将来自不同传感器的所有信号都馈送到用于NLP的基于AI的SW。

根据本发明的示例性实施例，在具有强噪声水平的环境/扫描中执行通信：对于允许患者回答是或否或甚至更多内容的简单交流，建议使用呼吸响应检测器。该检测器具有阈值，并且当患者气短时，该检测器被激活。不同感测技术能够应用于使用声音咬合通信的患者。无线咬合传感器位于口腔中并且允许向通信接口发送信号。

根据本发明的示例性实施例，另一实例也允许分析患者使用交互式对话管理器开发的“信任度”。如果患者感觉对话管理器以适当的方式对患者的关注点、问题和请求做出反应，那么将经由传感器分析放松的心情和接受度，并且经由这样的确认，系统可以如算法所建议的那样继续。

如果患者的反应显示出患者的信任度低和甚至更高的焦虑程度，那么可以选择替代的预定义方法作为第一升级级别，而如果这不起作用，也能够让工作人员参与来改善情形。

根据本发明的示例性实施例，AI从管理这些情形中的几种情形进行“学习”有助于优化系统，并且为最成功的对话处理建立基于患者简档的最佳建议策略。同时，对接受度和“信任度”的持续控制保证了使用自主系统得到的患者的安全环境。

另一种方法是为反应分析器模块的输出给出置信度。如果置信度低于某个阈值，那么这意味着来自用户的反馈没有被很好地分析或检测。在这个场景中，系统生成第二级别流程，这有助于自动连接到远程工作人员以进一步执行系统的步骤。

根据本发明的示例性实施例，在自主成像工作流程的情况下，当以语音命令的形式传达反馈时，通过处理从相机接收的图像(手势/眼部姿势、唇读)或使用语音到文本识别模块来自动处理这些反馈。

根据本发明的示例性实施例，基于反馈，通知扫描器单元的控制中心采取适当的动作。

本文描述的一个或多个特征能够被配置或实施为在计算机可读介质内编码的电路，或具有在计算机可读介质内编码的电路，和/或其组合。电路可以包括分立电路和/或集成电路、片上系统(SOC)及其组合、机器、计算机系统、处理器和存储器、计算机程序。

在本发明的另一示例性实施例中，提供了一种计算机程序或计算机程序单元，其特征在于，其适于在适当的系统上运行根据前述实施例中的一个实施例的方法的方法步骤。

因此，计算机程序单元可以被存储在计算机单元中，该计算机程序单元也可以是本发明的实施例的部分。该计算单元可以适于执行或引起对上述方法的步骤的执行。此外，该计算单元可以适于操作上述装置的部件。该计算单元能够适于自动操作和/或运行用户的命令。

计算机程序可以被加载到数据处理器的工作存储器中。因此，可以装备数据处理器来执行本发明的方法。

本发明的该示例性实施例覆盖从一开始就使用本发明的计算机程序，以及借助于将现有程序更新转换为使用本发明的程序的计算机程序这两者。

另外，计算机程序单元可能能够提供所有必要步骤以完成如上所述的方法的示例性实施例的流程。

根据本发明的另外的示例性实施例，提出了一种计算机可读介质，例如，CD-ROM，其中，该计算机可读介质具有被存储于所述计算机可读介质上的计算机程序单元，所述计算机程序单元由前面的章节所描述。

计算机程序可以被存储和/或分布在合适的介质(特别地，但不是必须地，非瞬态介质)上，例如，与其他硬件一起或作为其他硬件的部分而供应的光学存储介质或固态介质，但是也可以以其他形式分布，例如，经由互联网或其他有线或无线的电信系统进行分布。

然而，计算机程序也可以存在于网络(如万维网)上，并且能够从这样的网络被下载到数据处理器的工作存储器中。根据本发明的另外的示例性实施例，提供了用于使计算机程序单元可用于下载的介质，所述计算机程序单元被布置为执行根据本发明的前述实施例之一的方法。

必须注意，本发明的实施例是参考不同主题来描述的。尤其地，一些实施例是参考方法型权利要求来描述的，而其他实施例是参考装置型权利要求来描述的。然而，除非另有说明，否则本领域技术人员将从以上和以下的描述中推断出，除了属于一种类型的主题的特征的任意组合以外，涉及不同主题的特征之间的任意组合也被认为在本申请中得到公开。然而，所有的特征都能够被组合来提供多于特征的简单加合的协同效应。

虽然已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是图示性或示例性的，而非限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。

在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。虽然某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记都不应被解释为对权利要求的保护范围的限制。