用于区分组织状态和类型的系统、方法和计算机产品

相关申请的交叉引用

本申请要求2018年6月12日提交的名称为“SYSTEM,METHOD AND COMPUTERPRODUCT FOR DIFFERENTIAL IDENTIFICATION OF TISSUE TYPES IN SITU”的美国临时专利申请号62/83,836的优先权的权益。

本申请还涉及相同发明人的以PCT公开号WO2015/159284公开的国际专利申请号PCT/IL2015/050392，其名称为“A DEVICE AND METHOD FOR CANCER DETECTION,DIAGNOSISAND TREATMENT GUIDANCE USING ACTIVE THERMAL IMAGING”。以上申请的内容全部通过引用并入，如同在此以其整体完整阐述一样。

技术领域

在其一些实施例中，本发明涉及热数据收集系统、方法和计算机产品。

背景技术

热像术是其中由传感器(例如，热像术相机)检测热辐射(诸如从对象发射的红外辐射)的领域，该传感器将感测的热辐射转换成图像(热谱图)。热谱图允许观察从被成像对象的表面上方的各个区域发射的热辐射的差别。

在没有外部热干预的情况下(被动热像术)，从对象发射的热辐射可以比所发射的背景热辐射高或低。被动热像术具有许多应用，诸如针对背景进行人员监视和医学诊断(特别是热学)。

与被动热像术不同，能源可主动加热对象(主动热像术)以在对象和背景之间产生热对比。主动热像术用于被检查对象与周围环境平衡的情况。

相关领域的前述示例和与其相关的限制旨在进行说明而不是排他性的。在阅读说明书和研究附图之后，相关领域的其他限制对于本领域技术人员将变得显而易见。

发明内容

结合旨在是示例性和说明性的而非限制范围的系统、工具和方法来描述和示出以下实施例及其方面。

根据按照本发明的一些实施例的一个方面，提供了一种用于区分组织状态或类型的方法，包括：接收组织的热数据的序列，其中当组织被热扰动时，在组织的至少一个位置处对序列进行采样；从热数据导出与组织位置中的每个位置相关联的至少一个热变量；将组织分割成区段，该区段包括具有对应的至少一个热变量的位置；以及生成指示组织区段的输出。

根据一些实施例，从下列项中的至少一者接收热数据：热成像、红外(IR)传感器、水银温度计、电阻温度计、热敏电阻、热电偶、基于半导体的温度传感器、高温计、气体温度计、激光温度计和超声。在一些实施例中，通过热成像来接收热数据，并且其中位置包括图像的像素或体素。在一些实施例中，至少一个热变量选自由以下组成的组：组织生物体代谢热源、由于血液灌注而引起的热损失、血液温度、组织密度、比热、组织热导因子、组织热导系数、组织热导表面积、组织表面温度、以及组织和环境温度之间的时间相关热梯度。

在一些实施例中，至少一个热变量还包括环境温度和热源温度中的至少一者。在一些实施例中，热扰动包括下列项中的至少一者：主动地实现组织的至少一部分中的从初始温度到最终温度的温度改变，主动地实现组织的至少一部分中的温度改变达指定时间段，被动地允许组织的至少一部分中的从初始温度到最终温度的温度改变，以及被动地允许组织的至少一部分中的温度改变达指定时间段。

根据一些实施例，该方法包括基于热数据和热变量中的至少一些提取一组特征，其中特征选自包括下列项的特征组：表示变量的各种导数值的特征、表示变量中的噪声的特征、基于衰减方程的特征、基于傅里叶级数的特征和基于特征的差异的相关特征。在一些实施例中，分割进一步基于位置具有对应的一组特征。在一些实施例中，至少部分地基于所有的变量和特征的差异值不超过指定阈值来确定对应关系。在一些实施例中，该方法还包括至少部分地基于将至少一个热变量与和多个组织状态或类型相关联的热变量的预定值相关来确定与区段中的每个区段相关联的组织状态或类型。在一些实施例中，相关还包括将特征相关。

在一些实施例中，导出、分割、提取和确定由机器学习分类器执行，机器学习分类器在训练阶段针对训练集进行训练，该训练集包括多个热数据序列，当组织被热扰动时，每个热数据序列在组织的至少一个位置处被采样；以及与至少一个位置的状态或类型相关联的标签。

在一些实施例中，该方法还包括在推断阶段将经训练的机器学习分类器应用于当组织被热扰动时在组织的位置处采样的至少一个目标热数据序列，以确定组织位置的状态或类型。

根据按照本发明的一些实施例的一个方面，提供了一种计算机程序产品，包括具有用其体现的程序代码的非暂时性计算机可读存储介质，程序代码可由至少一个硬件处理器执行以：接收组织的热数据的序列，其中当组织被热扰动时，在组织的至少一个位置处对序列进行采样；从热数据导出与组织位置中的每个位置相关联的至少一个组织相关热变量；将组织分割成区段，该区段包括具有对应的至少一个热变量的位置；以及生成指示组织区段的输出。在一些实施例中，至少一个热变量指示组织的状态或类型。

在一些实施例中，从下列项中的至少一者接收热数据：热成像、红外(IR)传感器、水银温度计、电阻温度计、热敏电阻、热电偶、基于半导体的温度传感器、高温计、气体温度计、激光温度计和超声。在一些实施例中，通过热成像来接收热数据，并且其中位置包括像素或体素。在一些实施例中，热扰动的组织包括主动地或被动地实现组织的至少一部分上的从初始温度到最终温度的温度改变。

在一些实施例中，热扰动的组织包括在至少一个预定时间段内实现组织的至少一部分上的温度改变。在一些实施例中，至少一个组织相关热变量包括影响细胞的热行为的至少一个固有组织热参数。在一些实施例中，计算机程序产品被配置为基于热数据和热变量中的至少一些来计算一组特征。

在一些实施例中，特征选自包括下列项的特征组：表示变量的各种导数值的特征、表示变量中的噪声的特征、基于衰减方程的特征、基于傅里叶级数的特征和基于特征的差异的相关特征。在一些实施例中，分割进一步基于位置具有对应的一组特征。

在一些实施例中，至少部分地基于所有的变量和特征的差异值不超过指定阈值来确定对应关系。在一些实施例中，导出包括至少部分地基于至少一个热变量来计算组织位置中的每个位置的一组热特征。

根据按照本发明的一些实施例的一个方面，提供了一种系统，包括：热传感器，该热传感器被配置为当组织被热扰动时对来自组织上的至少一个位置处的热数据的序列进行采样；以及处理器，该处理器被配置为：从热数据导出与组织位置中的每个位置相关联的至少一个组织相关热变量；将组织分割成区段，该区段包括具有对应的至少一个热变量的位置；以及生成指示组织区段的输出，其中系统包括至少指向组织表面并且被配置为主动加热或冷却组织的加热源或冷却源。

在一些实施例中，至少一个热变量指示组织的状态或类型。在一些实施例中，从下列项中的至少一者接收热数据：热成像、红外(IR)传感器、水银温度计、电阻温度计、热敏电阻、热电偶、基于半导体的温度传感器、高温计、气体温度计、激光温度计和超声。在一些实施例中，通过热成像来接收热数据，并且其中位置包括像素或体素。

在一些实施例中，热扰动的组织包括主动地或被动地实现组织的至少一部分上的从初始温度到最终温度的温度改变。在一些实施例中，热扰动的组织包括在至少一个预定时间段内实现组织的至少一部分上的温度改变。在一些实施例中，至少一个组织相关热变量包括影响细胞的热行为的至少一个固有组织热参数。

在一些实施例中，热数据和热变量。在一些实施例中，特征选自包括下列项的特征组：表示变量的各种导数值的特征、表示变量中的噪声的特征、基于衰减方程的特征、基于傅里叶级数的特征和基于特征的差异的相关特征。在一些实施例中，分割进一步基于位置具有对应的一组特征。

除了上述示例性方面和实施例之外，通过参考附图和通过研究以下详细描述，另外的方面和实施例将变得显而易见。

附图说明

在附图中示出了示例性实施例。通常为了方便和清楚地表示而选择图中所示的部件和特征的尺寸，并且其不必按比例显示。附图在下面列出。

图1是根据本发明的一些实施例的用于区分和/或识别组织状态或类型的热成像系统的简化图；

图2A和图2B是根据本发明的一些实施例的在温度变化下的与组织细胞的生物热行为相关联的热曲线的曲线图；

图3是根据本发明的一些实施例的在温度变化下的与组织细胞的生物热行为相关联的热曲线的曲线图；

图4是根据本发明的一些实施例的在温度变化下的与组织细胞的生物热行为相关联的热曲线的曲线图；

图5A、图5B和图5C是根据本发明的一些实施例的指示峰值温度点的曲线图；

图6A、图6B、图6C和图6D是根据本发明的一些实施例的热成像系统显示器的示例性屏幕图像；

图7是示出根据本发明的一些实施例的热成像系统处理器的操作的示例性简化流程图；

图8A和图8B是示出根据本发明的一些实施例的截面点的差异数据集的简化曲线图；

图9A是根据本发明的一些实施例的在组织表面的部分上方的热分布的平面图简化图示；

图9B是根据本发明的一些实施例的在组织表面的部分内的细胞的热曲线图；

图10A、图10B和图10C是根据本发明的一些实施例的在组织表面的部分上方的热分布的平面图简化图示；

图11A和图11B是根据本发明的一些实施例的在组织表面的部分上方的热分布的平面图简化图示；

图12是根据本发明的一些实施例的在组织表面的部分上方的热分布的曲线图和平面图简化图示；

图13是示出根据本发明的一些实施例的热成像系统处理器的操作的示例性简化流程图；

图14A和图14B是根据本发明的一些实施例的与受热细胞的生物热行为相关联的热曲线的曲线图；

图15是根据本发明的一些实施例的与受热细胞的生物热行为相关联的热曲线的曲线图；以及

图16A和图16B是根据本发明的一些实施例的在组织表面的部分内的热分布的截面图简化图示。

具体实施方式

根据本发明的一些实施例的一个方面，提供了一种用于区分一个或多个组织位置或区域的方法，该方法至少部分地基于从热数据计算出的与这些位置或区域相关联的热属性。在一些实施例中，从组织上的至少一个位置收集热数据。在一些实施例中，该方法包括收集至少一个位置的热数据的时间序列，同时影响组织中的热改变。

如本文所用，术语“组织”包括任何身体或身体相关的物质，诸如软组织、硬组织以及细胞和非细胞物质，例如肌肉、骨骼、牙齿和/或细菌。

在一些实施例中，本公开提供区分组织的状态和/或类型。在一些实施例中，组织类型包括但不限于肌肉、骨骼、神经组织、血管、腺组织和/或脂肪组织。

在一些实施例中，组织状态包括但不限于组织临床状态，例如，正常组织、发炎组织、组织肿瘤、组织发育异常、粘膜囊肿、纤维瘤、纤维上皮息肉、病理组织、癌前组织和/或癌组织。

尽管组织热数据可以通过许多感测设备进行采样，例如红外(IR)传感器、水银温度计、电阻温度计、热敏电阻器、热电偶、基于半导体的温度传感器、高温计、气体温度计、激光温度计和超声波，但出于清楚且简单的目的，通过示例而非限制的方式，在下文中，基于从通过热成像接收的数据计算出的热属性来证明确定一个或多个组织位置的状态。

根据按照本发明的一些实施例的一个方面，提供了一种用于根据组织状态或类型来区分组织的方法，该方法至少部分地基于影响组织的至少一部分的至少一个表面的温度改变。例如，在一些实施例中，实现温度改变包括在预定第一时间段(例如，t

在一些实施例中，在组合的第一时间段和第二时间段t

在一些实施例中，处理图像数据以提取与每个图像中的至少一些像素相关联的多个值。在一些实施例中，值的某个部分可以在时间点提取和/或在部分或全部的时段t

在一些实施例中，可以将一个或多个值转换成一个或多个特征矢量，包括多个时间相关特征矢量。在一些实施例中，可以将一个或多个特征矢量和与一个或多个组织状态或类型相关联的预定特征或特征矢量进行比较。在一些实施例中，可以至少部分地基于比较来确定组织的一个或多个区域的状态。

在一些实施例中，每个像素的一个或多个特征矢量被分组为一个或多个组，指示该组为被成像组织的组织状态或类型的区域。

在一些实施例中，本公开提供了指示热成像的组织的一个或多个区域的组织状态或类型的输出。在一些实施例中，输出可以包括图像，该图像包括至少部分地基于与每个区域相关联的所识别的组织状态或类型的一个或多个区域的图形表示。例如，在一些实施例中，可以划定每个区域的边界，和/或可以使用一种或多种颜色方案来呈现区域的一部分或全部。在一些实施例中，图形表示可以被生成为热图像、RGB图像和/或另一个和/或不同类型的图像。在一些实施例中，所识别的组织状态或类型的边界被绘制(mapped)在组织状态分布图上。在一些实施例中，所识别的组织状态或类型的边界以诸如直方图的曲线图的形式进行绘制。

在一些实施例中，可以针对数据集训练机器学习分类器，该数据集包括与多个受试者组织相关联的特征矢量集，其中训练数据集可以用受试者组织的若干区域中存在的一个或多个组织状态或类型进行标记。在一些实施例中，本公开的经训练的分类器然后可以被应用于来自目标受试者的目标特征集，以确定目标组织中一个或多个生理学或病理学参数的存在。

在一些实施例中，主动改变组织的温度包括在成像时间段的至少一部分期间主动加热或者主动或被动冷却组织的部分。

在一些实施例中，对获得的图像的每个像素执行处理或分析。在一些实施例中，分析包括提取每个像素的多个像素级值，其表示生理学或病理学参数的量化。

在一些实施例中，该方法包括接收组织的热数据的序列，其中当组织被热扰动时，在组织的一个或多个位置处对序列进行采样；从热数据导出与组织位置中的每个位置相关联的至少一个组织相关热变量；将组织分割成区段，该区段包括具有对应的一个或多个热变量的位置；以及生成指示组织区段的输出。

在一些实施例中，该方法包括基于热数据和热变量中的至少一些来计算一组特征，在这种情况下，分割基于位置具有对应的一组特征。在一些实施例中，至少部分地基于所有的变量和特征的差异值不超过指定阈值来确定对应关系。在一些实施例中，该方法包括至少部分地基于一个或多个热变量来计算组织位置中的每个位置的一组热特征。在一些实施例中，一个或多个热变量指示组织的状态或类型。在一些实施例中，特征选自包括下列项的特征组：表示变量的各种导数值的特征、表示变量中的噪声的特征、基于衰减方程的特征、基于傅里叶级数的特征和基于特征的差异的相关特征。

在一些实施例中，该方法包括在时间段内获取热图像的序列。在一些实施例中，对于每个像素和/或测量点，从热图像中提取像素值，生成表示时间段内的组织细胞热属性的特征矢量，将具有类似特征的像素聚为集群，以及将像素集群反映到被成像组织中的对应区域上。在一些实施例中，该方法包括基于将特征与组织状态或类型的已知特征集进行比较来确定至少一个区域的组织状态或类型。在一些实施例中，该方法包括生成输出，例如，一个或多个区域中的组织状态的图形表示。在一些实施例中，该方法包括使用经训练的机器学习分类器来对每个区域中的组织状态进行分类。在一些实施例中，生成特征矢量是可选的，并且该方法包括基于将特征与组织状态或类型的已知特征集进行比较来确定至少一个区域的组织状态或类型。

在一些实施例中，该方法包括生成表示在成像视场(FOV)内的组织的一部分上的热变量和/或热特征的分布的图。在一些实施例中，该方法包括分析像素级值的图上的分布，以及识别值的集群，每个集群在相同像素值范围内，并且将识别出的值与特定的组织类型或状态相关联。在一些实施例中，共享相同值的热图像中的像素的集群与特定组织细胞类型的对应集群相关联。

在一些实施例中，像素级值的分布分析基于所计算的像素级值之间的差异的计算。

在一些实施例中，该方法包括生成多个像素级值分布图，每个像素级值分布图与特定生理学或病理学参数相关联。在一些实施例中，将从获得的像素级值生成的多个图组合或叠加以增强对组织细胞类型的集群的识别。

根据按照本发明的一些实施例的一个方面，提供了一种用于区分组织的状态或类型的方法。在一些实施例中，该方法包括从热成像器视场(FOV)内的组织的至少一部分的热图像获得像素级值。在一些实施例中，该方法包括在设定时间段内主动改变组织的一部分的温度。在一些实施例中，该方法包括在温度改变期间获得组织的热图像(帧)。在一些实施例中，该方法包括处理获得的像素级值的连续帧，以及提取与一个或多个变量或特征在设定时间段内的改变有关的像素级值，这些变量或特征从表示与组织相关联的生理学或病理学参数的像素级值中导出。

在一些实施例中，该方法包括生成每个像素的曲线图，该曲线图表示在组织温度改变期间从像素级值导出的像素级值、热变量或特征的改变。在一些实施例中，该方法包括例如通过对曲线图的曲线的一个或多个部分执行比较分析并识别具有与特定组织状态或类型相关联的类似或相同曲线图案的像素组来进行处理。在一些实施例中，共享相同的像素级值、变量或特征的所识别的像素组与组织的特定类型或状态相关联。在一些实施例中，像素级值、变量或特征的分布分析基于曲线图曲线之间的差异的计算，曲线图曲线基于从每个像素获得的值。

在一些实施例中，该方法包括主动加热组织并允许被动地冷却组织。在一些实施例中，在主动加热和被动冷却的时段期间获得的成像帧的处理由具有增长部分、峰值和衰减部分的曲线图曲线表达。在一些实施例中，热成像系统包括处理器和计算机程序产品，其被配置为仅对所得曲线的增长部分执行比较分析。在一些实施例中，仅对所得曲线的衰减部分执行比较分析。在一些实施例中，处理器的计算机程序产品被配置为仅在所得曲线的增长部分和衰减部分的交会点处对曲线峰值温度执行比较分析。

替代地并且可选地，在一些实施例中并且例如图2B所示，该方法包括主动冷却组织并且允许组织被动地升温。在一些实施例中，在主动冷却和被动升温的时段期间获得的成像帧的分析由具有衰减部分、谷值(最小点)和增长部分的曲线图曲线表达。在一些实施例中，热成像系统包括处理器和计算机程序产品，其被配置为仅对所得曲线的增长部分执行比较分析。在一些实施例中，仅对所得曲线的衰减部分执行比较分析。在一些实施例中，处理器的计算机程序产品被配置为仅在所得曲线的增长部分和衰减部分的交会点处对曲线谷值(最低温度)执行比较分析。

在一些实施例中，该方法包括通过对来自每个像素的曲线的季节性噪声中的差异执行比较分析并识别具有与组织状态或类型相关联的类似曲线季节性噪声的像素的集群来进行处理。在一些实施例中，所识别的集群与组织细胞集群相关联。

在一些实施例中，该方法包括生成多个分布图，每个分布图基于与特定生理学参数相关联的生成的像素级值。在一些实施例中，多个生成的图被组合或叠加以增强对组织细胞集群的状态或类型的识别。

在一些实施例中，该方法包括逐渐主动地加热或冷却组织的部分。在一些实施例中，该方法包括在设定时间段内获得热图像(帧)。在一些实施例中，该方法包括处理在每个主动加热或冷却增量期间获得的图像的连续帧，以及提取关于与组织相关联的一个或多个生理学或病理学参数在加热增量内的改变的像素级值。

根据按照本发明的一些实施例的一个方面，提供了一种用于区分组织的状态或类型的方法。在一些实施例中，该方法包括主动加热组织。在一些实施例中，加热组织包括将线形的加热能量束(例如，红外光)施加到组织的一侧，从而加热组织条。在一些实施例中，该方法包括在设定时间段内获得热成像器的FOV内的组织的部分的热图像(帧)。

替代地并且可选地，在一些实施例中，用于区分组织的状态或类型的方法包括主动冷却组织。在一些实施例中，冷却组织包括将线形的冷却能量束(例如，喷雾或接触冷却剂)施加到组织的一侧，从而冷却组织条。在一些实施例中，该方法包括在设定时间段内获得热成像器的FOV内的组织的部分的热图像(帧)。

在一些实施例中，该方法包括处理在时间段内获得的图像的连续帧，以及提取有关在设定时间段期间的在垂直于矢量束和/或加热的组织条的方向上的热扩散速率的像素级值。在一些实施例中，处理在特定时间段内获得的图像的连续帧包括将有关组织中热扩散速率的像素级值与和组织相关联的一个或多个生理学或病理学参数相关联。在一些实施例中，该方法包括基于与和组织类型或状态相关联的给定扩散速率范围内的扩散速率相关联的像素级值，识别共享像素级值或变量或特征的像素的集群。在一些实施例中，所识别的像素的集群与被成像组织的图形表示上的特定组织类型或状态的细胞的对应集群相关联。

根据按照本发明的一些实施例的一个方面，提供了一种用于区分组织的状态或类型的方法。在一些实施例中，该方法包括加热组织。在一些实施例中，加热组织包括将加热能量(例如，红外光)施加到组织表面的任意部分。替代地并且可选地，在一些实施例中，方法包括主动冷却组织。在一些实施例中，冷却组织包括将冷却能量(例如，喷雾或接触冷却剂)施加到组织表面的任意部分。在一些实施例中，该方法包括在设定时间段内获得热成像器的FOV内的组织的部分的热图像。

在一些实施例中，该方法包括处理在时间段内获得的热图像(帧)的连续帧，以及提取有关在设定时间段期间的组织表面上的热扩散速率的像素级值。在一些实施例中，处理在特定时间段内获得的图像的连续帧包括将有关组织中热扩散速率的信息与和组织相关联的一个或多个生理学或病理学参数相关联。在一些实施例中，该方法包括识别共享与组织类型相关联的给定范围内的扩散速率的像素的集群。在一些实施例中，所识别的集群与被成像组织的图形表示上的特定组织类型的细胞的对应集群相关联。

根据按照本发明的一些实施例的一个方面，提供了一种用于区分组织的状态或类型的方法。在一些实施例中，该方法包括加热组织。在一些实施例中，加热组织包括将加热能量(例如，红外光)施加到组织内的预定深度。在一些实施例中，该方法包括在设定时间段内获得在组织表面和预定深度之间的各种深度处的组织的部分的热图像。

替代地并且可选地，在一些实施例中，用于区分组织的状态或类型的方法包括主动冷却组织。在一些实施例中，冷却组织包括将冷却能量(例如，喷雾或接触冷却剂)施加到组织内的预定深度。在一些实施例中，该方法包括在设定时间段内获得在组织表面和预定深度之间的各种深度处的组织的部分的热图像(帧)。

在一些实施例中，该方法包括处理在时间段内在任何特定深度处获得的热图像的连续帧，以及提取有关在设定时间段期间的在特定深度处遍及整个组织层的热扩散速率的像素级值。在一些实施例中，处理在特定时间段内获得的图像的连续帧包括将与组织内热扩散速率相关联的像素级值与和组织相关联的一个或多个生理学或病理学参数相关联。在一些实施例中，该方法包括识别共享在与特定组织类型或状态相关联的给定范围内的扩散速率的体素的集群。在一些实施例中，所识别的像素的集群与被成像组织的图形表示上的特定组织类型或状态的细胞的对应集群相关联。

根据按照本发明的一些实施例的一个方面，提供了一种计算机程序产品，包括具有用其体现的程序代码的非暂时性计算机可读存储介质，程序代码可由至少一个硬件处理器执行以处理热成像器的视场(FOV)内的组织的部分的一个或多个热图像(帧)。

在一些实施例中，计算机程序产品可执行以根据从所获得图像的每个像素接收的信息来计算。在一些实施例中，程序产品可执行以计算与组织的生理学或病理学参数相关联的像素级值。在一些实施例中，程序产品可执行以基于与组织的生理学或病理学参数相关联的计算值来生成图。在一些实施例中，程序产品可执行以指示像素的集群，该像素的集群具有与和特定组织类型或状态相关联的给定参数范围内的参数相关联的值。

在一些实施例中，计算机程序产品可执行以基于在设定时间段内从至少一个像素接收的并且与组织的生理学或病理学参数的改变相关联的像素级值来计算一系列变量和/或特征。在一些实施例中，程序产品可执行以根据在设定时间段内拍摄的多个图像帧计算变量和/或特征。在一些实施例中，程序产品可执行以基于所计算的变量和/或特征来产生曲线，所计算的变量和/或特征与组织的生理学或病理学参数在设定时间段内的改变相关联。在一些实施例中，程序产品可执行以指示具有相似曲线并且与和特定组织类型或状态相关联的给定范围内或在给定阈值以上的参数的差异相关联的像素的集群。

系统

现在参考图1。该图是根据本发明的一些实施例的用于区分和/或识别组织状态或类型的热成像系统的简化图。在一些实施例中，用于区分和/或识别组织状态或类型的热成像系统100包括热成像器108，该热成像器108在组织104的表面被主动加热或冷却时对其进行成像。在一些实施例中，热成像器108与处理器110通信。热成像系统100的处理器110被配置为处理由热成像器108获得的热图像并且例如在显示器112上生成输出图。

在一些实施例中，输出图包括所计算的像素级值的图形表示。在一些实施例中，输出图包括叠加在RGB图像上的所计算的像素级值的图形表示或被成像组织的任何其他图形表示。在一些实施例中，输出图包括所计算的像素级值相对于黄金标准值的所计算的差异的图形表示。在一些实施例中，输出图包括叠加在RGB图像上的像素级值的所计算的差异的图形表示或被成像组织的任何其他图形表示。

如图1所示，用于区分和/或识别组织状态或类型的热成像系统100包括指向要处理的组织104的表面的加热/冷却源102。组织104的表面可以是体内任何组织或器官的表面，例如，皮肤、肝脏、脾脏、肾脏和膀胱。在图1所示的实施例中，组织104的表面包括异常组织106的细胞的集群。

在一些实施例中，主动加热可以包括选自包括辐射、对流和传导的一系列加热方法的一种或多种加热方法。热源102可以是例如任何合适的热源，例如由LED

在一些实施例中，可以例如通过蒸发(例如，酒精喷雾)、局部冷却剂喷雾(氮气)、组织表面上方的冷却流体流、冷却管或其他载体等来施加主动冷却。

在一些实施例中并且如图1所示，系统100的数字热成像器108对从组织104的区段的表面发射的热辐射150进行成像。在一些实施例中，成像器108是视频热成像器，其被配置为生成在设定时间段内从热成像器108的视场(FOV)155内的组织104的表面获得的热图像的连续帧。在一些实施例中，热成像器108包括数字显微镜热成像器108。在一些实施例中，热成像器108可以是任何合适的数字成像器，例如，

在一些实施例中，并且如本文其他地方更详细地解释的，系统100包括照明源114，该照明源114照射组织并划定用于移除异常组织的细胞集群的外科手术边界。在一些实施例中，并且如本文其他地方更详细地解释的，系统100包括消融能量源116以消融所划定的异常组织的细胞集群。在一些实施例中，照明源114和消融能量源116是从单个源(例如，激光)生成的。

从热图像(帧)中的单个像素获得的数据的处理

为了简化说明，下面的示例指的是IR数字成像器。然而，如本文其他地方所述，可以使用任何其他合适的热成像器或传感器。

在一些实施例中，数字热成像器108包括一个或多个像素阵列。像素阵列对从组织104的成像表面发射的IR辐射作出反应。一个或多个像素对从像素的FOV(FOVp)内的组织104的成像表面的对应区段(S

在一些实施例中，冷却源102被配置为在设定时间段内逐渐主动地冷却组织104的表面，此后停止主动冷却并且允许组织被动升温，在此期间组织温度返回主动冷却开始之前的温度。在整个冷却和升温时间段中，热成像器108获得组织104的表面的热图像的一系列连续帧。

在一些实施例中，所获得的一系列热图像中的每个连续热帧都被加时间戳，并且因此在时间段内获得的一系列两个或更多个帧提供有关组织的所记录的热参数的改变的信息。在一些实施例中，系统100包括处理器110，该处理器110被配置为处理所记录的热参数并绘制组织的热行为。在一些实施例中，并且如本文其他地方更详细地解释，处理器110被配置为基于被成像组织的热行为图来定义被成像组织的组织类型或状态。

在一些实施例中，热成像系统100的处理器110包括非暂时性计算机可读存储介质，该介质具有通过其体现的程序产品。程序产品可由热成像系统100的处理器110执行，以处理(例如，比较和绘制)由多个像素的FOV内的组织的至少一部分中表现出的不同像素级值之间的差异表达的连续时间戳帧之间的差别(例如，差异)。

热成像系统100的处理器110被配置为根据每个帧的时间戳处理从每个连续图像帧的每个像素接收的像素级值，并且生成从像素级值获得的曲线图，其指示在设定时间段内从组织104的表面上的每个位置S

在一些实施例中，一个或多个组织生理学或病理学参数是以下中的至少任一者：影响细胞的热行为的外部参数，例如，环境温度、外部热源和内部以及环境和对象之间的时间相关热梯度；和/或影响细胞的热行为(热参数)的固有组织参数，例如，组织和/或生物体代谢热源、由于血液灌注引起的热损失、血液温度、组织密度、比热、热导因子、热导系数、热导表面积(m2)、对象的表面的温度等。

在一些实施例中，热成像系统100的处理器110使用一种或多种算法，该算法使用各种数学表达式来将所获得的结果近似为从一个或多个成像器像素接收的值，并且生成基于像素级值的变量和/或特征，可以对该变量和/或特征进行绘制以生成被成像组织类型或状态的准确图。

在一些实施例中，例如，通过数学表达式来表达所计算的基于像素级值的特征。仅出于说明目的，在一个示例中，像素级值(即给定时间的像素处的温度)由以下数学表达式表达，该数学表达式基于Pennes生物热导率方程：

T(t)＝a+be

其中(dt)可以通过时间归一化，并且变量(a)，(b)、(c)和(d)是从Pennes生物热导率方程导出的变量，该方程是广泛接受的生物组织的温度分布方程。变量(a)、(b)、(c)和(d)在本文中出于清楚和简单的目的、以示例性而非限制性的方式使用，并且可以包括任何数量或组合的变量并且可以是任何类型。例如，变量(a)、(b)、(c)和(d)可以是以下中的至少任一者：影响细胞的热行为的外部参数，例如，环境温度、外部热源和内部以及环境和对象之间的时间相关热梯度；和/或影响细胞的热行为(热参数)的固有组织参数，例如，组织和/或生物体代谢热源、由于血液灌注引起的热损失、血液温度、组织密度、比热、热导因子、热导系数、热导表面积(m2)和对象的表面的温度。

在一些实施例中，可以至少部分地基于变量(例如，变量a、b、c和d)来计算多个特征，包括但不限于，表示变量的各种导数值的特征、表示变量中的噪声的特征、基于衰减方程的特征、基于傅里叶级数的特征以及基于特征的差异的相关特征。

下面的表达式包括基于Pennes方程的这种推导的示例，表达为：

在一些实施例中，采用以下假设：

a)横向贡献和/或热量生成可忽略不计(代谢时间标度为一分钟[1])并且因此获得以下表达式：

b)

其中C是面积并且(h)是热传递系数，Tc是核心温度，以及

c)我们假设f(t)随时间缓慢改变。

根据公开的假设：

其中

Analytical Bioheat Transfer:Solution Development of the Pennes’Model,Sid M.Becker,Chapter 4中的方程(4.65)在limit 4αt＝l2；l->0时符合该公式。

T(t～＝0)也可以用线性函数或高阶多项式来近似：

T(t)被表达为短时间段的指数(例如(t)可以在0与40秒之间、10与30秒之间、15与25秒之间或其间的任意秒数之间)。

在另一个示例中和一些实施例中，变量(a)可以表达从被成像组织的主动加热/冷却到被动冷却或升温的转移点处的初始条件，并且是非时间相关的。在一些实施例中，变量(b)和/或(c)表达组织生理学或病理学参数的组合，例如密度(ρ)、比热(C)和热导率(K)。

如本文其他地方更详细地解释的，在一些实施例中，所提取的变量(a)、(b)、(c)、(d)和其他贡献的变量、相同变量的集群或来自一个或多个热图像的变量的集群与一个数学表达式或数学表达式的组合一起由处理器110的计算机程序产品使用数据挖掘过程来处理，例如，以便交叉引用数据，执行数据清理并以图的形式生成输出，该图指示和/或识别被成像组织区域内的各种组织状态或类型。

在一些实施例中，以下是用于不具有内部热源的身体的替代示例性表达式：

1.T(t)＝a+be

2.

其中：

T

T∞是环境温度。

参数

其中

3.

在一些实施例中，以下是用于具有内部热源的身体的替代示例性表达式：

1.T(t)＝a+be

2.

3.

4.

其中(h)是对流因子(例如，热量从组织到空气的传递)并且因此取决于环境温度。

在一些实施例中，处理器110的计算机程序产品被配置为将基于每个获得的图像的一个或多个潜在输出图与黄金标准进行比较，并选择以下中的至少一项：调整分析过程(例如，通过改变所选择的变量、所选择的数学计算组合以及其他数学和/或统计操作)，生成表达在所获得的数据与黄金标准的数据之间的差异的输出图，或者如果不存在差异，则不生成输出图。

图2A、图2B、图3、图4、图5A、图5B、图5C、图9B、图12、图14A、图14B和图15中的曲线图的曲线表示以每秒图像帧数(FPS)测量的温度(T

现在参考图2A和图2B，它们是根据本发明的一些实施例的与受热组织的生物热行为相关联的热曲线的曲线图。在一些实施例中，曲线200基于在设定时间段(t0至t1)内从组织104的表面上的每个Sp发射的IR辐射表现了组织区段(Sp)内的细胞自基本温度(Tb)的温度(T)改变。在一些实施例中，曲线200表达组织的响应于在设定时间段(t0至t1)内的加热的生物热行为，并且包括响应于加热的增长部分202、在冷却时间段(t1至t2)期间的衰减部分204，以及在增长部分202和衰减部分204的交会点(t1)处的峰值温度206。如本文其他地方更详细地解释的那样，设定时间段(t

如相同发明人的国际专利申请号PCT/IL2015/050392中所解释的，组织的各种状态或类型表现了由特定增长部分202、特定衰减部分204和特定曲线峰值温度206中的一者或多者表达的特定生物热行为。在一些实施例中，热成像系统100在整个时间段(t0至t2)内对组织进行成像，并且根据每一帧的时间戳处理从图像的每个连续帧的像素接收的数据，并且生成特定于被成像组织的增长部分202。

类似地，在一些实施例中，热成像系统100根据每一帧的时间戳处理从图像的每个连续帧的像素接收的数据，并且生成特定于被成像组织的衰减部分204。因此，热成像系统100可以组合特定增长部分202和衰减部分204，计算曲线部分202和204的交会点，并且为每个像素生成表达峰值温度206在所生成的曲线200上的位置的值。

如本文其他地方所公开的，在一些实施例中，经由系统100实现的方法包括在成像时间段的至少一部分期间(例如，t0至t1)主动改变组织的温度。在一些实施例中，所获得的帧提供关于在成像时间段内改变组织生理学或病理学参数的信息。在一些实施例中，主动改变组织的温度包括在成像时间段的至少一部分期间主动加热或主动冷却组织的部分。

在一些实施例中，如本文其他地方所述，可以从主动加热和主动冷却阶段的至少一些部分中提取数据，从而提高由处理器110的计算机程序产品生成的输出图的准确性。

为了简化说明，下面的示例仅涉及包括加热然后冷却的方法实施例。然而，所有公开的方法实施例都可以以相同的方式实现，用主动冷却来代替主动加热，例如冷却然后加热。

在一些实施例中，由热成像系统100的处理器110生成的曲线200是根据从设定时间段内的单个热图像像素(例如，从设定时间段内拍摄的一组连续热图像)获得的值生成的曲线。在一些实施例中，所生成的曲线表示特定被成像组织类型或状态的热签名。在图3所示的示例性实施例中，该图是根据本发明的一些实施例的与受热组织的生物热响应相关联的热曲线的曲线图，从两个像素P1和P2获得的一对热响应曲线图通过绘制在相同的T/t坐标系上进行比较。

如图3所示的，从像素P1获得的曲线300相对于从像素P2获得的曲线300’陡峭地增长，并且比曲线300’的峰值206’更早到达峰值温度206。参考曲线300’的峰值温度206’(例如，44.90℃)，峰值温度206也处于较高的温度(例如，45.05℃)。在衰减部分204和204’中也表现了曲线300和300’之间的差异，其中曲线300的衰减部分204相对于曲线300’的衰减部分204’更陡峭，例如在约1400秒后达到约44℃的温度，参考衰减部分204’，其在约1750秒后到达相同温度。为了简化说明并且为了不受任何示例的限制，附图中描绘的曲线图中的温度(T)由连续自然数定标。

类似于从各种组织状态或类型的热行为曲线之间的差异获得的热签名，导致峰值温度206/206’以及从其的衰减的热行为曲线的形状也在热行为曲线之间变化，并且可以由热成像系统100的处理器110识别为与特定组织类型或状态相关联。在一些实施例中，热成像系统100的处理器110处理从像素阵列的至少一部分接收的值，如在本文其他地方更详细地解释的，并且操纵该值以生成对被成像组织中的组织状态或类型的指示。

因此，在一些实施例中，热成像系统100可以将热行为曲线300和300’识别为特定于一个或多个组织状态或类型，并且因此可用于生成指示被成像组织中的不同组织状态或类型的输出。在一些实施例中，来自热成像系统100的处理器110的输出可以被编译成查找表，该查找表将从热行为曲线图导出的热签名与可以被单独识别并在组织学上进行验证的特定组织类型或状态相关联。

如本文其他地方所公开的，沿热行为曲线一致表现出差异，并且因此，实现曲线的可变长度(时间线)的处理部分，诸如仅增长部分202、仅衰减部分204、仅峰值温度206的位置或它们的任何部分或组合。

现在参考图4，该图是根据本发明的一些实施例的与受热组织细胞的生物热行为相关联的热曲线的曲线图。图4示出了从两个像素P3和P4获得在时间段(t)内的一对热行为曲线400和400’的示例性实施例，并且该一对热行为曲线400和400’通过绘制在相同的T/t坐标系上进行比较。表示曲线400和400’的部分的特征之间的差异不仅可以沿着增长部分402/402’、衰减部分404/404’和/或峰值温度406/406’的位置进行定义(如本文其他地方所述)，而且还在表示沿部分的季节性噪声的特征之间进行定义。

如图4的示例性节段A所示，在相对于曲线的平均中值测量并分别由假想线450和450’表达的季节性噪声410和410’的水平方面，相应曲线404和404’之间存在差异。在图4所示的示例性实施例中，相对于热行为曲线的平均中值的曲线400的噪声410的水平大于曲线400’的噪声410’的水平。本公开的作者发现，基于相对于热行为曲线的平均中值的噪声水平的特征之间的不同对于组织类型或状态是特定的，并且因此可以用于指示被成像组织中的不同组织状态或类型的存在。

现在参考图5A、图5B和图5C(统称为图5)，该图是根据本发明的一些实施例的通过绘制在相同的T/t坐标系上进行比较的峰值温度点206/406的曲线图分析。峰值温度点206和206’分别从热行为曲线200/200’导出，并且峰值温度点406和406’分别从热行为曲线400/400’导出，如本文其他地方所述。如图5所示的示例性曲线图中所示，峰值温度206和206’之间的差异以温度和/或达到峰值温度的时间来表达。然而，峰值温度406和406’之间的差异仅以温度来表达，而峰值温度406和406’被示为同时到达。热成像系统100的处理器110被配置为识别峰值温度206/206’和406/406’的坐标中的差异，并由此用于指示被检查组织中的不同组织状态或类型的存在。

在一些实施例中并且如图5C所示，该图是从两个像素P3和P4获得的一对热行为曲线400和400’的示例性实施例的部分475(在图4中示出)，并且该对热行为曲线400和400’通过绘制在相同的T/t坐标系上进行比较，处理器110的计算机程序产品被配置为不仅比较以温度和/或到达峰值温度的时间表达的基于峰值温度206和206’的特征之间的差异，而且还比较基于对曲线图的峰值前的至少一部分(即增长部分)和/或曲线图的峰值后的一部分(例如衰减部分)的形状的分析的特征之间的差异。

如本文其他地方所述，基于表示峰值形状分析的特征，处理器110的计算机程序产品被配置为在所生成的输出图上识别特定于在像素的FOVp内成像的组织类型或状态的热特征，例如，通过识别特定于细胞类型的热行为模式。

参考图3、图4和图5，在一些实施例中，热成像系统100的处理器110从成像器108的多个像素收集值并将计算的结果分组，例如，基于以下中的一个或多个的特征：响应于加热的增长部分202、冷却期间的衰减部分204、增长部分202和衰减部分204的交会点处的峰值温度206以及季节性噪声，并且处理器110定义显示接近或相似分布的组之间的截止线。在一些实施例中，并且如图5B所示，该图是通过绘制在相同的T/t坐标系上绘制进行比较的峰值温度点206/406，基于峰值温度点206/406的特征被热成像系统100的处理器110分组并识别为：早期峰值组(502-1、502-2、502-3和502-4)晚期峰值组(504-1、504-2、504-3和504-4)，该早期峰值组例如在1000帧以下达到峰值(例如，以每秒25帧的成像速率，在四秒钟内对1000帧进行成像)并基于由热成像系统100的处理器110生成的查找表(如本文其他地方所述)识别为包含正常组织，该晚期峰值组例如仅在超过2000秒时达到峰值并基于查询表识别为包含癌组织。

如图3、图4和图5所示，在一些实施例中，表示峰值温度点(诸如峰值温度点206/206’/506和506’)的特征也可以被识别为特定组织状态或类型的热特征，并且由热成像系统100的处理器110识别的类似峰值温度点的集群可以指示在被检查组织(例如，癌组织)中共享相同组织状态的组织细胞的集群，如本文其他地方更详细地解释的。

在一些实施例中并且如本文其他地方所公开的，曲线图由热成像系统100的处理器110生成并且被示出。例如，在图3和图4中，除其他外，基于Pennes生物热方程，其中变量(a)、(b)、(c)和(d)可以是以下变量中的至少任一者，包括环境温度、外部热源、组织和/或生物体代谢热源、由于血液灌注引起的热损失、血液温度、组织密度、比热、热导因子、热导系数、热导表面积(m2)、对象的表面和内部温度以及环境和对象之间的时间相关热梯度。

组织状态和/或类型表征

在一些实施例中，成像器108的像素阵列对组织104的表面进行成像。在一些实施例中，组织104被预热。热成像系统100的处理器110接收并处理来自每个像素的值以创建对象的表面上方的表观温度差异的图。在一些实施例中，为每个温度值分配不同的颜色。所得的颜色矩阵被发送到热成像系统100的处理器110的存储器并作为组织104表面的热图(温度分布图像)发送到系统显示器。

现在参考图6A、图6B、图6C和图6D(统称为图6)，其中图6A是根据本发明的一些实施例的在系统100的显示器112上示出的小鼠皮肤组织104的一部分的示例性热图像600。如图6A和图6B所示，热图像600包括热图602。在一些实施例中，可以通过移动像素组FOV指示器604来检查感兴趣区域。例如，在图6A和图6B中，像素组FOV指示器604由正方形白色轮廓表示，该轮廓表示组织104的表面上的感兴趣区域的像素组的集合FOV的边界。在一些实施例中，指示器604例如由操纵杆、计算机鼠标或类似的控制设备控制。在图6A和图6B所示的示例性实施例中，像素组FOV指示器604被放置在组织104的表面的区段上，并且示出了两个异常组织灶606，例如怀疑是癌性的。

图6A示出了由处理器110的计算机程序产品生成的输出图，其基于所提取的特征集(Fa)、(Fb)、(Fc)、(Fd)，即相同特征集的集群或来自图6A所示的相同热图像的特征的集群，其采用了用于图6A所示的生成的输出图的数学表达式的一个或多个其他组合。在图6A中，由处理器110的计算机程序产品识别例如怀疑是癌性的两个异常组织灶606。相比之下，图6B是图6A中成像的相同FOV的白光图像。在6B的图像中，在图6A所示的生成的输出图中识别出的区域606表现为与围绕它们的组织相同。如图6C所示，牙龈组织608在RGB照片中表现为大致均匀的、均匀着色的牙龈组织。相反，图6D的热扩散图相对于周围正常组织612划定异常牙龈组织的大区段610。在该特定示例中，异常牙龈组织被识别为癌组织。

在一些实施例中，并且如图6C和图6D所示，该图是人牙龈的RGB照片(图6C)和叠加在组织的RGB照片上的经处理和生成的热扩散图(图6D)。

在一些实施例中，用于区分组织状态或类型的方法包括：在预定第一时间段(t0至t1)内自基本温度(Tb)主动改变组织的至少一部分的表面的温度，然后停止实现温度改变，并在第二时间段(t1至t2)内允许组织的温度被动返回基本温度，同时在所述第一时间段和第二时间段(t0至t2)期间获得所述组织的被成像表面的多个热图像。

在一些实施例中，该方法包括：处理从成像器108的像素接收的热值以生成与组织的一个或多个生理学或病理学参数相关联的一个或多个值；将这些值与数据库(例如，与一个或个种组织状态或类型相关联的签名数据的查找表)进行比较；以及生成输出，该输出在所获得的图像上指示组织细胞的组织状态或类型的识别和/或处于相同组织状态的组织细胞的已识别区域的边界的划分。

在一些实施例中，指示和/或识别组织状态或类型包括下列项中的一项或多项：跟踪从成像器像素接收的热值的随时间推移的改变，识别所述改变的模式，以及将改变的模式分类或分组为类别或组。然后将分类的模式与组织状态或类型的签名模式进行比较，将每个类别与组织状态或类型的预定签名模式的数据库相关联，以及识别组织状态或类型和/或关联所获得的热图像内的包含处于已识别组织状态或类型的组织的区域。

以下是用于区分组织状态或类型的上述方法的一个示例。现在参考图7，该图是示出根据本发明的一些实施例的热成像系统100的处理器110的操作的示例性简化流程图。如图7所示，在702处，热成像系统100的处理器110被配置为在时间段内从成像器108获取组织104的表面的热图像的序列。

在一些实施例中，并且如本文中其他地方所解释的，热成像系统100的处理器110被配置为在703处提取从Pennes生物热导率方程式导出的一个或多个变量(a)、(b)、(c)和(d)和/或从以下中的至少任一者导出一个或多个变量(a)、(b)、(c)和(d)：影响细胞的热行为的外部参数，例如，环境温度、外部热源和内部以及环境和对象之间的时间相关热梯度；和/或影响细胞的热行为(热参数)的固有组织参数，例如，组织和/或生物体代谢热源、由于血液灌注引起的热损失、血液温度、组织密度、比热、热导因子、热导系数、热导表面积(m2)和对象的表面的温度。

在一些实施例中，热成像系统100的处理器110被配置为在704处将组织分割成包括具有对应的一个或多个热变量的位置的区段，并且可选地生成指示组织区段的输出。

可选地，在705处，热成像系统100的处理器110被配置为基于一个或多个提取的变量(a)、(b)、(c)和/或(d)来计算每个像素的一个或多个特征，例如，(Fa)、(Fb)、(Fc)和(Fd)。在一些实施例中，并且如本文其他地方所解释的，所计算的特征(Fa)、(Fb)、(Fc)和(Fd)表示至少部分受热参数影响的被成像组织细胞的热行为，如在本文其他位置列出。在一些实施例中并且如图6所示，热成像系统100的处理器110例如以列表608或描绘所计算的特征(Fa)、(Fb)、(Fc)和(Fd)在成像区域中的分布的图的形式在显示器600上显示至少特征(Fa)、(Fb)、(Fc)和(Fd)的所计算的特征。

在706处，热成像系统100的处理器110从成像器108的FOV内的每个像素编译在步骤705处计算的一个或多个特征集，以及针对一个或多个特征(Fa)、(Fb)、(Fc)和(Fd)的每个集进行处理，并且在708处生成在706编译的每个集或组的差异图(VFa、VFb、VFc和VFd)。

如本文其他地方所述，所计算的特征(Fa)、(Fb)、(Fc)、(Fd)和其他贡献性特征、相同特征的组或来自一个或多个热图像的特征的组由处理器110的计算机程序产品使用数据挖掘过程来处理，例如，以便交叉引用数据，执行数据清理并以图的形式生成输出，该图指示和/或识别被成像组织区域内的各种组织状态或类型。

在图6所示的示例性实施例中，热成像系统100的处理器110在显示器600上显示由处理器110的计算机程序产品生成的输出图，该输出图将至少特征(Fa)、(Fb)、(Fc)和(Fd)的值的计算的差异示出为列表610。

在一些实施例中并且可选地并且如图7所示，在710处，在例如显示器600上以序列(在710处)或以任何组合(例如，一个或多个彼此叠加)(在712处)或以任何组合并叠加在成像器108的FOV的RGB图像上(在714处)显示成像器108的FOV上方的至少特征(Fa)、(Fb)、(Fc)的在706处的每个编译集的差异图(VFa、VFb、VFc和VFd)，以根据基于预定黄金标准基准的查找表识别异常组织(例如，癌组织)，这增加了热图像分析过程的准确性。

在一些实施例中并且可选地，热成像系统100的处理器110在716处计算一个或多个数据集的截面点，例如，在708处生成的特征集之间的差异(VFa、VFb、VFc和VFd)，并且在718处识别具有接近或相似的计算的截面点的一组或多组像素。在720处，热成像系统100的处理器110生成与所识别的像素组的位置相对应的图，根据该图，对所获得的值的分析导致最接近由预定黄金标准基准定义的值、变量和/或特征的截面点，并且在722和724处，热成像系统100的处理器110将在720处生成的图叠加在成像器108的FOV的RGB图像上以辅助卫生专业人员识别可疑细胞集群在组织104的表面上的位置。

在一些实施例中，由热成像系统100的处理器110识别的一个或多个数据集(例如，差异数据集(VFa、VFb、VFc和VFd))的截面点对应于差异数据集(VFa、VFb、VFc和VFd)的重叠图中的一致区域。在一些实施例中，并且如本文其他地方解释的，系统100包括照明源114，该照明源114照射组织并划定用于移除异常组织的外科手术边界。替代地或附加地并且可选地，在一些实施例中，系统100包括消融能量源116以消融所划定的异常组织。在一些实施例中并且可选地，在724处，热成像系统100的处理器110识别可疑细胞集群在组织104的表面上的位置，并且将可疑细胞集群的轮廓坐标提供给划定外科手术边界以移除异常组织的照明源114和/或提供给施加消融能量116以消融所划定的异常组织的消融能量源116。

返回图6所示的示例性实施例，系统100的显示器112的屏幕图像600在特定坐标集(位置：141,270)处显示像素组FOV，该特定坐标集显示在正方形白色轮廓604内。在一些实施例中，框架604位于(位置：141,270)处以将可疑异常组织块608识别为例如癌性或非癌性。

在一些实施例中，该方法包括在大面积上进行快速的浅层热扫描，并且识别可疑灶，然后通过将区域的至少一部分置于正方形白色轮廓604内来对可疑灶或细胞区域进行仔细和细致的成像。

在一些实施例中，屏幕图像像素集群606/608表示共享一个或多个特征的像素集群(以及因此表示被成像组织细胞集群)，该特征包括由热成像系统100的处理器110基于一个或多个变量(a)、(b)、(c)和(d)计算的相对于周围像素(并且因此被成像组织)的差异，如本文其他地方所述。

在一些实施例中，并且如本文其他地方所解释的，将针对成像器FOV内的预定特征(Fa)、(Fb)、(Fc)和(Fd)的每个隔离值或其任何组合生成的差异图叠加在被成像组织的RGB图像上以使肉眼可识别可疑细胞集群。

在一些实施例中，本公开可以提供实现机器学习算法和/或技术，例如用于确定组织状态。在一些实施例中，在训练阶段，本公开的示例性机器学习分类器可以被配置为接收、获得和/或以其他方式已经接收或获得了包括与多个受试者相关的多个组织热参数、特征和/或变量的数据集。在一些实施例中，这些热参数、特征和/或变量与本文其他地方充分详细描述的那些相同或基本上类似。

在一些实施例中，预处理阶段可以包括数据准备。数据准备可以包括清理数据、转换数据和/或选择记录的子集。在一些实施例中，数据准备可以包括对数据执行预处理操作。例如，可以执行插补算法以生成缺失数据的值。可以执行上采样和/或预测因子等级变换(例如，用于变量选择)以适应数据中的类不平衡和非正态性。在一些实施例中，执行插补算法包括内插或估计缺失数据的值，诸如通过生成具有缺失数据的临床参数的可用数据的分布，以及基于该分布内插缺失数据的值。

在一些实施例中，时间处理步骤可以被配置为使用例如傅里叶变换、多项式调整、衰减方程式和/或各种统计工具来生成一个或多个参数、特征和/或变量的时间相关表示。在一些实施例中，时间处理步骤可以包括自动和/或手动地组合在时间段序列内从受试者获得的多个测量值，以确定和/或创建可以表示多个测量值随时间和/或时间序列变量的改变模式的至少一个组合参数和/或特征。

在一些实施例中，特征提取步骤可以被配置为例如基于数据集中的现有特征之间的关系来生成附加特征，并将该附加特征添加到数据集。

在一些实施例中，可以执行变量选择以例如从所获得的参数的集中识别最相关的变量和预测因子。在一些实施例中，变量和/或变量选择可以包括执行被监督的机器学习算法，诸如基于约束的算法、基于约束的结构学习算法和/或基于约束的本地发现学习算法。在一些实施例中，可以执行变量选择以识别训练数据中的变量的子集，该子集相对于训练数据中的变量的其余部分具有期望的预测能力，从而使用基于所选变量生成的模型来实现更有效和准确的预测。在一些实施例中，使用机器学习算法来执行变量选择，例如，差异分析(ANOVA)、提升集成(诸如XGBoost)、成长收缩(“gs”)、增量关联马尔可夫毯(“iamb”)、快速增量关联(“快速，iamb”)、最大最小父子(“mmpc”)或半交错Hiton-PC(“si.hiton.pc”)算法。然而，此类机器学习算法的各种其他实施方式可以用于执行变量选择和本文所述的其他过程。在一些实施例中，变量选择可以搜索较小尺寸的变量集，其试图表示整个变量集的底层分布，这尝试增加对来自相同分布的其他数据集的概括性。

在一些实施例中，可以通过移除高度相关的变量来执行变量选择。可以使用若干算法来搜索具有已排名预测因子的输入数据集，以找到最能表示关于传染性并发症结果的所有变量的底层分布的简化变量集。变量选择过滤算法可以用于选择简化变量集。例如，在一些实施例中，最大最小父子(mmpc)和/或inter-iamb算法中的一者或多者可以用于将对应贝叶斯网络的节点选择为简化变量集。

在一些实施例中，执行变量选择以在训练数据中搜索用作贝叶斯网络的节点的变量子集。贝叶斯网络(例如，信念网络、贝叶斯信念网络)是使用有向无环图来表示变量集及其条件依赖性的概率模型。例如，在诊断预测的上下文中，可以使用变量选择来从训练数据中选择变量以用作贝叶斯网络的节点；如果给定特定受试者的节点的值，则可以生成该受试者的诊断的预测。

在一些实施例中，至少部分地基于收集的参数和如上所述执行的变量选择过程来创建用于本公开的机器学习分类模型的训练数据集。在一些实施例中，训练数据集包括与受试者的各种组织状态或类型相关联的参数、特征和/或变量集。可以针对多个受试者中的每个受试者接收并存储参数的值。训练数据集可以将多个参数、特征和/或变量的值与多个受试者中的每个受试者的对应组织状态相关联。在一些实施例中，参数、特征和/或变量集可以用对应的组织状态标记。

在一些实施例中，针对训练数据集来训练本公开的机器学习分类器以生成分类模型。例如，机器学习分类器可以对模型参数的每个子集执行分类算法(例如，二进制分类算法)以生成组织状态的预测。在一些实施例中，分类算法包括但不限于线性判别分析(lDA)、分类和回归树(CART)、最近邻(KNN)、支持矢量机(SVM)、高斯支持矢量机(GSVM)、逻辑回归(GLM)、随机森林(RF)、广义线性模型(GLMNET)和/或朴素贝叶斯(NB)。在一些实施例中，分类可被定义为概括要应用于新数据的已知结构的任务。分类算法可以包括线性判别分析、分类和回归树/决策树学习/随机森林建模、最近邻、支持矢量机、逻辑回归、广义线性模型、朴素贝叶斯分类和神经网络等。在一些实施例中，本公开的经训练的机器学习分类模型可以包括例如集群分析、回归(例如，线性和非线性)、分类、决策分析和/或时间序列分析等。在一些实施例中，在生成随机森林模型之前执行变量选择的情况下，基于来自变量选择的简化变量集来对训练数据进行采样(与基于所有变量的采样相反)。

在一些实施例中，在训练阶段之后，本公开的经训练的机器学习分类器可以被配置为例如通过第一评估来实现验证过程，该第一评估可以包括例如交叉验证。交叉验证可以被配置为将训练集随机地划分为例如十份。然后，十份验证可以运行十次，例如，使用训练集的九个不同份以进行机器学习建模，并且使用第十份以进行验证。可以通过计算统计测量来评定结果，例如，针对十个不同评估份的接收器操作属性曲线下的面积(AUROC)的平均值和置信区间。在一些实施例中，第二评估可以包括关于验证集(例如，可以包括原始数据的10％的用于验证的第十份)的对机器学习模型的评定。在一些实施例中，第三评估可以包括统计分析，例如，包括通过偏斜数据的中值和四分位间距(IQR)，以及对于正态分布数据的以标准差的平均值(例如，使用自举技术)来呈现种群特性。在一些实施例中，机器学习模型的交叉验证过程可以实现统计方法，该统计方法被配置为对有限数据样本估计机器学习模型的技能，例如，以便估计当用于对训练机器学习模型时未使用的数据进行预测时预期机器学习模型将如何执行。在一些实施例中，机器学习模型的交叉验证过程可以包括将给定数据样本分成多个组和/或份，例如十个组和/或份。

在一些实施例中，可以在推断阶段将本公开的经训练的机器学习分类器应用于所接收的组织的热视频流，以生成关于组织内的区域状态的一个或多个预测。

在一些实施例中，可以采用非监督分类模型，例如，以从组织的热图像流中以非监督方式提取参数、特征和/或变量。在一些实施例中，然后可以将此类提取的参数、特征和/或变量用作上述经训练的机器学习分类器的输入。

现在参考图8A和图8B，该图是示出根据本发明的一些实施例的截面点的差异数据集或组的简化曲线图。在一些实施例中，处理器110被配置为基于最接近于由预定黄金标准基准定义的像素级值、热变量或特征的值的像素级值(诸如图8A和8B中所示的集)来选择和处理像素级值或热变量或特征的集中的差异。如图8所示的示例性曲线图所示，截面点802和804被聚类成一个或多个集群(例如，802-1、802-2、802-3和802-4和/或804-1、804-2、804-3和804-4)。

如本文其他地方所解释的，热成像系统100的处理器110被配置为识别具有生成的截面点802和804的关联像素，并且描绘与组织104的表面上的节段855中的截面点802相关联的第一类型的组织和与组织104的表面上的节段860中的截面点804相关联的第二类型的组织之间的边界850。组织学上识别的组织802和804的状态或类型被登记在存储在热成像系统100的处理器110的存储器中的查找表中以供将来参考。

替代地和可选地，在一些实施例中，热成像系统100的处理器110被配置为将集群802/804与预编译的查找表进行比较，将组织状态或类型802识别为组织节段855中的第一类型的组织(例如，健康组织)，并且将组织状态或类型804识别为组织节段860中的第二类型的组织(例如，癌组织)，并且描绘组织节段855和860之间的边界850。附加地且可选地，在一些实施例中，热成像系统100的处理器110被配置为绘制所识别的组织状态或类型802和804，并在显示器112上显示该图，该图叠加在成像器108的FOV的RGB图像上，如图8B所示。

热施加技术

矢量加热

如本文中所使用的，术语“矢量”加热涉及沿着可以遵循任何图案并且不一定沿着直线的路径的加热。

现在参考图9A，该图是根据本发明的一些实施例的在表面的部分上方的热分布的平面图简化图示；以及图9B，该图是根据本发明的一些实施例的在组织表面的部分内的组织的热曲线图。

如图9A所示的示例性实施例所示，沿设置在可疑异常组织904的一侧的线902加热组织表面。为了解释清楚起见，忽略了从线902起的在远离可疑异常组织的方向上的热分布。

在一些实施例中，热成像系统100被配置为在设定时间段(t)内获得成像器108的FOV的多个热图像，并且处理多个图像的连续帧，以提取有关设定时间段内的组织细胞的热参数中的差异的信息。

在一些实施例中，热成像系统100比较在从热施加时间(t0)测量的一个或多个时间段(例如，t1、t2、t3、t4)内沿箭头906所指示的方向通过成像器108的FOV内的组织细胞的热扩散速度。在一些实施例中，沿着平行于加热线902的线(例如，L1、L2、L3和L4)进行在时间段(t1)、(t2)、(t3)和(t4)的温度测量。

如图9A所示的实施例所示，在时间段(t3)期间，线902所生成的热量分布在成像器108的FOV内的组织104的大部分表面上是均匀的。然而，由虚线圆圈描绘的区域970内的测量示出与组织104的表面的大部分区域(包括在区域970的任一侧上的描绘区域950和960)相比，通过该区域内的组织细胞的热量扩散是较慢的。热成像系统100的处理器110被配置为将通过区域970内的组织细胞的扩散的速度的差异识别为与和区域907内的组织和周围组织相关联的一个或多个生理学或病理学/热参数的差异相关联，并且将区域970标记为包含可疑为异常(例如癌性)的组织。

附加地并且可选地，在一些实施例中并且如本文其他地方更详细地说明的，热成像系统100的处理器110被配置为处理成像器108的FOV内的组织的热曲线图。如图9B中所示的示例性实施例所示，该图是根据本发明的一些实施例的与受热组织的生物热行为相关联的热曲线的曲线图，曲线955/965表示围绕区域970内的可疑组织的组织(例如，区域950和/或960中的组织)的热曲线，其中曲线975表示从区域970内的组织获得的热曲线。

由热成像系统100的处理器110显示的曲线图示出了区域970内的组织细胞的总体热行为(即对加热的响应)慢于围绕区域970的区域(例如，区域950/960)内的组织细胞的热行为(即对加热的响应)。例如，这通过响应于加热的曲线975的浅增长部分972相对于曲线955/965的较陡增长部分952/962来指示。附加地并且可选地，曲线975比曲线955/965更晚地到达峰值温度976，这指示区域970内的组织的较慢热行为。与浅增长部分972类似，相对于曲线955/965的衰减部分954/964，衰减部分974表现出由浅曲线指示的区域970内的组织的较慢热行为。

在一些实施例中并且如本文中其他地方更详细地解释的，热成像系统100的处理器110被配置为通过将曲线图作为整体进行处理和比较或者仅处理曲线的部分(诸如仅增长部分972和952/962，仅衰减部分974和954/964，仅峰值温度976和956/966的位置或其任何组合)来处理沿热行为曲线975和955/965一直表现出的差异，并且生成由热行为曲线975和955/965之间的差异导出的热签名(该差异由峰值温度前和自此衰减的热行为曲线的形状表现)，并且识别与热签名相关联的特定组织状态或类型。在一些实施例中，热成像系统100的处理器110处理从像素阵列的至少一部分接收的信息，如本文更详细地解释的，并且使用该信息来指示受检组织中存在不同的组织状态或类型(例如正常组织与癌变组织)。

在一些实施例中，可以通过沿着设置到可疑异常组织904的一侧的一条或多条线902加热组织104的表面来增加组织类型或状态识别的准确性和特异性。在图10A、图10B和图10C中描绘的示例性实施例中，该图是根据本发明的一些实施例的组织表面的一部分上的热分布的平面图简化图示，沿着设置到可疑异常组织904的一侧的线902/1002加热组织104的表面。在一些实施例中，线902(图10A)和线1002(图10B)彼此垂直。

如图10C所示，热成像系统100的处理器110被配置为编译从对应图10A和图10B中所示的热图像1004和1006获得的热行为数据，提取关于与主要在区域1008内的热图像1004和1006中被识别为异常组织细胞的细胞相关联的一个或多个生理学或病理学热参数的信息，并且至少生成可疑异常组织904的轮廓。

在一些实施例中，由热成像系统100的处理器110获得的值的至少一部分的双重性以及从图像1004获得的值与从图像1006获得的值之间的比较增加了组织类型或状态识别和定位的准确性和特异性。这使得热成像系统100的处理器110能够放大(即放大显示)图10C所示的区域1008并且更准确地描绘可疑异常组织904的轮廓1012。在一些实施例中，热成像系统100的处理器110被配置为将可疑异常组织904的轮廓叠加到组织104的表面的RGB图像上以辅助卫生专业人员清楚且准确地识别组织104的表面上的可疑细胞集群904的边界。

用于使用矢量加热的一个示例处于组织边界分析中，如图11A和图11B所示，该图是根据本发明的一些实施例的在组织表面的部分上方的热分布的平面图简化图示。在图11A所示的示例性实施例中，组织104的表面包括两个边界区域1102和1104，这些边界区域由边界线1106分离并且表现出包括不同的组织状态，例如一个或多个斑点1108或组织类型。

如图11A中描绘的示例性实施例中所示，沿着大体上设置在区域1102和1104之间的边界1106上的线1110向可疑斑点1112的一侧加热组织104的表面。为了解释清楚起见，忽略了从线902起的在远离可疑斑点的方向上的热分布。

为了增加异常细胞识别的分辨率和准确性，成像器108的FOV限于组织104的表面的区域1114。热成像系统100的处理器110被配置为从对成像器108的FOV成像的像素阵列获得热值并且处理所获得的值，如本文中其他地方所解释的。在一些实施例中并且如图11B中描绘的示例性实施例中所示，热成像系统100的处理器110通过标记组织区段1112来生成将组织区段1112识别为异常组织(例如，癌组织)的图1150，这是通过将边界区域1102和1104的组织104的表面内的颜色或轮廓识别为正常。

随机点加热

现在参考图12，该图是根据本发明的一些实施例的在组织表面的部分上方的热分布的曲线图和平面图简化图示。在一些实施例中并且如图12所示，热源102加热组织104的表面的随机设置尺寸的部分1202。在一些实施例中，例如通过在相等时间段期间施加相同水平的热量(例如焦耳)来连续且均匀地加热随机设置尺寸的部分1202，并且由热成像系统100的成像器108以给定的时间间隔拍摄连续的热图像。

在一些实施例中，并且如本文其他地方所解释的，热成像系统100的处理器110处理所获得的图像以识别和描绘组织区段1212。例如，在一些实施例中，处理器110被配置为处理和识别时间温度均匀性(t

图12中描绘的示例性曲线图示出了沿着组织104的表面上方的任意线Q-Q的(t

如图13所示，该图是示出根据本发明的一些实施例的热成像系统100的处理器110的操作的示例性简化流程图，处理器110被配置为在1302处获得在从(t

在一些实施例中并在1312处，处理器110被配置为处理在1304处识别的细胞集群的热曲线的增长部分，并且在1314处识别在(t

脉冲式热量施加

在一些实施例中并且如图14A和图14B所示，该图是根据本发明的一些实施例的与被加热组织的生物热行为相关联的热曲线的曲线图，组织104的表面在时间段内通过多个加热脉冲来加热。在一些实施例中，例如通过在相等的时间段期间以加热脉冲之间的相等间隔施加相同水平的热量(例如焦耳)来连续且均匀地施加热脉冲。热成像系统100的处理器110被配置为从成像器108获得多个连续热图像，并且响应于加热脉冲来处理组织104的表面的组织的热行为。

在一些实施例中，如图14A和图14B所示并且在本文的其他地方更详细解释的，响应于施加的脉冲式热量，不同状态或类型的组织表现出不同的热行为，这由与热行为相关联的热曲线图中的差异来表达。在一个示例中，如图14A所示，从在时间段内暴露于脉冲式热量并由热成像系统处理器110处理的被成像组织获得的热参数表现出曲线1402，其包括一个或多个增长部分1404，每个增长部分之后是一个或多个衰减部分1406和多个温度峰值点1408。

在一些实施例中，处理器110被配置为对曲线1402执行顶部分析，并且基于该分析来识别特定于像素的FOVp内成像的组织类型或状态的热签名，例如，通过响应于在给定时间(例如，t1、t2、t3和t4)的连续加热脉冲而识别连续曲线的温度峰值(例如，P1、P2、P3和P4)，以及处理峰值之间的关系，例如峰值之间的时间间隔(例如，i1、i2、i3和i4)，或者计算的峰值的增长线性回归1450。

在一些实施例中，热成像系统100的处理器110被配置为仅对热曲线的选定部分(例如，增长部分、衰减部分和/或增长部分和衰减部分的交会点处的峰值温度)执行比较分析，例如图14B中所示的示例性曲线图，响应于连续的加热脉冲，其表现出曲线1412、1414和1416的增长的延迟时段，即在t1和t1’之间的d1、在t2和t2’之间的d2以及d3和t3’之间的d3。在一些实施例中，处理器110被配置为基于分析来识别特定于在像素的FOVp内成像的组织类型或状态的热签名，例如通过识别特定于组织类型或状态的热行为模式。

分段加热

在一些实施方式中并且如图15所示，该图是根据本发明的一些实施例的与受热组织的生物热行为相关联的热曲线的曲线图，组织104的表面被分段(fractionally)加热。在一些实施例中，通过预定间隔(例如，长度相等或变化)设置的多个脉冲(例如，相同水平的热量或焦耳)施加热量，并且热成像系统100的成像器108在所获得的热曲线1500的整个增长部分1502中获得连续的热图像。

在图15所示的示例性实施例中，在三个时间点tP1、tP2和tP3施加三个加热脉冲，从而导致具有三个分段(fractions)ΔT1、ΔT2和ΔT3的曲线1500的阶梯状增长部分1502。分段加热的潜在优势在于，对增长部分1502的分段进行分析，而不是对整个增长部分1500进行分析，从而允许增加异常细胞识别的分辨率和准确性。在一些实施例中，组织状态或类型之间的差异仅表达在分段ΔT1、ΔT2和ΔT3的仅一个分段内的差异中，从而提供组织类型签名模式的更高分辨率并增加组织类型或状态识别的准确性和特异性。

3D加热

现在参考图16A和图16B，该图是根据本发明的一些实施例的在组织表面的部分内的热分布的截面图简化图示。在一些实施例中，使用三维加热系统沿着平面1604加热组织104的表面下方的一定体积的组织1602，该三维加热系统诸如沿着设置在可疑异常组织1606的一侧的线1650在由箭头1675指示的从表面进入更深组织的方向上以变化频率施加的超声、激光、IR或RF辐射。

如图16A和图16B所示，组织104的表面下方的部分1602内部的热分布沿线1608发生。为了解释清楚起见，忽略了从平面1604起的在远离可疑组织区段1606的方向上的热分布。

在一些实施例中，成像系统100的处理器110被配置为处理沿着一个或多个平面以相对于组织104的表面的变化空间取向同时或连续地由3D热成像系统(例如，MRI、CT扫描仪、超声收发器、RF收发器或类似物)拍摄的多个热图像。在图16所示的示例性实施例中，沿着相对于组织104的表面在空间上平行(平面1608)和/或垂直(平面1610)取向的多个平面同时或连续地获取由3D热成像系统拍摄的多个热图像。

如图16B所示并且在一些实施例中，热成像系统100的处理器110被配置为编译从沿多个平面1608和/或平面1610拍摄的热图像获得的热行为值，并且如本文其他地方更详细地解释的，提取关于与在一个或多个获得的热图像中被识别为异常组织细胞1606的组织相关的一个或多个生理学或病理学热参数的信息，并且至少生成可疑异常组织1606的三维轮廓。

在一些实施例中，由热成像系统100的处理器110获得的值的至少一部分的双重性以及来自获得图像的获得值之间的比较提高了在组织104的表面下的组织内部的组织类型识别和定位的准确性和特异性。在一些实施例中，热成像系统100的处理器110被配置为将可疑异常组织1606的3D轮廓叠加到组织104的表面下方的组织的RGB 3D图像上以辅助卫生专业人员清楚且准确地识别组织内的可疑细胞集群904的边界。

在整个本申请中，本发明的各种实施例可以以范围格式呈现。应当理解，范围格式的描述仅是为了方便和简洁，并且不应被解释为对本发明范围的僵化限制。因此，应将范围的描述视为已明确公开了所有可能的子范围以及该范围内的各个值。例如，对范围(诸如从1到6)的描述应被视为已明确公开了诸如从1到3、从1到4、从1到5、从2到4、从2到6、从3到6的子范围等，以及该范围内的单个数字，例如1、2、3、4、5和6。无论范围的广度如何，这都适用。

每当在本文中指示数值范围时，其意在包括在指示范围内的任何引用数字(分数或整数)。短语“在第一指示数字和第二指示数字之间的范围/范围”以及“从第一指示数字到第二指示数字的范围/范围”在本文中可互换使用，并且意在包括第一指示数字和第二指示数字以及它们之间的所有分数和整数。

在本申请的说明书和权利要求中，词语“包括”、“包含”和“具有”中的每一者及其形式不必限于可以与词语相关联的列表中的成员。另外，在本申请与通过引用并入的任何文件之间存在不一致的地方，特此以本申请为准。

本文公开了可以在给定正在考虑的主题(TUC)下自动构造(即，无需人工干预)相关权利要求和支持证据的列表的方法和计算机程序产品。因此，例如，人可以提取有说服力的权利要求从而支持他或她的观点，以及为另一方在讨论TUC时可能提出的反权利要求做好准备。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有用于使处理器执行本发明的方面的计算机可读程序指令的计算机可读存储介质。

计算机可读存储介质可以是有形的设备，其可保留和存储由指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备、或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括下列项：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或Flash存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、存储器棒、软盘、机械编码的设备(诸如打孔卡或凹槽中凸起的结构，在其上面记录了指令)，以及上述的任何合适组合。如本文所使用的，计算机可读存储介质不应被理解为本身是瞬时信号，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤缆线的光脉冲)、或通过电线传输的电信号。

本文描述的计算机可读程序指令可以经由例如因特网、局域网、广域网和/或无线网络的网络从计算机可读存储介质下载到相应的计算/处理设备，或者下载到外部计算机或外部存储设备。网络可以包括铜传输缆线、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令以存储在相应的计算/处理设备中的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编程序指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据，或以一种或多种编程语言(包括面向对象的编程语言(诸如Smalltalk、C++等)和常规过程编程语言(诸如“C”编程语言或类似编程语言)的任意组合编写的源代码或对象代码。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上并且部分在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者可以与外部计算机建立连接(用于例如，通过使用因特网服务提供商的因特网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路以便执行本发明的方面。

本文参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各方面。将理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以通过计算机可读程序指令来实现。

可以将这些计算机可读程序指令提供给通用计算机、专用计算机、或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令也可存储在计算机可读存储介质中，该介质可以指示计算机、可编程数据处理装置和/或其他设备以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。

也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，以致使一系列操作步骤在计算机、其他可编程装置或其他设备上执行以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。

附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这方面，流程图或框图中的每个框可表示模块、区段或指令的一部分，其包括用于实现指定的(一个或多个)逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中指出的功能可以不按图中指出的顺序发生。例如，实际上可以基本上同时执行连续示出的两个框，或者有时可以以相反的顺序执行这些框，这取决于所涉及的功能。还应注意，框图和/或流程图示的每个框以及框图和/或流程图示的框的组合可以由执行指定功能或动作或进行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。

已经出于说明的目的给出了对本发明的各种实施例的描述，但这些描述并非旨在是详尽的或限于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变型对于本领域普通技术人员将是显而易见的。选择本文使用的术语以最好地解释实施例的原理、实际应用或对市场上发现的技术的技术改进，或者使得本领域的其他普通技术人员能够理解本文公开的实施例。