针对改进的组织检测的组合成像模态的系统和方法

本申请要求于2019年12月18日提交的申请号为62/949830、名称为针对改进的组织检测的组合成像模态的系统和方法的美国临时专利申请的优先权，该申请的全部内容通过引用并入本文。

背景技术

尽管分子化学成像(MCI)是用于分析感兴趣的有机、无机和生物样本的强大技术，但其性能增强可以促进其在诸如生物或医学应用等行业中的应用。因此，改进控制和调制照射源以实现单一或多种成像的模式的能力的MCI增强可以提供优于常规MCI应用的好处。

发明内容

本公开考虑了组合从感兴趣的样本生成的两个或更多个图像的成像技术的各种实施例。

在一个实施例中，存在融合图像的方法，该方法包括用照射光子照射样本；从已经与样本相互作用并且已经传播到第一相机芯片的相互作用光子获取第一样本图像；从已经与样本相互作用并且已经传播到第二相机芯片的相互作用光子获取第二样本图像；以及通过对第一样本图像和第二样本图像进行加权来融合第一样本图像和第二样本图像，其中对第一样本图像和第二样本图像的加权是通过偏最小二乘判别分析(PLS-DA)、线性回归、逻辑回归、支持向量机(SVM)、相对向量机(RVM)、朴素贝叶斯、神经网络或线性判别分析(LDA)中的一种或多种来执行的，从而生成融合得分图像。

在另一实施例中，该方法还包括检测第一样本图像和第二样本图像中的每个样本图像中的眩光，并且不对第一样本图像和第二样本图像中被标识为眩光的部分进行分类。

在另一实施例中，该方法还包括接收对第一样本图像和第二样本图像中的每个样本图像中与眩光相对应的区域的选择，并且用可分类的更新值替换所选择的区域中的像素的值。

在另一实施例中，该方法还包括对第一样本图像的强度和第二样本图像的强度进行归一化。

在另一实施例中，第一样本图像选自由以下各项组成的组：X射线、EUV、UV荧光、自发荧光、RGB、VIS-NIR、SWIR、线性Raman、非线性Raman、NIR-eSWIR、eSWIR、磁共振、超声、光学相干断层扫描、散斑、光散射、光热、光声、太赫兹辐射和射频成像，并且第二样本图像选自由以下各项组成的组：X射线、EUV、UV、RGB、VIS-NIR、SWIR、Raman、NIR-eSWIR、eSWIR、磁共振、超声、光学相干断层扫描、散斑、光散射、光热、光声、太赫兹辐射和射频成像。

在另一实施例中，第一样本图像是RGB，并且第二样本图像是VIS-NIR。

在另一实施例中，照射光子由可调谐照射源生成。

在一个实施例中，用于融合图像的系统包括被配置为用照射光子照射样本的照射源；被配置为从已经与样本相互作用的相互作用光子中获取第一样本图像的第一相机芯片；被配置为从已经与样本相互作用的相互作用光子中获取第二样本图像的第二相机芯片；以及在操作期间通过对第一样本图像和第二样本图像进行加权来融合第一样本图像和第二样本图像的处理器，其中对第一样本图像和第二样本图像的加权是通过偏最小二乘判别分析(PLS-DA)、线性回归、逻辑回归、支持向量机(SVM)、相对向量机(RVM)、朴素贝叶斯、神经网络或线性判别分析(LDA)中的一种或多种来执行的，从而生成融合得分图像。

在另一实施例中，处理器在第一样本图像和第二样本图像中的每个中检测眩光并且不对第一样本图像和第二样本图像中被标识为眩光的部分进行分类。

在另一实施例中，处理器接收对第一样本图像和第二样本图像中的每个中与眩光相对应的区域的选择，并且用可分类的更新值替换所选择的区域中的像素的值。

在另一实施例中，处理器对第一样本图像的强度和第二样本图像的强度进行归一化。

在另一实施例中，样本图像选自由以下各项组成的组：X射线、EUV、UV、RGB、VIS-NIR、SWIR、线性Raman、非线性Raman、NIR-eSWIR、eSWIR、磁共振、超声、光学相干断层扫描、散斑、光散射、光热、光声、太赫兹辐射和射频成像，并且第二样本图像选自由以下各项组成的组：X射线、EUV、UV、RGB、VIS-NIR、SWIR、线性Raman、非线性Raman、NIR-eSWIR、eSWIR、磁共振、超声、光学相干断层扫描、散斑、光散射、光热、光声、太赫兹辐射和射频成像。

在另一实施例中，第一样本图像是RGB，并且第二样本图像是VIS-NIR。

在另一实施例中，照射源是可调谐的。

在一个实施例中，存在用于融合图像的计算机程序，该被实现在非暂态计算机可读存储介质上，该计算机程序在由处理器执行时使照射源用照射光子照射样本；使第一相机芯片从已经与样本相互作用的相互作用光子中获取第一样本图像；使第二相机芯片从已经与样本相互作用的相互作用光子中获取第二样本图像；以及使处理器在操作过程期间通过对第一样本图像和第二样本图像进行加权来融合第一样本图像和第二样本图像，其中对第一样本图像和第二样本图像的加权是通过图像加权贝叶斯融合(IWBF)、偏最小二乘判别分析(PLS-DA)、线性回归、逻辑回归、支持向量机(SVM)、相对向量机(RVM)、朴素贝叶斯、神经网络或线性判别分析(LDA)中的一种或多种来执行的，从而生成融合得分图像。

附图说明

包含在说明书中并且形成说明书的部分的附图图示了本发明的实施例，并且与书面描述一起用于解释本发明的原理、特性和特征。在附图中：

图1示出了根据本公开的实施例的使用融合图像的目标检测系统。

图2示出了根据本公开的实施例的用于将RGB图像与MCI图像配准以用于组织检测的过程的流程图。

图3示出了根据本公开的实施例的用于将RGB图像与MCI图像融合以进行组织检测的过程的流程图。

具体实施方式

本公开不限于所描述的特定系统、方法和计算机程序产品，因为它们可能会有所不同。描述中使用的术语仅出于描述特定版本或实施例的目的，并不旨在限制范围。

如在本文中使用的，单数形式“一(a)”、“一个(an)”和“该(the)”包括复数引用，除非上下文另有明确规定。除非另有定义，否则本文中使用的所有技术和科学术语具有与本领域普通技术人员通常理解的相同的含义。本公开中的任何内容均不应当被解释为承认本公开中描述的实施例由于在先发明而无权先于这样的公开。如本文中使用的，术语“包括”是指“包括但不限于”。

下面描述的实施例不旨在穷举或将教学限制为在以下详细描述中公开的精确形式。相反，实施例被选择和描述以使得本领域其他技术人员可以领会和理解本教学的原理和实践。

目标检测系统

本公开设想了系统、方法和计算机程序产品，该系统、方法和计算机程序产品被设计成用照射光子来照射样本，通过相机芯片从样本收集相互作用的光子，从已经由相机芯片收集和成像的相互作用的光子来生成两个或更多个样本图像，并且融合两个或更多个样本图像以生成目标得分图像。目标得分图像是通过对两个或更多个样本图像应用数学运算以融合两个或更多个样本图像来生成的。与由相互作用的光子形成的两个或更多个样本图像中的任何一个相比，目标得分图像具有更大的对比度和信息。

使用组合成像模态的目标检测系统100的一个实施例在图1中示出。在一个实施例中，目标检测系统100可以包括被配置为生成一个或多个波长范围内的光的照射源组件102，如下所述。在各种实施例中，照射源组件102可以包括被配置为生成不同波长范围的光的一个或多个照射源。在各种实施例中，照射源102可以包括可调谐照射源或不可调谐照射源。下面描述关于可用于目标检测系统100的照射源的各种实施例的附加细节。

系统100还可以包括内窥镜104或光学耦合到照射源组件102的另一光学设备。在操作期间，内窥镜104可以被配置为将由照射源组件102生成的光引导到样本106(例如，组织)，并且从那里接收光(即，相互作用的光子)。样本106可以包括有机样本、无机样本和/或生物样本。系统100还可以包括经由光路108光学耦合到内窥镜104的第一相机芯片110和第二相机芯片112。在一个实施例中，第一相机芯片110可以被配置为从第一波长范围内的光来生成图像(即，对第一波长范围内的光敏感)，并且第二相机芯片112可以被配置为从第二波长范围内的光来生成图像(即，对第二波长范围内的光敏感)。换言之，相机芯片110、相机芯片112可以被配置为使用不同成像模态来生成图像。下面描述关于可用于目标检测系统100的相机芯片的各种实施例的附加细节。

系统100还可以包括计算机系统114，计算机系统114可通信地耦合到相机芯片110、相机芯片112，使得计算机系统114被配置为从相机芯片110、相机芯片112接收信号、数据和/或图像。在各种实施例中，计算机系统114可以包括用于执行本文中描述的各种过程和技术的各种不同的硬件、软件、固件或其任何组合。在所示实施例中，计算机系统114包括耦合到存储器118的处理器116，其中处理器116被配置为执行存储在存储器118中的指令以使计算机系统114执行本文中描述的过程和技术。下面描述关于由目标检测系统100可执行的用于创建得分图像、检测(多个)组织、配准图像和融合图像等的算法的各种实施例的附加细节。

目标检测过程

目标检测系统100可以被配置为执行用于通过组合成像模态来使样本中的目标可视化的各种过程，诸如图2和图3所示的过程200、过程250。在一个实施例中，过程200、过程250可以体现为存储在计算机系统114的存储器118中的指令，该指令在由处理器116执行时，使计算机系统114执行过程200、过程250的列举的步骤。

转到图2所示的过程200，计算机系统114可以从第一相机芯片110接收202样本106的第一图像，并且从第二相机芯片112接收204样本106的第二图像。在一个特定实施例中，第一图像可以包括MCI图像(例如，双偏振MCI图像)，并且第二图像可以包括RGB图像。因此，计算机系统114可以从所接收的第一图像来创建(206)得分图像。下面描述用于创建206得分图像的各种技术。计算机系统114可以在该过程200中以多种不同方式使用得分图像。具体地，计算机系统114可以将从第一图像创建的(206)的得分图像与第二图像进行配准(208)。下面描述用于将图像彼此进行配准的各种技术。此外，计算机系统114可以检测(210)或标识得分图像中的目标。在一个实施例中，计算机系统114可以被配置为执行一种或多种检测算法以检测(210)目标和/或标识得分图像内的目标的边界。下面描述各种检测算法和检测技术。在一个示例性应用中，例如，目标可以包括生物样本中的肿瘤。因此，计算机系统114可以在第二图像上覆盖(212)目标的检测(210)的区域或边界，并且提供(214)或输出具有检测覆盖的第二图像。在一个实施例中，计算机系统114可以显示具有检测覆盖的第二图像。

图3所示的过程250在很多方面类似于图2所示的过程200，不同之处在于，它包括附加步骤。在该过程250中，计算机系统114另外融合(252)从第一图像创建的(206)的得分图像(例如，MCI图像)和与第一图像配准208的第二图像(例如，RGB图像)。因此，由计算机系统114执行的检测算法210基于融合图像，而不是图2所示的过程200中的得分图像。在所有其他方面，图3所示的过程250的功能与图2所示的过程200的功能基本相同。

在一些实施例中，计算机系统114可以被配置为在图像被配准208和/或融合252在一起之前执行各种预处理技术。例如，计算机系统114可以被配置为调节图像以补偿任何眩光。在一个实施例中，计算机系统114可以被配置为检测第一图像或第二图像中的任何眩光并且执行图像校正算法来调节图像以去除或补偿眩光。在另一实施例中，计算机系统114可以被配置为接收对第一图像和/或第二图像中与眩光相对应的区域的选择(例如，来自用户)，并且用由计算机系统114可分类的更新值的替换所选择的区域中的像素的值。

在一些实施例中，计算机系统114可以被配置为在样本的可视化期间实时执行过程200、过程250中的一个或多个。在一种说明性实现中，计算机系统114可以用于在手术中检测和显示位于使用内窥镜104而被可视化的组织处或组织内的目标(例如，肿瘤)。因此，本文中描述的系统和方法可以帮助外科工作人员在外科手术过程中可视化目标，以改进手术人员的表现并且从而改进患者的治疗效果。

上述过程200、过程250是有益的，因为它们通过组合成像模态来提供样本内的目标的改进的可视化和标识。以这种方式使用多种成像模态可以更好地标识针对样本的背景下的目标。本文中描述的过程和技术跨很多不同的技术学科中具有广泛的应用，而不应当被解释为限于本文中描述的任何具体示例。

照射源

如上所述，照射源组件102可以包括多种不同的照射源及其组合。照射源不受限制并且可以是可用于提供必要照射同时满足其他辅助要求(诸如功耗、发射光谱、封装、热输出等)的任何源。在一些实施例中，照射源是白炽灯、卤素灯、发光二极管(LED)、量子级联激光器、量子点激光器、外腔激光器、化学激光器、固态激光器、超连续谱激光器、有机发光二极管(OLED)、电致发光器件、荧光灯、气体放电灯、金属卤化物灯、氙弧灯、感应灯或这些照射源的任何组合。在一些实施例中，照射源是可调谐照射源，这表示，照射源是单色的并且可以被选择为在任何期望的波长范围内。可调谐照射光源的所选择的波长不受限制，可以是X射线、极紫外(EUV)、紫外(UV)、可见(VIS)、近红外(NIR)、可见近红外(VIS-NIR)、短波红外(SWIR)、扩展短波红外(eSWIR)、近红外扩展短波红外(NIR-eSWIR)、中波红外(MIR)和长波红外(LWIR)范围内的任何通带。

上述光的范围对应于约0.03nm至约3nm(X射线)、约10nm至约124nm(EUV)、约180nm至约380nm(UV)、约380nm至约720nm(VIS)、约400nm至约1100nm(VIS-NIR)、约850nm至约1800nm(SWIR)、约1200nm至约2450nm(eSWIR)、约720nm至约2500nm(NIR-eSWIR)、约3000nm至约5000nm(MIR)、或约8000nm至约14000nm(LWIR)的波长。上述范围可以单独使用或与所列范围中的任何范围组合使用。这样的组合包括相邻(连续)范围、重叠范围和不重叠范围。范围的组合可以通过包括多个光源、通过过滤光源、或通过添加至少一个分量来实现，诸如磷光体和/或量子点，该分量将高能发射(诸如UV或蓝光)转换为具有较长波长的较低能量光。

在一些实施例中，照射源是可调谐的。可调谐照射源包括可调谐LED、可调谐LED阵列、可调谐激光器、可调谐激光器阵列或过滤的宽带光源中的一种或多种。如前面的列表中所述，可以被过滤的宽带光源包括白炽灯、卤素灯、发光二极管阵列(当这些阵列包括红色、绿色和蓝色光谱范围内的多个彩色LED时)、超连续谱激光器、气体放电灯、氙弧灯或感应灯中的一种或多种。在一些实施例中，提供了单个可调谐光源。在其他实施例中，提供一个以上的可调谐光源，并且一个以上的可调谐光源中的每个可调谐光源能够同时操作。在其他实施例中，提供了能够与不可调谐的光源同时操作的可调谐光源。

样本

在从照射源发射照射光子之后，照射光子与样本106相互作用。样本106不受限制，并且可以是任何化学样本或生物样本，其中希望知道感兴趣区域对样本的大体位置。在一些实施例中，样本106是生物样本并且照射光子用于确定肿瘤细胞与周围非肿瘤细胞之间的边界。在一些实施例中，样本106是生物样本并且光子用于确定经历血液限制的组织与经历血液灌注的组织之间的边界。在一些实施例中，样本106是生物结构并且照射光子用于确定一个生物样本与另一生物样本之间的边界。

生物样本的示例包括输尿管、神经、血管、淋巴结、导管、健康器官、经受血液限制的器官、经受血液灌注的器官和肿瘤。在一些实施例中，生物样本位于活生物体内，即，它是“体内”生物样本。在一些实施例中，样本不位于活生物体内，即，它是“离体”生物样本。在一些实施例中，照射光子用于将生物样本与其他结构区分开。在一些实施例中，照射光子用于将一个生物样本与另一生物样本区分开。

相机芯片

本公开设想存在至少一个相机芯片来收集相互作用的光子和对相互作用的光子进行成像。在图1所示的实施例中，示出了两个相机芯片110、相机芯片112；然而，在其他实施例中，系统100可以包括单个相机芯片。在一些实施例中，至少一个相机芯片的特性在于它能够成像的光的波长。可以由相机芯片成像的光的波长不受限制，包括UV、VIS、NIR、VIS-NIR、SWIR、eSWIR、NIR-eSWIR。这些分类对应于约180nm至约380nm(UV)、约380nm至约720nm(VIS)、约400nm至约1100nm(VIS-NIR)、约850nm至约1800nm(SWIR)、约1200nm至约2450nm(eSWIR)和约720nm至约2500nm(NIR-eSWIR)的波长。上述范围可以单独使用或与所列范围中的任何范围组合使用。这样的组合包括相邻(连续)范围、重叠范围和不重叠范围。范围的组合可以通过包括多个相机芯片来实现，每个相机芯片对特定范围敏感；或者范围的组合可以通过单个相机芯片来实现，该单个相机芯片通过包括可以感测多个不同范围的色彩滤波阵列。

在一些实施例中，至少一个相机芯片的特性在于其制造材料。相机芯片的材料不受限制，并且可以基于相机芯片预期检测的波长范围来选择。在这样的实施例中，相机芯片包括硅(Si)、锗(Ge)、砷化铟镓(InGaAs)、硅化铂(PtSi)、碲化镉汞(HgCdTe)、锑化铟(InSb)、胶体量子点(CQD)、或任何这些材料的组合。

在一些实施例中，相机芯片配备有色彩滤波阵列以产生图像。色彩滤波阵列的设计不受限制。应当理解，术语“滤光器(filter)”在相机芯片的上下文中使用时表示允许参考光通过滤光器。例如，“绿色滤光器”是通过仅允许具有约520nm至约560nm波长的光通过滤光器而对人眼呈现绿色的滤光器，其对应于可见色彩绿色。类似的“NIR滤光器”仅允许NIR光通过。在一些实施例中，滤光器是位于相机芯片之上的色彩滤波阵列。这种色彩滤波阵列的设计多种多样，但都与原始的“拜耳”滤光器色彩马赛克滤光器有关。色彩滤波阵列包括BGGR、RGBG、GRGB、RGGB、RGBE、CYYM、CYGM、RGBW(2×2)、RGBW(2×2对角线色彩)、RGBW(2×2成对色彩)、RGBW(2×2垂直W)和X-TRANS(由日本东京的富士胶片公司出售)。X-TRANS传感器具有大的6×6像素图案，该图案通过在所有水平线和垂直线中包括RGB图块来减少莫尔效应伪影。在列表中，B对应于蓝色，G对应于绿色，R对应于红色，E对应于祖母绿，C对应于青色，Y对应于黄色，M对应于洋红色。W对应于“白色”或单色图块，这将在下面进一步描述。

W或“白色”图块本身包括若干配置。在一些实施例中，W图块不过滤任何光，因此所有光都到达相机芯片。在那些实施例中，相机芯片将检测在给定波长范围内的所有光。根据相机芯片的不同，这可以是UV、VIS、NIR、VIS-NIR、VIS-NIR、VIS-SWIR或VIS-eSWIR。在一些实施例中，W图块是用于VIS、VIS-NIR、NIR或eSWIR的滤光器，以分别仅允许VIS、VIS-NIR、NIR或eSWIR到达相机芯片。这可以有利地与上面列出的任何相机芯片材料或电结构结合。这种色彩滤波阵列很有用，因为它使得单个相机芯片能够检测可见光和近红外光，有时也称为四频带色彩滤波阵列。

在另外的实施例中，色彩滤波阵列被省略并且不配备有产生单色图像的相机芯片。在这样的实施例中，所生成的图像仅基于构成相机芯片的材料的带隙。在其他实施例中，滤光器仍然被应用于相机芯片，但仅作为单片的单个滤光器。例如，红色滤光器的应用意味着相机芯片生成表示红色光谱的单色图像。在一些实施例中，采用多个相机芯片，每个相机芯片具有不同单片的单个滤光器相机芯片。例如，可以通过组合分别具有R滤光器、G滤光器和B滤光器的三个相机芯片来产生VIS图像。在另一示例中，可以通过组合分别具有R滤光器、G滤光器、B滤光器和NIR滤光器的四个相机芯片来产生VIS-NIR图像。在另一示例中，可以通过组合分别具有R滤光器、G滤光器、B滤光器和eSWIR滤光器的四个相机芯片来产生VIS-eSWIR图像。

在一些实施例中，省略了色彩阵列，并且相机芯片利用被组织成像素网格的垂直堆叠的光电二极管。堆叠的光电二极管中的每个堆叠的光电二极管响应于期望的光的波长。例如，堆叠的光电二极管相机芯片包括R层、G层和B层以形成VIS图像。在另一实施例中，堆叠的光电二极管相机芯片包括R层、G层、B层和NIR层以形成VIS-NIR图像。在另一实施例中，堆叠的光电二极管相机芯片包括R层、G层、B层和eSWIR层以形成VIS-eSWIR图像。

对于某些图像，包括X射线或EUV，上述相机芯片可能无法解析相互作用的光子。在这种情况下，至少一种磷光体被配置为使得相互作用的光子撞击磷光体屏幕，并且磷光体屏幕发射磷光光子，磷光光子将从相机芯片中引发信号。

图像生成

本公开设想在第一图像生成步骤中通过各种成像技术来生成第一图像。在第一图像生成步骤中，光子由上述一个或多个照射源生成，并且光子传播到样本。当光子到达样本时，光子与样本相互作用。由此产生的第一相互作用光子从样本被发射并且传播到至少一个相机芯片。相机芯片由此生成第一图像，该第一图像被传送到处理器。

类似地，本公开还设想在第二图像生成步骤中通过各种成像技术来生成第二图像。在第二图像生成步骤中，光子由上述一个或多个照射源生成，并且光子传播到样本。当光子到达样本时，光子与样本相互作用。所得到的第二相互作用光子从样本中发射并且传播到至少一个相机芯片。该至少一个相机芯片由此生成第二图像，该第二图像被传送到图像处理器。

所生成的图像不受限制并且可以表示X射线、EUV、UV、RGB、VIS-NIR、SWIR、Raman、NIR-eSWIR或eSWIR的波长的至少一种图像。如本文中使用的，上述光的范围对应于0.03至约3nm(X射线)、约10nm至约124nm(EUV)、约180nm至约380nm(UV)、约180nm至约380nm(UV)、约380nm至约720nm(VIS)、约400nm至约1100nm(VIS-NIR)、约850nm至约1800nm(SWIR)、约1200nm至约2450nm(eSWIR)、以及约720nm至约2500nm(NIR-eSWIR)的波长。在一个实施例中，第一图像是RGB图像，并且第二图像是VIS-NIR图像。

图像生成技术不受限制，除了上述讨论之外，图像生成包括激光诱导击穿光谱(LIBS)、受激Raman光谱、相干反斯托克斯Raman光谱(CARS)、弹性散射、光声成像、本征荧光成像、标记荧光成像和超声成像中的一种或多种。

图像融合

由图像处理器融合两个或更多个图像，该两个或更多个图像至少包括由上述光子与样本的相互作用生成的第一图像和第二图像。如上所述，图像不受限制，并且可以生成两个以上的图像。在一个实施例中，第一图像是RGB图像，并且第二图像是VIS-NIR比率图像。然而，这些并不是唯一的可能性，并且图像融合可以使用任何两个图像来执行，这两个图像具有波长范围X射线、EUV、UV、RGB、VIS-NIR、SWIR、Raman、NIR-eSWIR或eSWIR或在整个本公开中描述的其他波长或波长范围中的任何一种。这种组合可以用于基于上述波长来生成比率图像。

在图像融合的一个实施例中，首先创建得分图像，然后进行检测或分割。为了创建得分图像，RGB和VIS-NIR图像使用数学算法被组合以创建得分图像。得分图像示出针对目标的对比度。例如，在一些实施例中，目标将呈现为明亮的“高光”，而背景将呈现为暗的“阴影”。用于图像融合的数学算法不受限制，并且算法包括图像加权贝叶斯融合(IWBF)、偏最小二乘判别分析(PLS-DA)、线性回归、逻辑回归、支持向量机(SVM)、相对向量机(RVM)、朴素贝叶斯、线性判别分析(LDA)和神经网络。

当数学算法是IWBF时，加权常数调制来自相应传感器的概率图像，并且总体目标概率使用图像交叉项的不同组合而被估计。当使用IWBF算法检测多种目标类型时，每种传感器模态具有针对每种目标类型的单个加权常数。可以通过各种技术来选择针对每个传感器模态的每个加权常数。这样的技术包括蒙特卡罗方法、接收器操作特性(ROC)曲线、线性回归、神经网络、模糊逻辑、朴素贝叶斯、Dempster-Shafer理论以及上述各项的组合。

针对单个目标类型的每个传感器模态的加权由以下公式表示：

公式1

针对多种目标类型的每个传感器模态的加权由以下公式表示：

公式2

公式3

公式4

公式5：

在上述公式1至公式5中，目标类型用T表示，传感器类型用S表示，传感器数目用n表示，白色图像(仅由1组成的灰度)用W表示，针对每个目标的检测概率为P

所得到的融合得分图像或概率图像示出了针对目标的增强对比度，其中较高的像素强度对应于像素属于目标的较高可能性。类似地，低像素强度对应于像素属于目标的低可能性。利用各种计算机视觉和机器学习方法(诸如自适应阈值和主动轮廓)的检测算法被应用于融合得分图像以检测目标并且找到目标的边界。

在一些实施例中，不使用以上等式生成得分图像。相反，检测算法或分割算法用于所有N个图像。这种技术需要多光谱方法，其中将多个图像组合成超立方体。超立方体具有N个图像并且可以包括UV、RGB、VIS-NIR、SWIR、Raman、NIR-eSWIR或eSWIR中的一种或多种的任何组合。在这样的实施例中，不生成得分图像。相反，分割算法使用所有N个图像，并且从而标识目标。多光谱方法没有特别限制。在一些实施例中，多光谱方法是包括k均值和均值偏移方法中的一种或多种的光谱聚类方法。在其他实施例中，多光谱检测或分割方法是基于纹理的方法，该方法基于使用Haralick纹理特征跨光谱带而测量的相似纹理将像素分组在一起。

在一些实施例中，图像融合从来自两个相机的图像中被生成。在其他实施例中，图像融合从三个相机被生成。在使用三个相机来生成图像融合的实施例中，第一相机生成形成第一分子化学图像的第一调谐状态，第二相机生成形成第二分子图像的第二调谐状态，并且第三相机生成RGB图像。

在包括两个或更多个相机芯片的一些实施例中，基于来自两个或更多个相机芯片中的每个相机芯片的图像来生成立体图像。立体图像是有用的，因为它们允许观看者感知图像中的深度，这增加了感知的准确性和真实性。例如，在使用内窥镜执行手术或其他类似活动期间，立体图像可用于操纵器械和执行任务，比单镜内窥镜具有更高的安全性和准确性。这是因为，只有一个相机芯片位置的单镜内窥镜无法提供深度感知。在一些实施例中，立体图像由至少两个相机芯片形成，并且其中相机芯片是相同的。在一些实施例中，立体图像由至少两个相机芯片形成，其中相机芯片是不同的。在上述实施例中的任何一个实施例中，相机芯片可以具有相同的色彩滤波阵列，或者它们可以具有不同的色彩滤波阵列。在一些实施例中，立体图像由两个不同的相机芯片形成，其中仅一个相机芯片被提供色彩滤波阵列，而另一相机芯片被提供单色滤光器或根本没有滤波阵列。任何时候只要提供一个以上的相机芯片，就可以通过使用相机芯片中的每个相机芯片的输出并且对每个相机芯片的输出进行组合或融合来生成立体图像。

示例

示例1

在一个说明性实施例中，为了获取融合图像，收集分子化学图像，并且同时还收集RGB图像。分子化学图像和RGB图像收集均在相同的体内外科手术中执行。在这个说明性应用中，分子化学图像是使用内部开发的MCI内窥镜来收集的，并且RGB图像是使用从KarlStorz Endoscopy可获取的Hopkins

用MCI内窥镜收集两个波长图像。为了融合所收集的MCI图像和RGB图像，在数学上组合这两个波长图像，以为体内外科手术中的感兴趣目标产生比率得分图像。接下来，将MCI图像和RGB图像彼此配准，使得MCI图像的每个像素对应于RGB图像中的相同物理位置。配准是使用结合基于特征的方法和基于强度的方法的混合方法实现的。基于特征的方法最初被应用于估计MCI图像与RGB图像之间的几何变换。这是通过匹配KAZE特征来实现的。KAZE是一个多尺度二维特征检测器和描述符。使用基于相似性度量和优化器的基于强度的方法来改进KAZE特征检测的结果。配准通过使用估计的几何变换将MCI图像与RGB图像对准来完成。

接下来，执行预处理。首先，可以执行眩光校正步骤。在一个实施例中，通过检测MCI图像和RGB图像中的每个图像中的眩光来生成眩光掩模。被标识为眩光的像素未被分类。在另一实施例中，用户可以手动选择每个图像中的眩光区域。在各种实施例中，所选择的区域中的像素的值可以替换为可分类的更新值，或者与前述实施例一样，可以从分类中省略标识为眩光的图像中的像素。其次，对MCI图像和RGB图像进行归一化处理，使得来自两个图像中的像素的强度在相等范围内，并且强度不会影响每个图像模态对融合图像的贡献。

在执行预处理之后，执行融合。使用由先前训练步骤生成的标记数据，分类器检测属于感兴趣目标的像素。为了执行融合，将三(3)帧RGB图像和MCI比率得分图像输入到分类器中。在该示例中，IWBF是用于为图像找到最佳权重的方法，该最佳权重最小化训练集上的预测误差。由IWBF在训练集上确定的权重被应用于图像，并且加权图像由此在数学上被组合以创建融合得分图像。然后，最终融合得分图像被显示，并且与背景相比示出了针对目标的增强的对比度。这种增强的对比度可以改进从背景中检测目标的性能。在一些实施例中，使用计算机视觉和机器学习方法的检测算法被应用于融合得分图像以定位或确定目标的最终检测。最终检测覆盖在RGB图像上。当用户希望定位难以标识的特征时，覆盖到RGB图像上的最终检测特别有用。在一个实施例中，用户是希望改进器官的可视化的外科医生。

示例2

如上所述，图像生成系统可以包括第一照射源和第二照射源。在一个说明性实施例中，第一照射源可以包括被配置为生成具有625nm波长的单色照射光子的可调谐激光器。此外，第二照射源可以包括被配置为生成具有800nm波长的单色光子的可调谐激光器，其检测反射率。从照射源生成的两个图像可以使用上述任何技术来组合或融合。在操作中，第一照射源和第二照射源中每个照射源中的每个的单色光子被引导到样本。通过在具有625nm的波长的照射光子处激发来生成自发荧光图像。所生成的相互作用光子被引导到能够检测至少VIS光子的相机芯片。生成并且分析比率得分图像。

示例3

在一个说明性实施例中，第一照射源可以包括被配置为生成单色X射线照射光子的高压灯丝管。此外，第二照射源可以包括被配置为生成SWIR光谱范围内的宽带照射光子的石英灯泡。在操作中，X射线照射光子和SWIR照射光子被引导到样本。所得到的来自样本的相互作用光子被引导到能够检测至少VIS光子的相机芯片。生成并且分析比率得分图像。

在以上详细描述中，参考附图，附图形成其一部分。在附图中，相似的符号通常标识相似的组件，除非上下文另有说明。具体实施方式、附图和权利要求中描述的说明性实施例并不表示限制。在不背离本文中提出的主题的精神或范围的情况下，可以使用其他实施例，并且可以做出其他改变。将容易理解，如本文中一般地描述的和图中所示的本公开的各种特征可以以各种不同的配置来布置、替换、组合、分离和设计，所有这些都在本文中被明确地考虑到。

本公开不限于本申请中描述的特定实施例，该实施例旨在作为各种特征的说明。可以做出很多修改和变型而不背离其精神和范围，这对于本领域技术人员来说是清楚的。根据前面的描述，除了本文中列举的那些之外，在本公开的范围内的功能上等效的方法和装置对于本领域技术人员来说将是清楚的。这样的修改和变型旨在落入所附权利要求的范围内。本公开仅受所附权利要求的条款以及这些权利要求所享有的等同物的全部范围的限制。应当理解，本公开不限于特定的方法、试剂、化合物、组合物或生物系统，它们当然可以变化。还应当理解，本文中使用的术语仅用于描述特定实施例的目的，而不是限制性的。

关于本文中基本上任何复数和/或单数术语的使用，本领域技术人员可以根据上下文和/或应用从复数转换成单数和/或从单数转换成复数。为了清楚起见，可以在本文中明确阐述各种单数/复数排列。

本领域技术人员将理解，一般而言，本文中、尤其是所附权利要求(例如，所附权利要求的主体)中使用的术语通常意在作为“开放”术语(例如，术语“包括(including)”应当解释为“包括但不限于”，术语“具有”应当解释为“至少具有”，术语“包括(includes)”应当解释为“包括但不限于”，等等)。虽然各种组合物、方法和设备被描述为“包括”各种组件或步骤(解释为“包括但不限于”)，但组合物、方法和设备也可以“基本上由各种组件和步骤组成”或“由各种组件和步骤组成”，并且这样的术语应当解释为定义基本上封闭的成员组。本领域技术人员将进一步理解，如果打算引用特定数目的所引入的权利要求，则这种意图将在权利要求中明确地陈述，并且在没有这种陈述的情况下，不存在这种意图。

例如，为了帮助理解，以下所附权利要求可以包含使用引入性短语“至少一个”和“一个或多个”来引入权利要求陈述。然而，这样的短语的使用不应当被解释为暗示由不定冠词“一(a)”或“一个(an)”引入的权利要求陈述将包含这样的引入的权利要求陈述的任何特定权利要求限制为仅包含一个这样的陈述的实施例，即使当同一权利要求包括引入性短语“一个或多个”或“至少一个”和不定冠词，诸如“一(a)”或“一个(an)”(例如，“一(a)”和/或“一个(an)”应当解释为“至少一个”或“一个或多个”)；用于引入权利要求陈述的定冠词的使用也是如此。

此外，即使明确地陈述了所引入的权利要求的具体数目，本领域技术人员将认识到，这种陈述应当被解释为表示至少所陈述的数目(例如，“两个陈述”的单纯陈述而没有其他修饰语表示至少两个陈述、或两个或更多个陈述)。此外，在使用类似于“A、B和C中的至少一个等”的约定的情况下，通常这种结构意在本领域技术人员会理解约定的意义上(对于例如，“具有A、B和C中的至少一个的系统”将包括但不限于具有仅具有A、仅具有B、仅具有C、A和B一起、A和C一起、B和C一起、和/或A、B和C一起的系统等)。在使用类似于“A、B或C等中的至少一个”的约定的情况下，一般而言，这种结构意在本领域技术人员会理解该约定的意义上(例如，“具有A、B或C中的至少一个的系统”将包括但不限于仅具有A、仅具有B、仅具有C、A和B一起、A和C一起、B和C一起、和/或A、B和C一起的系统等)。本领域技术人员将进一步理解，实际上呈现两个或更多个备选术语的任何分离词和/或短语(无论是在说明书、权利要求或附图中)都应当被理解为考虑包括这些术语中的一个、这些术语中的两者中的任何一个、或术语两者的可能性。例如，短语“A或B”将被理解为包括“A”或“B”或“A和B”的可能性。

此外，在根据马库什组描述本公开的特征的情况下，本领域技术人员将认识到，本公开因此也根据马库什组的任何单独成员或成员子组来描述。

如本领域技术人员将理解的，出于任何和所有目的，诸如就提供书面描述而言，本文中公开的所有范围还涵盖任何和所有可能的子范围及其子范围组合。任何列出的范围都可以很容易地被识别为充分描述并且能够将相同的范围分解为至少相等的一半、三分之一、四分之一、五分之一、十分之一等。作为非限制性示例，本文中讨论的每个范围可以容易地分解为下三分之一、中三分之一和上三分之一等。如本领域技术人员也将理解的，诸如“多达”、“至少”等的所有语言都包括所列举的数字并且指代随后可以细分为如上所述的子范围的范围。最后，如本领域技术人员将理解的，范围包括每个个体成员。因此，例如，具有1-3个单元的组是指具有1、2或3个单元的组。类似地，具有1-5个单元的组是指具有1、2、3、4或5个单元的组，等等。

各种上述特征和功能以及其他特征和功能、或者其替代物可以组合成很多其他不同的系统或应用。本领域技术人员随后可以在其中做出各种当前未预见或未预料到的替代、修改、变型或改进，其中的每个也旨在由所公开的实施例所涵盖。