使用诊断图像生成解剖模型的方法和设备

相关申请的交叉引用

本申请根据35 U.S.C.§119要求题为“用于确定组织图像的深度估计的技术”且于2021年1月15日提交的美国临时申请序列号63/138,186的优先权的权益，其公开内容全部通过引用并入本文。

技术领域

本发明一般涉及用于基于患者的一部分的图像检查该部分的物理特性的过程，并且更特别地涉及用于基于单目图像生成该部分的多维模型的技术。

背景技术

内窥镜检查提供了一种用于目视检验内部体腔的微创手术。例如，支气管镜检查是一种内窥镜诊断技术，其用于经由将长且细的内窥镜(或支气管镜)插入通过患者的气管并且使其向下进入肺部路径，直接检查肺部气道。其他类型的内窥镜可以包括用于结肠镜检查的结肠镜、用于尿道的膀胱镜和用于小肠的肠镜。内窥镜通常可以包括用于照亮患者内部腔室的照明系统，用于在患者体内采集样本的样本回收系统，以及用于捕获患者的内部图像以传输至数据库和/或操作者的成像系统。

在使用传统系统的内窥镜手术期间，主要的挑战是将内窥镜定位在患者的内腔(例如，用于支气管镜检查的支气管和细支气管)内，以实现准确和高效的导航。已经开发出计算机视觉系统来向操作者提供导航辅助以将内窥镜引导至目标。然而，现有的内窥镜通常具有成像装置，其提供有限的二维或单目视场，缺乏足够的深度感知。因此，由于视觉信息不足，操作者难以在患者的内腔内定向和导航内窥镜，特别是在实况诊断手术期间。计算机辅助系统的不足导致成功手术的实现更加困难，并且内窥镜手术的总体结果高度依赖于操作者的经验和技术。

一种导航解决方案涉及使用依赖于患者的术前诊断图像(例如，计算机断层扫描(CT)图像)的跟踪系统(例如，电磁(EM)跟踪系统)。这种解决方案具有多个缺点，包括但不限于，需要对患者进行广泛的术前分析以及无法补偿手术期间肺部的运动，从而导致定位不准确。其他导航系统使用基于视觉的技术，其需要额外的装置硬件，诸如传感器，和/或依赖于患者图像的复杂数据操纵，这限制了其有效性，特别是在实时手术环境中。

关于这些和其他考虑，本发明的改进可能是有用的。

发明内容

给出了本发明的概述以帮助理解，并且本领域的技术人员将理解，本发明的各种特征中的每一个在一些情况下可以有利地单独使用，或者在其他情况下与本发明的其他特征组合使用。在本概述中包括或不包括元件、部件等不旨在限制所要求保护的主题的范围。在一个实施例中，本发明涉及

根据所述实施例的各种特征，一种设备包括至少一个处理器和联接到至少一个处理器的存储器。存储器可以包括指令，当由至少一个处理器执行时，指令使至少一个处理器：访问包括多个合成图像和多个真实图像的多个内窥镜训练图像，访问与多个合成图像相关联的多个深度真实信息，使用多个合成图像和多个深度真实信息执行至少一个计算模型的监督训练以生成合成编码器和合成解码器，以及使用真实图像对合成编码器执行域对抗训练，以生成用于至少一个计算模型的真实图像编码器。

在该设备的一些实施例中，指令在由至少一个处理器执行时可以使至少一个处理器使用真实图像编码器和合成解码器对多个真实图像执行推理过程以生成深度图像和置信度图。在该设备的各种实施例中，真实图像编码器可以包括至少一个坐标卷积层。

在该设备的一些实施例中，多个内窥镜训练图像可以包括支气管镜图像。在该设备的各种实施例中，多个内窥镜训练图像包括经由体模装置的支气管镜成像生成的图像。

在该设备的示例性实施例中，当由至少一个处理器执行时，指令可以使至少一个处理器：提供患者图像作为经过训练的计算模型的输入，生成对应于患者图像的至少一个解剖模型。在该设备的各种实施例中，指令在由至少一个处理器执行时可以使至少一个处理器生成针对患者图像的深度图像和置信度图。

在该设备的一些实施例中，解剖模型可以包括三维点云。在该设备的各种实施例中，指令在由至少一个处理器执行时可以使至少一个处理器在显示器装置上呈现解剖模型以促进内窥镜装置的导航。

根据所述实施例的各种特征，一种计算机实现的方法可以包括经由计算装置的至少一个处理器：访问包括多个合成图像和多个真实图像的多个内窥镜训练图像；访问与多个合成图像相关联的多个深度真实信息；使用多个合成图像和多个深度真实信息执行至少一个计算模型的监督训练，以生成合成编码器和合成解码器；以及使用真实图像对合成编码器执行域对抗训练，以生成用于至少一个计算模型的真实图像编码器。

在该方法的一些实施例中，该方法可以包括使用真实图像编码器和合成解码器对多个真实图像执行推断过程以生成深度图像和置信度图。在该方法的各种实施例中，真实图像编码器可以包括至少一个坐标卷积层。

在该方法的一些实施例中，多个内窥镜训练图像可以包括支气管镜图像。在该方法的各种实施例中，多个内窥镜训练图像可以包括经由体模装置的支气管镜成像生成的图像。

在该方法的示例性实施例中，该方法可以包括：提供患者图像作为经过训练的计算模型的输入，生成对应于患者图像的至少一个解剖模型。在该方法的各种实施例中，该方法可以包括生成患者图像的深度图像和置信度图。

在该方法的一些实施例中，解剖模型可以包括三维点云。在该方法的各种实施例中，该方法可以包括在显示器装置上呈现所述解剖模型以促进内窥镜装置的导航。在该方法的一些实施例中，该方法可包括使用内窥镜装置对解剖模型所表示的患者部分进行检查。

根据所述实施例的各种特征，一种内窥镜成像系统可以包括内窥镜和可操作地联接到内窥镜的计算装置。计算装置可以包括至少一个处理器和联接到至少一个处理器的存储器。存储器可以包括指令，当由至少一个处理器执行时，指令可以使至少一个处理器：访问包括多个合成图像和多个真实图像的多个内窥镜训练图像，访问与多个合成图像相关联的多个深度真实信息，使用多个合成图像和多个深度真实信息执行至少一个计算模型的监督训练以生成合成编码器和合成解码器，以及使用真实图像对合成编码器执行域对抗训练，以生成用于至少一个计算模型的真实图像编码器。

在该系统的一些实施例中，内窥镜可以包括支气管镜。

在该系统的一些实施例中，指令在由至少一个处理器执行时可以使至少一个处理器提供患者图像作为经过训练的计算模型的输入，患者图像经由内窥镜捕获；以及生成对应于患者图像的至少一个解剖模型。在该系统的一些实施例中，指令在由至少一个处理器执行时可以使至少一个处理器在显示器装置上呈现解剖模型以方便在解剖模型所表示的患者部分内导航内窥镜装置。

附图说明

现在将参考附图以示例的方式描述所公开的机器的具体实施例，其中：

图1示出了根据本发明的第一示例性操作环境；

图2示出了根据本发明的计算模型训练过程；

图3示出了根据本发明的示例性合成图像和对应的深度图像；

图4示出了根据本发明的示例性真实图像；

图5示出了根据本发明的基于真实图像输入的示例性深度图像；

图6示出了根据本发明的基于真实图像输入的示例性深度图像和解剖模型；

图7示出了根据本发明的基于真实图像输入的示例性深度图像；

图8示出了根据本发明的基于真实图像输入的示例性深度图像；

图9示出了根据本发明的示例性解剖模型；

图10示出了根据本发明的示例性解剖模型；

图11示出了根据本发明的示例性解剖模型；

图12示出了根据本发明的第二示例性操作环境；以及

图13示出了根据本发明的计算架构的实施例。

具体实施方式

现在将在下面参考附图更全面地描述本实施例，其中示出了几个示例性实施例。然而，本发明的主题可以以许多不同的形式来体现，并且不应被解释为限于本文所阐述的实施例。相反地，提供了这些实施例，使得本发明将是彻底和完整的，并且将向本领域的技术人员有意地传达主题的范围。在附图中，相同的数字始终表示相同的元件。

现在将在下文中参考附图更全面地描述诊断成像装置和过程的各种特征，在附图中将示出和描述诊断成像过程的一个或多个特征。应当理解，下文中描述的各种特征等可以独立地使用，或者彼此组合地使用。应当理解，本文所公开的诊断成像过程、方法、技术、装置、系统、部件和/或其部分可以以许多不同的形式来体现，并且不应被解释为限于本文所阐述的实施例。相反地，提供了这些实施例，使得本发明将向本领域的技术人员传达诊断成像装置和/或过程的某些特征。

本文公开了诊断成像过程，其可操作以根据源图像生成解剖模型。在一些实施例中，解剖模型可以是或可以包括被配置为提供患者解剖场景的3D可视化的三维(3D)图像、图形用户界面(GUI)对象、模型、3D模型等。在各种实施例中，源图像可以是或可以包括非3D源图像(例如，二维或单目图像)。在一个示例中，源图像可以包括来自内窥镜的单目图像。在各种实施例中，源图像可以包括来自内窥镜的至少一个彩色单目图像。

尽管内窥镜并且特别是支气管镜被用作说明性诊断成像装置，但是实施例不限于此，这是因为在本发明中可以设想来自能够根据一些实施例操作的任何类型的图像捕获系统(包括其他类型的诊断成像系统)的图像。

本发明描述了单目内窥镜图像作为诊断图像、源图像的示例和/或用于本发明中的合成图像的基础；然而，实施例不限于此。更具体地，本发明中设想了能够以根据一些实施例配置的诊断成像过程进行操作的任何类型的源图像(包括真实或合成图像)。

在各种实施例中，诊断成像过程可以包括计算模型训练过程，其可操作以用于训练计算模型以基于源图像输入生成解剖模型。计算模型的说明性和非限制性示例可以包括机器学习(ML)模型、人工智能(AI)模型、神经网络(NN)、人工神经网络(ANN)、卷积神经网络(CNN)、深度学习(DL)网络、深度神经网络(DNN)、循环神经网络(RNN)、编码器-解码器网络、残差网络(ResNet)、U-Net、全卷积网络(FCN)、其组合、其变型等。在示例性实施例中，计算模型训练过程可以包括在第一训练过程中利用模拟图像训练计算模型以及在第二训练过程中利用实际源图像训练计算模型。

从单目诊断图像进行深度估计是解剖场景(例如支气管镜场景)的定位和3D重建管线中的核心任务。传统过程已经尝试使用实际患者图像的各种监督和自监督的基于ML和DL的方式。然而，缺乏标记数据和内窥镜图像(例如，肺、结肠、肠等的)的特征稀缺纹理使得这些方法的利用无效。

已经尝试将从支气管镜捕获的电磁(EM)跟踪数据登记到术前CT扫描数据的分段气道树。除了电磁失真引起的感觉误差之外，解剖变形也是基于EM的方法的主要挑战，这使得其在实况手术环境中的使用不切实际。受自然场景中成功的启发，还提出了基于视觉的方法。例如，直接和基于特征的视频CT配准技术以及同步定位和地图构建(SLAM)管线已在各种研究中进行了研究。然而，由解剖场景(例如，内部的肺腔和肠腔)中发现的镜面反射所引起的特征稀缺纹理和光度不一致导致这些技术不足以进行医疗诊断，特别是内窥镜手术。

直接和基于特征的方法的缺点已使得研究人员专注于采用深度信息来开发与场景几何学的直接关系。随着基于学习的技术的进步，监督学习已成为应用于自然场景的单目深度估计的方法。然而，由于难以获得真实信息数据，将其用于进行内窥镜任务是有挑战性的。另一种替代的方式是在具有其渲染的深度真实信息的合成图像上训练网络。但由于真实图像和合成图像之间的域差距，这些模型在推断时倾向于出现性能下降，并且因此无法用于真实世界的医疗诊断环境中。

因此，一些实施例可以提供图像处理方法，其包括使用两步结构等的替代域自适应方法，该两步结构首先以监督方式用标记的合成图像训练深度估计网络，然后采用无监督的对抗域特征自适应过程，以改进和优化在真实患者图像的性能。

一些实施例可以提供诊断图像处理方法，其可以进行操作以通过可观的边际改进计算装置在真实患者图像上的性能等，并且可以在3D诊断成像重建管线中采用。在各种实施例中，例如，基于DL的深度估计方法可以用于内窥镜场景的3D重建等。由于缺乏标记数据，计算模型可以在合成图像上进行训练。各种实施例可以提供被配置为使用对抗域特征自适应元件的方法和系统。在特征级别应用时，对抗域特征自适应元件可以补偿网络在真实患者图像上的低通用性等。

根据一些实施例操作的设备和方法可以提供优于传统系统的多种技术优势和技术特征。技术优势的一个非限制性示例可以包括训练计算模型以基于非3D(例如，单目)诊断图像(例如，内窥镜图像)高效地生成真实且准确的3D解剖模型。技术优势的另一个非限制性示例可以包括使用单目成像装置，诸如内窥镜生成3D解剖模型，而不需要额外的硬件，诸如额外的相机、传感器等。在技术优势的又一个非限制性示例中，单目内窥镜可以与根据一些实施例生成的模型一起使用以在患者内腔(例如，肺)中进行导航，以高效且有效地执行患者内腔的诊断测试和样本收集，而不需要侵入性外科手术，诸如活检(例如，开胸肺活检)或针吸手术。

根据一些实施例的系统和方法可以集成到多个实际应用中，包括诊断医疗状况、提供治疗建议、执行医疗手术、向患者提供治疗等。在一个特定示例中，根据一些实施例的诊断成像过程可以用于提供微创支气管镜手术，以提供肺组织的病理学检查以筛查肺癌。肺癌的常规病理学检查包括开胸肺活检、经胸针吸(TTNA)或经支气管针吸(TBNA)的侵入性外科手术。现有的支气管镜不能够使用由镜相机传感器提供的单目图像高效或有效地引导通过肺。然而，一些实施例提供了能够使用来自现有单目支气管镜相机传感器的图像来生成3D解剖模型的诊断成像过程，医疗专业人员可以使用来自现有单目支气管镜相机传感器的图像来引导支气管镜通过肺以针对肺癌进行检查和/或从目标区域获得样本。

一些实施例可以包括可以作为医疗诊断系统或工具的一部分和/或可由医疗诊断系统或工具操作性访问的软件、硬件和/或其组合。例如，一些实施例可以包括可以作为内窥镜系统，诸如要在支气管镜手术期间使用的支气管镜系统的一部分和/或可由内窥镜系统操作性访问的软件、硬件和/或其组合(例如，以提供深度估计以引导支气管镜系统的元件)。

图1示出了可以代表一些实施例的操作性环境100的示例。如图1所示，操作环境100可以包括诊断成像系统105。在各种实施例中，诊断成像系统105可以包括经由收发器170通信地耦合到网络180的计算装置110。在一些实施例中，计算装置110可以是服务器计算机、个人计算机(PC)、工作站和/或其他类型的计算装置。

根据一些实施例，计算装置110可以被配置为管理诊断成像过程的操作方面等。尽管图1中仅描绘了一个计算装置110，但是实施例不限于此，因为计算装置110可以是，可以包括多个计算平台和/或可以在多个计算平台上分布。在各种实施例中，关于计算装置110描述的功能、操作、配置、数据存储功能、应用程序、逻辑等可以由例如，经由网络180(例如，客户端装置184a至n中的一个或多个)联接到计算装置110的一个或多个其他计算装置(未示出)执行和/或存储在一个或多个其他计算装置中。仅出于说明性目的描绘了单个计算装置110以简化附图。实施例不限于该上下文。

计算装置110可以包括处理器电路120，其可以包括和/或可以访问用于执行根据一些实施例的过程的各种逻辑。例如，处理器电路120可以包括和/或可以访问诊断成像逻辑122。处理电路120、诊断成像逻辑122和/或其部分可以以硬件、软件或其组合来实现。如在本申请中使用的，术语“逻辑”、“部件”、“层”、“系统”、“电路”、“解码器”、“编码器”、“控制回路”和/或“模块”意指计算机相关的实体，其可以是硬件、硬件和软件的组合、软件或执行中的软件，其示例由示例性计算架构1300提供。例如，逻辑、电路或模块可以是和/或可以包括但不限于在处理器上运行的进程、处理器、硬盘驱动器、(光学和/或磁存储介质的)多个存储驱动器、对象、可执行文件、执行线程、程序、计算机、硬件电路、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、片上系统(SoC)、存储器单元、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片组、软件部件、程序、应用程序、固件、软件模块、计算机代码、控制回路、计算模型或应用程序、AI模型或应用程序、ML模型或应用程序、DL模型或应用程序、比例-积分-微分(PID)控制器、其变型、前述任意的组合等。

尽管图1中将诊断成像逻辑122描绘为在处理器电路120内，但是实施例不限于此。例如，诊断成像逻辑122和/或其任何部件可以位于加速器、处理器核心、接口、单独的处理器芯片内，完全实现为软件应用程序(例如，诊断成像应用程序150)等。

存储器单元130可以包括采用一种或多种较高速存储器单元形式的各种类型的计算机可读存储介质和/或系统，诸如只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双倍数据速率DRAM(DDRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、聚合物存储器，诸如，铁电聚合物存储器、奥氏存储器、相变或铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、磁卡或光卡、独立磁盘冗余阵列(RAID)驱动器等装置阵列、固态存储器装置(例如，USB存储器、固态驱动器(SSD)和适合于存储信息的任何其他类型的存储介质)。此外，存储器单元130可以包括采用一个或多个较低速存储器单元形式的各种类型的计算机可读存储介质，包括内部(或外部)硬盘驱动器(HDD)、磁性软盘驱动器(FDD)以及用于从可移动光盘(例如，CD-ROM或DVD)读取或写入其的光盘驱动器、固态驱动器(SSD)等。

存储器单元130可以存储用于根据一些实施例的诊断成像过程的各种类型的信息和/或应用程序。例如，存储器单元130可以存储单目图像132、计算模型134、计算模型训练信息136、深度图像138、解剖模型140和/或诊断成像应用程序150。在一些实施例中，单目图像132、计算模型134、计算模型训练信息136、深度图像138、解剖模型140和/或诊断成像应用程序150中的一些或全部可以存储在计算装置110可经由网络180访问的一个或多个数据存储182a至n中。

单目图像132可以包括经由诊断工具，诸如内窥镜系统160的内窥镜捕获的任何非3D图像。在一些实施例中，内窥镜系统160可以包括支气管镜。内窥镜系统160的说明性和非限制性示例可以包括由美国马萨诸塞州马尔伯勒的波士顿科学公司提供的EXALT

计算模型134可以包括用于根据一些实施例的诊断成像应用程序中的任何计算模型、算法、应用程序、过程等。计算模型的说明性和非限制性示例可以包括机器学习(ML)模型、人工智能(AI)模型、神经网络(NN)、人工神经网络(ANN)、卷积神经网络(CNN)、深度学习(DL)网络、深度神经网络(DNN)、循环神经网络(RNN)、编码器-解码器网络、残差网络(ResNet)、U-Net、全卷积网络(FCN)、其组合、其变型等。

在一个实施例中，计算模型134可以包括用于处理真实内窥镜(例如，支气管镜检查)图像的单目深度图像和置信度图估计模型。一些实施例可以包括例如，在标记的合成图像上训练的编码器-解码器模型。各种实施例可以包括使用域对抗训练配置的，例如，使用真实图像训练的计算模型。

在《神经信息处理系统的进展》中第2672至2680页(2014)的Goodfellow等的“生成对抗网络”(“Goodfellow等”)中描述了对抗方法的非限制性示例，其内容通过引用并入，如同在本文中完整阐述一样。例如，用于减小域差距的方法中的一个是基于Goodfellow等的对抗方法。本质上，根据一些实施例的图像处理方法和系统可以进行操作以通过从二次辨别性网络A开发对抗信号来优化生成模型F等。在每次迭代中同时进行训练，生成器F试图通过制定与训练集类似的分布来欺骗鉴别器A来进行改进，同时A尝试猜测其输入是否由F生成或从训练集中采样的。生成器的输入是从作为p

其中E

上述框架在当前问题上的应用被称为域对抗训练。在这个具体的采用中，生成器F充当特征提取器并且鉴别器A充当域识别器。联合训练的目标是假设特征提取器F会生成相同统计属性的输出向量，而无论输入域如何。依据应用的目的，对抗损失可以应用于输出级别，如在CycleGAN的情况下，或应用于如在一些实施例中提供的特征或多个特征级别。

在各种实施例中，计算模型训练信息136可以包括用于训练计算模型134的信息。在一些实施例中，训练信息136可以包括来自合成域的数据集和来自非合成或真实域的数据集。合成域可以包括感兴趣的解剖区域的合成图像。

例如，对于支气管镜检查应用而言，合成图像可以包括肺内腔的合成图像。在一个实施例中，合成域可以包括多个渲染的颜色和深度图像对(见，例如，图3)。多个合成图像可以包括约1000个图像、约5000个图像、约10,000个图像、约20,000个图像、约40,000个图像、约50,0000个图像、约100,000个图像以及上述值中任何之间的任何值或范围(包括端点)。

在各种实施例中，真实域可以包括经由活体或体模内的内窥镜捕获的真实图像。例如，对于支气管镜应用而言，真实图像可以包括真实的单目支气管镜图像，其包括人类或动物(例如，狗)的肺的肺体模和/或体内记录(见，例如，图4)。

在一些实施例中，可以使用基于真实和/或合成单目图像132的计算模型136来生成深度图像138。在各种实施例中，深度图像138可以包括对应的置信度图或者可以与对应的置信度图相关联(见，例如，图5至图9)。在深度图像不能由额外的传感器捕获的应用中，如特别是在内窥镜检查和支气管镜检查的情况下，根据一些实施例，基于DL的方法可以用于根据彩色图像估计或以其他方式确定深度图像。

在一些实施例中，可以基于深度图像和/或置信度图138来生成解剖模型140。解剖模型140可以包括在源图像，诸如单目图像132中捕获的解剖结构的点云或其他3D表示(见，例如，图6和图10至图12)。在各种实施例中，解剖模型140可以经由根据一些实施例配置的3D重建管线生成。

在各种实施例中，诊断成像逻辑122，例如，经由诊断成像应用程序150的可操作以训练计算模型134以分析患者的单目图像132以确定深度图像和置信度图138并且基于深度图像和置信度图138生成解剖模型140。在一些实施例中，用于确定深度图像和置信度图138的计算模型134可以不同于用于确定解剖模型140的计算模型134。

根据一些实施例的诊断成像过程和系统可以是或者可以包括两步训练结构。在一个实施例中，图像处理方法和系统可以操作以提供用于处理真实内窥镜(例如，支气管镜检查)图像的单目深度图像和置信度图估计模型。第一计算模型训练步骤可以包括在合成图像上对编码器-解码器模型进行监督训练。第二计算模型训练步骤可以包括域对抗训练，其中真实图像被并入训练中。

图2描绘了根据本发明的各种特征的说明性计算模型训练过程。在一些实施例中，过程271至273可以是或可以包括图像处理管线的一部分。例如，过程271可以包括使用合成彩色图像I

在一些实施例中，可以使用来自合成域的数据来训练计算模型。在一个示例中，在一些实施例中使用的合成数据集可以包括大量(例如，43,758)的渲染颜色I

在一些实施例中，虚拟相机可以沿着气道段放置在等距位置处，例如，从气管开始并且移动到气道树中的目标位置，从而模拟在典型的支气管镜检查手术期间获取的图像。该组模拟图像可以是多个这样的模拟路径的组合。虚拟相机的取向可以在合理范围内进行调整，以模拟相机沿着气道段的不同观察方向。虚拟相机在气道段内的位置可以偏离气道段的中心线以模拟相机在真实支气管镜手术中的位置。

在一些实施例中，真实的单目支气管镜图像I

在一些实施例中，诊断成像过程可以使用监督深度图像和置信度图估计。在一些实施例中，U-net变型可以用于监督深度图像和置信度图估计的任务。针对准确性和运行时性能之间的最佳点，ResNet-18网络骨架可以用于模型的编码器部分以充当特征提取器。在解码器侧，可以配置一系列双线性上采样和卷积层来恢复输入的原始大小。在每次上采样操作之后，来自编码器级别的对应特征向量可以进行级联以完成跳跃连接结构。这些级别的最后四个的输出形成了估计深度图像和置信度图的缩放版本。该输出集可以用于多尺度损失计算。

在一些实施例中，中间激活函数可以包括指数线性单元(ELU)。在2016年5月2至4日的波多黎各圣胡安的《第4届国际表征学习大会的论文集》的Clevert等的“通过指数线性单元进行的快速且准确的深度网络学习”中描述了ELU的非限制性示例，其通过引用并入，如同在本文中完整阐述一样。在各种实施例中，对于深度图像和置信度图估计而言，最终激活函数可以分别被设置为修正线性单元(ReLU)和Sigmoid。编码器架构的具体变化可能包括添加坐标卷积层等。在《神经信息处理系统的进展》中第9605至9616页(2018)Liu等的“卷积神经网络和coordconv解决方案的有趣失败”中描述了坐标卷积层的非限制性示例，其通过引用并入，如同在本文中完整阐述一样。在一些实施例中，就在连接到解码器或用于对抗训练、鉴别器之前，在跳跃连接和瓶颈处设置五个坐标卷积层。表1中提供了根据一些实施例的完整模型的详细配置。

表1

通常，表1描绘了根据一些实施例的用于深度图像和置信度图估计的网络架构，其中k是内核大小，s是步长，H是高度并且W是输入图像的宽度，↑是双线性上采样操作，D

在各种实施例中，可以使用深度估计损失过程。例如，针对就作为输入的在原始尺度中的深度值的估计，在估计的

其中，

其中，t是在批次内部的深度图像的实例。

在2016年IEEE的《2016年第四届3D视觉(3DV)国际会议》中第239至248页的Laina等“具有全卷积残差网络的更深的深度预测”中描述了BerHu损失B的非限制性示例，其通过引用并入，如同在本文中完整阐述一样。

各种实施例可以提供尺度不变的梯度损失平滑度，这是输出深度图像中的期望性质。为了确保这一点，采用尺度不变的梯度损失L

梯度计算是使用离散尺度不变有限差分算子g完成的，其具有步长h，如等式4.4中所示：

一些实施例可以提供置信度损失。例如，为了提供监督信号，真实信息置信度图按如下计算：

基于此，置信度损失被定义为预测与真实信息之间的L

下表2描绘了用于合成域和真实域的数据增强。随机值是从均匀分布中选取的，并且颜色增强的结果在为最小值的0和为最大值的1处饱和。

表2

在多尺度总监督损失过程中，三个因素与四个不同尺度的跨度相组合以形成总损失：

λ是对每个因素进行加权的超参数，h是预测的和真实信息深度图像之间的大小的比率，并且u

数据增强在增加训练集的数量和变化方面发挥了巨大作用。在选择要应用的集增强时要考虑两个主要标准：函数应该保持几何形状并且增强模型以防止过度拟合至域。下表3描述了根据一些实施例的数据增强：

表3

可以使用各种硬件和软件配置来执行网络实现和训练。在一个示例中，网络在PyTorch 1.5上实现并且训练是在单个

在一些实施例中，可以使用无监督的对抗域特征自适应以例如，自适应先前在合成渲染上训练的网络以增加其在真实(支气管镜)图像上的通用性。

在一些实施例中，在合成域上根据各种实施例训练的编码器F

与其他神经网络模型一样，生成对抗网络(GAN)的学习能力有限。在缺乏对手头任务的直接监督的情况下进行训练，GAN经常不可避免地陷入局部极小值，这不是最优假设，并且可能离最优假设非常远。鉴于两个域之间有少量的语义和几何特征差异，新的编码器F

使用的鉴别器基于为PatchGAN提出的原理，如在《IEEE计算机视觉与模式识别会议的论文集》中第1125至1134页(2017)的Isola等“使用条件对抗网络的图像到图像的转换”中所描述的。Goodfellow等描述了传统GAN鉴别器的一个非限制性示例。与传统的GAN鉴别器不同，根据一些实施例的模型可以生成输出网格而不是单个元素。与全卷积结构相组合，其产生了对局部特征的更全面的评价。

鉴别器中的每一个可以采用GAN损失。分割成两块，Ldiscriminator和Lencoder，按以下进行采用：

Ldiscriminator(A，FS，FR，IS，IR)＝-EfS～FS(IS)[logA(FS(IS)]

-EfR～FR(IR)[log(1-A(F

其中，I

L

下表4描述了根据一些实施例的用于对抗域特征自适应的鉴别器的网络架构，其中k是内核大小，s是步长，C是通道数，H是高度并且W是输入特征张量的宽度。

表4

对于对抗域特征自适应而言，为每个数据源采用一组不同的数据增强。关于合成域，保留用于监督训练的增强，如表2中详细示出的。对于真实域图像而言，跳过颜色增强，以防止将另外的复杂性引入对抗训练。

下表5描述了所利用的对抗训练方案的细节。其他未提及的各种类和函数的超参数均被设置为库的默认值。

表5

所实现的3D重建管线可以包括从《IEEE国际计算机视觉论文集》中第143至152页(2017)的Park等“再论彩色点云配准”以及《IEEE计算机视觉与模式识别会议的论文集》中第5556至5565页(2015)的Choi等“室内场景的鲁棒重建”的后续出版物的组合得到的过程。本质上，该方法采用由基于特征的跟踪信息和彩色ICP形成的位姿图来进行多尺度点云对准。最好将管线视为从本地和全球角度考虑当前问题的一系列步骤。

在第一步中，RGB-D序列被分割成块以构建局部几何表面，称为片段。该过程对每个片段采用位姿图以进行局部对准。位姿图的边缘由估计的变换矩阵形成，从而优化子序列的相邻帧之间的联合光度和几何能量函数。另外地，通过在关键帧之间的基于ORB的特征匹配上使用5点RANSAC算法来考虑闭环。最后，使用稳健的非线性优化方法对位姿图进行优化，并且生成点云。

第二步使用全局尺度位姿图来配准点云。类似于前一步，相邻节点之间的位姿图的边缘由估计的变换矩阵形成。为此，使用光度和几何能量函数来匹配前者的最后一个RGB-D帧和后者点云的第一个RGB-D帧，如第一步中所示。另外地，使用类似的方法考虑闭环，该方法采用非相邻点云对的快速点特征直方图(FPFH)特征。最后，采用鲁棒非线性方法来优化位姿图。

第三步使用多尺度点云对准来细化先前开发的全局位姿图。该步骤的目的是通过考虑较粗糙级别的函数的更平滑的优化表面来降低优化陷入局部最小值的机会。点云金字塔是通过增加体素大小来构建的，以在每个级别对点云进行下采样。彩色ICP(联合光度和几何目的)被用作优化函数来解决沿着法线方向和切平面两者的对准。

在最后一步，组合局部和全局位姿图来分配RGB-D帧的位姿。最终，它们中的每一个都被集成到单个截断符号距离函数(TSDF)的体积中以创建最终的网格。

据观察，合成图像和真实图像之间的域差距的根本来源是组织的照明和反射性质中的差异。此外，在体内和体外场景中，会发生由粘液和其他自然元素造成的阻碍，并且该阻碍可能会粘在相机上。所有这些视觉特征和伪影经常被仅在合成图像上训练的网络误解。

该方法的主要重点是提高在合成图像上训练的网络对在真实数据上运行时的视觉变化的鲁棒性。在这些实验中，我们定量和定性评价了所提出的方法的性能。实验I：肺体模数据集的性能分析

针对该实验，以根据一些实施例配置的两步方法来训练网络。用表3中所示的超参数为30个训练轮次使用完整的合成域集(43,758个颜色和深度图像对)进行监督训练。在体模场景的训练分割，12,720帧上执行第二步，对抗域特征自适应。训练12,000次迭代，在表5中给出了所采用的超参数。表2中描述了应用于合成域和真实域的数据增强。

使用三个评价指标来考虑定量分析：其中N是跨测试集中所有实例t的像素总数，并且σ是阈值。

测试图像是带有其EM跟踪信息的188帧的子集。为了进行更准确的评价，通过目视评估在突出边缘中的重叠来分析在渲染图像和原始图像之间的对准。结果，选择了较好渲染中的62个进行测试。

在下面的表6中，对该方法进行了评价，比较在采用对抗域特征自适应前后的模型。为了简单起见，前者被命名为“原始”，并且后者被命名为“域自适应”。结果表明，所采用的对抗域自适应步骤在所有指标下改善了基础、原始。表6描述了域自适应步骤对深度估计的影响的定量分析。使用ImFusion Suite软件，基于配准到术前拍摄的CT体积的支气管镜的EM跟踪信号来从肺体模渲染真实信息数据。手动择优挑选足够的配准，从而将测试集缩小到62个真实彩色的合成深度图像对。使用已知的透镜性质，彩色图像不会失真。深度值以毫米为单位。每个指标的最佳值以粗体字母标注。

表6

在监督训练的第一步期间，据观察，学习到的置信度在较深的位置和图像的高频分量(如边缘和角点)处较低。第一个性质被解释为由较暗区域中的模糊性引起，而后者则借助于在等式(3)中引入的尺度不变的梯度损失支持。图5示出了根据本发明的实验I的基于合成图像输入的示例性深度图像。特别地，图5描绘了输入图像505a至d、地面实况深度图像510a至d、原始深度图像515a至d、原始置信度图520a至d、域自适应深度图像525a至d和域自适应置信度图530a至d。如经由图5观察到的，原始网络显示出难以推广到支气管镜相对较平滑的图像特性。另外地，其在图像边缘颜色较深的色块处显示出较差的性能。该实验尤其表明，对抗域特征自适应重新调整了编码器以适应真实图像的这两个特性。

实验II：动脉患者数据集的性能分析

在本实验中，原始网络的训练策略(第一步)与表3中所述相同。在从狗患者捕获的体内场景的训练分割，9,078帧上执行第二步，对抗域特征自适应。该特定的解剖结构具有更多的支气管以分叉，具有更精细的视觉细节。在该实验中，6,000次训练迭代是很好的平衡，以对域特定特征进行微调，同时保留更精细的细节。其余超参数如表5中所示，并且数据增强如表2中所示。

在2,270帧的测试分割上执行的对原始网络的定性分析表明其受到高空间频率特征(如血管和肿块)的误导。与较暗的纹理相组合，这些区域显示出错误地回归到更大深度值的趋势。然而，针对这些欺骗性线索，域自适应网络表现得更加稳定。此外，其揭露出捕获分叉周围拓扑的改进，这与合成和肺体模数据相比，在细节上显著地更加精细。该特定组织与上述组织之间的另一个差异是较高的非朗伯反射性质。虽然原始网络经常被由镜面反射生成的轮廓欺骗，被解释为更大深度，但结果表明，域自适应步骤教导模型使其对它们更具鲁棒性。

在这次评估中，对抗域特征自适应方法的缺点中的一些同样被揭示出来。图6示出了根据本发明的实验II的基于图像输入的示例性深度图像。特别地，图6描绘了输入图像605a至d、原始深度图像615a至d、原始置信度图620a至d、域自适应深度图像625a至d、域自适应置信度图630a至d以及采用点云形式的计算模型640a至d。

实验III：坐标卷积对对抗域特征自适应的影响

通常，坐标卷积可能会对对抗域特征自适应具有影响。例如，借助于其架构，神经网络可能具有有限的容量。当涉及到生成对抗网络时，这一性质变得非常重要，这是因为无监督训练方案可能适合数据的与预期不同的特征级别的属性，从而导致模式坍塌。坐标卷积可以提供关于特征向量的空间性质的附加信号。在以下实验中，对先前使用的肺体模和动物患者数据集评价坐标卷积对对抗域特征自适应的影响。为了比较的公平性，用分别在实验I和实验II中引入的相同超参数训练模型。

图7示出了具有和不具有坐标卷积层的根据本发明的基于图像输入的示例性深度图像和置信度图。特别地，图7描绘了输入图像705a至d、地面实况深度图像720a至d、用坐标卷积深度图像745a至d进行的域自适应、用坐标卷积置信度图750a至d进行的域自适应、不用坐标卷积深度图像755a至n进行的域自适应、不用坐标卷积置信度图760a至d进行的域自适应。图7显示，与具有坐标卷积层的模型相比，不具有坐标卷积层的模型显示出针对镜面反射和某些高空间频率特征的鲁棒性的下降。

如图7所示，在对抗训练期间，不具有坐标卷积层的模型被过度拟合至某种模式，以表现出在图像的任意位置上以较低的置信度估计较深区域的趋势。另外地，在下面的表7中定量地证实，在不具有坐标卷积的情况下，模型在对抗训练之前和之后可能会经历性能下降。

表7

通常，表7描绘了坐标卷积层对深度估计影响的定量分析。使用ImFusion Suite软件，基于配准到术前拍摄的CT体积的支气管镜的EM跟踪信号来从肺体模渲染地面实况数据。手动择优挑选足够的配准，从而将测试集缩小到62个真实彩色的合成深度图像对。使用已知的透镜性质，彩色图像不会失真。深度值以毫米为单位。每个指标的最佳值以粗体字母标注。

与合成的具有较大域差距的对动物患者数据集的评价定性地反映了类似的性能下降。

图8示出了具有和不具有坐标卷积层的根据本发明的基于图像输入的示例性深度图像和置信度图。特别地，图8描绘了输入图像805a至d、用坐标卷积深度图像845a至d进行的域自适应、用坐标卷积置信度图850a至d进行的域自适应、不用坐标卷积深度图像855a至n进行的域自适应、不用坐标卷积置信度图860a至d进行的域自适应。图8显示，与具有坐标卷积层的模型相比，不具有坐标卷积层的模型显示出针对镜面反射和某些高空间频率特征的鲁棒性的下降。

实验IV：3D重建

在该实验中，使用两个不同的序列对所提出的深度估计网络在3D重建管线中的采用进行定性评估。使用针对实验I的深度估计训练的模型来预测深度图像。

图9示出了根据本发明的示例性解剖模型。更具体地，图9显示了基于图像905a至c和深度图像910a至c生成的解剖模型915a至c。通常，解剖模型915a至c可以基于由55帧组成的短序列的重建而生成。使用ImFusion Suite软件将重建的点云971手动覆盖并且缩放到分段气道树970上。用于将重建点云对准至分段气道树上的一种方法包括使用迭代最近点(ICP)算法。源于序列(1005a至c)的初始帧、中间帧和最后帧以它们对应的估计的深度图像(1010a至c)显示。当向前枢转时，镜从序列开始时遵循向下的倾斜运动，从而在最后帧中的较深位置中为上分叉点和支气管底创建闭塞。这导致上述点的重建不准确。

图10示出了根据本发明的示例性解剖模型。在图10中，300帧的序列被用于以覆盖在基于图像1005a、1005b和相关联的深度图像1010a、1010b生成的分段气道树上的点云1015a、1015b和点云的图像1020a、1020b的形式进行解剖模型的3D重建。该序列在支气管的中点处进行初始化，并且支气管镜被驱动到下一个分叉点和结束。点云以从输入获得的颜色信息显示，并且来自序列的初始帧、中间帧和最后帧以它们对应的估计深度图像显示。在另一个示例中，图11示出了根据本发明的示例性解剖模型。更具体地，图11以基于图像1105a至c和相关联的深度图像1110a至c生成的点云1115a的形式示出了用于1,581帧的序列的解剖模型。

在一些实施例中，图像处理方法和系统可以操作以在支气管镜场景中执行单目深度估计，例如，在两步深度学习管线中使用。在第一步中采用具有作为编码器的ResNet-18特征提取器的基于U-Net的模型对来自渲染的合成图像的深度和对应的置信度信息进行监督学习。

在2016年《IEEE计算机视觉与模式识别会议的论文集》中第770至778页He等“用于图像识别的深度残差学习”中提供了ResNet的非限制性示例，并且在2015年施普林格出版社的《国际医学图像计算与计算机辅助介入大会》中第234至241页Ronneberger等“U-net：用于生物医学图像分割的卷积网络”中提供了非限制性示例U-net，这两者均通过引用并入，如同在本文中完整阐述一样。

在第二步中，利用域自适应过程对网络进行细化，以提高网络在真实图像上的通用性。该部分在编码器的多个特征级别上采用对抗训练，以最终减小在两个图像源之间的域差距。以无监督的方式进行训练，第二步的训练集由不成对的帧组成。在《欧洲计算机视觉会议》中第443至459页(2020)Vankadari等“使用对抗域特征自适应对夜间图像进行无监督单目深度估计”中描述了域自应用过程的非限制性示例，其通过引用并入，如同在本文中完整阐述一样。

训练生成对抗网络(GAN)通常很困难，因为它们倾向于陷入模式坍塌。为了增加针对这种现象的弹性，在训练程序中，在编码器和解码器之间的连接节点上采用坐标卷积层。由于观察到图像中与几何相关的特征跨域是相似的，因此在对抗训练中训练的新编码器用先前在合成图像上训练的源编码器的权重进行初始化。判别器是在PatchGAN之后建模的，以便对局部特征进行更全面的评价。基于来自肺体模的CT扫描的分段气道树，合成图像使用ImFusion Suite软件进行渲染。真实图像可以从两个来源获取：肺体模和动物患者。

在本发明中，在对前述数据集的定量和定性测试中评估根据一些实施例的方法和系统。此外，根据一些实施例的模型可以被集成到3D重建管线中以用于可行性测试。对肺体模数据集的定量分析显示对抗域特征自适应通过可观的边际提高了基础模型(也称为原始模型)跨所有指标的性能。在生成的结果中，改进在视觉上更加明显。与原始模型相比，域自适应模型在目标域更平滑的图像特性中表现出更好的深度感知能力。此外，结果表明，根据一些实施例的域自适应模型在图像边界周围的较深的色块上表现得更好。除了其他之外，这表明所采用的域自适应方法能够细化原始模型以适应跨域的照明和感官变化中的一部分。在动物患者数据集上，除了上述差异之外，在可见域差距中还存在更显著的纹理变化。对结果的目视检查表明，域自适应模型对于欺骗性线索，诸如高空间频率分量，如血管和肿块以及由较强的镜面反射生成的强度梯度表现得更具鲁棒性。而且，它更描述性地捕获在分叉处的拓扑，其具有比合成数据集和肺体模数据集中的更精细的结构和更多数量的会分叉的分支。总体而言，该实验表明，对抗域特征自适应还能够细化跨不同解剖结构的模型。在两个数据集上进行测试，证实坐标卷积层在避免模式坍塌和提高网络的准确性中发挥了作用。3D重建管线显示了比传统方法和系统改进的结果，从而展示了根据一些实施例的集成以用于内窥镜，包括支气管镜的过程操作的定位和重建应用的能力。

在示例性实施例中，可以增加定量测试中的数量和变化以用于生成、训练、测试和/或类似的图像处理方法和系统。尽管获取真实支气管镜序列的地面实况深度数据具有挑战性，但也可以采用更真实的渲染方法，如西门子VRT技术来生成颜色和深度图像对以进行评价。

一些实施例可以被配置为使用贝叶斯方法、异方差任意不确定性来提高在置信度回归中的准确性和精确度。

类似于坐标卷积层，相机卷积将相机参数包括到卷积层中。根据一些实施例的方法和系统除了其他之外可以有效地提高模型对于跨不同传感器的深度预测的通用性，具有更高的准确性，有利于用来自不同品牌的支气管镜进行部署。此外，与肺组织的非朗伯表面特性相组合，强光照探针在支气管镜上的联合运动打破了照明一致性，这常常导致跨帧的某个位置的深度预测的不稳定。在一些实施例中，损失函数可以与光的仿射模型集成，支气管镜SLAM和3D重建应用可以从中受益。

根据一些实施例的两步对抗域特征自适应方法能够在支气管镜场景中进行深度图像和置信度图估计。该方法有一个有效的第二步：使在有监督的情况下在合成数据集上训练的网络自适应，以在真实的支气管镜图像上以无监督的对抗训练的方式进行推广。根据一些实施例的图像处理方法和系统可以使用域自适应方案，其可操作以改进基础模型，从而适应域差距的各种来源，诸如照明、感官和解剖差异。在一些实施例中，例如，将方法和系统集成到3D重建管线中可以允许用于医学成像操作，诸如支气管镜操作的定位和重建应用。

图12示出了可以代表一些实施例的操作性环境1200的示例。如图12所示，操作环境1200可以包括支气管镜1260，其具有被配置为插入患者1250的肺路径1251中的相机传感器1261。在一些实施例中，相机传感器1261可以被配置为捕获单目彩色图像1232。计算装置1210可以被配置为执行诊断成像应用程序1250，其可操作以执行根据一些实施例的诊断成像过程。

来自支气管镜1260的单目彩色图像1232可以在计算装置1210处被接收以供诊断成像应用程序1250处理。在各种实施例中，诊断成像应用程序1250可以包括和/或可以访问根据各种实施例的在支气管镜图像上训练的计算模型。诊断成像应用程序1250可以提供单目彩色图像1232作为经过训练的计算模型的输入。深度图像和/或置信度图1238可以由经过训练的计算模型生成。在一些实施例中，经过训练的计算模型可以用作3D重建管线的一部分以生成3D解剖模型1240a，诸如点云模型。在各种实施例中，描绘相机传感器1261的位置的3D支气管场景的更新的解剖模型1240b可以在显示装置1270上呈现给执行支气管镜手术的外科医生或其他医疗专业人员。以这种方式，医疗专业人员可以具有肺1251的准确的3D可视化以用于导航和/或检查目的。

图13示出了适合于实现如先前所描述的各种实施例的示例性计算架构1300的实施例。在各种实施例中，计算架构1300可以包括电子装置或被实现为电子装置的一部分。在一些实施例中，计算架构1300可以代表例如，计算装置110和/或1310。实施例不限于该上下文。

如在本申请中使用的，术语“系统”和“组件”和“模块”意指计算机相关的实体，其可以是硬件、硬件和软件的组合、软件或执行中的软件，其示例由示例性计算架构1300提供。例如，组件可以是但不限于在处理器上运行的进程、处理器、硬盘驱动器、多个存储驱动器(光和/或磁存储介质的)、对象、可执行文件、执行线程、程序和/或计算机。举例来说，在服务器上运行的应用程序和服务器两者可以是一个组件。一个或多个组件可以驻留在进程和/或执行线程中，并且组件可以位于一个计算机上和/或分布在两个或更多个计算机之间。此外，组件可以通过各种类型的通信介质彼此通信耦合以协调操作。协调可能涉及信息的单向或双向交换。例如，组件可以以通过通信介质传达的信号的形式传达信息。该信息可以被实施为分配给各种信号线的信号。在这种分配中，每条消息都是一个信号。然而，另外的实施例可以替代地采用数据消息。这样的数据消息可以跨各种连接发送。示例性连接包括并行接口、串行接口和总线接口。

计算架构1300包括各种常见的计算元件，诸如一个或多个处理器、多核处理器、协处理器、存储器单元、芯片组、控制器、外围设备、接口、振荡器、计时装置、视频卡、音频卡、多媒体输入/输出(I/O)部件、电源等。然而，实施例不限于由计算架构1300实施。

如图13所示，计算架构1300包括处理单元1304、系统存储器1306和系统总线1308。处理单元1304可以是市售处理器并且可以包括双微处理器、多核处理器和其他多处理器架构。

系统总线1308为系统部件(包括但不限于至处理单元1304的系统存储器1306)提供了接口。系统总线1308可以是几种类型的总线结构中的任一种，其还可以使用各种商业可用总线架构中的任一种互连到存储器总线(具有或不具有存储器控制器)、外围总线和本地总线。接口适配器可以经由狭槽架构连接到系统总线1308。示例狭槽架构可以包括但不限于加速图形端口(AGP)、卡总线、(扩展)工业标准架构((E)ISA)、微通道架构(MCA)、网络用户总线、外围组件互连(扩展)(PCI(X))、PCI Express、个人计算机存储卡国际协会(PCMCIA)等。

系统存储器1306可以包括采用一种或多种较高速存储器单元形式的各种类型的计算机可读存储介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双倍数据速率DRAM(DDRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、聚合物存储器，诸如，铁电聚合物存储器、奥氏存储器、相变或铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、磁卡或光卡、独立磁盘冗余阵列(RAID)驱动器等装置阵列、固态存储器装置(例如，USB存储器、固态驱动器(SSD)和适合于存储信息的任何其他类型的存储介质)。在图13中所示的所示实施例中，系统存储器1306可以包括非易失性存储器1310和/或易失性存储器1312。基本输入/输出系统(BIOS)可以存储在非易失性存储器1310中。

计算机1302可以包括采用一个或多个较低速存储器单元形式的各种类型的计算机可读存储介质，包括内部(或外部)硬盘驱动器(HDD)1314、从可移动磁盘1311读取或写入其的磁性软盘驱动器(FDD)1316和从可移动光盘1322(例如，CD-ROM或DVD)读取或写入其的光盘驱动器1320。HDD 1314、FDD 1316和光盘驱动器1320可以分别通过HDD接口1324、FDD接口1326和光盘驱动器接口1328连接到系统总线1308。用于外部驱动器实现的HDD接口1324可以包括通用串行总线(USB)和IEEE 1114接口技术中的至少一种或两种。

驱动器和相关联的计算机可读介质提供数据、数据结构、计算机可执行指令等的易失性和/或非易失性存储。例如，多个程序模块可以存储在驱动器和存储器单元1310、1312，包括操作系统1330、一个或多个应用程序1332、其他程序模块1334和程序数据1336中。在一个实施例中，一个或多个应用程序1332、其他程序模块1334和程序数据1336可以包括例如，计算装置110的各种应用程序和/或部件。

用户可以通过一个或多个有线/无线输入设备(例如，键盘1338和诸如鼠标1340的指示装置)将命令和信息输入到计算机1302中。这些和其他输入装置通常通过联接到系统总线1308的输入装置接口1342连接到处理单元1304，但也可以由其他接口连接。

监视器1344或其他类型的显示装置也经由接口，诸如视频适配器1346连接到系统总线1308。监视器1344可以在计算机1302的内部或外部。除了监视器1344之外，计算机通常包括其他外围输出装置，诸如扬声器、打印机等。

计算机1302可以在联网环境中操作，该联网环境使用经由至一个或多个远程计算机，诸如远程计算机1348的有线和/或无线通信的逻辑连接。远程计算机1348可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等装置或其他公共网络节点，并且通常包括相对于计算机1302描述的许多或所有元件，但是为了简洁起见，仅示出了存储器/存储装置1350。所描绘的逻辑连接包括到局域网(LAN)1352和/或更大的网络，例如广域网(WAN)1354的有线/无线连接。这种LAN和WAN联网环境在办公室和公司中很常见，并且促进了企业范围的计算机网络，诸如企业内部网，所有这些都可以连接到全球通信网络，诸如，互联网。

计算机1302可操作以使用IEEE 802系列标准与有线和无线装置或实体通信，诸如可操作地设置在无线通信中的无线装置(例如，IEEE 802.16空中调制技术)。这至少包括Wi-Fi(或无线保真)、WiMax和蓝牙TM无线技术等。因此，通信可以是与传统网络一样的预定义结构，或者只是至少两个装置之间的自组织通信。Wi-Fi网络使用称为IEEE 802.11x(a、b、g、n等)的无线电技术来提供安全、可靠、快速的无线连接性。Wi-Fi网络可以用于将计算机相互连接、连接到互联网以及连接到有线网络(使用IEEE 802.3相关的介质和功能)。

本文已经阐述了许多具体细节以提供对实施例的透彻理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践实施例。在其他情况中，未详细描述已知的操作、组件和电路，以免混淆实施例。可以理解，本文所公开的具体结构和功能细节可以是代表性的并且不一定限制实施例的范围。

一些实施例可以使用表述“联接”和“连接”及其派生词来描述。这些术语不旨在互为同义词。例如，可以使用术语“连接”和/或“联接”来描述一些实施例，以指示两个或更多个元件彼此成直接物理或电接触。然而，术语“联接”还可以表示两个或更多个元件彼此不直接接触，但是仍然彼此协作或相互作用。

除非另有具体说明，否则应当理解，术语，诸如“处理”、“计算”、“计算”、“确定”等是指计算机或计算系统或类似的电子计算装置的动作和/或过程，其将表示为计算系统的寄存器和/或存储器内的物理量(例如，电子的)的数据操纵和/或转化成类似地表示为计算系统的存储器、寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。实施例不限于该上下文。

应当注意，本文所述的方法不必以所述的顺序或以任何特定的顺序执行。此外，可以以串行或并行方式执行相关于本文中标识的方法所描述的各种活动。

尽管在此已经示出和描述了特定实施例，但是应当理解，用于实现相同目的而计算的任何布置可以代替所示的特定实施例。本发明旨在涵盖各种实施例的任何和所有自适应性变化或变型。应当理解，上面的描述是以说明性方式，而不是限制性方式进行的。在审阅上面的描述后，上述实施例以及未在本文中具体描述的其他实施例的组合对于本领域的技术人员来说将是显而易见的。因此，各种实施例的范围包括其中使用上述组成、结构和方法的任何其他应用。

尽管已用特定于结构特征和/或方法行为的语言描述了主题，但要理解的是在所附权利要求中限定的主题不一定仅限于上述的特定特征或行为。相反地，上述的具体特征和行为被公开为是实施权利要求的示例形式。

如本文所使用的，以单数形式记载并且以词语“一”或“一个”限定的元件或操作应当被理解为不排除复数元件或操作，除非明确地表述了这种排除。此外，对本发明的“一个实施例”的引用不旨在被解释为排除也包含所述特征的附加实施例的存在。

本发明的范围不限于本文所述的具体实施例。事实上，除了本文所述的那些之外，本发明的各种实施例和修改对于本领域的普通技术人员来说根据前面的描述和附图是显而易见的。因此，这样的其他实施例和修改旨在落在本发明的范围内。此外，虽然本发明已经在用于特定目的的特定环境中的背景下进行了描述，但是本领域的普通技术人员将认识到其有用性不限于此，并且本发明可以在用于任何数量目的的任何数量的环境中有益地实施。因此，下面提出的权利要求应当根据本文所述的本发明的全部广度和精神来解释。