掌桥专利:专业的专利平台
掌桥专利
首页

具有准确的牙弓宽度的牙弓数字3D模型

文献发布时间:2023-06-19 16:08:01



技术领域

本公开的实施例涉及口内扫描领域,并且具体地,涉及一种用于改进口腔中的口内扫描的结果(例如。缺少一颗或多颗牙齿的口腔的口内扫描的结果)的系统和方法。

背景技术

在设计成用于在口腔中植入牙科假体的修复程序中,在许多情况下应该准确地测量和仔细研究要植入假体的牙齿部位,使得诸如冠、假牙或桥的假体可以被例如适当地设计和确定尺寸以适配到位。例如,良好的适配能够使机械应力在假体与颌之间适当地传递,并防止牙龈经由假体与牙齿部位之间的界面感染。

一些程序还要求制造假体以替换一颗或多颗缺失的牙齿,例如部分或全口假牙,在这种情况下,需要准确地复制缺失牙齿区域的表面轮廓,以便所得到的假体适配无牙区,对软组织施加均匀的压力。

在一些实践中,牙齿部位由牙科医生制备,并且使用已知的方法构建牙齿部位的阳物理模型(positive physical model)。或者,可以扫描牙齿部位以提供牙齿部位的3D数据。在任一种情况下,牙齿部位的虚拟或真实模型都会被送到牙科实验室,牙科实验室基于该模型制造假体。然而,如果模型在某些区域有缺陷或未被限定,或者如果制备没有最佳地被配置为容纳假体或不准确,则假体的设计可能不是最佳的。

在正畸程序中,提供一个或两个颌的模型可能很重要。在虚拟地设计这种正畸程序的情况下,牙弓的虚拟模型也是有益的。这种虚拟模型可以通过直接扫描口腔获得,或者通过产生牙列的物理模型,然后用合适的扫描仪扫描模型来获得。

因此,在修复程序和正畸程序中,获得口腔中牙弓的三维(3D)模型是执行的初始程序。当3D模型为虚拟模型时,牙弓的扫描越完整准确,虚拟模型的质量就越高,从而设计出最优的假体或正畸治疗器具的能力就越大。

牙弓的扫描因患者缺失牙齿的区域(称为无牙区)而变得复杂。例如,在两颗或更多颗相邻牙齿缺失的情况下,可能需要扫描大跨度的软组织。这种区域可能难以扫描,因为这些无牙区缺少可以成功地应用扫描之间的拼接的特征。

对于从牙弓或牙弓的模具的扫描生成的虚拟3D模型来说常见的特定不准确度是牙弓或颌的宽度(称为臼齿间宽度)的不准确度。虚拟3D模型是通过将许多较小的牙弓部分的图像拼接在一起生成的,并且一个图像与另一个图像的每次配准都会引入少量误差。这些小误差累积起来,使得最右边臼齿与最左边臼齿之间的距离(臼齿间宽度)的准确度通常具有大约200-400微米的误差。虽然200-400微米的误差对于某些牙科程序是可以接受的(例如,在单冠的情况下),但该水平的误差可能导致其他牙科程序失败。例如,将全套假牙放置在附接到患者颌的四个牙科植入体上的全对四(all-on-4)程序是需要高准确度的臼齿间宽度的全局结构。然而,全对四程序通常在无牙牙弓上进行,由于没有用于拼接的特征或用于拼接的特征质量低,这降低了牙弓的虚拟3D模型的准确度。因此,获得用于全对四程序的准确的牙弓3D模型尤其具有挑战性。

一些口内扫描仪与施加到牙齿区域的粉末结合使用。粉末可以包括可与其他粉末颗粒区分开的颗粒,目的是在牙齿部位提供可测量的点,这些点提供用于拼接(在本文中也称为配准)的特征。对于这种系统,这些颗粒在按预期操作时,可用于辅助图像配准。然而,粉末通常不能很好地连接到软组织,尤其是湿润的软组织。此外,粉末可能在扫描过程中变湿润和/或被冲走,从而降低后期图像配准的准确度。此外,许多患者不喜欢将粉末施加到牙齿和嘴里。必须给牙齿打粉可能有诸如以下缺点:

1.所有区域都必须打粉,并且粉末层的厚度不均匀,这影响准确度(例如,由于表面没有被直接扫描);

2.如果扫描仪头接触到粉末,则粉末粘在光学器件上,从而给扫描带来噪声;

3.粉末可能很昂贵;

4.有些人对粉末过敏;以及

5.牙齿全部涂成白色,无法进行牙齿的彩色扫描。

发明内容

在本公开的第一方面,一种方法包括由处理装置接收牙弓的多个口内扫描。该方法还包括由处理装置确定该多个口内扫描中的至少一个口内扫描包括第一三维(3D)表面的颊侧视图和第二3D表面的至少特征的舌侧视图,第二3D表面在该至少一个口内扫描中不连接到第一3D表面,其中,至少一个口内扫描中的第一3D表面与第二3D表面的至少特征之间存在距离。该方法还包括将多个口内扫描拼接在一起并从该多个口内扫描生成牙弓的虚拟3D模型,其中,虚拟3D模型中的第一3D表面与第二3D表面之间的距离基于该至少一个口内扫描中的第一3D表面与第二3D表面的特征之间的距离。

在本公开的另一个方面,一种方法包括由处理装置接收牙弓的多个口内扫描。该方法还包括由处理装置确定该多个口内扫描中的至少一个口内扫描包括第一三维(3D)表面的描绘和第二3D表面的至少特征的描绘,第二3D表面与第一3D表面被在该至少一个口内扫描中未示出的至少一个中间3D表面分开,其中,该至少一个口内扫描中的第一3D表面与第二3D表面的特征之间存在距离。该方法还包括将该多个口内扫描拼接在一起并从该多个口内扫描生成牙弓的虚拟3D模型,其中,虚拟3D模型中的第一3D表面与第二3D表面之间的距离基于该至少一个口内扫描中的第一3D表面与第二3D表面的特征之间的距离。

在本公开的另一个方面,一种扫描患者的无牙牙弓的方法包括接收要为患者制造牙科假体的指示,其中,牙科假体将至少附接到无牙牙弓上的第一牙科植入体和第二牙科植入体。该方法还包括接收无牙牙弓的多个口内扫描并且确定该多个口内扫描的任何口内扫描是否描绘了与第一牙科植入体相关联的第一扫描体和与第二牙科植入体相关联的第二扫描体两者。该方法还包括响应于确定多个口内扫描中没有一个描绘第一扫描体和第二扫描体两者,输出指令来定位口内扫描仪的探头,以生成描绘第一扫描体和第二扫描体两者的至少一个口内扫描。该方法还包括接收描绘第一扫描体和第二扫描体的该至少一个口内扫描并且使用该多个口内扫描和该至少一个口内扫描生成无牙牙弓的虚拟三维(3D)模型。

附图说明

在附图的图中以示例而非限制的方式示出了本公开。

图1A示出了根据本公开的实施例的具有四个扫描体的无牙牙弓的扫描集。

图1B示出了根据本公开的实施例的用于将牙弓的口内扫描配准在一起的一系列变换。

图1C示出了根据本公开的实施例的生成牙弓的虚拟3D模型的方法的流程图。

图1D示出了根据本公开的实施例的生成牙弓的虚拟3D模型的方法的流程图。

图2A示出了根据本公开的实施例的生成牙弓的虚拟3D模型的方法的流程图。

图2B示出了根据本公开的实施例的生成牙弓的虚拟3D模型的方法的流程图。

图3示出了用于执行口内扫描并生成牙弓的虚拟3D模型的系统的一个实施例。

图4A示出了根据本公开的实施例的无牙牙弓的示例扫描。

图4B示出了根据本公开的实施例的具有无牙区的牙弓的示例扫描。

图4C示出了根据本公开的实施例的无牙牙弓的多个示例扫描。

图4D至图4J示出了根据本公开的实施例的在单次扫描中显示附近牙齿和远处牙齿的一些示例性口内扫描,其可用于提高表面配准的准确度。

图5A是根据本公开的实施例的具有设置在手持棒的远端处的探头内的多个结构光投影器和摄像头的手持棒的示意图。

图5B是图5A的探头和3D表面的一部分放大视图的示意图。

图6是描绘根据本公开的实施例的结构光投影器和摄像头在图5A的探头中的位置的多种不同配置的图表。

图7是根据本公开的实施例的结构光投影器的示意图,该结构光投影器将离散的不连接光斑的分布投影到多个对象焦平面上。

图8A至图8B是根据本公开的实施例的投影离散的不连接斑点的结构光投影器和检测斑点的摄像头传感器的示意图。

图9是概述根据本公开的实施例的用于确定口内扫描中的点的深度值的方法的流程图。

图10是概述根据本公开的实施例的用于执行图9的方法中的特定操作的方法的流程图。

图11、图12、图13和图14是描绘根据本公开的实施例的图10的操作的简化示例的示意图。

图15是概述根据本公开的实施例的用于生成数字三维图像的方法中的其他操作的流程图。

图16、图17、图18和图19是描绘根据本公开的实施例的图15的操作的简化示例的示意图。

图20示出了根据本公开的实施例的示例计算装置的框图。

具体实施方式

本文描述了一种用于改进牙弓的口内扫描的质量(包括对缺失部分或全部牙齿的患者的牙弓进行的口内扫描的质量)的方法和设备。特别地,实施例使得能够生成牙弓的虚拟3D模型,该虚拟3D模型对于牙弓的宽度(例如,臼齿间宽度)具有小于200微米的误差。在一些实施例中,臼齿间宽度的误差可以小于100微米,或者可以低至20微米或更小,因此可以显著地小于使用常规的口内扫描仪产生的牙弓的3D模型的臼齿间宽度的误差。例如,常规来说,牙弓的3D模型的臼齿间宽度的误差为约200-400微米,而实施例中牙弓的3D模型的臼齿间宽度的误差可以低于200微米、低于180微米、低于150微米、低于120微米、低于100微米、低于80微米、低于50微米或低于20微米。

实施例提供了用于利用大视场(FOV)和/或大范围的焦深生成牙弓的3D模型的改进技术。可以生成一个或多个扫描,该一个或多个扫描包括在牙弓的第一象限上的第一3D表面和在牙弓的第二象限上的第二3D表面的至少特征。这些扫描可以与其他常规扫描一起使用以生成高度准确的牙弓的3D模型(例如,在一些实施例中具有低至20微米的误差)。

在一个实施例中,处理装置从患者的口内扫描会话接收口内扫描。口内扫描可以是或包括离散图像(例如,对准即拍(point-and-shoot)图像)或来自口内视频的帧(例如,连续扫描)。一些口内扫描可以包括在牙弓的近半部分(或颌的象限)上的第一3D表面的表示和在牙弓的远半部分(或颌的象限)上的远3D表面的表示。在一些实施例中,在牙弓的近半部分上的3D表面可以具有大约0-5mm或0-10mm的深度(距口内扫描仪的探头的距离)。在一些实施例中,对于臼齿到臼齿的距离,在牙弓的远半部分上的3D表面可以具有约40-90mm或约30-80mm的深度。因此,单个口内扫描可以具有较大的深度(例如,高达40mm、50mm、60mm、70mm、80mm或90mm),并且可以包括在牙弓的左半部分和右半部分上的两个3D表面的表示。该口内扫描可用于通过以下方式极大地提高牙弓的虚拟3D模型的准确度:减轻或消除在将左半部分中的臼齿(或臼齿区域(如果臼齿缺失的话))的扫描最终与右半部分中的臼齿(或臼齿区域(如果臼齿缺失的话))的扫描拼接在一起时通常会发生的误差累积。对于尖牙与尖牙的分离,牙弓的远半部分上的3D表面可能具有大约30mm或更小的深度。对于前齿与臼齿的分离或尖牙与臼齿的分离,牙弓的远半部分可以具有约30mm或更小的深度。这些对角线视图还可以改善纵向误差(例如,颌长度的误差),这可以改善正畸治疗。

在实施例中,口内扫描仪具有焦深远高于常规口内扫描仪的焦深的视场(FOV)。例如,本公开的实施例可以通过具有大焦深的口内扫描仪来实现,该大焦深可以检测距口内扫描仪的探头高达30mm、40mm、50mm、60mm、70mm、80mm或90mm的3D表面。例如,在本公开的一些特定应用中,提供了一种用于口内扫描的设备,该设备包括在远端具有探头的细长手持棒。在扫描期间,探头可以被配置为进入对象的口腔。一个或多个光投影器(例如,微型结构光投影器)以及一个或多个摄像头(例如,微型摄像头)可以结合到设置在探头远端内的刚性结构。每个光投影器使用诸如激光二极管的光源来发射(transmit)光。一个或多个结构光投影器可以被配置为在光源被激活时投影由多个投影器光线限定的光图案。每个摄像头可以被配置为捕获多个图像,这些图像描绘口内表面上的至少一部分投影的光图案。在一些应用中,光投影器可以具有至少45度的照射场。可选地,照射场可以小于120度。对于结构光投影器,每个结构光投影器还可以包括图案生成光学元件。图案生成光学元件可以利用衍射和/或折射来生成光图案。在一些应用中,光图案可以是离散的不相连的光斑的分布。可选地,当光源(例如,激光二极管)被激活以通过图案生成光学元件发射光时,光图案在位于距图案生成光学元件高达阈值距离(例如,30mm、40mm、60mm等)的所有平面上保持离散的不相连的斑点的分布。每个摄像头包括摄像头传感器和包括一个或多个透镜的物镜光学器件。

在一些应用中,为了改进结构光照射下的口内场景的图像捕获,而不使用对比度增强手段(例如,利用不透明粉末涂覆牙齿),离散的不相连的光斑(例如,与线相反)的分布可以在增加图案对比度与保持有用信息量之间提供改进的平衡。在一些应用中,不相连的光斑具有统一(例如,不变)的图案。一般来说,更密集的结构光图案可以提供更多的表面采样、更高的分辨率,并且实现更好地拼接从多个扫描帧获得的相应的表面。然而,过于密集的结构光图案可能导致更复杂的对应关系问题,因为针对其解决对应关系问题的斑点的数量较多。此外,更密集的结构光图案可能由于系统中的光更多而具有较低的图案对比度,这可能是由以下的组合引起的:(a)从牙齿的有些光泽的表面反射并可能被摄像头拾取的杂散光,以及(b)渗滤,即,一些光进入牙齿,沿牙齿内的多条路径反射,然后从许多不同的方向离开牙齿。如下文进一步描述的,提供了用于解决由离散的不相连的光斑的分布呈现的对应关系问题的方法和系统。在一些应用中,来自每个投影器的离散的不相连的光斑可以是非编码的。

在一些实施例中,光投影器中的一个或多个不是结构光投影器。例如,光投影器中的一个或多个可以是非结构光投影器,其可以投影相干和/或非相干光,例如,白光或近红外(NIRI)光。应当理解,本文参考结构光和结构光投影器描述的实施例也适用于结构光和结构光投影器与非结构光和非结构光投影器的组合。

在一些应用中,每个摄像头的视场可以是至少45度,例如,至少80度,例如,85度。可选地,每个摄像头的视场可以小于120度,例如小于90度。各个摄像头的视场可以一起形成口内扫描仪的视场。在任何情况下,各个摄像头的视场可以相同或不同。类似地,各个摄像头的焦距可以相同或不相同。如本文所使用的,术语每个摄像头的“视场”是指每个摄像头的对角视场。此外,每个摄像头可以被配置为聚焦在位于距相应的摄像头传感器高达阈值距离(例如,距相应的摄像头传感器高达10mm、20mm、30mm、40mm、50mm、60mm、70mm、80mm等)的对象焦平面处。随着距离的增加,检测到的表面的位置的准确度下降。在一个实施例中,超出阈值距离,准确度低于准确度阈值。类似地,在一些应用中,每个光投影器(例如,结构光投影器和/或非结构光投影器)的照射场可以是至少45度,并且可选地小于120度。通过组合所有摄像头的相应的视场实现的口内扫描仪的大视场(FOV)可以由于图像拼接误差量的减少而提高准确度(与通常在x轴和y轴上具有10-20mm的FOV和大约0-15或0-25mm的捕获深度的传统扫描仪相比),特别是在牙龈表面光滑并且清晰的高分辨率3D特征可能较少的缺牙区域中。口内扫描仪具有较大的FOV使得大的光滑特征(例如,牙齿的整体曲线)出现在每个图像帧中,这提高了拼接从多个这样的图像帧获得的相应的表面的准确度。

在一些应用中,(例如,口内扫描仪的)各个摄像头的总组合的FOV沿细长手持棒的纵轴在约20mm到约50mm之间,并且在z轴上为约20-60mm(或20-40mm),其中,z轴可以对应于深度。在其他应用中,视场沿纵轴可以为约20mm、约25mm、约30mm、约35mm或约40mm和/或在z轴上为至少20mm、至少25mm、至少30mm、至少35mm、至少40mm、至少45mm、至少50mm、至少55mm、至少60mm、至少65mm、至少70mm、至少75mm、或至少80mm。在一些实施例中,组合的视场可以随着深度(例如,随着扫描距离)而改变。例如,在约4mm的扫描距离处,视场沿纵轴可为约20mm,而在约20-50mm的扫描距离处,视场沿纵轴可为约30mm或更小。如果口内扫描仪的大部分运动是相对于扫描仪的长轴(例如,纵轴)完成的,那么扫描之间的重叠可能很大。在一些应用中,组合摄像头的视场是不连续的。例如,口内扫描仪可以具有与第二视场分开固定间隔的第一视场。例如,固定间隔可以沿着细长手持棒的纵轴。

在一些实施例中,口内扫描仪的大FOV提高了检测到的3D表面深度的准确度。例如,检测到的3D表面的深度测量的准确度可以基于两个摄像头之间或光投影器与摄像头之间的纵向距离,该纵向距离可以表示三角测量基准线距离。在实施例中,摄像头和/或光投影器可以以如下配置间隔开,即,该配置在为例如具有高达30mm、高达40mm、高达50mm、高达60mm等的深度的3D表面提供提高的深度测量的准确度。

在一些应用中,提供了一种用于生成口内表面的数字三维(3D)模型的方法。3D模型可以是点云,从点云中可以构建三维口内表面的图像。所得到的3D模型的图像虽然一般显示在二维屏幕上,但包含与扫描的3D表面的三维结构相关的数据,因此通常可以被操纵以便从不同的视图和视角显示扫描的3D表面。此外,可以使用来自三维模型的数据来制作扫描的3D表面的物理三维模型。如上所述,3D模型可以是牙弓的3D模型,并且牙弓的3D模型可以具有准确度高(例如,在一些实施例中,具有大约20微米或更小的误差)的牙弓宽度(例如,臼齿间宽度)。

现在转向附图,图1A示出了根据本公开的实施例的具有四个扫描体15、20、25、30的无牙牙弓6的扫描8和10A-10F的集合。在实施例中,扫描体15-30中的每一个都可以附接到单独的牙科植入体。每个扫描体15-30可以是具有已知形状或几何形状的3D结构。可以生成牙弓6的许多扫描8、10A-10F。在示出的示例中,示出了六个咬合扫描10,并且示出了一个颊侧扫描8。然而,一般要完全扫描牙弓,将生成更多扫描,包括例如颊侧扫描、舌侧扫描和咬合扫描。扫描8、10A-10F被拼接在一起以生成牙弓6的虚拟3D模型。扫描10A-10F的中心用点32表示,并且这些点之间的线35表示已配准在一起的扫描之间的链接。一个扫描与另一个扫描的每次配准都包括一定水平的误差。传统上,需要许多这样的链接从牙弓的一个象限(例如,从扫描体15)跨越到牙弓的另一个象限(例如,到扫描体30)。尽管与两个扫描之间的链接相关联的每个单独的误差都很小,但通过许多链接连接的远距离扫描之间的累积误差可能具有临床意义。例如,扫描体15与扫描体30之间的相对距离可能具有200-300微米的误差。因此,确定的牙弓的牙弓宽度可能具有大约200-300微米的误差。为了减少远距离扫描(例如,在牙弓的不同象限上的扫描)之间的距离误差,并且为了减少计算出的牙弓宽度的误差,可以生成一个或多个扫描8,这些扫描包括第一扫描体15的第一表面和扫描体30的第二表面的至少特征。本文所述的实施例中实现了这种扫描。包括这种扫描8极大地提高了扫描体15与扫描体30之间距离的准确度,并且还极大地提高了牙弓6的计算出的牙弓宽度的准确度。例如,在没有扫描8的情况下,在示出的简化示例中,将扫描10A连接到扫描10F的链接数为5。但是,通过添加扫描8,将扫描10A连接到扫描10F的链接数为2(从扫描10A到扫描8的一个链接和从扫描8到扫描10F的一个链接)。类似地,当包括扫描8时,将扫描10A连接到扫描10E的链接数在示出的示例中从四减少到三。另外,通过在扫描8中示出两个扫描体,可以确定这两个扫描体之间的距离的更准确的估计。

图1B示出了根据本公开的实施例的用于将牙弓的口内扫描S1、S2、S3、S4到S90、S91、S92、S93配准在一起的一系列变换T1-2、T2-3、T3-4到T90-91、T91-92、T92-93。如图所示,存在许多扫描S1-S93(例如,数百个扫描),其中许多至少部分与多个其他扫描重叠。变换包括时间上相邻的扫描之间的变换(例如,T1-2、T2-3、T3-4等)以及时间上不相邻但至少部分重叠的扫描之间的变换(例如,T1-3、T90-92)。任何扫描对之间可能存在六个自由度,并且可以在六个自由度中的每一个中计算每个重叠扫描对之间的变换T1-2到T92-93(例如,在三个轴上的平移和围绕三个轴的旋转)。变换T1-2到T92-93提供关于如何相对于另一个重叠扫描定位和定向扫描的信息。此外,变换集可以提供关于如何将任何扫描定位和定向到任何其他扫描的信息。例如,要知道如何相对于扫描S4定位扫描S1,系统遍历S1与S4之间的变换集(例如,T1-2、T2-3和T3-4)。变换链一般比示出的简化变换链更长、更复杂且更密集。此外,一般存在密集连接,这意味着对于给定扫描,连接不仅存在于时间上紧接的之前和之后的扫描之间,而且到与给定扫描具有几何重叠的任何扫描(例如,包括变换T1-3和T90-92)。如上所述,扫描对之间的每次变换都引入少量误差。因此,S1与S93之间的累积误差可能相对较大。然而,在实施例中,扫描可以一次包括颌的两个部分的表示。这种扫描由线T1-92和T2-93表示。这种包括颌的近侧上的特征和颌的远侧上的特征的数据的扫描极大地降低了例如S1与S93之间可能发生的累积误差。

在一些实施例中,生成牙弓的一个部分(例如,牙弓的左侧)的第一口内扫描集,并且生成牙弓的另一个部分(例如,牙弓的右侧)的第二口内扫描集。然而,可能尚未捕获足够的扫描使系统能够准确地将第一口内扫描集与第二口内扫描集配准或拼接在一起。在实施例中,基于包括牙弓的第一部分中的牙齿和/或其他物体(或其各部分)的表示和牙弓的第二部分中的牙齿和/或其他物体(或其各部分)的表示两者的一个或多个口内扫描可以避免这种情况,如本文中详细描述的。可以从第一口内扫描集生成牙弓的第一部分的第一3D表面,并可以从第二口内扫描集生成牙弓的第二部分的第二3D表面。即使没有足够的扫描来生成第一3D表面与第二3D表面之间的中间区域的3D表面,也可以使用描绘牙弓的第一部分上的表面和牙弓的第二部分上的表面两者的一个或多个口内扫描在公共参考系中将第一口内扫描集(和/或第一3D表面)与第二口内扫描集(和/或第二3D表面)配准。这可以使用户能够扫描牙弓的第一区域,然后扫描牙弓的第二区域,该第二区域与牙弓的第一区域没有重叠,并且生成牙弓的第一区域和第二区域的3D表面,而不会因为无法相互配准扫描而放弃口内扫描。在实施例中,描绘牙弓的两个不相邻或以其他方式不相连的区域的口内扫描可用于将原本不相连的口内扫描配准在一起,从而产生具有相对于彼此的已知的位置和取向的两个不相连的3D表面(例如,非相邻牙齿和/或牙弓的相对侧上的牙齿的表面)。

图1C示出了根据本公开的实施例的生成牙弓的虚拟3D模型的方法101的流程图。方法101可以由包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(例如,在处理装置上运行的指令)或其组合的处理逻辑来执行。在一个实施例中,处理逻辑是图3的计算装置305。在一些实施例中,方法101的一些方面可以由口内扫描仪(例如,图3的扫描仪350)执行,而方法101的其他方面由可操作地耦接到口内扫描仪的计算装置(例如,图3的计算装置305)执行。计算装置可以是本地计算装置,其经由有线连接或经由无线连接连接到口内扫描仪。或者,计算装置可以是远程计算装置,其经由网络(例如,互联网和/或内联网)连接到口内扫描仪或本地计算装置,而本地计算装置又连接到口内扫描仪。

在方法101的框105处,处理逻辑接收牙弓的多个口内扫描。每个口内扫描可以包括由口内扫描仪的多个摄像头生成的图像数据。在示例中,口内扫描仪的两个或更多个摄像头可以各自生成口内图像,并且可以基于相应的两个或更多个摄像头的已知位置和取向来组合多个口内图像以形成口内扫描。在一个实施例中,每个口内扫描可以包括由一个或多个结构光投影器投影到牙弓的区域上的捕获斑点。例如,可以驱动一个或多个结构光投影器以将离散的不相连的光斑的分布投影到口内表面上,并且可以驱动摄像头来捕获投影的图像。由每个摄像头捕获到的图像可以包括至少一个斑点。由各个摄像头在特定的时间生成的图像一起可以形成口内扫描。在一些实施例中,非结构光(例如,非相干光或白光和/或近红外光)也用于照射牙弓。

每个摄像头可以包括具有像素阵列的摄像头传感器,对于每个像素,在3D空间中存在源自该像素的对应光线,其方向朝向被成像的物体;沿着这些光线中特定一条光线的每个点在传感器上进行成像时,将落在传感器上其对应的相应像素上。如在整个本申请中所使用的,用于此的术语是“摄像头光线”。类似地,对于来自每个投影器的每个投影斑点,存在对应的投影器光线。每个投影器光线对应于至少一个摄像头传感器上像素的相应路径,即,如果摄像头看到由特定的投影器光线投影的斑点,则该斑点必然由对应于该特定的投影器光线的特定的像素路径上的像素检测到。与每个摄像头的摄像头传感器上的每个像素对应的摄像头光线(a)的值和对应于来自每个投影器的每个投影光斑的投影器光线(b)的值可以被存储为校准数据,如下所述。

牙科医生可能已经执行了牙弓的口内扫描以生成牙弓的多个口内扫描。这可包括对部分或全部下颌弓或上颌弓进行口内扫描,或者对两个牙弓进行部分或全部扫描。执行口内扫描可以包括使用一个或多个光投影器将离散的不相连的斑点的图案投影到患者的口内表面上,这些光投影器设置在口内扫描仪的远端处的探头中,其中,离散的不相连的斑点的图案是非编码的。执行口内扫描还可以包括使用设置在探头中的两个或更多个摄像头来捕获不相连的斑点的投影图案的多个扫描或图像。

在框110处,处理逻辑确定多个口内扫描的第一口内扫描中的第一口内3D表面的第一深度。可以使用对应关系算法和存储的校准值来确定第一深度。存储的校准值可以将与多个摄像头中的每一个的摄像头传感器上的像素对应的摄像头光线与多个投影器光线相关联。

处理逻辑可以使用存储的校准值运行对应关系算法,以便标识扫描的3D表面(例如,第一口内3D表面)的表面上每个投影斑点的三维位置。对于给定的投影器光线,处理器“查看”摄像头中的一个上的对应的摄像头传感器路径。沿着该摄像头传感器路径的每个检测到斑点将具有与给定的投影器光线相交的摄像头光线。该交点限定空间中的三维点。然后,处理器在其他摄像头上与该给定的投影器光线相对应的摄像头传感器路径中进行搜索,并标识有多少其他摄像头在其对应于该给定的投影器光线的相应的摄像头传感器路径上也检测到其摄像头光线与空间中的该三维点相交的斑点。如在整个本申请中所使用的,如果两个或更多个摄像头检测到其相应的摄像头光线在空间中的同一三维点处与给定的投影器光线相交的斑点,则这些摄像头被认为是“同意”斑点位于该三维点处。因此,处理器可以基于两个或更多个摄像头同意在某些交点处存在投影器光线的投影光图案来标识投影光图案的三维位置。针对沿摄像头传感器路径的附加斑点重复该过程,并且将最多数量的摄像头“同意”的斑点标识为正从给定的投影器光线被投影到表面上的斑点。因此,针对该斑点计算表面上的三维位置,包括该斑点的深度。因此,可以确定第一口内3D表面的深度(其可以包括第一口内3D表面的表面上的多个不同点的深度)。在一个实施例中,第一口内3D表面的第一深度为约0-5mm。

一旦针对特定斑点确定了表面上的位置,投影该斑点的投影器光线以及对应于该斑点的所有摄像头光线就可以从考虑中去除,并且对于下一个投影器光线可以再次运行对应关系算法。这可以重复直到确定了许多或所有斑点的深度为止。最终,标识出的三维位置可用于生成口内表面的数字三维模型。

在框120处,处理逻辑确定第一口内扫描中的第二口内3D表面的第二深度。可以使用对应关系算法和存储的校准值来确定第二深度。在一个实施例中,第二口内3D表面的第二深度为约40-90mm。或者,第二深度可以为约10mm或更多、约20mm或更多、约30mm或更多,或一些其他的深度值。例如,第一口内3D表面可以是牙弓的第一半部分上的第一牙齿或第一扫描体,其可以具有距口内扫描仪的摄像头大约0-30mm、或5-30mm、或10-35mm或10-20mm等的深度。第二口内3D表面可以是牙弓的第二半部分上的第二牙齿或第二扫描体,其可以具有大约40-90mm、或35-80mm、或40-60mm、或31-80mm等的深度。在一个实施例中,第一3D表面与第二3D表面之间的距离大于30mm。对于儿童的颌,牙弓的第一半部分上(例如,第一牙齿或第一扫描体)的第一口内3D表面可以具有大约0-20mm的深度,而牙弓的第二半部分上(例如,第二牙齿或第二扫描体)的第二口内3D表面可以具有大约21-40mm的深度。例如,第一口内扫描可以包括第一口内3D表面的颊侧视图,并且可以包括第二口内3D表面的舌侧视图。由于第一口内3D表面和第二口内3D表面是通过单个口内扫描捕获的,因此可以确定和固定第一口内3D表面与第二口内3D表面之间的确定的距离。然后可以使用该固定距离来提高从口内扫描生成的3D模型中的臼齿间宽度的准确度。

在一个实施例中,在框112处,使用深度阈值运行对应关系算法。例如,深度阈值可以是5mm、10mm、15mm、20mm、25mm、30mm或其他值。在实施例中,可以多次运行对应关系算法,每次利用不同的深度阈值。对应关系算法可以从考虑中丢弃或滤除任何点大于深度阈值的可能深度值。一般来说,大部分或所有深度值将小于深度阈值。通过不考虑点大于深度阈值的深度值,可以显著地减少斑点的深度计算,这可以加快对应关系算法的操作。

对于一些口内扫描,例如,捕获在牙弓的近半部分上的点或3D表面以及在牙弓的远半部分上的附加点或3D表面的那些扫描,可能存在其深度值大于阈值的点。因此,在框122处,可以在没有深度阈值的情况下重新运行对应关系算法。利用深度阈值运行对应关系算法可能已经能够检测到第一口内3D表面上的斑点的深度,但可能排除了第二口内3D表面上的斑点的深度的检测。因此,通过在不使用深度阈值的情况下重新运行对应关系算法,可以重新考虑描绘第二口内3D表面的那些斑点并且可以确定它们大于深度阈值的深度。在一些实施例中,在框112处利用深度阈值运行对应关系算法之后,确定所有斑点(或阈值数量的斑点)的深度,并且不执行框120和122的操作。或者,在一些实施例中,在框110或112结束时确定存在具有未确定的深度的剩余斑点,并且可以执行框120和/或122的操作。

在一个实施例中,在框114处,处理逻辑确定由第一摄像头检测到的第一检测到斑点与由距第一摄像头具有第一距离的第一光投影器投影的第一投影斑点的第一对应关系。例如,第一对应关系可以基于在框112处运行对应关系算法来确定。在一个实施例中,在框124处,处理逻辑还确定由第一摄像头或第二摄像头检测到的第二检测到斑点与由距第一摄像头或第二摄像头具有第二距离的第二光投影器投影的第二投影斑点的第二对应关系。第一摄像头或第二摄像头与第二光投影器之间的第二距离可以大于第一摄像头与第一光投影器之间的第一距离。在示例中,由于第一口内3D表面比第二口内3D表面更靠近口内扫描仪的摄像头,因此第一口内3D表面可以在与第二口内3D表面不同对的摄像头和光投影器的FOV内。这将参考图5B更详细地描述和示出。

在一些实施例中,在不使用结构光的情况下确定第一口内3D表面的第一深度和第二口内3D表面的第二深度。例如,非结构光或白光可用于在口内扫描期间照射口腔。多个摄像头可以捕获口内扫描的同一口内3D表面的图像,并且可以使用立体成像技术来确定这些口内3D表面的深度。在这种实施例中,在框117处,处理逻辑可以三角测量由第一摄像头捕获到的第一口内3D表面的第一描绘与由第二摄像头捕获到的第一口内3D表面的第二描绘。第二摄像头可以与第一摄像头分开第一距离。可以执行三角测量以确定第一口内3D表面的第一深度。在框128处,处理逻辑可以附加地三角测量由第一摄像头或第三摄像头捕获到的第二口内3D表面的第一描绘与由第四摄像头捕获到的第二口内3D表面的第二描绘,第四摄像头与第一摄像头或第三摄像头分开第二距离。第二距离可以大于第一距离。在示例中,由于第一口内3D表面比第二口内3D表面更靠近口内扫描仪的摄像头,因此第一口内3D表面可以在与第二口内3D表面不同对的摄像头的FOV内。

可以针对多个接收到的口内扫描的剩余口内扫描中的每一个执行操作110-120。

在框130处,处理逻辑将多个口内扫描拼接在一起。这可以包括使用各个口内扫描之间的重叠数据将第一口内扫描配准到一个或多个附加的口内扫描。在一个实施例中,执行扫描配准包括捕获多个口内扫描中表面的各个点的3D数据,并通过计算口内扫描之间的变换来配准口内扫描。然后可以通过对每个配准的口内扫描的点应用适当的变换来将口内扫描整合到公共参考系中。

在一个实施例中,对相邻或重叠的口内扫描(例如,口内视频的连续帧)执行表面配准。执行表面配准算法以配准具有重叠扫描数据的两个或更多个口内扫描,这主要涉及确定将一个扫描与另一个扫描对齐的变换。在实施例中,扫描之间的每个配准可以准确到10-15微米以内。可以使用例如迭代最近点(ICP)算法来执行表面配准,表面配准可涉及标识多个扫描中的多个点(例如,点云)、对每个扫描的点进行表面拟合以及使用点周围的局部搜索匹配重叠扫描的点。Francois Pomerleau等人的“Comparing ICP Variants onReal-World Data Sets(在真实数据集上比较ICP变体)”,2013年,描述了可以使用的ICP算法的一些示例,该文献通过引用的方式并入本文。例如,可用于配准的其他技术包括基于使用其他特征确定点到点的对应关系和最小化点到面距离的技术。在一个实施例中,扫描配准(和拼接)如于2003年4月1日发布的第6,542,249号美国专利(题为“Three-dimensionalMeasurement Method and Apparatus(三维测量方法和设备)”)那样执行,该专利通过引用的方式并入本文。也可以使用其他扫描配准技术。

表面配准可以包括顺序拼接口内扫描对,以及执行将所有位置对一起最小化和/或从一个扫描到另一个扫描最小化来自所有扫描的所有点的全局优化。因此,如果扫描到扫描的配准(例如,使用ICP)在6个自由度(3个平移和3个旋转)中搜索,从一个扫描到另一个扫描优化所有点的距离,则11个扫描的全局优化将在所有扫描相对于所有其他扫描的(11-1)x6=60个自由度中搜索,同时最小化所有扫描之间的某个距离。在一些情况下,该全局优化应该为不同的误差赋予权重(例如,扫描的边缘和/或远点可被赋予较低的权重以获得更好的鲁棒性)。

当小于表面的特征(例如,线或点)要配准到表面时,可能出现特殊状况。假设在一个扫描中捕获表面的特征点(例如,扫描体的角),并且在另一个扫描中捕获包括特征点的表面。在ICP中,最小化从一个表面到另一个表面的点,但是ICP的点对应关系步长在每次迭代中可以改变。在变型算法中,可以在(例如,表面的特征的)特征点与(例如,表面的)表面点之间找到固定的对应关系,并尝试将其与所有表面最小化一起最小化。由于该特征可能是单个点或几个点,并且可能被大多数表面点所淹没,因此该特征点的误差将在全局误差中接受较高的权重。在实施例中,单个扫描可以捕获第一表面(例如,近牙齿或扫描体的颊面)并且可以附加地捕获第二表面(例如,远牙或扫描体的舌面)或第二表面的特征(例如,一个或多个点和/或线)。该信息可用于执行第一表面与其他扫描的表面的配准以及执行第二表面(或第二表面的特征)与其他扫描的表面的配准。

在框135处,处理逻辑从口内扫描生成牙弓的虚拟3D模型。这可包括通过对每个扫描应用适当确定的变换将来自所有口内扫描的数据整合到单个3D模型中。例如,每个变换可以包括围绕一到三个轴的旋转和在一到三个平面内的平移。

从第一口内扫描确定的第一口内3D表面与第二口内3D表面之间的固定距离可以被包括在虚拟3D模型中,与使用传统的口内扫描生成的牙弓3D模型相反,这可以极大地提高牙弓的3D模型的口内宽度的准确度,传统的口内扫描在单个扫描中不包括在牙弓的近半部分和远半部分(颌的象限)两者上的3D表面的图像数据。

对于一些应用,存在投影非相干光的至少一个均匀光投影器(也称为非相干光投影器)。在实施例中,均匀光投影器将白光发射到被扫描的对象上。至少一个摄像头使用来自均匀光投影器的照射来捕获对象的二维彩色图像。处理逻辑可以运行表面重建算法,该表面重建算法将使用来自结构光投影器的照射捕获到的至少一个图像与使用来自均匀光投影器的照射捕获到的一个或多个图像组合起来,以便生成口内三维表面的数字三维图像。使用结构光和均匀照射的组合增强了口内扫描仪的整体捕获,并可以帮助减少处理逻辑在运行对应关系算法时需要考虑的选项的数量。在一个实施例中,立体视觉技术、深度学习技术(例如,使用卷积神经网络)和/或同时定位和映射(SLAM)技术可以与来自结构光的扫描数据和来自非相干光的扫描数据一起使用以提高确定的3D表面的准确度和/或减少处理逻辑在运行对应关系算法时需要考虑的选项的数量。

对于一些应用,存在至少一个近红外光投影器,其在对象被扫描的同时将近红外和/或红外光投影到对象上。至少一个摄像头使用来自近红外光投影器的照射来捕获对象的图像。处理逻辑可以运行表面重建算法,该表面重建算法将使用来自结构光投影器的照射捕获到的至少一个图像与使用来自近红外光投影器的照射捕获到的一个或多个图像组合起来,以便生成口内三维表面的数字三维图像。使用结构光和近红外照射的组合增强了口内扫描仪的整体捕获,并可以帮助减少处理逻辑在运行对应关系算法时需要考虑的选项的数量。在一个实施例中,立体视觉技术、深度学习技术(例如,使用卷积神经网络)和/或同时定位和映射(SLAM)技术可以与来自结构光的扫描数据和来自近红外光的扫描数据一起使用,以提高确定的3D表面的准确度和/或减少处理逻辑在运行对应关系算法时需要考虑的选项的数量。

在一些实施例中,一起使用来自结构光投影器的结构光、来自一个或多个非相干光投影器的非相干光和来自一个或多个近红外光投影器的近红外光。

在实施例中,被扫描的牙弓可以包括主要或仅包含软组织的一个或多个区域(例如,无牙区)。常规来说,这种无牙区可能妨碍患者的成功的口内扫描操作或使该操作复杂化,因为软组织可能缺乏具有适合执行表面配准的限定的区别性特征(例如,几何特征)(即,组织轮廓可能太平滑以至于不允许各个快照彼此准确地配准)。例如,软组织可能不允许进行可用于扫描的准确的表面配准或拼接的表面形状测量。无牙区可以是形成患者特定的牙科程序的焦点的牙齿部位的一部分。例如,可以为牙齿部位规划特定的程序,并且在一些情况下,可能期望完整的下颌弓或上颌弓的准确的描绘(包括准确的臼齿间宽度)以成功地执行特定的程序。然而,传统上难以实现准确确定臼齿间宽度(例如,以小于100微米的误差)。实施例能够生成牙弓的准确的3D模型(其臼齿间宽度具有低至20微米的误差),即使在无牙牙弓的情况下也是如此。这种准确的模型可用于全口假牙治疗和全口无牙科植入体治疗(包括由多个植入体支撑的假牙)。

在实施例中提供的具有改进的准确度的牙弓的3D模型可用于修复(复原)程序和正畸程序。作为非限制性示例,牙科程序可大致分为修复(复原)程序和正畸程序,然后进一步细分为这些程序的特定形式。术语修复程序尤其是指涉及口腔并针对口腔内的牙齿部位处的假牙的设计、制造或安装、或其真实或虚拟模型、或针对用于容纳这种假体的牙齿部位的设计和制备的任何程序。例如,假体可以包括任何修复体(诸如冠、贴面、嵌体、高嵌体和桥)以及任何其他人工局部或全口假牙。术语正畸程序尤其是指涉及口腔并针对口腔内的牙齿部位处的正畸元件的设计、制造或安装、或其真实或虚拟模型、或针对用于容纳这种正畸元件的牙齿部位的设计和制备的任何程序。这些元件可以是器具,包括但不限于支架和线、保持器、透明矫治器或功能器具。本公开的实施例可能对其特别有用的一种特定程序是全对四程序。在全对四程序中,所有牙齿的更换由四个牙科植入体支持。全对四程序针对无牙患者的全面康复或针对牙齿严重破损、蛀牙或因牙龈疾病导致牙齿受损的患者的修复程序。牙弓的准确的3D模型对于全对四程序尤为重要,但由于患者的牙弓上缺乏区别性特征而导致特别难以获得。本文提供的实施例使得能够从口内扫描会话中生成准确的3D模型,该口内扫描会话产生包括四个扫描体的牙弓的口内扫描,其中,3D模型可以具有例如准确度为+/-50μm(或+/-30μm、+/-20μm或+/-10μm)的臼齿间宽度。这使得能够以提高的准确度和降低的故障率执行全对四程序。

一些正畸治疗需要改变颌宽度(即,臼齿间宽度)。通常在常规的口内扫描系统中,规划出的颌宽度的改变可能小于与扫描的牙弓的虚拟3D模型的臼齿间宽度相关联的误差。在这种情况下,难以确定臼齿间宽度是否符合治疗计划(例如,是否已达到规划的腭扩展量)。然而,在实施例中,臼齿间宽度的准确度非常高,误差低至20微米。因此,可以在正畸治疗期间随时间跟踪臼齿间宽度的改变。在示例中,成人颌可具有约100mm的长度和约50-60mm的宽度。治疗计划可指示颌宽度(臼齿间宽度)应增加100微米。在臼齿间宽度误差超过100微米的系统中,确定在治疗后是否成功具有100微米的腭扩张可能具有挑战性。然而,在本文描述的实施例中,可以确定腭扩展量并将其与治疗计划中提出的规划的腭扩展量进行比较。

图1D示出了根据本公开的实施例的生成牙弓的虚拟3D模型的方法150的流程图。方法150可以例如在方法101的框130和/或135处执行。方法150可以由包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(例如,在处理装置上运行的指令)或其组合的处理逻辑来执行。在一个实施例中,处理逻辑是图3的计算装置305。

在方法150的框155处,处理逻辑确定具有重叠数据的口内扫描(例如,口内扫描对,每个口内扫描描绘特定的口内3D表面)。在框160处,对于每个重叠的口内扫描对,处理逻辑将来自该对的第一口内扫描与来自该对的第二口内扫描在共同参考系中配准。相应的误差可以与将第一口内扫描配准到第二口内扫描相关联,相应的误差具有相应的大小。

在一些实施例中,口内扫描对之间的每个配准可具有某种水平的不准确度,其可以在大约10-15微米的量级上。这些配准误差一般随着生成牙弓的3D模型而累加,使得牙弓的3D模型的宽度(例如,臼齿间宽度)的累积误差具有200-400微米的误差量级。成本函数可应用于重叠的口内扫描对的组合以确定累积误差。成本函数可以被配置为优化每个单独的配准以最小化累积误差。一般来说,对每个配准应用相同的权重。

在框165处,处理逻辑对重叠的口内扫描对的相应误差的相应大小进行加权。与包括在口内图像中的重叠的扫描对相关联的相应大小可以被分配相应的第一权重,该口内图像包括在牙弓的第一半部分中的第一口内3D表面的描绘和在牙弓的第二半部分中的第二口内3D表面的描绘,该第一权重高于分配给一个或多个其他的重叠的口内扫描对(例如,不描绘第一3D表面和第二3D表面两者)的相应的第二权重。

在框170处,处理逻辑将成本函数应用于重叠的图像对以将特定误差分配给扫描对之间的特定配准,并确定累积误差。成本函数可以使用所加权的大小来选择特定误差以用于每个单独的配准。在实施例中,由相应的第一权重和相应的第二权重修改的相应误差的相应大小被选择为最小化累积误差。

图2A示出了根据本公开的实施例的生成牙弓的虚拟3D模型的方法200的流程图。方法200可以由包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(例如,在处理装置上运行的指令)或其组合的处理逻辑来执行。在一个实施例中,处理逻辑是图3的计算装置305。在一些实施例中,方法200的一些方面可以由口内扫描仪(例如,图3的扫描仪350)执行,而方法200的其他方面由可操作地耦接到口内扫描仪的计算装置(例如,图3的计算装置305)执行。

在方法200的框205处,处理逻辑可以接收要为患者制造牙科假体(和/或要执行特定正畸程序或修复程序)的指示。牙科假体可以被配置为附接到至少第一牙科植入体和第二牙科植入体,第一牙科植入体和第二牙科植入体可以在患者的无牙牙弓上。在一个实施例中,该程序是全对四程序,并且牙科假体将被附接到牙弓上的四个牙科植入体。在没有标识出特定程序的情况下,可以执行标准扫描程序,该程序可以不考虑或强调特定的口内扫描,例如,描绘两个扫描体的那些扫描,每个扫描体都可以附接到牙科植入体。标识出要执行特定程序可导致执行替代的扫描程序,并使得方法200继续进行。

处理逻辑可以标识适合于扫描牙齿部位的空间关系,从而可以为所讨论的程序获得完整且准确的图像数据。处理逻辑可以建立用于扫描牙弓的最佳方式。这可以包括确定应生成的特定的口内扫描,其中,每个特定的口内扫描应包括对多个特定的扫描体的描绘。此外,处理逻辑可以计算口内扫描仪的最佳放置以生成特定的口内扫描。然后,处理逻辑可以向牙科医生标识口内扫描仪要放置的一个或多个位置(例如,最佳放置)和/或取向,以生成这些口内扫描。在推荐应生成口内扫描的位置以确保扫描配准将是成功的时,处理逻辑可以考虑要使用的口内扫描仪的视场(包括焦深)。

可以通过将扫描仪的类型、其分辨率、在扫描仪头与牙齿表面之间的最佳间隔处的捕获区域与目标区域等相关联来标识或确定扫描协议。扫描协议可以包括例如在空间上与目标区域的牙齿表面相关联的一系列扫描站。

在框210处,处理逻辑接收无牙牙弓的口内扫描。在一个实施例中,处理逻辑分析每个接收到的口内扫描以确定任何口内扫描是否包括两个或更多个扫描体的描绘。在一个实施例中,如果接收到包括两个或更多个扫描体的描绘的口内扫描,则处理逻辑为用户生成通知。这可以包括听觉指示(例如,砰)、触觉指示、视觉指示(例如,屏幕上的消息)等等。在一个实施例中,要执行的扫描程序包括扫描集,每个扫描包括特定的扫描体对的表示。图形用户界面(GUI)可以示出这些指定的扫描中的每一个。随着接收到每一个这种指定的口内扫描,可以更新GUI以示出已经接收到该特定扫描。

在框215处,处理逻辑确定是否任何口内扫描都描绘了第一扫描体和第二扫描体。处理逻辑可能已经标识出特定的扫描站(利用口内扫描仪的特定位置和取向),并且在该特定的扫描站处生成口内扫描可以生成描绘第一扫描体和第二扫描体的口内扫描。如果没有标识出描绘第一扫描体和第二扫描体的口内扫描,则该方法继续到框220。如果标识出描绘第一扫描体和第二扫描体的这种口内扫描,则该方法继续进行到框245。

在框220处,处理逻辑输出指令定位口内扫描仪的探头以生成描绘第一扫描体和第二扫描体的口内扫描。这可以包括在框222处,引导用户将探头放置在特定站(例如,以特定的位置和取向)处。例如,可以经由图形用户界面来引导用户。

在框225处,处理逻辑可以检测探头何时处于特定的位置和取向。在框230处,处理逻辑可以在探头处于特定位置和取向时自动使得生成第一口内扫描。在框235处,处理逻辑接收描绘第一扫描体和第二扫描体的第一口内扫描。在一些实施例中,第一扫描体和第二扫描体各自在牙弓的同一半部分上(颌的象限)。在一些实施例中,第一扫描体和第二扫描体在牙弓的相对的半部分上(颌的象限)。

在实施例中,处理逻辑可以确定应该从其生成口内扫描的多个不同站。每个站可以提供具有两个扫描体的不同组合的描绘的口内扫描。例如,对于全对四程序,第一站可以提供具有第一扫描体和第二扫描体的描绘的口内扫描,第二站可以提供具有第二扫描体和第三扫描体的描绘的口内扫描,第三站可以提供具有第三扫描体和第四扫描体的描绘的口内扫描。第四站可以提供具有第二扫描体和第四扫描体的描绘的口内扫描。第五站可以提供具有第一扫描体和第三扫描体的描绘的口内扫描。第六站可以提供具有第一扫描体和第四扫描体的描绘的口内扫描。处理逻辑可以针对每个站(例如,针对描绘特定的扫描体对的每个目标扫描)重复框215-235的操作。

在框245处,处理逻辑将口内扫描拼接在一起。在框250处,处理逻辑从口内扫描生成牙弓的虚拟3D模型。因此,方法200检测两个或更多个扫描体何时被表示在单个口内扫描中,并且使用包括两个或更多个扫描体的表示的这种口内扫描来确定扫描体之间的正确位置和间距。

图2B示出了根据本公开的实施例的生成牙弓的虚拟3D模型的方法252的流程图。方法252可以由包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(例如,在处理装置上运行的指令)或其组合的处理逻辑来执行。在一个实施例中,处理逻辑是图3的计算装置305。在一些实施例中,方法252的一些方面可以由口内扫描仪(例如,图3的扫描仪350)执行,而方法252的其他方面由可操作地耦接到口内扫描仪的计算装置(例如,图3的计算装置305)执行。

在方法252的框255处,处理逻辑接收牙弓的多个口内扫描。每个口内扫描可以包括由口内扫描仪的多个摄像头生成的图像数据。在示例中,口内扫描仪的两个或更多个摄像头可以各自生成口内图像,多个口内图像可以基于相应的两个或更多个摄像头的已知位置和取向来组合以形成口内扫描。牙科医生可能已经执行了牙弓的口内扫描以生成牙弓的多个口内扫描。这可包括对部分或全部下颌弓或上颌弓进行口内扫描,或者对两个牙弓进行部分或全部扫描。

在框260处,处理逻辑确定多个口内扫描中的至少一个口内扫描包括第一三维(3D)表面的描绘和第二3D表面的至少特征的描绘,在该至少一个口内扫描中,第二3D表面与第一3D表面被未示出的至少一个中间3D表面分开。在该至少一个口内扫描中,第一3D表面与第二3D表面的特征之间可存在距离。在一个实施例中,该至少一个口内扫描包括第一3D表面的颊侧视图和第二3D表面的至少特征的舌侧视图,该第二3D表面在该至少一个口内扫描中未连接到第一3D表面。尽管第一3D表面和第二3D表面在该至少一个口内扫描中没有相连,但应该注意,第一3D表面和第二3D表面可在患者的颌上物理相连。但是,该物理连接可能不会在口内扫描中示出。例如,第一3D表面可以在牙弓的近象限上,而第二3D表面可以在牙弓的远象限上,但是可不示出牙弓连接第一3D表面和第二3D表面的部分。在一个实施例中,牙弓是包括多个扫描体的无牙牙弓,第一3D表面表示多个扫描体中的第一扫描体的至少一部分,至少一个中间3D表面表示多个扫描体中的第二扫描体,第二3D表面表示多个扫描体中的第三扫描体的至少一部分。

在一个实施例中,生成口内扫描的口内扫描仪可以如下文更详细地描述的。在一个实施例中,口内扫描仪具有多个摄像头,这些摄像头具有不同的焦深范围或设置。在一个实施例中,第一口内扫描是颊侧扫描,第一3D表面和第二3D表面在颊侧扫描中处于不同的深度(例如,如参考图1B所描述的)。例如,第一3D表面的最大深度可以小于第二3D表面的最小深度。在一个实施例中,多个口内扫描由具有大于30mm的焦深的口内扫描仪生成,其中,第一3D表面具有小于30mm的深度,并且其中,第二3D表面具有大于30mm的深度。

在实施例中,检测到的点和表面的准确度可随着深度的增加而降低。因此,第二3D表面的确定出的深度和/或位置的准确度可低于第一3D表面的确定出的深度和/或位置的准确度。在一些实施例中,第二3D表面是具有已知的3D几何形状的扫描体。因此,可以将第二3D表面(或第二3D表面的检测到的特征)与扫描体的已知的几何形状进行比较以确定3D表面是扫描体。然后可以使用扫描体的已知的几何形状来提高第二3D表面的深度和/或位置的准确度。

替代地,第一口内扫描可以是咬合扫描,第一3D表面和第二3D表面可以具有相似的深度(例如,可以具有小于30mm的深度)但是不同的x、y位置。在一个实施例中,生成口内扫描的口内扫描仪可以如下文更详细地描述的。或者,口内扫描仪可没有大范围的焦深,而是可在x、y轴上具有大的FOV。这种口内扫描仪可以使用例如一个或多个摄像头、光投影器、鱼眼摄像头等来生成扫描。口内扫描仪的FOV可以是一个大FOV(例如,包括多个摄像头的重叠的FOV)或可以是两个或更多个断开的FOV(例如,包括不与横向分开的两个或更多个摄像头重叠的FOV)。在示例中,第一口内扫描可以具有30微米的长度,第一3D表面可以处于该长度的一个极端处,而第二3D表面可以处于该长度的第二极端处(例如,在3D扫描的相对端处)。在一个实施例中,多个口内扫描由具有大于30mm的横向视场的口内扫描仪生成,其中,第一3D表面处于视场的第一侧处,并且其中,第二3D表面处于视场的第二侧处。

在框265处,处理逻辑将多个口内扫描拼接在一起。这可以包括使用各个口内扫描之间的重叠数据将至少一个口内扫描配准到一个或多个附加的口内扫描。

在框270处,处理逻辑从口内扫描生成牙弓的虚拟3D模型。这可包括通过对每个扫描应用适当确定的变换将来自所有口内扫描的数据整合到单个3D模型中。例如,每个变换可以包括围绕一到三个轴的旋转和在一到三个平面内的平移。

从至少一个口内扫描确定的第一口内3D表面与第二口内3D表面之间的距离可以被包括在虚拟3D模型中,与使用传统的口内扫描(在单个扫描中不包括在牙弓的近半部分和远半部分(颌的象限)两者上的3D表面的图像数据)生成的牙弓3D模型相反,这可以极大地提高牙弓的3D模型的口内宽度的准确度。由于将除了至少一个口内扫描之外的多个口内扫描拼接在一起,在将牙弓的第一象限上的第一3D表面连接到牙弓的第二象限上的第二3D表面的口内扫描对之间可存在第一数量的链接。由于将包括至少一个口内扫描在内的多个口内扫描拼接在一起,在将牙弓的第一象限上的第一3D表面连接到牙弓的第二象限上的第二3D表面的口内扫描对之间可存在第二数量的链接。第二数量的链接低于第一数量的链接,并使得虚拟3D模型的准确度提高。

图3示出了用于执行口内扫描和/或生成牙弓的虚拟3D模型的系统300的一个实施例。在一个实施例中,系统300执行上述方法101、150和/或200的一个或多个操作。系统300包括计算装置305,其可以耦接到口内扫描仪350(也简称为扫描仪350)和/或数据存储器310。

计算装置305可以包括处理装置、存储器、二级存储、一个或多个输入装置(例如,诸如键盘、鼠标、平板电脑等)、一个或多个输出装置(例如,显示器、打印机等)和/或其他硬件组件。计算装置305可以直接或经由网络连接到数据存储310。网络可以是局域网(LAN)、公共广域网(WAN)(例如,因特网)、专用WAN(例如,内联网)或其组合。在一些实施例中,计算装置和存储器装置可以被集成到扫描仪中以提高性能和移动性。

数据存储310可以是内部数据存储,或者是直接或经由网络连接到计算装置305的外部数据存储。网络数据存储的示例包括存储区域网络(SAN)、网络附加存储(NAS)和由云计算服务提供商提供的存储服务。数据存储310可以包括文件系统、数据库或其他数据存储布置。

在一些实施例中,用于获得患者口腔中牙齿部位的三维(3D)数据的扫描仪350还可操作地连接到计算装置305。扫描仪350可以包括探头(例如,手持式探头),其用于光学捕获三维结构。

在一些实施例中,扫描仪350包括细长手持棒,其包括:在手持棒的远端处的探头;设置在探头的远端内的刚性结构;耦接到刚性结构的一个或多个结构光投影器(和可选地,耦接到刚性结构的一个或多个非结构光投影器,例如,非相干光投影器和/或近红外光投影器);以及耦接到刚性结构的一个或多个摄像头。在一些应用中,每个光投影器可以具有45-120度的照射场。可选地,一个或多个光投影器可以利用激光二极管光源。此外,结构光投影器可以包括光束成形光学元件。此外,结构光投影器可以包括图案生成光学元件。

图案生成光学元件可以被配置为生成离散的不相连的光斑的分布。当光源(例如,激光二极管)被激活以发射光通过图案生成光学元件时,可以在位于距图案生成光学元件的特定距离之间(例如,1-30mm、1-50mm、1-80mm等)的所有平面处生成离散的不相连的光斑的分布。在一些应用中,图案生成光学元件利用衍射和/或折射来生成分布。可选地,图案生成光学元件具有至少90%的光变换效率。

对于一些应用,光投影器和摄像头被定位成使得每个光投影器面向棒外部的放置在其照射场中的对象。可选地,每个摄像头可以面向棒外部的放置在其视场中的对象。此外,在一些应用中,至少20%的离散的不相连的光斑在至少一个摄像头的视场中。

扫描仪350可用于执行患者口腔的口内扫描。口内扫描的结果可以是已离散生成的口内扫描的序列(例如,通过针对每个口内扫描按下扫描仪的“生成扫描”按钮)。或者,口内扫描的结果可以是患者口腔的一个或多个视频。操作者可以在口腔中的第一位置处开始利用扫描仪350录制视频,在拍摄视频的同时将口腔内的扫描仪350移动到第二位置,然后停止录制视频。在一些实施例中,当扫描仪标识出它已位于特定站点处(例如,在患者口腔中的特定位置和取向处),可以自动开始录制。在任一情况下,扫描仪350可以将离散的口内扫描或口内视频(统称为扫描数据335)发送到计算装置305。注意,在一些实施例中,计算装置可以被集成到扫描仪350中。计算装置305可以将扫描数据335存储在数据存储310中。或者,扫描仪350可以连接到将扫描数据存储在数据存储310中的另一个系统。在这样的实施例中,扫描仪350可以不连接到计算装置305。

扫描仪350可以驱动一个或多个光投影器中的每一个以将离散的不相连的光斑的分布投影在口内三维表面上。扫描仪350还可以驱动一个或多个摄像头中的每一个以捕获图像,该图像包括至少一个斑点。一个或多个摄像头中的每一个可以包括摄像头传感器,该摄像头传感器包括像素阵列。在特定时间一起捕获到的图像可以一起形成口内扫描。口内扫描可以被传输到计算装置305和/或作为扫描数据335存储在数据存储310中。

计算装置305可以包括口内扫描模块308,用于促进口内扫描和从口内扫描生成牙弓的3D模型。在一些实施例中,口内扫描模块308可以包括表面检测模块315和模型生成模块325。表面检测模块315可以分析接收到的图像数据335以标识图像数据335的口内扫描中的对象。表面检测模块可以对口内扫描执行对应关系算法以确定口内扫描中的斑点或点的深度。表面检测模块315可以访问存储的校准数据330,其指示(a)对应于一个或多个摄像头中的每一个的摄像头传感器上的每个像素的摄像头光线,以及(b)对应于来自一个或多个投影器中的每一个的每个投影光斑的投影器光线,其中每个投影器光线对应于至少一个摄像头传感器上的像素的相应路径。使用校准数据330和对应关系算法,表面检测模块315可以(1)对于每个投影器光线i,标识对于对应于光线i的摄像头传感器路径上的每个检测到的斑点j,有多少其他摄像头在其对应于光线i的相应的摄像头传感器路径上检测到相应的斑点k,斑点k对应于与光线i相交的相应的摄像头光线和与检测到的斑点j对应的摄像头光线。光线i被标识为产生检测到的斑点j的特定的投影器光线,针对检测到的斑点j,最多数量的其他摄像头检测到相应的斑点k。表面检测模块315还可以(2)计算在投影器光线i与对应于检测到的斑点j和相应的检测到的斑点k的相应的应摄像头光线的交点处的口内三维表面上的相应的三维位置。对于一些应用,运行对应关系算法还包括,在操作(1)之后,使用处理器从考虑中移除投影器光线i以及对应于检测到的斑点j和相应的检测到的斑点k的相应的摄像头光线,并针对下一个投影器光线i再次运行对应关系对算法。

模型生成模块325可以在口内扫描之间执行表面配准(例如,可以将口内扫描拼接在一起,如上所述)。然后模型生成模块325可以从配准的口内扫描生成牙弓的虚拟3D模型,如上所述。

在一些实施例中,口内扫描模块308包括用户界面模块309,其提供可以显示生成的虚拟3D模型的用户界面。另外,用户接口模块309可以指导用户将扫描仪350的探头定位为处于特定位置和取向(例如,特定站点)以生成特定的口内扫描。

在一些实施例中,包括在扫描数据335中的至少一个口内扫描包括在牙弓的第一侧或第一半部分上的特征和/或3D表面,并且附加地包括在牙弓的第二侧或第二半部分上的特征和/或3D表面。为了生成这种口内扫描,扫描仪350的探头可以被定位在牙弓的近半部分的舌侧处。扫描仪350的探头可以被定向成使得探头的纵轴大致平行于牙弓的平面,并且使得牙弓的近半部分的颊侧和牙弓的远半部分的舌侧在扫描仪350的FOV中。

图4A示出了具有第一扫描体404、第二扫描体406、第三扫描体408和第四扫描体410的无齿牙弓402的单个口内扫描412。口内扫描仪(例如,扫描仪350)的探头414被定位在牙弓402的近半部分的颊侧处并且被定向为使得探头的纵轴(x轴)大致平行于牙弓的平面,并且探头的z轴(深度)大致平行于牙弓的平面。因此,第一扫描体404的颊侧和第四扫描体410的舌侧在探头414的FOV中。如图所示,探头414可以具有生成包括第一扫描体404和第四扫描体410的口内扫描412的FOV。x轴对应于探头414的纵轴,z轴对应于测量为距探头414的距离的深度。示出了口内扫描412的z轴和x轴,但未示出y轴(进入页面)。

图4B示出了具有无牙区的牙弓420的单个口内扫描440。牙弓420包括多颗牙齿,包括牙齿422、牙齿424、牙齿426、牙齿428、牙齿430、牙齿432和牙齿434。口内扫描仪(例如,扫描仪350)的探头414被定位在牙弓420的近半部分上的颊侧处,并且被定向为使得探头的纵轴大致平行于牙弓的平面(例如,x-z平面),并且使得牙齿422、424的颊侧和牙齿426-434的舌侧在探头414的FOV中。如图所示,探头414可以具有生成包括近牙齿422、424和远牙齿426-434的口内扫描440的FOV。x轴对应于探头414的纵轴,z轴对应于测量为距探头414的距离的深度。

图4C示出了图4A的无牙牙弓402的多个口内扫描。口内扫描中的每一个可以已经由口内扫描仪生成,该口内扫描仪具有距被成像的牙齿表面(例如,距牙弓)的特定距离。在特定的距离处,口内扫描具有特定的扫描区域和扫描深度。扫描区域的形状和大小一般取决于扫描仪,并且在本文中由矩形表示。每个扫描都可具有自己的参考坐标系和原点。每个口内扫描可由扫描仪在特定的位置(例如,扫描站)处生成。可以选择特定的扫描站的位置和取向,从而生成特定的目标扫描(例如,诸如口内扫描412和口内扫描450、455、460等)。

可以在口内扫描仪(例如,扫描仪350)的探头(未示出)被定位在牙弓402的近半部分的颊侧处并定向为使得探头的纵轴(x轴)大致平行于牙弓的平面,并且探头的z轴(深度)大致平行于牙弓的平面的同时,已经生成口内扫描412,该口内扫描412被称为颊侧扫描。因此,第一扫描体432的颊侧和第四扫描体438的舌侧在探头的FOV中。示出了口内扫描412的z轴和x轴,但未示出y轴(进入页面)。其他口内扫描(未示出)也可以在探头的x轴和z轴大体平行于牙弓的平面情况下生成。

也可以在探头的纵轴大致垂直于牙弓的平面和可选地z轴大致垂直于牙弓的平面的情况下获得许多口内扫描(包括口内扫描450、455和460),这些扫描被称为咬合扫描。因此,对于口内扫描450、455、460,示出了扫描的FOV的x轴和y轴,但未示出扫描的z轴。对于口内扫描412和口内扫描450、455、460中的每一个,表示至少两个扫描体。例如,第一扫描体404和第二扫描体406被包括在口内扫描450中,第二扫描体406和第三扫描体408被包括在口内扫描455中,第三扫描体和第四扫描体410被包括在口内扫描460中,第一扫描体404和第四扫描体410包括在口内扫描412中。在实施例中,这些口内扫描可以被拼接在一起以生成牙弓402的非常准确的虚拟3D模型。

在一些实施例中,对于构建牙弓的准确的3D模型来说,描绘两个扫描体的口内扫描可比其他口内扫描具有更高的重要性。这种更高的重要性可以在某些算法中自然实现,因为它们包括可用于执行准确扫描配准的大量独特表面。在其他实施例中,可以检测这种口内扫描,并且在优化牙弓的计算出的3D模型期间,这些扫描(或包括这些扫描的链接/变换)可以被赋予比其他口内扫描更高的权重。

可以在每个重叠的扫描对之间(例如,在口内扫描450与口内扫描455之间,以及在口内扫描455与口内扫描460之间)执行表面配准。对于每个表面配准操作,可以在口内扫描对之间计算3D变换。可以以可视的方式将3D变换示出为两个扫描之间的链接。例如,口内扫描450与口内扫描455之间的链接475表示第一变换,口内扫描455与口内扫描460之间的链接480表示第二变换。也可以计算例如口内扫描412与口内扫描450之间以及口内扫描412与口内扫描460之间的变换,但是为了清楚起见未示出。当扫描整个颌时,可以计算出许多这种变换和链接,这可产生链接链,该链接链将牙弓的一侧间接连接到牙弓的另一侧。每个链接/变换都可有与之相关的特定的小误差,这些误差可累积成从侧到侧的大误差,从而导致臼齿间宽度的大误差。然而,使用描绘牙弓的两侧的口内扫描412可以显著地减小由来自组合的链接/变换的累积误差引起的臼齿间宽度的误差。包括在口内扫描412中的臼齿间宽度的任何误差都可以是基于颌的远侧(例如,第四扫描体410)的深度测量的不准确度的,并且远小于由跨颌的多个链接导致的累积的不准确度。第一扫描体404(或颌的近侧上的其他特征)与第四扫描体(或颌的远侧上的其他特征)之间的距离可以从口内扫描412固定,并且可以直接提供臼齿间宽度或可用于准确地计算臼齿间宽度。每次扫描可以被认为是刚性体,并且扫描内的3D表面之间的距离可以在表面配准和/或3D模型的生成期间固定。当构建3D模型时,处理逻辑可以搜索与最初在表面配准期间确定或发现的距离最一致的相对位置。这意味着优化拼接扫描的原始变换与为3D模型确定的扫描的最终相对位置之间的差异。在一些实施例中,处理逻辑可以检测到一些扫描包括来自牙弓的两侧或两个半部分的数据,并且可以赋予这些扫描优先级(例如,可以在优化过程中为这些扫描或包括这些扫描的链接提供更大的权重)。

第四扫描体(或具有大深度的其他3D表面)的深度测量中的任何不准确度可以通过使用在摄像头之间(或在摄像头与光投影器之间)具有大基线的口内扫描仪来减轻,如下文参考图5B所描述的。

如上文所讨论的,在本公开的实施例中阐述的口内扫描仪可用于生成口内扫描,该口内扫描包括附近对象(例如,在牙弓的近象限中的诸如牙齿或牙齿的一部分的对象)的扫描数据和远处对象(例如,在牙弓的远象限中的诸如牙齿或牙齿的一部分的对象)的扫描数据。包括牙弓上的附近对象的描绘和牙弓上的远处对象的描绘两者的这种扫描可用于极大地提高表面配准的准确度,执行该表面配准以将牙弓的扫描拼接在一起。例如,扫描可以包括以下项的表面:近臼齿的颊侧和远臼齿的舌侧、近臼齿的颊侧和远前臼齿的舌侧、近臼齿的颊侧和远切牙的舌侧、近前臼齿的颊侧和远臼齿的舌侧、近前臼齿的颊侧和远前臼齿的舌侧、近前臼齿的颊侧和远切牙的舌侧、近切牙的颊侧和远臼齿的舌侧、近切牙的颊侧和远前臼齿的舌侧和/或近切牙的颊侧和远切牙的舌侧。

图4D-4J示出了根据本公开的实施例的一些示例口内扫描,这些示例口内扫描示出了单个扫描中的附近牙齿和远处牙齿,可用于提高表面配准的准确度。示例口内扫描是使用如本文实施例中所述的口内扫描仪生成的。在一些示例口内扫描中,示出了一颗或多颗牙齿的舌侧视图、一颗或多颗牙齿的颊侧视图和/或一颗或多颗牙齿的咬合视图。

图4D示出了近牙齿481(例如,颊前臼齿)的颊侧的扫描,该扫描还示出了在颌的相对侧上的远牙齿482(例如,切牙到臼齿)的舌侧。还示出了一颗或多颗远牙齿482的咬合侧。

图4E示出了近牙齿483(例如,颊切牙)的颊侧的扫描,该扫描还示出了在颌的相对侧上的远牙齿484(例如,舌前臼齿和臼齿)的舌侧。还示出了一颗或多颗远牙齿484的咬合侧。

图4F示出了在牙弓的第一侧上的切牙485(例如,颊切牙)的咬合视图的扫描,该扫描还示出了在牙弓的相对侧上的许多其他牙齿,例如远切牙486。还示出了一颗或多颗牙齿的咬合侧。

图4G示出了切牙487的颊侧视图的扫描,该扫描还示出了臼齿489和前臼齿488的舌侧视图。还示出了一颗或多颗切牙487、臼齿489和前臼齿488的的咬合侧。

图4H示出了前臼齿489的颊侧视图和/或咬合视图的扫描,该扫描还示出了在颌的相对侧上的切牙490和前臼齿491的舌侧视图和/或咬合视图。

图4I示出了示出牙弓上在近切牙492与远切牙493之间并且包括近切牙492和远切牙493的所有牙齿的扫描。

图4J示出了示出近牙494的颊侧和远牙495的舌侧的扫描,远牙495的舌侧是与近牙相同的牙弓的一部分。

现在参考图5A,其为根据本公开的一些应用的用于口内扫描的细长手持棒20的示意图。多个光投影器22(例如,包括多个结构光投影器和/或非结构光投影器)和多个摄像头24结合到刚性结构26,刚性结构26设置在手持棒的远端30处的探头28内。在一些应用中,在口内扫描期间,探头28进入对象的口腔。

对于一些应用,光投影器22定位在探头28内,使得一个或多个光投影器22面向在手持棒20之外的放置在投影器的照射场中的3D表面32A和/或3D表面32B,而不是将光投影器定位在手持棒的近端并通过从镜子反射光并随后到3D表面上来照射3D表面。类似地,对于一些应用,摄像头24定位在探头28内,使得每个摄像头24面对在手持棒20之外的放置在摄像头视场中的3D表面32A、32B,而不是将摄像头定位在手持棒的近端并通过从镜子反射光并进入摄像头来观察3D表面。这种投影器和摄像头在探头28内的定位使得扫描仪能够具有整体的大视场,同时保持低剖面(low profile)的探头。

在一些应用中,探头28的高度H1小于15mm,探头28的高度H1是从下表面176(感测表面)到与下表面176相对的上表面178测量的,来自被扫描的3D表面32A、32B的反射光经过该下表面176进入探头28。在一些应用中,高度H1在10-15mm之间。

在一些应用中,摄像头24各自具有至少45度(例如,至少70度,例如,至少80度(例如,85度))的大视场β(beta)。在一些应用中,视场可以小于120度,例如小于100度,例如小于90度。在发明人进行的实验中,发现每个摄像头的视场β(beta)在80到90度之间特别有用,因为这在像素大小、视场和摄像头重叠、光学质量以及成本之间提供了良好的平衡。摄像头24可以包括摄像头传感器58和包括一个或多个透镜的物镜光学器件60。为了实现近焦成像,摄像头24可以聚焦在对象焦平面50处,该对象焦平面50位于距与摄像头传感器相距最远的透镜在1mm和30mm之间、例如4mm和24mm之间、例如5mm和11mm之间、例如9mm至10mm。摄像头24还可以检测位于距摄像头传感器较大距离处的3D表面,例如,距摄像头传感器40mm、50mm、60mm、70mm、80mm、90mm等处的3D表面。

如上所述,通过组合所有摄像头的相应的视场实现的大视场可以由于图像拼接误差量的减少而提高准确度,特别是在牙龈表面光滑并且清晰的高分辨率3D特征可能较少的无牙区域中。具有更大的视场使得大的光滑特征(例如,牙齿的整体曲线)出现在每个图像帧中,这提高了拼接从多个这样的图像帧获得的相应的表面的准确度。

类似地,光投影器22可各自具有至少45度(例如,至少70度)的大照射场α(alph)。在一些应用中,照射场α(alph)可以小于120度,例如,小于100度。

对于一些应用,为了改进图像捕获,每个摄像头24具有多个离散的预设焦点位置,在每个焦点位置,摄像头聚焦在相应的对象焦平面50处。每个摄像头24可以包括自动对焦致动器,其从离散的预设焦点位置中选择焦点位置以改进给定的图像捕获。附加地或替代地,每个摄像头24包括光学孔径相位掩模,其扩展摄像头的焦深,使得由每个摄像头形成的图像在位于距与摄像头传感器相距最远的透镜在1mm和30mm之间(例如,4mm和24mm之间,例如,5mm和11mm之间,例如,9mm-10mm)的所有3D表面距离上保持聚焦。在其他实施例中,由一个或多个摄像头形成的图像可以附加地在更大的3D表面距离(例如,高达40mm、高达50mm、高达60mm、高达70mm、高达80mm、或最大90mm的距离)上保持聚焦。

在一些应用中,光投影器22和摄像头24以紧密挤压(closely packed)和/或交替的方式结合到刚性结构26,使得(a)每个摄像头的视场的大部分与邻近摄像头的视场重叠,并且(b)每个摄像头的视场的大部分与邻近投影器的照射场重叠。可选地,至少20%(例如,至少50%,例如,至少75%)的投影的光图案在至少一个摄像头的在对象焦平面50处的视场中,该对象焦平面50位于距与摄像头传感器相距最远的透镜至少4mm处。由于投影器和摄像头的不同的可能配置,一些投影图案可能永远不会在任何摄像头的视场中被看到,并且随着扫描仪在扫描期间来回移动,一些投影图案可能被3D表面32A、32B挡在视场之外。

刚性结构26可以是非柔性结构,光投影器22和摄像头24结合到该结构,以便为探头28内的光学器件提供结构稳定性。将所有投影器和所有摄像头结合到公共刚性结构有助于在变化的环境条件下(例如,在可能由对象的嘴引起的机械应力下)保持每个光投影器22和每个摄像头24的光学器件的几何完整性。此外,刚性结构26有助于保持稳定的结构完整性以及光投影器22和摄像头24相对于彼此的定位。如下文进一步描述的,控制刚性结构26的温度可有助于在探头28进入和离开对象口腔或对象在扫描期间呼吸时能够在大范围的环境温度下保持光学器件的几何完整性。

如图所示,3D表面32A和3D表面32B在探头28的FOV中,其中,3D表面32A相对靠近探头28,而3D表面32B相对远离探头28。

参考图5B,示出了图5A的探头28的一部分和3D表面32A、32B的放大视图。如示出的示例中所示的,探头28包括第一光投影器22A、第二光投影器22B和第三光投影器22C。此外,探头28包括第一摄像头24A、第二摄像头24B、第三摄像头24C和第四摄像头24D。3D表面32A在第一摄像头24A和第一光投影器22A的FOV中。然而,3D表面32A不在第四摄像头24D的FOV中。比3D表面32更远离探头28的3D表面32B在第一光投影器22A和第四摄像头24D的FOV中。第一光投影器22A与第一摄像头24A之间的第一距离(称为基线)小于第四摄像头24D与第一光投影器22A之间的第二距离(基线)。因此,第一光投影器22A和第四摄像头24D的对应数据可以用于比第一光投影器22A和第一摄像头24A的对应数据更准确地确定3D表面32B的深度。

类似地,3D表面32A在第一摄像头24A和第二摄像头24B的FOV中,但不在第四摄像头24D的FOV中。因此,来自第一摄像头24A和第二摄像头24B的图像数据可用于确定3D表面32的深度。3D表面32B在第一摄像头24A和第四摄像头24D的FOV中。因此,来自第一摄像头24A和第四摄像头24D的图像数据可用于确定3D表面32B的深度。由于第一摄像头24A与第四摄像头24D之间的距离(基线)大于第一摄像头24A与第二摄像头24B之间的距离,因此来自第一摄像头24A和第四摄像头24D的图像数据可以用于以提高的准确度确定3D表面32B的深度。

无论是使用成对的摄像头还是使用成对的摄像头和光投影器,用于确定3D表面32A和32B的深度的三角测量的准确度可以通过以下等式粗略估计:

其中,z

现在参考图6,其是描绘根据本公开的一些应用的光投影器22和摄像头24在探头28中的位置的多种不同配置的图表。光投影器22在图6中由圆圈表示,而摄像头24在图6中由矩形表示。注意,矩形用于表示摄像头,因为通常每个摄像头24的每个摄像头传感器58和视场β(beta)具有1:2的纵横比。图6的列(a)示出了光投影器22和摄像头24的各种配置的鸟瞰图。在列(a)的第一行中标记的x轴对应于探头28的中心纵向轴。列(b)示出了从与探头28的中心纵向轴的视线观察时来自各种配置的摄像头24的侧视图。图6的列(b)示出了摄像头24定位成使得光轴46相对于彼此成90度或更小(例如,35度或更小)的角度。列(c)示出了从垂直于探头28的中心纵轴的视线观察时各种配置的摄像头24的侧视图。

通常,最远端(朝向图6中的正x方向)和最近端(朝向图6中的负x方向)的摄像头24被定位成使得其光轴46相对于下一个最近的摄像头24稍微向内转动,例如,以90度或更小(例如,35度或更小)的角度。位于更中心的摄像头24(即,既不是最远端的摄像头24,也不是最近端的摄像头24)被定位成使得直接面向探头外,其光轴46基本上垂直于探头28的中心纵向轴。应当注意,在行(xi)中,投影器22位于探头28的最远端位置,因此该投影器22的光轴48指向内部,从而允许从该特定的投影器22投影的大量斑点33被更多的摄像头24看到。

通常,探头28中的光投影器22的数量的范围可以从两个(例如,如图6的行(iv)中所示)到六个(例如,如行(xii)中所示)。通常,探头28中的摄像头24的数量的范围可以从四个(例如,如行(iv)和(v)中所示)到七个(例如,如行(ix)中所示)。注意,图6中所示的各种配置是示例性的而非限制性的,因此本公开的范围包括未示出的附加配置。例如,本公开的范围包括位于探头28中的多于五个投影器22和位于探头28中的多于七个摄像头。

在示例应用中,用于口内扫描的设备(例如,口内扫描仪)包括细长手持棒,该细长手持棒包括在细长手持棒的远端处的探头、设置在探头内的至少两个光投影器和设置在探头内的至少四个摄像头。每个光投影器可以包括至少一个光源和图案生成光学元件,该至少一个光源被配置为在被激活时产生光,该图案生成光学元件被配置为在光透射通过图案生成光学元件时生成光图案。至少四个摄像头中的每一个可以包括摄像头传感器和一个或多个透镜,其中,至少四个摄像头中的每一个被配置为捕获多个图像,这些图像描绘口内表面上的投影光图案的至少一部分。至少两个光投影器和至少四个摄像头中的大部分可以被布置成至少两行,每行大致平行于探头的纵轴,至少两行至少包括第一行和第二行。

在其他应用中,沿着至少四个摄像头的纵轴的最远端摄像头和沿着纵轴的最近端摄像头被定位成使得从垂直于纵轴的视线看它们的光轴相对于彼此成90度或更小的角度。第一行中的摄像头和第二行中的摄像头可以被定位成使得从与探头的纵轴同轴的视线看,第一行中的摄像头的光轴相对于第二行中的摄像头的光轴成90度或更小的角度。至少四个摄像头中除了最远端摄像头和最近端摄像头之外的其余摄像头具有基本上平行于探头的纵轴的光轴。至少两行中的每一行可以包括光投影器和摄像头的交替序列。

在其他应用中,至少四个摄像头包括至少五个摄像头,至少两个光投影器包括至少五个光投影器,第一行中的最近端组件是光投影器,而第二行中的最近端组件是摄像头。

在其他应用中,沿着纵轴的最远端摄像头和沿着纵轴的最近端摄像头被定位成使得从垂直于纵轴的视线看它们的光轴相对于彼此成35度或更小的角度。第一行中的摄像头和第二行中的摄像头可以被定位成使得从与探头的纵轴同轴的视线看,第一行中的摄像头的光轴相对于第二行中的摄像头的光轴成35度或更小的角度。

在其他应用中,至少四个摄像头可以具有沿着纵轴的约25-45mm或约20-50mm的组合视场和沿着z轴对应于距探头的距离的约20-40mm或约15mm-80mm的视场。也可以提供本文讨论的其他FOV。

现在参考图7,其是根据本公开的一些应用的结构光投影器22将离散的不相连的光斑的分布投影到多个对象焦平面上的示意图。被扫描的3D表面32A、32B可以是对象嘴内的一颗或多颗牙齿或其他口内对象/组织。牙齿的有些半透明和光泽的特性可影响正被投影的结构光图案的对比度。例如,(a)一些照到牙齿上的光可散射到口内场景中的其他区域,从而导致一定量的杂散光,(b)一些光可穿透牙齿并随后在任何其他点处从牙齿射出。因此,为了在不使用对比度增强手段(例如,利用不透明粉末涂覆牙齿)的情况下,改进在结构光照射下的口内场景的图像捕获,离散的不相连的光斑的稀疏分布34可以提供减少投影的光量与保持有用信息量之间的改善的平衡。分布34的稀疏性可以通过以下项的比率表征:(a)照射场α(alpha)中正交平面44上的照射面积,即,照射场α(alpha)中正交平面44上所有投影的斑点33的面积之和,与(b)照射场α(alpha)中正交平面44上的非照射面积。在一些应用中,稀疏性比率可以是至少1:150和/或小于1:16(例如,至少1:64和/或小于1:36)。

在一些应用中,每个结构光投影器22在扫描期间将至少400个离散的不相连的斑点33投影到口内三维表面上。在一些应用中,每个结构光投影器22在扫描期间将少于3000个离散的不相连的斑点33投影到口内表面上。为了从投影的稀疏分布34重建三维表面,确定相应的投影斑点33与摄像头24检测到的斑点之间的对应关系,如下文参考图9-图19进一步描述的。

现在参考图8A-图8B,其是根据本公开的一些应用的结构光投影器22投影离散的不相连的斑点33和摄像头传感器58检测斑点33'的示意图。对于一些应用,提供了一种用于确定口内表面上的投影斑点33与相应的摄像头传感器58上的检测到的斑点33'之间的对应关系的方法。一旦确定了对应关系,就重建表面的三维图像。每个摄像头传感器58具有像素阵列,对于每个像素,存在对应的摄像头光线86。类似地,对于来自每个投影器22的每个投影斑点33,存在对应的投影器光线88。每个投影器光线88对应于至少一个摄像头传感器58上的像素的相应的路径92。因此,如果摄像头看到由特定的投影器光线88投影的斑点33',则该点33'将必然由与该特定的投影器光线88对应的特定像素路径92上的像素检测到。具体参考图8B,示出了相应投影器光线88与相应的摄像头传感器路径92之间的对应关系。投影器光线88'对应于摄像头传感器路径92',投影器光线88”对应于摄像头传感器路径92”,投影器光线88”'对应于摄像头传感器路径92”'。例如,如果特定的投影器光线88将斑点投影到充满灰尘的空间中,那么将照亮空气中的灰尘线。由摄像头传感器58检测到的灰尘线将在摄像头传感器58上遵循与对应于特定的投影器光线88的摄像头传感器路径92相同的路径。

在校准过程中,基于与每个摄像头24的摄像头传感器58上的像素对应的摄像头光线86和与来自每个结构化投影器22的投影光斑33对应的投影器光线88来存储校准值。例如,可以为(a)对应于每个摄像头24的摄像头传感器58上的相应的多个像素的多个摄像头光线86和(b)对应于来自每个结构光投影器22的相应的多个投影光斑33的多个投影器光线88存储校准值。

作为示例,可以使用以下校准过程。高准确度的点目标(例如,白色背景上的黑点)从下方被照亮,并利用所有摄像头拍摄目标的图像。然后将点目标朝向摄像头垂直地(即,沿z轴)移动到目标平面。为所有相应的z轴位置中的所有点计算点中心,以在空间中创建点的三维网格。然后使用畸变和摄像头针孔模型来找到相应的点中心的每个三维位置的像素坐标,因此将每个像素的摄像头光线限定为源自方向朝向三维网格中对应的点中心的像素的光线。可以对与网格点之间的像素对应的摄像头光线进行插值。针对各个激光二极管36的所有相应的波长重复上述摄像头校准过程,使得存储的校准值中包括对于每个波长的对应于每个摄像头传感器58上的每个像素的摄像头光线86。

在摄像头24已经被校准并且所有摄像头光线86值被存储之后,结构光投影器22可以如下被校准。使用平坦的无特征目标并且一次打开一个结构光投影器22。每个斑点位于至少一个摄像头传感器58上。由于现在摄像头24是经校准的,因此每个斑点的三维斑点位置基于该斑点在多个不同的摄像头中的图像通过三角测量被计算出。用位于多个不同的z轴位置的无特征目标重复上述过程。无特征目标上的每个投影斑点将限定空间中源自投影器的投影器光线。

现在参考图9,其是概述根据本公开的一些应用的用于确定口内扫描中点的深度值的方法900。例如,方法900可以在方法101的框110和120处实现。

分别在方法900的操作62和64中,驱动每个结构光投影器22以将离散的不相连的光斑33的分布34投影在口内三维表面上,并且驱动每个摄像头24以捕获包括至少一个斑点33的图像。在操作66中,基于存储的校准值,使用处理器96运行对应关系算法,下文将参考图10-图14进一步描述,该存储的校准值指示(a)对应于每个摄像头24的摄像头传感器58上的每个像素的摄像头光线86,和(b)对应于来自每个结构光投影器22的每个投影光斑33的投影器光线88。在实施例中,处理器96可以是图3的计算装置305的处理器,并且在实施例中可以对应于图20的处理装置2020。一旦求解出对应关系,在操作68中,计算口内表面上的三维位置并将其用于生成口内表面的数字三维图像。此外,使用多个摄像头24捕获口内场景以摄像头数量的平方根的因子提供了捕获中的信噪比改善。

现在参考图10,其是概述根据本公开的一些应用的方法900中的操作66的对应关系算法的流程图。基于存储的校准值,映射对应于所有检测到的斑点33'的所有投影器光线88和所有摄像头光线86(操作70),以及标识至少一个摄像头光线86和至少一个投影器光线88的所有交点98(图12)(操作72)。图11和图12分别是图10的操作70和72的简化示例的示意图。如图11所示,三个投影器光线88与对应于摄像头24的摄像头传感器58上的总共八个检测到的斑点33'的八个摄像头光线86被映射。如图12所示,标识出十六个交点98。

在方法900的操作74和76中,处理器96确定投影斑点33和检测到的斑点33'之间的对应关系,以便标识表面上每个投影斑点33的三维位置。图13是描绘使用上文在前一段中描述的简化示例的图10的操作74和76的示意图。对于给定的投影器光线i,处理器96“查看”摄像头24之一的摄像头传感器58上的对应的摄像头传感器路径90。沿着摄像头传感器路径90的每个检测到的斑点j将具有在交点98处与给定的投影器光线i相交的摄像头光线86。交点98限定空间中的三维点。然后处理器96“查看”其他摄像头24的相应的摄像头传感器58'上对应于给定的投影器光线i的摄像头传感器路径90',并且标识有多少其他摄像头24在其对应于给定的投影器的光线i的相应的摄像头传感器路径90'上也检测到其摄像头光线86'与由交点98限定的空间中的同一三维点相交的相应的斑点k。对沿着摄像头传感器路径90的所有检测到的斑点j重复该过程,并且最多数量的摄像头24“同意”的斑点j被标识为斑点33(图14),该斑点33是从给定的投影器光线i被投影到表面上的。即,投影器光线i被标识为产生检测到的斑点j的特定的投影器光线88,对于该检测到的斑点j,最多数量的其他摄像头检测到相应的斑点k。因此针对该斑点33计算表面上的三维位置。

例如,如图13所示,所有四个摄像头在其对应于投影器光线i的相应的摄像头传感器路径上检测到其相应的摄像头光线在交点98处与投影器光线i相交的相应的斑点,该交点98被限定为对应于检测到的斑点j的摄像头光线86与投影器光线i的交点。因此,所有四个摄像头都被称为“同意”在交点98处存在由投影器光线i投影的斑点33。然而,当针对下一斑点j'重复该过程时,没有其他摄像头在其对应于投影器光线i的相应的摄像头传感器路径上检测到其相应的摄像头光线在交点98'处与投影器光线i相交的相应的斑点,该交点98'被限定为摄像头光线86”(对应于检测到的斑点j')和投影器光线i的交点。因此,只有一个摄像头被称为“同意”在交点98'处存在由投影器光线i投影的斑点33,而四个摄像头“同意”在交点98处存在由投影器光线i投影的斑点33。因此,投影器光线i被标识为通过将斑点33投影到交点98处的表面上(图14)而产生检测到的斑点j的特定的投影器光线88。根据图10的操作78并如图14所示,计算在交点98处的口内表面上的三维位置35。

现在参考图15,其是概述根据本公开的一些应用的对应关系算法中的其他操作的流程图。一旦确定了表面上的位置35,就将投影斑点j的投影器光线i以及与斑点j和相应的斑点k相对应的所有摄像头光线86和86'从考虑中移除(操作80),并且针对下一投影器光线i再次运行对应关系算法(操作82)。图16描绘了在移除在位置35处投影斑点33的特定的投影器光线i之后上文描述的简化示例。根据图15的流程图中的操作82,然后针对下一投影器光线i再次运行对应关系算法。如图16所示,剩余的数据示出了三个摄像头“同意”在交点98处存在斑点33,该交点98由对应于检测到的斑点j的摄像头光线86和投影器光线i的交点限定。因此,如图17所示,计算在交点98处的三维位置37。

如图18所示,一旦确定了表面上的三维位置37,再次将投影斑点j的投影器光线i以及对应于斑点j和相应的斑点k的所有摄像头光线86和86'从考虑中移除。剩余的数据示出了在交点98处由投影器光线i投影的斑点33,并且计算在交点98处的表面上的三维位置41。如图19所示,根据简化示例,结构光投影器22的三个投影器光线88的三个投影斑点33现在已经在三维位置35、37和41处定位在表面上。在一些应用中,每个结构光投影器22投影400-3000个斑点33。一旦针对所有投影器光线88求解了对应关系,就可以使用重建算法来利用投影斑点33的计算出的三维位置来重建表面的数字图像。

再次参考图5A。对于一些应用,存在结合到刚性结构26的至少一个均匀光投影器118。均匀光投影器118将白光发射到被扫描的3D表面32、33上。至少一个摄像头(例如,摄像头24中的一个)使用来自均匀光投影器118的照射来捕获3D表面32A的二维彩色图像。处理器96可以运行表面重建算法,该表面重建算法将使用来自结构光投影器22的照射捕获到的至少一个图像与使用来自均匀光投影器118的照射捕获到的多个图像组合起来,以便生成口内三维表面的数字三维图像。使用结构光和均匀照射的组合增强了口内扫描仪的整体捕获,并可以帮助减少处理器96在运行对应关系算法时需要考虑的选项的数量。

图20示出了计算装置2000的示例形式的机器的图形表示,在计算装置2000中可执行一组指令,该组指令用于使机器执行本文讨论的任何一种或多种方法。在替代实施例中,机器可以连接(例如,联网)到局域网(LAN)、内联网、外联网或因特网中的其他机器。机器可以在客户端-服务器网络环境中以服务器或客户端机器的能力运行,或者作为对等(或分布式)网络环境中的对等机器运行。该机器可以是个人计算机(PC)、平板计算机、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、环球网设备、服务器、网络路由器、交换机或者桥接器,或任何能够执行指定该机器要采取的动作的一组指令(顺序地或以其他方式)的机器。此外,虽然仅示出了单个机器,但术语“机器”还应被视为包括单独或联合执行一组(或多组)指令以执行本文讨论的任何一个或多个方法的机器(例如,计算机)的任何集合。

示例计算装置2000包括处理装置2002、主存储器2004(例如,只读存储器(ROM)、快闪存储器、诸如同步DRAM(SDRAM)等的动态随机存取存储器(DRAM)、静态存储器2006(例如,快闪存储器、静态随机存取存储器(SRAM)等)和辅助存储器(例如,数据存储装置2028),它们经由总线2008彼此通信。

处理装置2002表示诸如微处理器、中央处理单元等的一个或多个通用处理器。更具体地,处理装置2002可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器、或实现指令集的组合的处理器。处理装置2002也可以是一个或多个专用处理装置,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等。处理装置2002被配置为执行用于执行本文讨论的操作的处理逻辑(指令2026)。

计算装置2000还可以包括用于与网络2064通信的网络接口装置2022。计算装置2000还可以包括视频显示单元2010(例如,液晶显示器(LCD)或阴极光线管(CRT))、字母数字输入装置2012(例如,键盘)、光标控制装置2014(例如,鼠标)、以及信号生成装置2020(例如,扬声器)。

数据存储装置2028可以包括机器可读存储介质(或者更具体地,非瞬时性计算机可读存储介质)2024,其上存储有体现本文描述的任何一种或多种方法或功能的一组或多组指令2026。其中,非瞬时性存储介质是指除载波之外的存储介质。在由计算机装置2000执行指令2026的期间,指令2026还可以完全或至少部分地驻留在主存储器2004内和/或处理装置2002内,主存储器2004和处理装置2002也构成计算机可读存储介质。

计算机可读存储介质2024还可用于存储口内扫描模块2050,其可对应于图3的类似命名的组件。计算机可读存储介质2024还可以存储包含调用口内扫描模块2050、扫描配准模块和/或模型生成模块的方法的软件库。虽然计算机可读存储介质2024在示例实施例中被示为单个介质,但是术语“计算机可读存储介质”应被视为包括存储一组或多组指令的单个介质或多个介质(例如,集中式或分布式数据库,和/或相关联的高速缓存和服务器)。术语“计算机可读存储介质”还应被视为包括能够存储或编码一组指令以供机器执行并且使机器执行本公开的任何一种或多种方法的任何介质。因此,术语“计算机可读存储介质”应被视为包括但不限于固态存储器、以及光学和磁性介质。

应当理解,以上描述旨在是说明性的而非限制性的。在阅读和理解以上描述后,许多其他实施例将是显而易见的。尽管已经参考特定示例实施例描述了本公开的实施例,但是应该认识到,本公开不限于所描述的实施例,而是可以在所附权利要求的精神和范围内通过修改和变更来实践。因此,说明书和附图应被视为说明性的而非限制性的。因此,本公开的范围应该参考所附权利要求以及这些权利要求的等同物的全部范围来确定。

技术分类

06120114713066