掌桥专利:专业的专利平台
掌桥专利
首页

2D数字图像捕获系统、帧速度和模拟3D数字图像序列

文献发布时间:2024-04-18 19:58:30


2D数字图像捕获系统、帧速度和模拟3D数字图像序列

技术领域

本公开涉及2D图像捕获、图像处理以及3D或多维图像序列的模拟显示。

背景技术

人类视觉系统(HVS)依靠二维图像来解释三维视场。通过利用HVS的机制,我们创建了与HVS兼容的图像/场景。

当观看3D图像时,眼睛必须会聚的点和它们必须聚焦的距离之间的不匹配具有负面结果。虽然3D图像已经证明对于电影、数字广告是流行的和有用的,但是如果观众能够在不佩戴专用眼镜或耳机的情况下观看3D图像,则可以利用许多其他应用,这是众所周知的问题。当观看数字多维图像时,这些系统中的不匹配导致图像跳跃、失焦或模糊特征。观看这些图像会导致头痛和恶心。

在自然观看中,图像以不同的双眼视差到达眼睛,因此当观看者从视觉场景中的一点看向另一点时,他们必须调整眼睛的聚散度。视线相交的距离就是聚散距离。未能在该距离处会聚会导致重影。观看者还适当地调整每只眼睛中透镜的焦距(即,适应)用于场景的注视部分。眼睛必须聚焦的距离就是调节距离。未能适应该距离会导致图像模糊。聚散度和调节反应在大脑中是耦合的,具体来说,聚散度的变化驱动调节的变化,调节的变化驱动聚散度的变化。这种耦合在自然观看中是有利的,因为聚散度和调节距离几乎总是相同的。

在3D图像中,图像具有变化的双眼视差,从而刺激在自然观看中发生的聚散度变化。但是调节距离保持在与观看者的显示距离处,因此聚散度和调节距离之间的自然相关性被破坏,导致所谓的聚散度-调节冲突。该冲突引发了几个问题。首先,不同的视差和焦点信息导致感知深度失真。其次,观众在同时融合和聚焦图像中的关键对象时会遇到困难。最后,试图分别调整聚散度和调节会导致观众的视觉不适和疲劳。

最近,一部分摄影师正在利用诸如NIMSLO和NASHIKA3D 35mm模拟胶片相机或在多个点之间移动的数码相机的80年代相机来拍摄场景的多帧,从模拟相机显影多帧的胶片,将图像上传到图像软件例如PHOTOSHOP,并排列图像以创建摆动图、移动GIF效果。

因此,显而易见的是,存在对具有集成的2D数字图像捕获系统、图像处理应用和3D数字图像序列显示的智能设备的可识别的未满足的需求,所述智能设备可以被配置为解决上述问题的至少一些方面。

发明内容

简要地描述,在示例实施例中,本公开可以克服上述缺点,并且可以满足对由用户捕获场景的多个二维数字源图像的系统的公认需求,该系统包括具有用于存储指令的存储器设备的智能设备、与存储器通信并被配置为执行指令的处理器、与处理器通信的多个数字图像捕获设备,并且每个图像捕获设备被配置为捕获场景的数字图像,多个数字图像捕获设备在大约瞳孔间距离内线性地串联定位,其中,以瞳孔间距离的第一端附近为中心的第一数字图像捕获设备、以瞳孔间距离的第二端为中心的第二数字图像捕获设备,和任何剩余的多个数字图像捕获设备在它们之间均匀地间隔开,以及与处理器通信的显示器,该显示器被配置为显示模拟的多维数字图像序列。

因此,该系统和使用方法的特征是其利用定位在相隔大约眼内或瞳孔间距离宽度IPD(人类视觉系统的瞳孔之间的距离)的2D捕获设备捕获场景的多个图像的能力。

因此,该系统和使用方法的特征在于其将输入2D源图像转换成多维/多光谱图像序列的能力。输出图像遵循“关键对象点”的规则,保持在最佳视差范围内,以保持清晰锐利的图像。

因此,该系统和使用方法的特征是其利用现有观看设备来显示模拟的多维数字图像序列的能力。

因此,该系统和使用方法的特征是其通过因特网获取、观看和发送多维数字图像序列的能力。这个独立的系统可以集成到智能手机、平板电脑或与外部设备一起使用。一系列4个相机透镜允许我们产生特殊的运动视差图像,DIGY,可以在没有特殊屏幕的情况下观看。该系统可以在全自动模式下使用,也可以在手动模式下用于操作者与现场的交互操作。

基于数字多维图像平台的系统和使用方法的另一个特征是能够产生可以在观看屏幕上观看的数字多维图像,如移动和固定电话、智能电话(包括iPhone)、平板电脑、计算机、笔记本电脑、监视器和其他显示器和/或特殊输出设备,而无需3D眼镜或耳机。

在示例性实施例中,一种从场景的一系列2D图像模拟3D图像序列的系统,包括:具有用于存储指令的存储器设备的智能设备、与存储器设备通信并被配置为执行指令的处理器、与处理器通信的多个数字图像捕获设备,多个数字图像捕获设备在大致的瞳孔间距离宽度内线性地串联定位,其中,以瞳孔间距离宽度的第一端附近为中心的第一数字图像捕获设备、以瞳孔间距离宽度的第二端为中心的第二数字图像捕获设备,以及任何剩余的多个数字图像捕获设备在它们之间均匀地间隔开,以捕获场景的一系列2D图像,以及在场景的一系列2D图像中识别关键对象点,并且场景的一系列2D图像中的每个2D图像与关键对象点对准,并且场景的2D图像系列中的所有其他点基于多个数字图像捕获设备的间距而移动,以生成修改后的2D图像序列。

在从场景的一系列2D图像生成3D图像序列的方法的另一示例性实施例中,包括提供具有用于存储指令的存储器设备的智能设备、与存储器设备通信并被配置为执行指令的处理器、与处理器通信的多个数字图像捕获设备,所述多个数字图像捕获设备在大约瞳孔间距离宽度内线性地串联定位,其中,以瞳孔间距离宽度的第一端附近为中心的第一数字图像捕获设备、以瞳孔间距离宽度的第二端为中心的第二数字图像捕获设备,以及任何剩余的多个数字图像捕获设备在它们之间均匀地间隔开,以捕获场景的一系列2D图像,与处理器通信的显示器;以及识别场景的一系列2D图像中的关键对象点,并且场景的一系列2D图像中的每个2D图像都与关键对象点对准,并且场景的2D图像系列中的所有其他点基于多个数字图像捕获设备的间距移动,以生成修改后的2D图像序列。

本公开的特征可以包括具有一系列捕获设备的系统,如两个、三个、四个或更多个捕获设备,这样的多个捕获设备(数字图像相机)线性地串联定位在眼内或瞳孔间距离宽度(普通人瞳孔之间的距离)内,该系统捕获并存储场景的两个、三个、四个或更多个2D源图像,该系统基于捕获图像的源捕获设备来标记和识别图像。

本公开的特征是能够通过另一个重要参数来克服上述缺陷,以确定会聚点或关键对象点,因为观看尚未与关键对象点对准的图像会引起人类视觉系统的混乱,并导致模糊和重影。

本公开的特征是在近平面或接近平面与远平面或背平面之间的任何地方选择会聚点或关键对象点的能力,手动模式用户选择。

本公开的特征是能够通过另一个重要参数来克服上述缺陷,以确定舒适圈(CoC),因为观看未与舒适圈(CoC)对准的图像会引起人类视觉系统的混乱,并导致模糊和重影。

本公开的特征是能够通过另一个重要参数来克服上述缺陷,以确定与Horopter弧或点和Panum区域融合的舒适圈(CoC),因为观看尚未与与Horopter弧或点和Panum区域融合的舒适圈(CoC)对准的图像会引起人类视觉系统的混乱,并导致模糊和重影。

本公开的特征是能够通过另一个重要参数来克服上述缺陷,以确定灰度深度图,该系统基于场景中分配的点(最近点、关键对象点和最远点)来内插中间点,该系统将值分配给那些中间点,并将总和渲染到灰度深度图。使用分配给场景中不同点(最近点、关键对象点和最远点)的值生成体积视差的灰度尺度图。这种模式还允许将体积视差或舍入(rounding,圆形加工)分配给场景中的单个对象。

本公开的特征是其利用关键对象算法来手动或自动地选择显示在显示器上的场景的多个图像中的关键对象并产生用于在显示器上观看的多维数字图像序列的能力。

本公开的特征是其利用图像对准、水平图像平移或编辑算法来手动或自动对准关于关键对象的场景的多个图像,以用于显示的能力。

本公开的特征是其利用图像平移算法来对准场景的两个图像的关键对象点,以用于显示的能力。

本公开的特征是其生成DIFYS(差分图像格式)的能力,该DIFYS是用于获取场景的多视图并创建一系列图像的特定技术,该特定技术在没有眼镜或任何其他观看辅助设备的情况下创建深度。该系统利用水平图像平移以及运动视差的形式来创建3D观看。DIFYS是通过观看者的眼睛翻转单个场景的不同视图来创建的。视图通过图像捕获系统的运动或通过拍摄场景的多个相机捕获,其中阵列内的每个相机在不同的位置观看。

根据本公开的从2D图像帧的序列来模拟3D图像序列的第一方面,可以用于从多个不同观看点捕获场景的多个2D图像帧(图像),其中,在序列中的每个图像帧内识别第一近端平面和第二远端平面,并且其中,每个观看点对于每个图像帧保持基本相同的第一近端图像平面;确定序列中每个图像帧内的第一近端平面和第二远端平面的深度估计,对准序列中每个图像帧的第一近端平面,并基于每个图像帧的第二远端平面的深度估计来移动序列中每个后续图像帧的第二远端平面,以产生对应于每个2D图像帧的修改后的图像帧,并顺序地显示修改后的图像帧。

本公开改变显示场景中不同平面处的对象的焦点,以匹配聚散度和立体视网膜视差需求,从而更好地模拟自然观看条件。通过调整场景中关键对象的焦点以匹配它们的立体视网膜视差,眼睛调节和聚散度的线索被使得一致。就像在自然视觉中一样,观看者通过改变调节来聚焦不同的对象。随着调节和聚散度之间的失配减少,自然观看条件被更好地模拟,并且眼睛疲劳减少。

本公开可以用于为序列中的每个图像帧确定三个或更多个平面。

此外,优选的是,平面具有不同的深度估计。

此外,优选的是,基于各个平面的深度估计和第一近端平面之间的差来移动每个相应平面。

优选地,每个修改的图像帧的第一近端平面被对准,使得第一近端平面位于相同的像素空间。

还优选,第一平面包括关键对象点。

优选地,这些平面包括至少一个前景平面。

此外,优选的是,这些平面包括至少一个背景平面。

优选地,有序观看点位于直线上。

根据本发明的第二方面,存在一种存储指令的非暂时性计算机可读存储介质,当由处理器执行指令时,使得处理器执行根据本发明第二方面的方法。

当参照附图或附图阅读之前的发明内容和以下附图的简要描述、其示例性实施例的详细描述以及权利要求时,具有2D数字图像捕获系统、图像处理应用和3D数字图像序列的显示的智能设备的这些和其他特征对于本领域技术人员将变得更加明显。

附图说明

通过参考附图阅读优选和选择的替代实施例的详细描述,将更好地理解本公开,在附图中,相同的附图标记表示类似的结构,并且自始至终指代相同的元件,并且在附图中:

图1A示出了基于观看者相对于显示器的方位变化的图像的2D渲染;

图1B示出了由于左眼和右眼的水平分离视差而具有双眼视差的图像的2D渲染;

图2A是人眼球结构的剖面图的图示;

图2B是视杆细胞和视锥细胞细度与视网膜中央凹位置的关系图;

图3是观看者视场的俯视图图示;

图4是识别使用相机或其他捕获设备捕获的场景的平面的侧视图图示;

图5是以图4的比例识别场景的平面和舒适圈的俯视图图示;

图6是本公开的计算机系统的框图;

图7是由图1中的通过计算机系统实现的通信系统的框图;

图8A是具有四个图像捕获设备的计算设备的示例性实施例的示图,四个图像捕获设备在眼内或瞳孔间距离宽度(普通人的瞳孔之间的距离)内竖直地线性地串联定位;

图8B是具有四个图像捕获设备的计算设备的示例性实施例的示图,四个图像捕获设备在眼内或瞳孔间距离宽度(普通人的瞳孔之间的距离)内水平地线性地串联定位;

图8C是图8A和图8B线性地串联的四个图像捕获设备的示例性实施例的分解图;

图8D是图8A和图8B线性地串联的四个图像捕获设备的示例性实施例的剖面图;

图8E是在眼内或瞳孔间距离宽度(普通人的瞳孔之间的距离)内线性地串联的三个图像捕获设备的示例性实施例的分解图;

图8F是图8E线性地串联的三个图像捕获设备的示例性实施例的剖面图;

图9是人眼间隔眼内或瞳孔间距离宽度(普通人瞳孔之间的距离)的示例性实施例的示意图;

图10是用直角三角形限定拍摄设备在透镜平面上的定位的俯视图图示,所述俯视图按比例地示出了场景的平面和舒适圈;

图10A是识别直角三角形以计算图10的舒适圈的半径的示例性实施例的俯视图图示;

图10B是识别直角三角形以计算捕获设备在图10的透镜平面上的线性定位的示例性实施例的俯视图图示;

图10C是识别直角三角形以计算图10的底板的最佳距离的示例性实施例的俯视图图示;

图11是根据本公开的选择实施例的诸如图11A中的两个图像(帧)之间的点的几何位移的示例性实施例的示图图示;

图11A是利用图8A至图8F中所示的捕获设备捕获的场景的四个图像的示例性实施例的前俯视图图示,并且围绕关键对象点对准;

图11B是利用图8A至图8F中所示的捕获设备捕获的场景的四个图像的示例性实施例的前视图图示,并且围绕关键对象点对准;

图12是从利用图8A至图8F中所示的捕获设备捕获的2D数字图像生成多维图像序列的方法的流程图的示例性实施例;

图13是通过用户交互内容以选择计算机系统的摄影选项的显示器的示例性实施例的俯视图图示;

图14A是识别利用图8A至图8F中所示的捕获设备捕获的两帧的俯视图图示,示出了如图11B所示对准的关键对象与在两帧之间的近平面对象偏移;

图14B是经由图14A的两帧之间的对象偏移的左眼和右眼虚拟深度的示例性实施例的俯视图图示;以及

图15是通过用户交互内容以选择用于数字多维图像序列的关键对象和每秒帧的摄影选项的显示器的示例性实施例的俯视图图示。

应注意的是,所呈现的附图仅用于说明的目的,因此,它们既不期望也不旨在将本公开限制于所示构造的任何或所有确切细节,除非它们可能被认为对所要求保护的本公开是必要的。

具体实施方式

在描述本公开的示例性实施例时,如附图所示,为了清楚起见,采用了特定术语。然而,本公开不旨在限于如此选择的特定术语,并且应当理解,每个特定元件包括以类似方式操作以实现类似功能的所有技术等同物。然而,所要求保护的发明可以以许多不同的形式实施,并且不应该被解释为限于这里阐述的实施例。这里阐述的示例是非限制性示例,并且仅仅是其他可能示例中的示例。

对深度的感知基于各种线索,双眼视差和运动视差通常比图像线索提供更精确的深度信息。双眼视差和运动视差为深度感知提供了两个独立的定量线索。双眼视差是指3D空间中某一点的两个视网膜图像投影之间的位置差异。如图1A和图1B所示,当观看图像场景110中的对象102时获取的稳健的深度规则证明了大脑可以仅根据双眼视差线索来计算深度。在双眼视觉中,Horopter 112是空间中与注视点114具有相同视差的点的轨迹。位于穿过注视点114的水平线上的对象产生单个图像,而离该线合理距离的对象产生两个图像116、118。

经典的运动视差依赖于两只眼睛的功能。一个是眼睛对运动的跟踪(眼球移动以将运动固定在单个点上),第二个是导致视差或双眼视差的平滑运动差。经典的运动视差是当观看者静止时,观看者周围的场景在平移,或者相反,场景静止时,观看者在场景中平移。

通过使用从稍微不同的角度获取的相同对象102的两个图像116、118,可以高精度地三角测量到对象102的距离。每只眼睛观看由左眼104和右眼106看到的对象102的稍微不同的角度。这是因为眼睛的水平分离视差。如果对象很远,落在两个视网膜上的图像110的视差108将很小。如果对象接近或接近,落在两个视网膜上的图像110的视差108将很大。

运动视差120指的是由观看者104的平移产生的相对图像运动(在不同深度的对象之间)。与双眼和图像深度线索分离,运动视差120还可以提供精确的深度感知,前提是它伴随着指定相对于视觉场景110的眼睛方位变化的辅助信号。如图所示,随着眼睛方向104的改变,对象102相对于背景的明显相对运动给出了关于其相对距离的提示。如果对象102很远,则对象102看起来是静止的。如果对象102靠近或接近,则对象102看起来移动得更快。

为了近距离地看到对象102并将两个视网膜上的图像融合成一个对象,两只眼睛104、106的光轴会聚在对象102上。改变眼睛晶状体焦距以便将聚焦的图像放置在视网膜中央凹上的肌肉动作称为调节(accommodation)。肌肉动作和邻近深度的焦点缺乏都为大脑提供了可以用于感知深度的额外的信息。图像清晰度是模糊的深度提示。然而,通过改变聚焦平面(看得比对象102更近和/或更远),模糊性得到解决。

图2A和图2B分别示出了眼睛200的解剖结构和视杆细胞和视锥细胞分布的图形表示。视网膜中央凹202负责清晰的中央视觉(也称为视网膜中央凹视觉),这在视觉细节最重要的情况下是必要的。视网膜中央凹202是内视网膜表面205中的凹陷,大约1.5mm宽,并且完全由专门用于最大视力的视锥细胞204组成。视杆细胞206是接收灰度信息的低强度感受器,并且对周边视觉很重要,而视锥细胞204是接收彩色视觉信息的高强度感受器。参考图2B,将更清楚地理解视网膜中央凹202的重要性,图2B示出了视锥细胞204和视杆细胞206在眼睛200中的分布。如图所示,提供最高视力的大部分视锥细胞204位于围绕视网膜中央凹202中心的1.5°角内。

将参照图2B更清楚地理解视网膜中央凹202的重要性,图2B示出了视锥细胞204和视杆细胞206在眼睛200中的分布。如图所示,提供最高视力的大部分视锥细胞204位于围绕视网膜中央凹202中心的1.5°角内。

图3示出了人类视觉系统(HVS)的非典型视场300。如图所示,视网膜中央凹202仅看到可视场302的中心1.5°(度),优选视场304位于视网膜中央凹202中心的15°(度)内。因此,将对象聚焦在视网膜中央凹上取决于对象102的线性尺寸、观看角度和观看距离。近距离观看的大对象102将具有落在视网膜中央凹视觉之外的大观看角度,而远距离观看的小对象102将具有落在视网膜中央凹视觉之内的小观看角度。落入视网膜中央凹视觉内的对象102将以高视觉敏锐度在头脑的眼睛中产生。然而,在自然观看条件下,观众不仅仅是被动感知。相反,他们通过在不同观看距离的对象之间转移他们的眼睛注视和焦点来动态扫描视觉场景110。在这样做时,调节和聚散(左眼104和右眼106的视线之间的角度)的动眼神经过程必须同步移位,以在每个视网膜的中心清晰聚焦地放置新对象。因此,大自然本能地将调节和聚散联系在一起,使得一个过程中的变化会自动驱动另一个过程中的匹配变化。

图4示出了要由相机或数字图像捕获设备(诸如图像捕获模块830)捕获的场景S的典型视图。场景S可以包括四个平面,限定为:(1)透镜帧被限定为通过记录设备或相机中的透镜或传感器(图像捕获模块830)的平面,(2)关键对象平面KSP可以是通过场景中的传感器的焦点的平面(这里在场景中耦合,场景S的关键对象KS),(3)近平面NP可以是通过与透镜平面(前景中的灌木B)最近的焦点的平面,以及(4)远平面FP,远平面FP是通过最远的焦点(背景中的树T)的平面。距图像捕获模块830的相对距离由N、Ks、B表示。场景S的景深由近平面NP和远平面FP之间的距离限定。

如上所述,立体图像的深度感根据相机和关键对象之间的距离(称为图像捕获距离或KS)而变化。深度感还由聚散角和由影响双眼视差的相机捕获每个连续图像之间的眼内距离控制。

在摄影中,混淆圈限定了被聚焦捕获的场景S的区域。因此,近平面NP、关键对象平面KSP和远平面FP被聚焦。这个圆圈之外的区域是模糊的。

图5通过按图4.1和图3.1的比例示出了舒适圈(CoC)。将舒适圈(CoC)限定为通过使圆的直径沿着垂直于关键对象平面KSP(按图4的比例)的方向而形成(具有由从图像捕获模块830的透镜平面上的中心点开始的、宽度由图3的30度径向确定的)的圆。R是舒适圈的半径(CoC)。

常规的立体显示器迫使观看者尝试解耦这些过程,因为虽然他们必须动态地改变聚散角以观看不同立体距离的对象,但他们必须在固定距离保持调节,否则整个显示器将滑出焦点。当观看这种显示器时,这种解耦会产生眼睛疲劳并损害图像质量。

为了理解本公开,需要限定某些变量。对象场是正在合成的整个图像。“关键对象点”被限定为场景会聚的点,即景深中始终保持聚焦并且在关键对象点中没有视差的点。前景点和背景点分别是离观看者最近的点和最远的点。景深是在对象场内创建的深度或距离(描绘了从前景到背景的距离)。主轴是穿过关键对象点的垂直于场景的线。视差或双眼视差是关键对象对准后第一个图像和最后一个图像中任何点的位置差异。在数字构图中,帧之间关键对象点距主轴的位移总是保持为距主轴的整数个像素。总视差是在最近的帧中关键对象点距主轴的位移的绝对值和在最远的帧中关键对象点距主轴的位移的绝对值的总和。

在这里,当拍摄图像时,本申请指的是景深或混淆圈,而舒适圈指的是在观看设备上观看图像时。

美国专利9,992,473、美国专利10,033,990和美国专利10,178,247全部并入本文作为参考。

使用运动视差创建深度感知是已知的。然而,为了最大化深度,同时保持令人愉快的观看体验,引入了系统的方法。该系统将人类视觉系统的因素与图像捕获程序相结合,以在任何2D观看设备上产生逼真的深度体验。

该技术引入了规定图像捕获系统相对于场景S的位置的舒适圈(CoC)。相对于关键对象KS(会聚点、焦点)的舒适圈(CoC)设置最佳的近平面NP和远平面FP,即,控制场景S的视差。

该系统的开发使得任何捕获设备,如iPhone、相机或视频相机,都可以用来捕获场景。类似地,捕获的图像可以组合并在任何数字输出设备上观看,如智能手机、平板电脑、显示器、电视、笔记本电脑或计算机屏幕。

如本领域技术人员将理解的,本公开可以体现为方法、数据处理系统或计算机程序产品。因此,本公开可以采取完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。此外,本公开可以采取计算机可读存储介质上的计算机程序产品的形式,该计算机可读存储介质具有体现在该介质中的计算机可读程序代码装置。可以利用任何合适的计算机可读介质,包括硬盘、ROM、RAM、CD-ROM、电、光、磁存储设备等。

下面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图说明本公开。应当理解,流程图图示的每个方框或步骤以及流程图图示中的方框或步骤的组合可以通过计算机程序指令或操作来实现。这些计算机程序指令或操作可以加载到通用计算机、专用计算机或其他可编程数据处理装置上,以产生机器,使得在计算机或其他可编程数据处理装置上执行的指令或操作创建用于实现流程图方框/步骤中指定的功能的装置。

这些计算机程序指令或操作也可以存储在计算机可用存储器中,该存储器可以指导计算机或其他可编程数据处理装置以特定方式操作,使得存储在计算机可用存储器中的指令或操作产生包括实现流程图方框/步骤中指定的功能的指令装置的制品。计算机程序指令或操作也可以加载到计算机或其他可编程数据处理装置(处理器)上,以使得在计算机或其他可编程装置(处理器)上执行一系列操作步骤,以产生计算机实现的过程,使得在计算机或其他可编程装置(处理器)上执行的指令或操作提供用于实现流程图方框/步骤中指定的功能的步骤。

因此,流程图图示的方框或步骤支持用于执行指定功能的装置的组合、用于执行指定功能的步骤的组合以及用于执行指定功能的程序指令装置。还应该理解,流程图图示的每个方框或步骤,以及流程图图示中的方框或步骤的组合,可以通过执行指定功能或步骤的基于专用硬件的计算机系统,或者专用硬件和计算机指令或操作的组合来实现。

用于实现本公开的计算机编程可以用各种编程语言、数据库语言等编写。然而,应当理解,在不脱离本公开的精神和意图的情况下,可以使用其他源或面向对象的编程语言以及其他常规编程语言。

现在参考图6,示出了提供用于实现本公开的实施例的合适环境的计算机系统10的框图。图6中所示的计算机体系结构分为两部分——主板600和输入/输出(I/O)设备620。主板600优选地包括执行指令的子系统或处理器,如中央处理单元(CPU)602、诸如随机存取存储器(RAM)604的存储器设备、输入/输出(I/O)控制器608和诸如只读存储器(ROM)606的存储器设备,也称为固件,它们通过总线10互连。包含有助于在计算机子系统内的元件之间传递信息的基本例程的基本输入输出系统(BIOS)优选地存储在ROM 606中,或者可操作地设置在RAM 604中。计算机系统10还优选地包括I/O设备620,如用于存储操作系统626并通过应用程序624作为指令执行的主存储设备634,以及用于视觉输出的显示器628,以及适当的其他I/O设备632。主存储设备634优选地通过连接到总线610的主存储控制器(表示为608)连接到CPU 602。网络适配器630允许计算机系统通过通信设备或能够在有线、光学或无线数据路径的通信链路上传输和接收数据的任何其他网络适配器来传输和接收数据。这里可以认识到,中央处理单元(CPU)602执行存储在ROM 606或RAM 604中的指令、操作或命令。

本文设想,计算机系统10可以包括智能设备,如智能电话、iPhone、android电话(Google、Samsung或其他制造商)、平板电脑、台式机、笔记本电脑、数字图像捕获设备和具有两个以上数字图像捕获设备和/或3D显示器608(智能设备)的其他计算设备。

本文进一步设想,显示器608可以被配置为能够展开成更大的显示器表面积的可折叠显示器或多折叠显示器。

许多其他设备或子系统或其他I/O设备632可以以类似的方式连接,包括但不限于诸如麦克风、扬声器、闪存驱动器、CD-ROM播放器、DVD播放器、打印机、诸如硬盘驱动器的主存储设备634和/或调制解调器的设备,每个设备都经由I/O适配器连接。此外,尽管优选,但没有必要存在图6中示出的所有设备来实践本公开,如下所述。此外,设备和子系统可以以不同于图6所示的配置互连,或者可以基于光学或门阵列,或者能够响应和执行指令或操作的这些元件的某种组合。诸如图6所示的计算机系统的操作在本领域中是容易公知的,并且在本申请中不进一步详细讨论,以便不使本讨论过于复杂。

现在参考图7,示出了描绘可以实现与本公开一致的概念的示例性通信系统700的示图。上面参照图6广泛描述了图7的通信系统700内的每个元件的示例。具体地,服务器系统760和用户系统720具有类似于图6的计算机系统10的属性,并且示出了计算机系统10的一种可能的实现。通信系统700优选地包括一个或多个用户系统720、722、724(本文设想,计算机系统10可以包括智能设备,例如智能电话、iPhone、android电话(Google、Samsung或其他制造商)、平板电脑、台式机、笔记本电脑、相机和其他具有显示器208的计算设备(智能设备))、一个或多个服务器系统760和网络750,网络750可以是例如互联网、公共网络、专用网络或云。每个用户系统720-724优选地包括耦合到处理器的计算机可读介质,例如随机存取存储器。处理器CPU 702执行存储在存储器604、606中的程序指令或操作(应用软件624)。通信系统700通常包括一个或多个用户系统720。例如,用户系统720可以包括一个或多个通用计算机(例如,个人计算机)、一个或多个专用计算机(例如,专门编程为相互通信的设备和/或服务器系统760)、工作站、服务器、设备、数字助理或“智能”蜂窝电话或寻呼机、数码相机、组件、其他设备或能够响应和执行指令或操作的这些元件的某种组合。

与用户系统720类似,服务器系统760优选地包括耦合到处理器的计算机可读介质,如随机存取存储器。处理器执行存储在存储器中的程序指令。服务器系统760还可以包括许多附加的外部或内部设备,如但不限于鼠标、CD-ROM、键盘、显示器、存储设备和类似于图6的计算机系统10的其他属性。服务器系统760还可以包括辅助存储元件,如用于存储数据和信息的数据库770。服务器系统760虽然被描绘为单个计算机系统,但可以被实现为计算机处理器的网络。服务器系统760中的存储器包含一个或多个可执行步骤、程序、算法或应用624(如图6所示)。例如,服务器系统760可以包括网络服务器、信息服务器、应用服务器、一个或多个通用计算机(例如,个人计算机)、一个或多个专用计算机(例如,专门编程为相互通信的设备)、工作站或其他设备,或者能够响应和执行指令或操作的这些元件的一些组合。

通信系统700能够通过通信链路740和/或网络750在用户系统720和服务器系统760之间传递和交换数据(包括三维3D图像文件)。通过用户系统720,用户可以优选地通过网络750与彼此的用户系统720、722、724以及与诸如服务器系统760的其他系统和设备传送数据,以电子方式传输、存储、打印和/或观看多维数字主图像。通信链路740通常包括在用户系统720和服务器系统760之间进行直接或间接通信的网络750,而不考虑物理分离。网络750的示例包括互联网、云、模拟或数字有线和无线网络、无线电、电视、电缆、卫星和/或用于携带和/或传输数据或其他信息的任何其他传送机制,例如以电子方式传输、存储、打印和/或观看多维数字主图像。通信链路740可以包括例如有线、无线、电缆、光学或卫星通信系统或其他路径。

再次参考图2A、图5、图8A至图8F和图14B以获得最佳结果和简化数学,场景S的连续图像或帧的捕获之间的眼内距离是固定的,以匹配人类左眼和右眼的平均间隔,从而保持恒定的双眼视差。此外,选择到关键对象KS的距离,使得关键对象的捕获图像的大小被确定为落在观看者的中央凹视觉内,以便产生关键对象的高视觉敏锐度,并保持等于或小于十五度的优选观看角度(15)的聚散角。

图8A至图8F公开了用于捕获场景S的立体图像(例如,3D序列的2D帧)的图像或帧捕获系统,如图4所示。这里,在捕获场景S的立体图像(例如,3D序列的2D帧)时,图像捕获距离、距图像捕获系统和场景S中的点或平面的距离(例如关键对象KS和相机的焦距(即,放大和缩小))可以理想地保持恒定;然而,如果每个连续立体图像的捕获设备之间的间隔保持恒定,则聚散角将相应地变化。

现在参考图8A,作为示例而非限制,其示出了计算机系统10,诸如具有背面810、诸如短边811的第一边缘和诸如长边812的第二边缘的智能设备或便携式智能设备。背面810可以包括I/O设备632,例如图像捕获模块830的示例性实施例,并且可以包括一个或多个传感器840,以测量计算机系统10和图像或场景S中的选定深度(深度)之间的距离。图像捕获模块830可以包括多个或四个数字图像捕获设备831、832、833、834,其中四个数字图像捕获设备竖直地、在眼内或瞳孔间距离宽度IPD(在舒适圈关系内的人类视觉系统的瞳孔之间的距离,以优化人类视觉系统的数字多维图像)内线性地串联定位于背面810或靠近并平行于其长边缘812。瞳孔间距离宽度IPD优选地是普通人的瞳孔之间的距离,可以具有大约2和0.5英寸(2.5英寸(6.35厘米))之间的距离,更优选地在大约40至80mm之间,绝大多数成年人的IPD在50至75mm的范围内,45至80mm的更宽范围可能包括(几乎)所有成年人,并且儿童(小于5岁)的最小IPD在40mm左右。本文设想,多个图像捕获模块830和一个或多个传感器840可以被配置为图像捕获设备830和传感器840的组合,并且可以被配置为集成单元或模块,其中传感器840控制或设置图像捕获模块830的深度,在场景S是否有不同深度,如前景、人P或对象、背景,如最近点CP、关键对象点KS和最远点FP,如图4所示。作为参考,多个图像捕获设备可以包括位于瞳孔间距离宽度IPD的第一端IPD IPD.1附近的第一数字图像捕获设备831,位于瞳孔间距离宽度IPD的第二端IPD.2附近的第四数字图像捕获设备834,以及分别在瞳孔间距离宽度IPD的第一端IPD IPD.1和第二端IPD.2之间均匀间隔的剩余数字图像捕获设备(第二数字图像捕获设备832和第三数字图像捕获设备833)。

本文设想,具有显示器的智能设备或便携式智能设备可以被配置为矩形或正方形或提供具有第一边缘811和第二边缘812的表面区域的其他类似配置。

本文设想,数字图像捕获设备831-834或图像捕获模块830可以由凹进、阶梯或斜面边缘814包围,每个图像捕获设备831-834可以由凹进、阶梯或斜面环816包围,并且数字图像捕获设备831-834或图像捕获模块830可以由透镜盖820覆盖,透镜盖820下有透镜818。

本文设想,数字图像捕获设备831-834可以是单独的捕获设备,而不是图像捕获模块的一部分。

本文进一步设想,数字图像捕获设备831-834可以位于背面810上的任何地方,并且大体上平行于长边缘812。

本文设想,图像捕获设备可以包括位于眼内或瞳孔间距离宽度IPD内的额外的捕获设备。

本文进一步设想,可以利用数字图像捕获设备831-834来捕获场景S的一系列2D图像。

现在参考图8B,作为示例而非限制,其示出了具有背面810、短边缘811和长边缘812的计算机系统10或其他智能设备或便携式智能设备。背面810可以包括I/O设备632,例如图像捕获模块830的示例性实施例,并且可以包括一个或多个传感器840,以测量计算机系统10和图像或场景S中的选定深度(深度)之间的距离。图像捕获模块830可以包括多个或四个数字图像捕获设备831、832、833、834,其中四个数字图像捕获设备(竖直地、在眼内或瞳孔间距离宽度IPD(在舒适圈关系内的人类视觉系统的瞳孔之间的距离,以优化人类视觉系统的数字多维图像)内线性地串联定位于背面810或靠近并平行于其短边缘812。本文设想,多个图像捕获模块830和一个或多个传感器840可以被配置为图像捕获设备830和传感器840的组合,并且可以被配置为集成单元或模块,其中传感器840控制或设置图像捕获设备830的深度,诸如场景S中的不同深度,如前景、背景,以及人P或对象,如最近点CP、关键对象点KS和最远点FP,如图4所示。作为参考,多个图像捕获设备可以包括位于瞳孔间距离宽度IPD的第一端IPD IPD.l附近的第一数字图像捕获设备831,位于瞳孔间距离宽度IPD的第二端IPD.2附近的第四数字图像捕获设备834,以及在瞳孔间距离宽度IPD的第一端IPDIPD.1和第二端IPD.2之间均匀间隔的剩余图像捕获设备(第二数字图像捕获设备832和第三数字图像捕获设备833)。

本文设想,数字图像捕获设备831-834或图像捕获模块830可以由凹进、阶梯或斜面边缘814包围,每个图像捕获设备831-834可以由凹进、阶梯或斜面环816包围,并且图像捕获设备831-834或图像捕获模块830可以由透镜盖820覆盖,透镜盖820下有透镜818。

本文设想数字图像捕获设备831-834可以是单独的捕获设备,而不是图像捕获模块的一部分。

本文进一步设想,数字图像捕获设备831-834可以位于背面810上的任何地方,并且大体上平行于长边缘812。

本文进一步设想,可以利用数字图像捕获设备831-834来捕获场景S的一系列2D图像。

关于计算机系统10和图像捕获设备830,应当认识到,包括尺寸、材料、形状、形式、位置、连接、功能和操作方式、组装和使用的变化的最佳维数关系意在被本公开所包含。

在本公开中,瞳孔间距离宽度IPD可以具有将数字图像捕获设备831-834中心到中心定位在大约115毫米的最大宽度到50毫米的最小宽度之间的宽度的测量值;更优选大约72.5毫米的最大宽度至53.5毫米的最小宽度;并且最优选地在大约64毫米的最大平均宽度到61.7毫米的最小平均宽度和63毫米(2.48英寸)的人类视觉系统的中心到中心宽度之间。

再次参考图1A、图1B、图2A、图5、图9、图14B,双眼视差是一种立体认知因素,它是左眼和右眼平均间隔约64mm的结果。当双眼视差相对较大时,观看者感觉到与关键对象的距离相对较近。当双眼视差相对较小时,观看者感觉到到与关键对象KS的距离相对较远或较大。聚散角V是指当眼睛聚焦在关键对象KS上时,以关键对象为顶点的左眼和右眼之间的角度。当聚散角增加时(当双眼向内旋转时),关键对象KS的距离被观看者感知为相对较小。当聚散角减小时(当双眼向外旋转时),关键对象KS的距离被观看者感知为相对较大。

现在参考图8C,作为示例而非限制,示出了图像捕获模块830的示例性实施例的分解图。图像捕获模块830可以包括数字图像捕获设备831-834,其中四个图像捕获设备内线性地串联在眼内或瞳孔间距离宽度IPD(普通人的瞳孔之间的距离)内。数字图像捕获设备831-834可以包括第一数字图像捕获设备831、第二数字图像捕获设备832、第三数字图像捕获设备833、第四数字图像捕获设备834。第一数字图像捕获设备831可以在瞳孔间距离宽度IPD的第一端IPD IPD.1附近居中,第四数字图像捕获设备834可以位于瞳孔间距离宽度IPD的第二端IPD.2附近,并且剩余的数字图像捕获设备,如第二数字图像捕获设备832和第三数字图像捕获设备833可以定位或均匀间隔在瞳孔间距离宽度IPD的第一端IPD IPD.1和第二端IPD.2之间。在一个实施例中,每个数字图像捕获设备831-834或透镜818可以被斜边缘814包围,被环816包围,和/或被透镜盖820覆盖,透镜盖820下有透镜818。

本文还设想,可以利用数字图像捕获设备831-834来捕获场景S的一系列2D图像。

现在参考图8D,作为示例而非限制,示出了图8C的图像捕获模块830的示例性实施例的剖面图。图像捕获模块830可以包括数字图像捕获设备831-834,其中四个图像捕获设备线性地串联在眼内或瞳孔间距离宽度IPD(普通人的瞳孔之间的距离)内。数字图像捕获设备831-834可以包括第一数字图像捕获设备831、第二数字图像捕获设备832、第三数字图像捕获设备833、第四数字图像捕获设备834。每个数字图像捕获设备831-834或透镜818可以被斜边缘814包围,被环816包围,和/或被透镜盖820覆盖,其中透镜盖820下有透镜818。本文设想,数字图像捕获设备831-834可以包括光学模块,如被配置为将来自场景S的光聚焦在传感器模块上的透镜818,如被配置为生成场景S的捕获图像的图像信号的图像捕获传感器822,以及被配置为基于来自图像捕获传感器822的生成的图像信号来生成捕获图像的图像数据的数据处理模块824。

本文设想,可以在本文中利用用于生成场景S的捕获图像的图像信号的其他传感器组件822和用于处理或操纵图像数据的其他数据处理模块824。

本文设想,当不使用传感器840来计算场景S中的不同深度(从数字图像捕获设备831-834到前景、背景,以及人P或对象的距离,诸如最近点CP、关键对象点KS和最远点FP,如图4中所示),然后可以提示用户根据在场景S中数字图像捕获设备831-834到关键对象点KS的设置距离来捕获场景S的图像,包括但不限于距场景S的最近点CP或关键对象KS点的六英尺(6ft.)的距离。

本文还设想,可以利用数字图像捕获设备831-834来捕获场景S的一系列2D图像。

现在参考图8E,作为示例而非限制,示出了图像捕获模块830的示例性实施例的分解图。图像捕获模块830可以包括数字图像捕获设备831-833,其中多个或三个图像捕获设备线性地串联在眼内或瞳孔间距离宽度IPD(普通人的瞳孔之间的距离)内。数字图像捕获设备831-833可以包括第一数字图像捕获设备831、第二数字图像捕获设备832和第三数字图像捕获设备833。第一数字图像捕获设备831可以位于瞳孔间距离宽度IPD的第一端IPDIPD.1附近,第三数字图像捕获设备833可以位于瞳孔间距离宽度IPD的第二端IPD.2附近,并且剩余的图像捕获设备,如第二数字图像捕获设备832可以位于瞳孔间距离宽度IPD的第一端IPD IPD.1和第二端IPD.2之间的中心线CL上。在一个实施例中,每个数字图像捕获设备831-834或透镜818可以被斜边缘814包围,被环816包围,和/或被透镜盖820覆盖,透镜盖820下有透镜818。

本文进一步设想,可以利用数字图像捕获设备831-833来捕获场景S的一系列2D图像。

现在参考图8F,作为示例而非限制,示出了图8E的图像捕获模块830的示例性实施例的剖面图。图像捕获模块830可以包括数字图像捕获设备831-833,其中三个图像捕获设备线性地串联在眼内或瞳孔间距离宽度IPD(普通人的瞳孔之间的距离)内。数字图像捕获设备831-833可以包括第一数字图像捕获设备831、第二数字图像捕获设备832和第三数字图像捕获设备833。每个数字图像捕获设备831-833或透镜818可以被斜边缘814包围,被环816包围,和/或被透镜盖820覆盖,透镜盖820下有透镜818。本文设想,数字图像捕获设备831-833可以包括光学模块,例如被配置为将场景S的图像聚焦在传感器模块上的透镜818,例如被配置为生成场景S的捕获图像的图像信号的图像捕获传感器822,以及被配置为基于来自图像捕获传感器822的生成的图像信号来生成捕获图像的图像数据的数据处理模块824。

本文设想,可以在本文中利用用于生成场景S的捕获图像的图像信号的其他传感器组件和用于处理或操纵图像数据的其他数据处理模块824。

本文设想,图像捕获模块830和/或数字图像捕获设备831-834用于获取场景S的偏移2D数字图像视图。此外,本文进一步设想,图像捕获模块830可以包括除了本文所阐述的数量之外的多个图像捕获设备,前提是多个图像捕获设备大致定位在眼内或瞳孔间距离宽度IPD(普通人的瞳孔之间的距离)内。此外,本文进一步设想,图像捕获模块830可以包括定位在大约等于瞳孔间距离宽度IPD的线性距离内的多个图像捕获设备。此外,本文进一步设想,图像捕获模块830可以包括竖直定位(计算机系统10或具有短边缘811的其他智能设备或便携式智能设备)、水平定位(计算机系统10或具有长边缘812的其他智能设备或便携式智能设备)或以其他方式线性地串联定位并在大约等于瞳孔间距离宽度IPD的线性距离内的多个图像捕获设备。

本文进一步设想,图像捕获模块830和线性定位在眼内或瞳孔间距离宽度IPD内的数字图像捕获设备831-834能够在其中在显示器628中精确再现场景,以在显示器628上产生多维数字图像。

现在参考图9,作为示例而非限制,示出了具有左眼LE和右眼RE的人的正面视图,并且左眼LE和右眼RE中的每一个都具有瞳孔P1、P2的中点,以示出人眼间距或眼内或瞳孔间距离IPD宽度,即普通人视觉系统瞳孔之间的距离。瞳孔间距离(IPD)是以毫米/英寸为单位测量的眼睛瞳孔中心之间的距离。这种测量因人而异,也取决于他们是在看近处的对象还是远处的对象。P1可以由瞳孔间距离宽度IPD的第一端IPD.1表示,PS可以由瞳孔间距离宽度IPD的第二端IPD.2表示。瞳孔间距离宽度IPD优选地是普通人的瞳孔之间的距离,可以具有大约2.5英寸、2.5英寸(6.35厘米)之间的距离,更优选地在大约40至80毫米之间,绝大多数成年人的IPD在50至75毫米的范围内,45至80毫米的更宽范围可能包括(几乎)所有成年人,并且儿童(小于5岁)的最小IPD在40毫米左右。

本文设想,如美国专利9,992,473、美国专利10,033,990和美国专利10,178,247的图6.1至图6.3所述,可以产生左图像和右图像,并将其电传送到左像素550L和右像素550R。此外,2D图像可以电传送到中心像素550C。

现在参考图10,以示例的方式而非限制性地示出了按图4和图3比例的舒适圈(CoC)的代表性图示。对于所限定的平面,如果图像的大部分是在舒适圈(CoC)内捕获的,则在透镜平面上捕获的图像将是舒适的,并且与观看显示器628上显示的最终图像的用户U的人类视觉系统兼容。当再现为可在显示器628上观看的数字多维图像序列时,由舒适圈(CoC)内的两个图像捕获设备(例如图像捕获设备831-833或图像捕获设备831-834(瞳孔间距离IPD))捕获的任何对象(例如近平面N、关键对象平面KSP和远平面FP)将对观看者聚焦。后对象平面或远平面FP可以被限定为15度径向线与视场中的30度线的垂线的交点的距离,或者R是舒适圈的半径(CoC)。此外,将舒适圈(CoC)限定为通过使圆的直径沿着垂直于关键对象KS平面(KSP)的方向而形成(具有由从图像捕获模块830的透镜平面上的中心点开始的、宽度由30度径向确定的)的圆。

当观看可以在显示器628上观看的数字多维图像序列时,图像捕获设备(如数字图像捕获设备831-833或数字图像捕获设备831-834)在透镜平面上刚好与舒适圈(CoC)相切的30度线内的线性定位或间隔(瞳孔间距离IPD)可以用于在多个图像之间创建运动视差,这将是舒适的并且与用户U的人类视觉系统兼容。

现在参考图10A、图10B、图10C和图11,其中以示例的方式示出,而不限于从图10导出的直角三角形。所有的限定都是基于在场景和图像捕获的关系中保持直角三角形。因此,知道了关键对象KS距离(会聚点),我们可以计算以下参数。

图6A计算舒适圈(CoC)的半径R。

R/KS=tan 30度,

R=KS*tan 30度,

图6B计算图像捕获设备(如图像捕获设备831-833或图像捕获设备831-834)之间的最佳距离(瞳孔间距离IPD)。

TR/KS=tan 15度,

TR=KS*tan 15度;IPD为2*TR,

图6C计算最佳远平面FP,

Tan 15度=R/B,

B=(KS*tan 30度)/tan 15度,

近平面NP与远平面FP之比=((KS/(KS 8tan 30度))*tan 15度。

为了理解TR的含义,在的透镜平面的线性图像捕获线上15度线碰到/接触舒适圈(CoC)的点。这些图像被布置成使得在经由多个图像从诸如数字图像捕获设备831-833或数字图像捕获设备831-834的图像捕获设备捕获的所有图像中,关键对象KS点是相同的。

在我们的情况下,诸如数字图像捕获设备831-833或数字图像捕获设备831-834的图像捕获设备的用户组成场景S并移动数字图像捕获设备830,因此混淆圈传达场景S。由于数字图像捕获设备830使用线性间隔的多个相机,因此在由诸如数字图像捕获设备831-833或数字图像捕获设备831-834的数字图像捕获设备830的线性偏移捕获的多个图像或帧之间存在双眼视差。可以通过改变数字图像捕获设备830的设置或将关键对象KS移回或远离数字图像捕获设备以减小视差,或将关键对象KS移近数字图像捕获设备以增大视差来改变该视差。我们的系统是固定的数字图像捕获设备系统,并且作为实验开发的指导原则,近平面NP应该距离数字图像捕获设备830不小于大约6英尺。

现在参考图12,示出了作为捕获场景S的多个2D图像、生成帧1101-1104、操纵、重新配置、处理、显示、存储数字多维图像序列的方法的流程图1200的过程步骤,如由计算机系统10执行的,并且可以在显示器628上观看。注意,在图37中,指定手动操作模式的一些步骤可以由用户U执行,由此用户在该步骤中做出选择并向计算机系统10提供输入,而否则计算机系统10的操作基于应用程序624在自动模式下执行的步骤。

在方框或步骤1210中,假设计算机系统10具有如以上图1至图11中所述的数字图像捕获设备830、显示器628和应用程序624,以使得能够捕获多个具有视差的二维(2D)图像,该视差是由于数字图像捕获设备831-833、数字图像捕获设备831-834等的间隔在大约眼内或瞳孔间距离宽度IPD(普通人的瞳孔之间的距离)内,并且在显示器628上显示三维(3D)图像序列。此外,数字图像在显示器628上的有序显示(DIFY),其中由捕获设备831-834(n个设备)捕获的场景S的多个2D图像的图像(n)在显示器628上以有序顺序显示为数字多维图像序列(DIFY)。

在方框或步骤1215中,计算机系统10经由图像捕获应用624(捕获方法)被配置成经由图像捕获模块830捕获场景S的多个数字图像,图像捕获模块830具有多个图像捕获设备,诸如数字图像捕获设备831-833、数字图像捕获设备831-834等,这些图像捕获设备线性地串联定位在眼内或瞳孔间距离宽度IPD(人类视觉系统的瞳孔之间在舒适圈关系内的距离,以优化人类视觉系统的数字多维图像)内,捕获多个2D数字源图像。计算机系统10将I/O设备632与计算机系统10集成,I/O设备632可以包括与计算机系统10通信的一个或多个传感器840,以测量计算机系统10(图像捕获设备,例如数字图像捕获设备831-833、数字图像捕获设备831-834)与场景S(深度)中(如关键对象KS的)选定深度之间的距离,并设置一个或多个数字图像捕获设备831-834的焦点。

可替换地,经由图像操纵应用624和显示器628的计算机系统10可以被配置为在自动模式下操作,其中,一个或多个传感器840可以测量计算机系统10(图像捕获设备,如数字图像捕获设备831-833、数字图像捕获设备831-834)与场景S(深度)中(如关键对象KS)的选定深度之间的距离。或者,在手动模式中,用户可以确定计算机系统10与场景S(深度)中(如关键对象KS)的选定深度之间的正确距离。

在此可以认识到,可以指示用户U关于经由图像捕获应用624和显示器628经由计算机系统10捕获场景S的图像(n)的最佳实践,如将场景S框定以包括场景S中的关键对象KS,选择场景S中的突出前景特征和最远点FP,可以包括识别场景S中的关键对象KS,选择场景S中的最近点CP,场景S的突出背景特征等。此外,将场景S中的关键对象KS定位在距数字图像捕获设备831-834(n个设备)的指定距离处。此外,将场景S中的最近点CP定位到距数字图像捕获设备831-834(n个设备)的指定距离处。

现在参考图13,以示例而非限制的方式示出了使用户U能够选择计算机系统10的摄影选项的触摸屏显示器628。第一示例性选项可以是DIFY捕获,其中,用户U可以指定或选择数字图像速度设置1302,其中用户U可以增加或减少由捕获设备831-834(n个设备)捕获的数字图像在显示器628上的有序显示的每秒回放速度或帧(图像)。此外,用户U可以指定或选择数字图像循环或重复的数量1304,以设置由捕获设备831-834(n个设备)捕获的场景S的多个2D图像1000的图像(n)的循环数量,其中由捕获设备831-834(n个设备)捕获的场景S的多个2D图像1000的图像(n个)以有序顺序显示在显示器628上,类似于图11。此外,用户U可以指定或选择用于回放的数字图像序列或回文序列1306的回放顺序,以设置由捕获设备831-834(n个设备)捕获的场景S的多个2D图像1000的图像(n个)的显示顺序。图像的定时序列显示通过运动追踪比效应产生适当的双眼视差。本文设想,计算机系统10和应用程序624可以利用本文中的默认或自动设置。

可替换地,在方框或步骤1215中,用户U可以利用计算机系统10、显示器628和应用程序624来诸如经由隔空投送或其他应用向计算机系统10输入、提供、接收或传输数字多维图像序列(DIFY)。

在此可以认识到,步骤1215、经由图像捕获应用624、图像操纵应用624、图像显示应用624的计算机系统10可以利用不同且分开定位的计算机系统10来执行,所述计算机系统10诸如一个或多个用户系统720第一智能设备、722第二智能设备、724智能设备(智能设备)和应用程序624。例如,使用远离图像操纵系统和远离图像观看系统的相机系统,步骤1215可以经由计算机系统10(第一处理器)和在用户系统720、722、724和应用程序624之间通信的应用程序624在场景S附近执行。这里,相机系统可以被定位或安放以捕获事件或娱乐的不同视点的片段,如场景S。接下来,经由通信链路740和/或网络750,或者5G计算机系统10和经由多个用户系统720、722、724的应用程序624可以捕获和传输场景S的多个数字图像,作为场景S的图像集(n个)的场景S的数字多维图像序列(DIFY),这些图像集(n个)来自捕获设备831-834(n个设备)相对于关键对象KS点。

例如,作为场景S的篮子、击球手的盒子、球门、位置球员、音乐会歌手、领唱乐器或其他娱乐或事件空间或人员,可以被配置有来自特定优势点的场景S的多个捕获设备831-834(n个设备)。经由图像捕获应用624的计算机系统10可以被用来分析事件以确定正确的结果,如即时重放或视频辅助裁判(VAR)。通过图像捕获应用624的该计算机系统10可以用于捕获场景S的多个数字图像作为场景S的数字多维图像序列(DIFY)。通过图像捕获应用624的计算机系统10可以用于捕获场景S的多组多个数字图像,并产生娱乐或事件空间的多个数字多维图像序列(DIFY),作为场景S。

作为另外的示例,车辆有利位置或关于车辆的场景S的视点,其中,车辆可以被配置有从车辆的特定优势点拍摄场景S的多个捕获设备831-834(n个设备)。经由图像捕获应用624和多个捕获设备831-834(n个设备)的计算机系统10(第一处理器)可以用于从车辆周围的不同位置捕获场景S的多个两个数字图像作为场景S的数字多维图像序列(DIFY)(多个数字图像),尤其是自动驾驶车辆、自动驾驶、农业、仓库、运输、船舶、飞行器、无人机等。

在瞳孔间距离IPD处或其附近捕获的图像与人类视觉系统相匹配,这简化了数学运算,最小化了两个图像之间的串扰,减少了模糊性和图像运动,以产生可在显示器628上看到的数字多维图像序列(DIFY)。

另外,在方框或步骤1215中,利用计算机系统10、显示器628和应用程序624(经由图像捕获应用)进行设置,以(正在)对准或(正在)定位图标,如图13的在显示器628上显示的场景S的关键对象KS上的十字准线814,例如通过触摸或拖动场景S的图像,或触摸和拖动关键对象KS,或者将计算机系统10指向不同的方向以将图13的十字准线1310对准场景S的关键对象KS。在方框或步骤1215中,从聚焦在场景S的图像或场景(深度)中的选定深度上的数字图像捕获设备831-434(n个设备)获取或捕获场景S的图像(n个)。

另外,在方框或步骤1215中,通过将I/O设备632与计算机系统10集成,I/O设备632可以包括与计算机系统10通信的一个或多个传感器840,以测量计算机系统10/数字图像捕获设备831-434(n个设备)与场景S中(如关键对象KS)的选定深度(深度)之间的距离,并设置一个或多个数字图像捕获设备831-834的焦点。本文设想,计算机系统10、显示器628和应用程序624可以在自动模式下操作,其中,一个或多个传感器840可以测量计算机系统10和场景S(深度)中(如关键对象KS)的选定深度之间的距离,并设置更多数字图像捕获设备831-834的参数。或者,在手动模式中,用户可以确定计算机系统10与场景S(深度)中(如关键对象KS)的选定深度之间的正确距离。或计算机系统10,显示器208可以利用一个或多个传感器840来测量计算机系统10和场景S(深度)中(如关键对象KS)的选定深度之间的距离,并提供屏幕上的指令或消息(距离偏好)来指示用户U靠近或远离关键对象KS或靠近平面NP,以优化一个或多个数字图像捕获设备831-834和捕获的多个图像。

在方框或步骤1220中,经由图像操纵应用624的计算机系统10被配置成通过图像采集应用接收由数字图像捕获设备831-834(n个设备)捕获的场景S的多个图像。图像采集应用程序将每个图像转换为数字源图像,如JPEG、GIF、TIF格式。理想地,每个数字源图像包括其中的多个可见物体、对象或点,例如前景或与近平面NP相关联的最近点、远平面FP或与远平面FP相关联的最远点,以及关键对象KS。近平面NP、远平面FP点分别是离观看者(多个捕获设备831和832、833或834)最近的点和最远的点。景深是在对象场内创建的深度或距离(描绘前景到背景之间的距离)。主轴是垂直于穿过关键对象KS点的场景的线,而视差是关键对象KS点相对于主轴的位移,见图11。在数字合成中,位移总是保持为从主轴起的整数个像素。

在此可以认识到,步骤1220、经由图像捕获应用624、图像操纵应用624、图像显示应用624的计算机系统10可以利用不同且分开定位的计算机系统10(如一个或多个用户系统720、722、724)和应用程序624来执行。例如,使用远离图像捕获系统和远离图像观看系统的图像操纵系统,步骤1220可以经由计算机系统10(第三处理器)和在用户系统720、222、224和应用程序624之间通信的应用程序624远离场景S来执行。接下来,经由通信链路740和/或网络750,或者5G计算机系统10(第三处理器)和经由更多用户系统720、722、724的应用程序624可以从捕获设备831-834(n个设备)相对于关键对象KS点接收场景S的多个图像(n个)的集合,并且将场景的经操纵的多个数字多维图像序列(DIFY)传输到计算机系统10(第一处理器)和应用程序624。

在方框或步骤1220A中,经由关键对象、应用程序624的计算机系统10被配置为识别由数字图像捕获设备831-834(n个设备)捕获的场景S的每个源图像、多个图像中的关键对象KS。此外,经由关键对象、应用程序624的计算机系统10被配置成至少部分地将来自数字图像捕获设备831-834(n个设备)的场景S的一个或多个图像(n个)中的像素、像素组(显示器628上的手指点选择)分别识别为关键对象KS。此外,经由关键对象、应用程序624的计算机系统10被配置成围绕关键对象KS水平对准由数字图像捕获设备831-834(n个设备)捕获的场景S的源图像、多个图像;如图11A和图11B所示(水平图像平移(HIT),利用距离关键对象KS在舒适圈关系内,来优化人类视觉系统的数字多维图像序列1010。

此外,在场景S的一系列2D图像中识别关键对象点KS,并且场景的一系列2D图像中的每个2D图像与关键对象KS点对准,并且场景的一系列2D图像中的所有其他点基于多个数字图像捕获设备的间距而移位,以生成修改的2D图像序列。

如图11A、图11B和图4所示,可以在由数字图像捕获设备831-834(n个设备)捕获的场景S的多个图像中的每个图像识别与场景S的相同关键对象KS相对应的关键对象KS。本文设想,计算机系统10、显示器628和应用程序624可以执行算法或一组步骤来自动识别由数字图像捕获设备831-834(n个设备)捕获的场景S的多个图像中的对象KS。可替换地,在方框或步骤1220A中,利用计算机系统10(在手动模式下)、显示器628和应用程序624进行设置,以至少部分地使用户U能够(正在)对准或编辑以下的对准:由数字图像捕获设备831-834(n个设备)捕获的场景S的多个图像中的至少两个图像(n个)的像素、像素组(手指点选择)、关键对象KS点。

由场景S的数字图像捕获设备831-834(n个设备)捕获的场景S的源图像、多个图像都是用具有相同图像捕获距离和相同焦距的数字图像捕获设备831-834(n个设备)获取的。经由关键对象应用624的计算机系统10通过执行由数字图像捕获设备831-834(n个设备)捕获的场景S的源图像、多个图像的水平图像移位来创建确定性点、关键对象KS点,由此由数字图像捕获设备831-834(n个设备)捕获的场景S的源图像、多个图像在该点重叠,如图13所示。这种图像移位做两件事,首先它设置图像的深度。关键对象KS点前面的所有点离观看者更近,关键对象KS点后面的所有点离观看者更远。

此外,在自动模式下,经由图像操纵应用的计算机系统10可以基于由数字图像捕获设备831-834(n个设备)捕获的场景S的源图像、多个图像的深度图来识别关键对象KS。

通过图像操纵应用的计算机系统10可以使用由数字图像捕获设备831-834(n个设备)捕获的场景S的源图像、多个图像的深度图,来识别前景、最近点和背景、最远点。可替换地,在手动模式中,经由图像操纵应用和显示器628的计算机系统10可以被配置成使用户U能够选择或识别由场景S的数字图像捕获设备831-834(n个设备)捕获的源图像、场景S的多个图像中的关键对象KS。用户U可以点击、移动光标或框住或其他标识来选择或识别由场景S的数字图像捕获设备831-834(n个设备)捕获的源图像、场景S的多个图像中的关键对象KS。

水平图像平移(HIT)将关键对象平面KSP设置为场景从其发出的屏幕平面(第一或近端平面)。该步骤还设置对象相对彼此的相对运动,如近平面NP(第三或近平面)中的灌木B和远平面FP(第二或远平面)中的树T。关键对象KS或关键对象平面KSP前面的对象沿一个方向(从左到右或从右到左)移动,而关键对象KS或关键对象平面KSP后面的对象沿与前面的对象相反的方向移动。对于给定的运动,关键对象平面KSP后面的对象将具有较小的视差。

在图11、图11A和图11B的示例中,每个层1100包括场景S的输入文件图像的主图像元素,例如分别来自数字图像捕获设备831-834(n个设备)的图像或帧1101、1102、1103和1104。图像采集应用624执行平移图像或帧1101、1102、1103和1104的过程。图像或帧1101、1102、1103和1104与主轴1112重叠并偏移达计算出的视差值(水平图像平移(HIT))。视差线1107表示关键对象KS点1109.1-1109.4从主轴1112的线性位移。优选地,视差线1107之间的增量1120表示视差1120的线性量,如前视差1120.2和后视差1120.1。

根据像素数目、像素密度和帧数目、以及最近点和最远点以及设置美国专利9,992,473、美国专利10,033,990和美国专利10,178,247的其他参数,计算视差、最小视差和最大视差,其全部通过引用并入本文。

在方框或步骤1220B中,经由深度图应用程序624的计算机系统10被配置为创建由数字图像捕获设备831-834(n个设备)捕获的场景S的源图像、多个图像的深度图,并通过算法制作灰度图像。深度图是包含与从视点到场景S中的对象、表面或点的距离相关的信息的图像或图像通道,视点诸如数字图像捕获设备831-834(n个设备)。例如,这提供了更多的信息,因为体积、纹理和照明被更全面地限定。一旦生成深度图1220B,则可以严格控制视差。对于该计算机系统10可以将输出帧的数量限制为四个,而不进入深度图。如果我们使用深度图中的四个或深度图中的两个,我们就不会受到中间相机位置的限制。注意,外部数字图像捕获设备831和834被锁定在观看显示器628的观看者或用户U的瞳孔间距离(IPD)内。

此外,经由关键对象、应用程序624的计算机系统10可以基于源图像的深度图识别关键对象KS。类似地,通过深度图应用程序624的计算机系统10可以使用源图像的深度图,来识别近平面NP可以是穿过与透镜平面(前景中的灌木B)最近的聚焦点的平面,远平面FP是穿过前景中的最远聚焦点(背景中的树T)、最近点和背景、最远点的平面。

经由深度图应用程序624的计算机系统10可以被配置成为场景的一系列2D图像中的每个2D图像限定(限定的步骤)两个或多个平面,并且一个或多个平面可以具有不同的深度估计。经由(一个或多个)深度图应用程序624的计算机系统10可以识别场景的一系列2D图像内的第一近端平面,如关键对象平面KSP和第二远端平面,如近端平面NP或远端平面FP。

在方框或步骤1225中,经由帧建立程序624的计算机系统10被配置为创建由设置在不同角度的虚拟相机生成的帧。该设备的角度被设置成使得外部极值对应于人类视觉系统对向的角度,即瞳孔间距离。

在方框或步骤1225A中,经由帧建立程序624的计算机系统10被配置为输入或上传从计算机系统10外部捕获的源图像。

在方框或步骤1230中,经由水平和竖直帧DIF转换应用624的计算机系统10可以被配置为变换每个源图像,由数字图像捕获设备831-834(n个设备)捕获的场景S的多个图像需要维度图像格式(DIF)变换(水平和竖直对准)。DIF变换是几何移位,其不改变在由数字图像捕获设备831-834(n个设备)捕获的场景S的源图像、多个图像中的每个点处获取的信息,但是可以被视为由数字图像捕获设备831-834(n个设备)捕获的场景S的源图像、多个图像中的所有其他点在笛卡尔空间中的移位(如图11所示)。作为全光函数,DIF变换由等式表示:

其中Δu,v=Δθ,φ

在数字图像源的情况下,几何移位对应于包含全光信息的像素的几何移位,然后DIF变换变成:

(像素)

此外,经由水平和竖直帧DIF平移应用624的计算机系统10还可以使用DIF变换(水平和竖直对准)向背景和/或前景应用几何移位。背景和前景可以根据每个相对于通过由数字图像捕获设备831-834(n个设备)捕获的场景S的源图像、多个图像的深度图1220B识别的关键对象KS的深度的深度进行几何移位。控制背景和前景相对于关键对象KS的几何移位控制关键对象KS的运动视差。如上所述,关键对象KS相对于背景或前景的明显相对运动为观看者提供了关于其相对距离的提示。以这种方式,运动视差被控制以聚焦显示场景中不同深度的对象,以匹配聚散度和立体视网膜视差需求,从而更好地模拟自然观看条件。通过调整场景中关键对象KS的焦点以匹配他们的立体视网膜视差(眼内或瞳孔间距离宽度IPD(人类视觉系统的瞳孔之间的距离)),使眼睛调节和聚散度的线索一致。

再次参考图4,在显示器628上观看多维图像序列1010需要用户U的两个不同的眼睛动作。第一是眼睛将跟踪显示器628上的多维图像序列1010中最近的项目、点或对象(靠近平面NP),由于图像或帧1101、1102、1103和1104与主轴1112重叠并偏移达计算出的视差值(水平图像平移(HIT)),其将具有到静止关键对象平面KSP的来回线性平移。这种跟踪是通过眼球移动来跟随运动而发生的。第二,由于任何点或对象相对于关键对象平面KSP和更具体地相对于关键对象KS点的平滑运动变化,眼睛将感知深度。因此,DIFY由机械步骤和两个眼功能组成。

平移帧的机械步骤,使得关键对象KS点在所有帧上重叠。由于图像或帧1101、1102、1103和1104可以与主轴1112重叠并偏移达计算出的视差值(水平图像平移(HIT)),前后线性平移到静止关键对象平面KSP。近平面NP对象的眼睛跟随运动,表现出相对于关键对象KS的最大运动(眼睛旋转)。沿关键对象平面KSP的帧位置差异(平滑的眼睛运动),引入了双眼视差。除了关键对象KS之外的任何两点的比较也产生深度(双眼视差)。关键对象平面KSP后面的点与关键对象KS前面的点在相反的方向上移动。比较前面或后面或穿过关键对象KS平面的两点显示了深度。

在方框或步骤1235中,经由回文应用626的计算机系统10被配置为创建、生成或产生多维数字图像序列1010,以(顺序对准的)无缝回文循环顺序地对准来自数字图像捕获设备831-834(n个设备)的场景S的图像(n)的每个图像,如以序列显示以下循环:第一数字图像、来自第一数字图像捕获设备831(1)的图像或帧1101,第二数字图像、来自第二数字图像捕获设备832(2)的图像或帧1102,第三数字图像、来自第三数字图像捕获设备833(3)的图像或帧1103,第四数字图像、来自第四数字图像捕获设备834(4)的图像或帧1104。此外,交替排序以下循环:第一数字图像、来自第一数字图像捕获设备831(1)的图像或帧1101,第二数字图像、来自第二数字图像捕获设备832(2)的图像或帧1102,第三数字图像、来自第三数字图像捕获设备833(3)的图像或帧1103,第四数字图像、来自第四数字图像捕获设备834(4)的图像或帧1104,第四数字图像、来自第四数字图像捕获设备834(4)的图像或帧1104,第三数字图像、来自第三数字图像捕获设备833(3)的图像或帧1103,第二数字图像、来自第二数字图像捕获设备832(2)的图像或帧1102,第一数字图像、来自第一数字图像捕获设备831(1)的图像或帧1101——1、2、3、4、4、3、2、1(顺序地对准)。优选的序列是遵循图像被捕获的相同序列或次序,由数字图像捕获设备831-834(n个设备)捕获的场景S的源图像、多个图像,以及添加反转或反向序列以创建无缝回文循环。

本文设想,可以在本文中配置其他序列,包括但不限于1、2、3、4、3、2、1(顺序地对准)等。

本文设想,基于场景的一系列2D图像的第二远端平面的深度估计,将第一近端平面(如来自数字图像捕获设备831-834(n个设备)的场景S的图像(n个)的每个图像的关键对象平面KSP)水平和竖直(正在)对准和移位第二远端平面(如前景平面、近平面NP或背景平面、远平面FP),以产生第二修改的2D图像集。

现在假定多维图像序列1010,我们移动以观察设备的观看侧。

本文设想,由数字图像捕获设备831-834(n个设备)捕获的场景S的源图像、多个图像与对准关键对象KS点并在计算的视差范围内的显示器628的尺寸和配置相匹配。

在方框或步骤1240中,经由图像编辑应用624的计算机系统10被配置为裁剪、缩放、对准、增强,或对来自捕获设备831-834(n个设备)的场景S的每个图像(n个)执行编辑或编辑多维数字图像序列1010。

此外,计算机系统10和编辑应用程序624可以使用户U能够执行帧增强、层富集、动画、羽化(平滑)、(Photoshop或Acorn照片或图像工具)、一起平滑或填充图像(n个),或者用于在显示器628上产生3D效果的其他软件技术。本文设想,计算机系统10(自动模式)、显示器628和应用程序624可以执行算法或一组步骤,以自动或能够自动执行(正在)对准或(正在)编辑关键对象KS点的像素、像素组的对准、裁剪、缩放、对准、增强,或对由数字图像捕获设备831-834(n个设备)捕获的场景S的多个图像执行编辑或编辑多维数字图像序列1010。

可替换地,在方框或步骤1240中,利用计算机系统10(在手动模式下)、显示器628和应用程序624进行设置,以至少部分地使用户U能够(正在)对准或(正在)编辑关键对象KS点的像素、像素组的对准、裁剪、缩放、对准、增强,或对由数字图像捕获设备831-834(n个设备)捕获的场景S的多个图像执行编辑或编辑多维数字图像序列1010。

此外,经由显示器628和编辑应用程序624的用户U可以设置或选择每帧的速度(观看时间)以及观看周期或永久周期的数量,如图13所示。可以将时间间隔分配给多维数字图像序列1010中的每一帧。此外,帧之间的时间间隔可以在步骤1240被调整以提供多维数字图像序列1010的平滑运动和最佳3D观看。

可替换地,在方框或步骤1240和图15中,利用计算机系统10(在手动模式下)、显示器628和应用程序624进行设置,以至少部分地使用户U能够经由触摸屏显示器628来输入或选择计算机系统10的摄影选项。在调整或选择回放速度或每秒帧数1500的第一示例性选项中,用户U可以指定或选择数字图像速度设置1302,其中用户U可以增加或减少由捕获设备831-834(或‘n’个设备)捕获的显示器628上的场景S的多维数字图像序列1010的回放速度或每秒帧数(图像)FPS。例如,用户U可以利用集成到触摸屏显示器628或计算机系统10中的手指滑块1510或其他反馈功能1510来调整和设置显示器628上场景S的回文循环、多维数字图像序列1010的帧速度。在优选实施例中,帧速度可以从每秒一(1)1501帧调整到每秒六十(60)1560帧。默认帧速度可以设置为0.04s/帧或每秒25帧。用户U可以通过手指滑块1510调整显示器628上场景S的多维数字图像序列1010的回文循环回放速度或每秒帧数,并调整或选择任何地方每秒一(1)1501到六十(60)1560帧的回放速度或每秒帧数,以找到用户U在显示器628上场景S的回文循环多维数字图像序列1010的最佳或个人优选观看速度。本文设想,可以在本文中使用每秒帧数FPS的其他范围,即每秒一(1)1501到六十(60)1560帧。

对于由捕获设备831-834(或‘n’个设备)或多维数字图像序列1010捕获的数字图像,标准DIGY可以具有30FPS或0.03s/帧的帧速率,因此回放是超快的。为了补偿,操作者或用户U可以通过向左或向一(1)1501调节手指滑块1510来将帧速率减慢到大约每秒十(10)帧或大约0.10秒/帧。

本文设想,计算机系统10、显示器628和应用程序624可以执行算法或一组步骤,以自动或手动编辑或应用效果到来自捕获设备831-834的场景S的多个图像(n)中的至少一些图像。

在方框或步骤1250中,经由图像显示应用624的计算机系统10被配置成使得场景S的图像(n个)能够经由有序回文循环在显示器628上针对显示器628的不同维数显示场景S的多维数字图像序列1010。同样,场景S的多维数字图像序列1010,即合成的3D图像序列,可以作为DIF序列输出到显示器628。本文设想,计算机系统10、显示器628和应用程序624可以响应,因为计算机系统10可以执行指令来调整场景S的每个图像(n个)的大小,以适配给定显示器628的尺寸。

此外,用户U可以选择返回到方框或步骤1220,以选择由数字图像捕获设备831-834(n个设备)捕获的场景S的每个源图像、多个图像中的新的关键对象KS,并通过步骤1220-1250前进,以通过创建新的或第二有序循环在显示器628上观看用于新的关键对象KS的场景S的多维数字图像序列1010。

在方框或步骤1250中,显示器628上的多维图像序列1010利用来自捕获设备831-834(n个设备)的场景S的图像(n个)中的每个图像中的对象相对于关键对象平面KSP的位置差异,这引入序列中的图像之间的视差,以在显示器628上显示多维图像序列1010,从而使得用户U能够在方框或步骤1250中在显示器628上观看多维图像序列1010。

此外,在方框或步骤1250中,经由输出应用624的计算机系统10可以被配置为经由通信链路740和/或网络750或5G计算机系统10和应用程序624在显示器628上为一个以上的用户系统720、722、724显示多维图像序列1010。

显示器628可以包括显示设备(例如,无论是否在智能电话、PDA、监视器、TV、平板电脑或其他能够以像素格式投影信息的观看设备上实现的观看屏幕)或打印机(例如,消费者打印机、商店售货亭、专用打印机或其他硬拷贝设备),以在如透镜状或其他物理观看材料上打印多维数字主图像。

在此可以认识到,步骤1220至步骤1240可以由计算机系统10经由图像操纵应用程序626来执行,该图像操纵应用程序626利用不同且分开定位的计算机系统10,诸如一个或多个用户系统720、722、724和应用程序626来执行此处步骤。例如,使用远离图像捕获系统和图像查看系统的图像处理系统,步骤1220至步骤1240可以经由计算机系统10或服务器760和应用程序624远离场景S执行,并经由通信链路740和/或网络750,或经由无线网络(如5G)、计算机系统10和经由更多用户系统720、722、724的应用程序624在用户系统720、722、724和应用程序626之间通信。这里,经由图像操纵应用624的计算机系统10可以操纵来自捕获设备831-834的场景S的多个图像(n个),以生成与关键对象KS点对准的多维数字图像序列1010,并经由通信链路740和/或网络750,或者经由无线网络,如5G计算机系统10或服务器760和应用程序624,将多维数字图像序列1010传输到一个或多个用户系统720、722、724以供显示。

此外,在此可以认识到,步骤1220至步骤1240可以由计算机系统10利用位于车辆上的不同且分开定位的计算机系统10经由图像操纵应用624来执行。例如,使用远离图像捕获系统的图像处理系统,步骤1220至步骤1240经由计算机系统10和应用程序624,计算机系统10可以操纵来自捕获设备831-834的场景S的多个图像(n个),以生成与关键对象KS点对准的多维数字图像序列1010。这里,经由图像操纵应用626的计算机系统10可以利用多维图像序列1010来导航车辆通过场景S。

本文设想,经由输出应用624的计算机系统10可以被配置成使得能够在显示器628上显示多维图像序列1010,以使得多个用户U能够在方框或步骤1250中实时地或作为重播/转播来观看显示器628上的多维图像序列1010。

在此可以认识到,步骤1250可以由计算机系统10经由输出应用程序624利用不同且分开定位的计算机系统10来执行,诸如执行本文步骤的一个或多个用户系统720、722、724和应用程序624。例如,使用输出或图像观看系统,经由计算机系统10和应用程序624远离场景S,并经由通信链路740和/或网络750,或经由无线网络(如5G)、计算机系统10和经由更多用户系统720、722、724的应用程序624在用户系统720、722、724和应用程序626之间通信。这里,计算机系统10输出应用624可以接收场景S的被操纵的多个两个数字图像,并经由通信链路740和/或网络750,或者经由无线网络(如5G)、计算机系统10和应用程序624,向一个以上的用户系统720、722、724显示多维图像序列1010。

此外,经由通信链路740和/或网络750、无线网络(诸如5G),第二计算机系统10和(一个或多个)应用程序624可从相对于关键对象平面KSP的数字图像捕获设备831-834(n个设备)传输场景S的图像(n个)集合,作为显示器628上的多维图像序列1010,以使多个用户U能够在方框或步骤1250中实时地或作为重播/转播观看显示器208上的多维图像序列1010。

作为示例,篮子、击球手的框置、球门、音乐会歌手、教练、演艺人员、领唱乐器或其他娱乐或事件空间可以配置有捕获设备831-834(n个设备),以使得能够在显示器628上显示多维图像序列1010,从而使得多个用户U能够在方框或步骤735中实时地或作为重播/转播观看显示器208上的多维图像序列1010。

参考图14A和图14B,以示例而非限制的方式示出了以设置序列捕获的帧,这些帧以设置序列被回放给眼睛,以及人眼观看显示器628上的DIFY所感知的事物的表示。解释DIFY及其几何形状产生运动视差。运动视差是一点相对于静止点的角度变化。(运动追踪)。注意,因为我们已经设置了关键对象KS点,所以前景中的所有点都将向右移动,而背景中的所有点都将向左移动。在图像反转方向的paledrone中,运动是反转的。不同视图中任何点相对于关键对象的角度变化都会产生运动视差。

DIFY是在设置序列中捕获的一系列帧,这些帧在设置序列中作为循环回放给眼睛。例如,图14A中描绘了两帧(假设第一帧和最后一帧,例如帧1101和1104)的回放。图14A表示对象的位置,如图4中的灌木B在近平面NP上的位置及其与帧1101和1104中的关键对象KS点的关系,其中,由于施加在帧1101、1102、1103和1104上的图像平移,关键对象KS点是恒定的。图11A和图11B中的多个帧(帧1101、1102、1103和1104)可以与主轴1112重叠并偏移达计算出的视差值(水平图像平移(HIT))并通过数字图像捕获设备831-834(n个设备)的间距预设。图14B以示例的方式示出,而不是限制人眼从观看显示器628上的图14A中描绘的两个帧(假设第一和最后一帧,如帧1101和1104,帧1在近平面NP中的灌木B作为点1401,帧2在近平面NP中的灌木B作为点1402)中感知到的内容,其中图像平面或屏幕平面与关键对象KS点和关键对象平面KSP相同,并且观看显示器628的用户U观看显示器628前面或显示器628和用户U眼睛(左眼LE和右眼RE)之间的虚拟深度近平面NP 1410。虚拟深度近平面NP 1410是近平面NP,因为它将近平面NP中的帧1灌木B表示为近平面点1401中的对象,并且将近平面NP中的帧2灌木B表示为近平面点402中的对象,这是用户U眼(左眼LE和右眼RE)在观看显示器628上的多维图像序列1010时看到的最近点。

虚拟深度近平面NP 1410将关键对象KS和近平面点1401中的对象以及近平面点1402中的对象之间的视觉深度模拟为虚拟深度1420,即近平面NP和关键对象平面KSP之间的深度。该深度是由于同一点(近平面点1401中的对象和近平面点1402中的对象)的两个视图之间的双眼视差。近平面点1401中的对象和近平面点1402中的对象优选地是场景S中的同一点,例如由于双眼视差而在时间上排序的不同视图处的灌木B。此外,外部光线1430和更具体地用户U眼睛(左眼LE和右眼RE)观看角度1440优选地与视网膜或眼轴成大约二十七(27)度。(类似于使用显示器628的手机或平板电脑的景深)。这种描绘有助于限定场景S的合成的限制。近平面点1401和近平面点1402优选地位于景深内,外部光线1430和近平面NP必须在外部光线1430的内交叉位置1450之外。

从X1到X2的运动是用户U眼睛(左眼LE和右眼RE)将跟踪的运动。Xn是从眼睛透镜、左眼LE或右眼RE到虚拟近平面1410上的像点1411、1412的距离。X'n是从Xn的直角三角形到从眼睛透镜、左眼LE或右眼RE到虚拟近图像平面1410上的图像点1411、1412到图像平面628、KS、KSP所形成的腿的距离。平滑运动是由在用户U眼睛(左眼LE和右眼RE)观察的每个点处相对于关键对象KS的偏移引起的双眼视差。

对于每只眼睛(左眼LE或右眼RE),可以相对于眼睛CL的中心和眼内间距的中心(瞳孔间距离宽度IPD的一半,1440)形成坐标系。两个角度β和α是用来解释DIFY运动追踪的角度。β是当线从眼睛透镜(左眼LE和右眼RE)穿过虚拟近平面1410到达图像平面628、KS、KSP上的图像时形成的角度。θ为β2-β1。而α是从图像平面628、KS、KSP上的两个帧1101、1104的固定关键对象KS到虚拟近图像平面1410上的点1411、1412的角度。α的变化代表眼睛的追踪。随着虚拟近平面上某一点位置的改变,眼球旋转运动。当左眼和右眼比较时,β是负责平滑运动或双眼视差的角度。从连接到点1440的眼睛透镜(左眼LE和右眼RE)发出的外部光线1430表示图像的景深或边缘,即图像的一半。这条线将随着相机景深的变化而变化,每个数字图像捕获设备831-834。

如果我们将追踪运动限定为一点沿着虚拟近平面的位置差,那么通过利用切线我们导出:

x2-X1=di/(tan∝1-tan∝2)

这些方程表明,追踪运动X

从数学上讲,视网膜运动与平滑的眼睛追踪速率之比决定了人类中央视觉中相对于注视点的深度。KSP的创建提供了创建深度所需的固定点。从数学上讲,所有点的移动将不同于任何其他点,因为参考点在所有情况下都是相同的。

关于以上描述,应当认识到,包括尺寸、材料、形状、形式、位置、运动机构、功能和操作方式、组装和使用的变化的最佳维度关系意在被本公开所包含。

再次参考图13,并且现在参考图15,以示例而非限制的方式示出了使用户U能够选择计算机系统10的摄影选项的触摸屏显示器628。在调整或选择回放速度或每秒帧数1500的第一示例性选项中,用户U可以指定或选择数字图像速度设置1302,其中用户U可以增加或减少由捕获设备831-834(或‘n’个设备)捕获的显示器628上的场景S的多维数字图像序列1010的回放速度或每秒帧数(图像)FPS。例如,用户U可以利用集成到触摸屏显示器628或计算机系统10中的手指滑块1510或其他反馈功能1510来调整和设置显示器628上场景S的回文循环、多维数字图像序列1010的帧速度。在优选实施例中,帧速度可以从每秒一(1)1501帧调整到每秒六十(60)1560帧。默认帧速度可以设置为0.04s/帧或每秒25帧。用户U可以通过手指滑块1510调整显示器628上场景S的多维数字图像序列1010的回文循环回放速度或每秒帧数,并调整或选择每秒一(1)1501到六十(60)1560帧的回放速度或每秒帧数,以找到用户U在显示器628上场景S的回文循环、多维数字图像序列1010的最佳或个人优选观看速度。本文设想,可以在本文中使用每秒帧数FPS的其他范围,即每秒一(1)1501到六十(60)1560帧。

本文进一步设想,手指滑块1510或其他反馈功能可以包括集成到触摸屏显示器628中的向上和向下箭头、径向选择按钮等,以使用户U能够输入,或者计算机系统10的其他反馈功能,以使用户U能够增加或减少(输入)显示器628上的场景S的回文循环、多维数字图像序列1010的回放速度或每秒帧数。

对于由捕获设备831-834(或‘n’个设备)或多维数字图像序列1010捕获的数字图像,标准DIGY可以具有30FPS或0.03s/帧的帧速率,因此回放是超快的。为了补偿,操作者或用户U可以通过向左或向一(1)1501调节手指滑块1510来将帧速率减慢到大约每秒十(10)帧或大约0.10秒/帧。

此外,光流或类似的软件程序可以用于扩展由捕获设备831-834(或‘n’个设备)捕获的数字图像或多维数字图像序列1010的实际数量,并且扩大或内插(内插步骤)由捕获设备831-834(或'n'设备)捕获的数字图像或多维数字图像序列1010到一个更大的数字图像集,如五十(50)个数字图像帧或更多,通过近似或估计帧之间的每像素运动或变化,如由捕获设备831-834(或'n'设备)捕获的的数字图像或多维数字图像序列1010,以在由捕获设备831-834(或'n'设备)捕获的每两个数字图像之间或在多维数字图像序列1010的每两个数字图像之间产生至少一个或多个额外的数字图像。添加到由捕获设备831-834(或“n”个设备)捕获的数字图像或多维数字图像序列1010的附加数字图像帧,创建回文循环的慢动作风格效果,如显示器628上场景S的内插多维数字图像序列1010,并且可以具有接近二十五(25)FPS的电影帧速率的回放速度。

前述描述和附图包括说明性实施例。已经如此描述了示例性实施例,本领域技术人员应该注意,本公开内容仅是示例性的,并且可以在本公开的范围内进行各种其他替代、改编和修改。仅仅按照一定的顺序列出或编号方法的步骤并不构成对该方法步骤顺序的任何限制。受益于前述描述和相关附图中呈现的教导,本公开所属领域的技术人员将想到许多修改和其他实施例。尽管在此可以使用特定的术语,但它们仅用于一般和描述性的意义上,而不是为了限制的目的。尽管已经详细描述了本公开及其优点,但是应当理解,在不脱离由所附权利要求限定的本公开的技术的情况下,可以在这里进行各种改变、替换和变更。因此,本公开不限于这里所示的特定实施例,而是仅由所附权利要求书限制。

相关技术
  • 图像捕获系统、数字图像捕获设备和用于数字图像捕获设备的模块
  • 用于从所观察到的数字图像序列恢复数字图像的方法与设备
技术分类

06120116499262