掌桥专利:专业的专利平台
掌桥专利
首页

投影仪校正方法、系统、存储介质以及电子设备

文献发布时间:2023-06-19 10:58:46


投影仪校正方法、系统、存储介质以及电子设备

技术领域

本公开涉及投影技术领域,具体地,涉及一种投影仪校正方法、系统、存储介质以及电子设备。

背景技术

在传统的投影仪中,投影仪需要正对投影平面放置,才能保证投影仪投影在投影平面上的画面是一个正常的矩形。一旦投影仪的投影方向与投影平面发生偏移,将会使得投影出来的画面发生变形,因此,在画面发生变形时,往往需要用户手动调整投影仪的镜头或者投影仪本身的姿态来校正这个变形。

随着技术的发展,投影仪的梯形校正技术也逐渐被应用,目前在投影仪的梯形校正技术中,主要是以双目校正为主,双目校正往往需要用到两个摄像头或者需要距离传感器来配合摄像头进行使用。然而在投影仪上使用额外的摄像头或者距离传感器,会增加投影仪的硬件成本,而且相关的校正方法通常只对针对长焦、短焦的投影仪进行设计,对于超短焦投影仪而言,由于超短焦投影仪在投射图像时,投射光线存在较大的上扬角度,因此,现有的梯形校正技术并不适用于超短焦投影仪。

发明内容

为克服相关技术中存在的问题,本公开提供一种投影仪校正方法、系统、存储介质以及电子设备。

根据本公开实施例的第一方面,提供一种投影仪校正方法,包括:

控制投影仪的飞行时间传感器对投影平面进行测量,获得所述飞行时间传感器照射在所述投影平面上的多个光点的深度信息;

针对每个所述光点,基于所述光点的深度信息,确定所述光点在所述投影平面上的三维坐标;

根据多个所述光点的三维坐标,确定所述投影平面相对于所述飞行时间传感器的第一测量法向量;

根据所述第一测量法向量,得到所述投影仪的偏移信息;

基于所述偏移信息,对所述投影仪的原始图像的尺度进行校正,得到校正后的原始图像的尺度;

控制所述投影仪根据校正后的原始图像的尺度进行投影。

在一些实施例中,所述偏移信息包括偏航角和俯仰角;

所述根据所述第一测量法向量,得到所述投影仪的偏移信息,包括:

根据所述第一测量法向量、第一标定法向量、第二标定法向量计算得到所述投影仪的偏航角和俯仰角;

所述第一标定法向量是在所述投影仪处于水平位置且所述投影仪的投影光线垂直于投影平面的情况下,通过所述飞行时间传感器对该投影平面进行测量得到的该投影平面的法向量,所述第二标定法向量是将处于所述水平位置的所述投影仪以竖直方向为旋转轴旋转第一预设角度后,通过所述飞行时间传感器对该投影平面进行测量得到的该投影平面的法向量。

在一些实施例中,所述针对每个所述光点,基于所述光点的深度信息,确定所述光点在所述投影平面上的三维坐标,包括:

针对每个所述光点,基于所述光点的深度信息,结合TOF测距模型,得到所述光点在所述投影平面上的三维坐标,其中,所述TOF测距模型为:

其中,x为所述光点在所述投影平面上的X轴坐标,y为所述光点在所述投影平面上的Y轴坐标,z为所述光点在所述投影平面上的Z轴坐标,Dis0为所述光点的深度信息,α为所述光点与所述飞行时间传感器的光心之间的连线与所述飞行时间传感器的投影射线之间的夹角,β为所述光点投影在垂直于所述投影射线且通过所述光心的平面上的投影点与所述光心之间的连线与水平线的夹角。

在一些实施例中,在控制投影仪的飞行时间传感器对投影平面进行测量,获得所述飞行时间传感器照射在所述投影平面上的多个光点的深度信息之后,所述方法还包括:

针对每个所述光点,将所述光点的深度信息与所述飞行时间传感器的测量误差的和作为所述光点的最终的深度信息,其中,所述测量误差是所述飞行时间传感器的测量得到的光点的深度信息与该光点距离所述飞行时间传感器的实际距离之间的差值;

其中,所述测量误差通过以下步骤获得:

在所述投影仪水平放置且所述投影仪的投影光线垂直于投影平面的情况下,控制所述投影仪以竖直方向为旋转轴、以第二预设角度为旋转角度旋转多次,并在每次旋转后,控制所述飞行时间传感器对所述投影平面进行测量,得到每次旋转后的所述飞行时间传感器照射在所述投影平面的光点的测量深度值;以及

基于几何关系计算该光点距离所述飞行时间传感器的真实深度值;

计算每次测量到的测量深度值与该测量深度值对应的真实深度值之间的差值;

将多次计算得到的所述差值的平均值作为所述测量误差。

在一些实施例中,所述基于所述偏移信息,对所述投影仪的原始图像的尺度进行校正,得到校正后的原始图像的尺度,包括:

基于所述偏移信息,得到所述原始图像投射在所述投影平面上的投影图像的二维成像顶点坐标;

基于所述投影图像的二维成像顶点坐标、以及所述投影仪的原始图像的二维成像顶点坐标,建立单应矩阵;

从所述投影图像中选取目标矩形,并确定该目标矩形的二维成像顶点坐标;

根据所述目标矩形的二维成像顶点坐标,结合所述单应矩阵,得到校正后的原始图像的二维成像顶点坐标,并将所述校正后的原始图像的二维成像顶点坐标作为所述校正后的原始图像的尺度。

在一些实施例中,所述从所述投影图像中选取目标矩形,包括:

从所述投影图像的任一边上任意选取一点,并以该点作为待构建的矩形的顶点、以所述原始图像的宽高比作为所述待构建的矩形的宽高比,在所述投影图像的区域内生成矩形;

从生成的矩形中选取面积最大的矩形作为所述目标矩形。

根据本公开实施例的第二方面,提供一种投影仪校正系统,包括:

测量模块,配置为控制投影仪的飞行时间传感器对投影平面进行测量,获得所述飞行时间传感器照射在所述投影平面上的多个光点的深度信息;

三维坐标计算模块,配置为针对每个所述光点,基于所述光点的深度信息,确定所述光点在所述投影平面上的三维坐标;

第一测量法向量计算模块,配置为根据多个所述光点的三维坐标,确定所述投影平面相对于所述飞行时间传感器的第一测量法向量;

偏移信息确定模块,配置为根据所述第一测量法向量,得到所述投影仪的偏移信息;

校正模块,配置为基于所述偏移信息,对所述投影仪的原始图像的尺度进行校正,得到校正后的原始图像的尺度;

投影模块,配置为控制所述投影仪根据校正后的原始图像的尺度进行投影。

在一些实施例中,所述偏移信息包括偏航角和俯仰角;所述偏移信息确定模块具体配置为:

根据所述第一测量法向量、第一标定法向量、第二标定法向量计算得到所述投影仪的偏航角和俯仰角;

所述第一标定法向量是在所述投影仪处于水平位置且所述投影仪的投影光线垂直于投影平面的情况下,通过所述飞行时间传感器对该投影平面进行测量得到的该投影平面的法向量,所述第二标定法向量是将处于所述水平位置的所述投影仪以竖直方向为旋转轴旋转第一预设角度后,通过所述飞行时间传感器对该投影平面进行测量得到的该投影平面的法向量。

根据本公开实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例中任一项所述方法的步骤。

根据本公开实施例的第四方面,提供一种电子设备,包括:

存储器,其上存储有计算机程序;

处理器,用于执行所述存储器中的所述计算机程序,以实现上述实施例中任一项所述方法的步骤。

通过上述技术方案,基于飞行时间传感器获得对投影平面进行测量,从而获得投影平面的第一测量法向量,进而根据第一测量法向量获得投影仪的偏移信息,从而基于该偏移信息对投影仪的原始图像进行校正,使得投影仪根据校正后的原始图像的尺度进行投影,从而使用户观看到的投影图像始终呈现为矩形。由此,本公开在减少投影仪的硬件成本的前提下,实现精准的梯形校正,而且本公开提供的投影仪校正方法的校正速度快、计算量更小。值得说明的是,本公开提供的投影校正方法既适用于长焦、短焦的投影仪,也适用于超短焦投影仪,具有较高的通用性。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:

图1是根据一示例性实施例示出的一种投影仪校正方法的流程图;

图2是根据一示例性实施例示出的计算投影仪的偏移信息的原理示意图;

图3是根据一示例性实施例示出的计算光点的三维坐标的原理示意图;

图4是根据一示例性实施例示出的计算测量误差的流程图;

图5是根据一示例性实施例示出的计算校正后的原始图像的尺度的流程图;

图6是根据一示例性实施例示出的计算校正后的原始图像的尺度的原理示意图;

图7是根据一示例性实施例示出的图5所示的步骤154的详细流程图;

图8是根据一示例性实施例示出的计算第二测量法向量的原理示意图;

图9是根据一示例性实施例示出的射线向量的示意图;

图10是根据一示例性实施例示出的计算标准图像的三维成像顶点坐标的原理示意图;

图11是根据一示例性实施例示出的向量分解的原理示意图;

图12是根据一示例性实施例示出的一种投影仪校正系统的结构示意图;

图13是根据一示例性实施例示出的一种电子设备700的框图;

图14是根据一示例性实施例示出的一种电子设备1900的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。

图1是根据一示例性实施例示出的一种投影仪校正方法的流程图。如图1所示,该投影仪校正方法可以包括以下步骤:

步骤110,控制投影仪的飞行时间传感器对投影平面进行测量,获得所述飞行时间传感器照射在所述投影平面上的多个光点的深度信息。

这里,飞行时间传感器(Time Of Flight,TOF传感器,)的原理是通过向外发射激光脉冲,激光脉冲在遇到物体后发射至飞行时间传感器,计算从发射到反射回飞行时间传感器的时间差或相位差来获得深度数据。在步骤110中,飞行时间传感器向投影平面发射多个激光脉冲,并基于时间差或相位差测量得到照射在投影平面上的多个光点的深度信息。值得说明的是,该投影平面是指墙面或幕布。

应当理解的是,触发飞行时间传感器对投影平面进行测量可以是通过梯形校正指令实现,该梯形校正指令可以是自动触发的,也可以是非自动触发的。例如,若是自动触发的,在投影仪自检测到投影图像为非矩形图像的情况下,投影仪可以自动触发一个梯形校正指令;若是非自动触发的,用户可以按下与投影仪通信连接的控制器的按钮,以此,来触发控制器发送一个梯形校正指令至投影仪,该按钮可以是虚拟按钮,也可以是实体按钮,本实施例对此不作限定。

步骤120,针对每个所述光点,基于所述光点的深度信息,确定所述光点在所述投影平面上的三维坐标。

这里,在获得每个光点的深度信息之后,可以根据飞行时间传感器的光点的原始几何关系以及测量到的飞行时间传感器的光点的偏移几何关系来确定每个光点在投影平面上的三维坐标。应当理解的是,该三维坐标是以飞行时间传感器为坐标原点、飞行时间传感器的照射方向为Z轴得到的三维坐标,因此,光点的三维坐标中的Z轴坐标为深度信息。

步骤130,根据多个所述光点的三维坐标,确定所述投影平面相对于所述飞行时间传感器的第一测量法向量。

这里,在获得多个光点的三维坐标之后,通过对该多个光点的三维坐标进行拟合,得到拟合平面,从而获得该投影平面的第一测量法向量,该第一测量法向量是指垂直于与该拟合平面的线段。其中,可以通过最小二乘法拟合得到该拟合平面。

应当理解的是,第一测量法向量是投影平面相对于飞行时间传感器的法向量。

步骤140,根据所述第一测量法向量,得到所述投影仪的偏移信息。

这里,偏移信息是指投影仪相对于投影平面的旋转情况,其可以包括偏航角、俯仰角以及滚转角中的至少一种。在正常使用的情况下,投影仪是水平放置且投影在投影平面上的投影图像呈现为矩形,在投影仪发生偏移时,投影仪相对于投影平面发生偏移,使得投影仪投影在投影平面上的图像呈现一个不规则四边形,如凸四边形。因此,该偏移信息实际上反映了投影仪相对于投影平面的偏移。

步骤150,基于所述偏移信息,对所述投影仪的原始图像的尺度进行校正,得到校正后的原始图像的尺度。

这里,原始图像指的是投影仪的原始输出图像,一般而言,原始图像是一个矩形图像,如宽度为w,高度为h的图像。当投影仪相对于投影平面倾斜设置时,矩形的原始图像投射在投影平面上会呈现为一个不规则四边形,如凸四边形,为了使得投影仪投射在投影平面上的图像呈现为矩形,因此,需要根据偏移信息对原始图像的尺度进行校正,使得校正后的原始图像投影在投影平面上呈现为矩形。应当理解的是,原始图像的尺度指的是原始图像的尺寸,其可以通过原始图像的四个顶点的顶点坐标进行调整。

步骤160,控制所述投影仪根据校正后的原始图像的尺度进行投影。

这里,在得到校正后的原始图像的尺度之后,投影仪以该校正后的原始图像的尺度进行投影。即投影仪以校正后的原始图像的尺度作为输出图像,使得投影在投影平面上的图像呈现为矩形。

由此,通过飞行时间传感器即可实现投影仪的梯形校正,在减少投影仪硬件成本的前提下,实现精准的梯形校正,而且本公开提供的投影仪校正方法的校正速度快、计算量更小。特别地,本公开提出的投影仪校正方法不仅适用于长焦投影仪、短焦投影仪,也适用于超短焦投影仪。

在一些可实现的实施例中,所述偏移信息包括偏航角和俯仰角,步骤140中,根据所述第一测量法向量,得到所述投影仪的偏移信息,包括:

根据所述第一测量法向量、第一标定法向量、第二标定法向量计算得到所述投影仪的偏航角和俯仰角;

所述第一标定法向量是在所述投影仪处于水平位置且所述投影仪的投影光线垂直于投影平面的情况下,通过所述飞行时间传感器对该投影平面进行测量得到的该投影平面的法向量,所述第二标定法向量是将处于所述水平位置的所述投影仪以竖直方向为旋转轴旋转第一预设角度后,通过所述飞行时间传感器对该投影平面进行测量得到的该投影平面的法向量。

这里,基于第一测量法向量计算得到投影仪的偏移信息实际上是根据第一测量法向量来计算投影仪的旋转情况。即基于投影仪移动,投影平面保持不动的情况下,投影仪不动而投影平面移动,因此,可以通过第一测量法向量来计算得到投影仪的偏移信息。

图2是根据一示例性实施例示出的计算投影仪的偏移信息的原理示意图。如图2所示,在投影仪处于水平位置且所述投影仪的投影光线垂直于投影平面的情况下,通过所述飞行时间传感器对该投影平面进行测量得到第一标定法向量

其中,result

其中,可以通过如下计算式计算得到

其中,

因此,在上述实施方式中,通过预先标定的第一标定法向量、第二标定法向量即可准确计算到投影仪的偏航角以及俯仰角。通过上述实施方式,可以让标定过程变得简单可行,利用大规模应用。

应当理解的是,偏移信息包括偏航角、俯仰角,也可以包括滚转角,该滚转角可以通过第一测量法向量计算得到,也可以通过IMU测得,一般优选为通过IMU计算投影仪的滚转角。其具体原理是:IMU获取投影仪的当前位姿信息,进而根据当前位姿信息计算得到滚转角,该计算方法为现有技术,在此不作详细说明。

在一些可实现的实施方式中,步骤120中,针对每个所述光点,基于所述光点的深度信息,确定所述光点在所述投影平面上的三维坐标,包括:

针对每个所述光点,基于所述光点的深度信息,结合TOF测距模型,得到所述光点在所述投影平面上的三维坐标,其中,所述TOF测距模型为:

其中,x为所述光点在所述投影平面上的X轴坐标,y为所述光点在所述投影平面上的Y轴坐标,z为所述光点在所述投影平面上的Z轴坐标,Dis0为所述光点的深度信息,α为所述光点与所述飞行时间传感器的光心之间的连线与所述飞行时间传感器的投影射线之间的夹角,β为所述光点投影在垂直于所述投影射线且通过所述光心的平面上的投影点与所述光心之间的连线与水平线的夹角。

图3是根据一示例性实施例示出的计算光点的三维坐标的原理示意图。如图3所示,

因此,对于光点

值得说明的是,在上述实施方式中,是以面阵式的飞行时间传感器对光点在投影平面上的三维坐标进行详细说明,其目的均是为了确定投影平面相对于飞行时间传感器的第一测量法向量。在实际应用过程中,也可以使用其它距离传感器进行测量,对于不同的距离传感器可以使用不同的计算方式,在此不作详细说明。例如,单点式的飞行时间传感器,可以测出投影平面不同方位的四个点的三维坐标。

在一些可实现的实施方式中,在步骤110之后,所述方法还可以包括:

针对每个所述光点,将所述光点的深度信息与所述飞行时间传感器的测量误差的和作为所述光点的最终的深度信息,其中,所述测量误差是所述飞行时间传感器的测量得到的光点的深度信息与该光点距离所述飞行时间传感器的实际距离之间的差值。

这里,飞行时间传感器在实际测量过程中,由于飞行时间传感器的镜头畸变等因素,会造成测量得到的深度信息与基于几何关系计算得到的真实深度信息出现误差。因此,针对每个光点,将所述光点的深度信息与所述飞行时间传感器的测量误差的和作为所述光点的最终的深度信息。例如,光点

图4是根据一示例性实施例示出的计算测量误差的流程图。如图4所示,计算所述测量误差包括以下步骤:

在步骤111中,在所述投影仪水平放置且所述投影仪的投影光线垂直于投影平面的情况下,控制所述投影仪以竖直方向为旋转轴、以第二预设角度为旋转角度旋转多次,并在每次旋转后,控制所述飞行时间传感器对所述投影平面进行测量,得到每次旋转后的所述飞行时间传感器照射在所述投影平面的光点的测量深度值。

这里,在投影仪水平放置且投影仪的投影光线垂直于投影平面的情况下,控制飞行时间传感器对投影平面进行测量,得到每个光点的深度信息,并分析每个光点的情况,以确保每个光点之间的偏差不会超过预设阈值。然后,控制所述投影仪以竖直方向为旋转轴、以第二预设角度为旋转角度旋转多次,并在每次旋转后,控制所述飞行时间传感器对所述投影平面进行测量,得到每次旋转后的所述飞行时间传感器照射在所述投影平面的光点的测量深度值。

在步骤112中,基于几何关系计算该光点距离所述飞行时间传感器的真实深度值。

这里,在每次测量过程中,均通过几何关系计算每个光点距离飞行时间传感器的真实深度值。该真实深度值反映了光点与飞行时间传感器的真实距离,不受飞行时间传感器的硬件影响。应当理解的是,该几何关系指的是投影仪与投影平面的距离以及各个光点的几何关系。

在步骤113中,计算每次测量到的测量深度值与该测量深度值对应的真实深度值之间的差值。

这里,在每次测量之后,计算测量到的测量深度值与该测量深度值对应的真实深度值之间的差值,该差值即是光点的测量误差。

在步骤114中,将多次计算得到的所述差值的平均值作为所述测量误差。

这里,通过采集若干次测量过程计算到的差值,计算平均值可以提高飞行时间传感器的测量精度。应当理解的是,测量深度值是指飞行时间传感器测量出来的值,真实深度值是根据几何关系算出来的实际距离,投影仪每旋转一个第二预设角度都会有一个真实深度值和测量深度值,通过多组测量数据可以得到真实深度值和测量深度值之间的关系,在之后的使用过程中,只需要知道测量深度值即可知道真实深度值是多少,从而提高TOF的测量精度。

图5是根据一示例性实施例示出的计算校正后的原始图像的尺度的流程图。如图5所示,在一些可实现的实施方式中,步骤150中,基于所述偏移信息,对所述投影仪的原始图像的尺度进行校正,得到校正后的原始图像的尺度,包括:步骤151至步骤154。

在步骤151中,基于所述偏移信息,得到所述原始图像投射在所述投影平面上的投影图像的二维成像顶点坐标。

这里,一般而言,投影仪在正常使用时,矩形的原始图像投射在投影平面上的投影图像同样呈现为矩形。在投影仪或投影平面发生偏移时,矩形的原始图像投影在投影平面上的投影图像不再呈现为矩形。其中,投影图像的二维成像顶点坐标指的是投影图像的四个顶点的二维坐标,其反映了投影图像的大小、形状以及位置。

在步骤152中,基于所述投影图像的二维成像顶点坐标、以及所述投影仪的原始图像的二维成像顶点坐标,建立单应矩阵。

这里,原始图像的二维成像顶点坐标是指原始图像在归一化平面上的二维顶点坐标,如根据原始图像的分辨率或宽高比可以确定原始图像的二维成像顶点坐标。

其中,单应矩阵是射影几何中的概念,又称为射影变换。它是把一个射影平面上的点(三维齐次矢量)映射到另一个射影平面上。假设已知两个图像之间的单应矩阵,则可以由一个平面的图像转换到另一平面上。通过平面的转换,是为了在同一个平面上进行投影校正。因此,在得知投影仪的原始图像的二维成像顶点坐标和投影图像的二维成像顶点坐标之后,可以构建出相应的单应矩阵。

在步骤153中,从所述投影图像中选取目标矩形,并确定该目标矩形的二维成像顶点坐标。

这里,目标矩形是在投影图像的区域内选取的一个矩形,该目标矩形为用户最终看到的图像区域。应当理解的是,目标矩形可以是在所述投影图像中面积最大的矩形。通过将目标矩形设置为面积最大的矩形可以实现最大化投影面积,提高用户体验。

在步骤154中,根据所述目标矩形的二维成像顶点坐标,结合所述单应矩阵,得到校正后的原始图像的二维成像顶点坐标,并将所述校正后的原始图像的二维成像顶点坐标作为所述校正后的原始图像的尺度。

这里,在确定到目标矩形的二维成像顶点坐标之后,可以通过单应矩阵进行反变换,得到校正后的原始图像的二维成像顶点坐标,从而得到校正后的原始图像的尺度。

下面,结合附图6对上述实施方式进行详细说明。

图6是根据一示例性实施例示出的计算校正后的原始图像的尺度的原理示意图。如图6所示,原始图像为一个矩形图像,其投影在投影平面上的投影图像为不规则四边形,目标矩形为在投影图像的区域内选取的矩形,该目标矩形是指用户最终看到的经过校正后的图像所在的区域。因此,在已知原始图像与投影图像的单应矩阵以及目标矩形的二维成像顶点坐标的情况下,可以反变换得到校正后的原始图像的尺度,其呈现为一个不规则四边形。投影仪通过输出校正后的原始图像,可以使得投影仪投影在投影平面上的图像呈现为目标矩形的形状,从而实现投影仪的自动梯形校正。

图7是根据一示例性实施例示出的图5所示的步骤154的详细流程图。如图7所示,在一些可实现的实施方式中,步骤154中,基于所述偏移信息,得到所述原始图像投射在所述投影平面上的投影图像的二维成像顶点坐标,包括:步骤1541至步骤1544。

在步骤1541中,基于所述偏移信息,得到所述投影图像相对于所述投影仪的第二测量法向量。

这里,第一测量法向量是投影平面相对于飞行时间传感器的法向量,由此计算出投影仪的偏移信息,该偏移信息包括偏航角以及俯仰角。根据该偏移信息得到的第二测量法向量,则是投影平面相对于投影机的投影中心的法向量。

在一些可实现的实施方式中,步骤1541中,基于所述偏移信息,得到所述投影图像相对于所述投影仪的第二测量法向量,包括:

基于所述偏航角、所述俯仰角,利用第一预设计算式,计算得到所述投影图像相对于所述投影仪的第二测量法向量,其中,所述第一预设计算式为:

其中,X

图8是根据一示例性实施例示出的计算第二测量法向量的原理示意图。如图8所示,在投影仪发生偏航、俯仰、滚转等旋转时,投影图像会以一个目标点作为旋转的中心点,因此,目标点的坐标位置不会发生变化。在图8中,该目标点为点E,即投影图像的底边中心点。值得说明的是,目标点实际上是投影仪水平放置、投影仪的投影光线垂直于投影平面、以及投影仪距离该投影平面预设距离阈值进行投影时的投影图像底边的中心点。虽然点E可以为底边的中心点,但是目标点可以在投影图像的垂直中心线上任意选取一点,即目标点可以在线段EF中任取一点。

因此,在得到投影仪的偏移信息之后,可以将偏移信息代入第一预设计算式中计算得到第一测量法向量。例如,投影平面以点E为旋转中心进行偏航旋转H度、俯仰旋转V度,则未发生旋转前的法向量为(0,0,1),旋转后得到的第二测量法向量为(tan(H)*k,tan(V)*k,k),k=

在步骤1542中,基于所述第二测量法向量,以及预设的目标点的坐标信息,确定所述投影图像所在平面的位置信息,其中,所述目标点为所述投影图像进行旋转的预设中心点。

这里,由于目标点是预设的投影图像进行偏航、俯仰以及滚转等旋转的预设中心点,因此,目标点的坐标信息是不变的。在确定到第二测量法向量以及目标点之后,可以确定出投影图像所在平面的位置信息。

在步骤1543中,基于所述位置信息、结合预先建立的射线向量,得到所述投影图像的三维成像顶点坐标,其中,所述射线向量为所述投影仪投射的投影图像的顶点与所述投影仪的光心之间的连线的单位向量。

这里,射线向量是指投影仪投射的投影图像的顶点与投影仪的光心之间的连线的单位向量,即投影仪向外投射投影图像,其投射的投影图形的四个顶点与光心之间的连线不会因为投影仪偏移而发生变化。在确定到投影图像所在平面的位置信息之后,通过射线向量可以确定到射线向量与投影图像所在平面的交点,该交点即为原始图像投射在投影平面上的投影图像的4个顶点坐标。

图9是根据一示例性实施例示出的射线向量的示意图。如图9所示,投影图像的四个顶点与光心之间的连线的单位向量即为射线向量。

其中,射线向量可以通过以下步骤获得:

获取所述投影仪的光机参数,其中,所述光机参数包括投影光线的上扬角度、投射比以及宽高比;

根据所述投影仪的光机参数,得到所述投影仪以预设条件投射在投影平面上的标准图像的三维成像顶点坐标,其中,所述预设条件为所述投影仪水平放置、所述投影仪的投影光线垂直于该投影平面、以及所述投影仪距离该投影平面预设距离阈值;

根据所述标准图像的三维成像顶点坐标,计算得到所述标准图像的顶点与所述投影仪的光心之间的连线的单位向量,并将该单位向量作为所述射线向量。

这里,投影仪因为深度的远近投影图像会产生相似性的变化,例如,投射到投影平面的投影图像为矩形,不管深度远近,投影图像始终为矩形。因此,投影仪以预设条件向投影平面投射,则可以根据投影仪的光机参数计算得到在预设条件下投射的标准图像的三维成像顶点坐标。其中,上扬角度是指投影仪的投影光线的上扬角度,在一般情况下,上扬角度与投影仪的型号相关。

计算标准图像的三维成像顶点坐标的具体过程如下:

图10是根据一示例性实施例示出的计算标准图像的三维成像顶点坐标的原理示意图。如图10所示,标准图像存在四个顶点,分别为第一顶点0、第二顶点1、第三顶点2、第四顶点3,其中,第一顶点0为位于投影图像的右上角的顶点,第二顶点1为位于投影图像的左上角的顶点,第三顶点2为位于投影图像的右下角的顶点,第四顶点3为位于投影图像的左下角的顶点。

根据光机参数,定义预设距离阈值为f,投射比为throwRatio,w为投影图像的宽度,h为投影图像的高度,根据三角关系,则存在throwRatio=f/w。则

则第一顶点0的三维成像顶点坐标为:

第二顶点1的三维成像顶点坐标为:

第三顶点2的三维成像顶点坐标为:

第四顶点3的三维成像顶点坐标为:

其中,

在计算得到标准图像的三维成像顶点坐标之后,可以利用向量计算投影仪的光心与四个顶点的四条射线向量,单位向量即是该顶点的射线向量除以射线向量的模。

应当理解的是,射线向量与投影仪的光机参数以及滚转角相关,在投影仪的光机参数和/或滚转角未发生变化的情况下,射线向量是不变的。

在步骤1544中,对所述投影图像的三维成像顶点坐标进行向量分解,得到所述投影图像的二维成像顶点坐标。

这里,在计算得到投影图像的三维成像顶点坐标之后,需要基于向量分解将四个顶点的三维成像顶点坐标转换为二维的二维成像顶点坐标。其具体做法是将向量分解到水平面上的基向量,例如,

其中,

图11是根据一示例性实施例示出的向量分解的原理示意图。如图11所示,投影图像存在G、I、J以及H共4个顶点。在求取到投影图像的三维成像顶点坐标之后,以点G、I、J以及H中的任一点为坐标原点建立坐标系将三维成像顶点坐标转换为二维成像顶点坐标。在本公开中以H点为坐标原点建立坐标系对向量分解计算二维成像顶点坐标的过程进行详细说明。则可以利用如下计算式将点G、I、J的三维成像顶点坐标转换为二维成像顶点坐标。

其中,x为二维成像顶点坐标的X轴坐标,vectorP(0)为向量vectorP的X轴坐标,

由此,通过上述计算式,可以将投影图像的三维成像顶点坐标转换为投影图像的二维成像顶点坐标。

在一些可实现的实施方式中,在根据所述投影仪的光机参数,得到所述投影仪以预设条件投射在投影平面上的标准图像的三维成像顶点坐标之后,所述方法还包括:

获取所述投影仪的当前滚转角;

当所述当前滚转角未满足预设阈值时,根据所述当前滚转角,结合第二预设计算式,对所述标准图像的三维成像顶点坐标中的X轴坐标以及Y轴坐标进行修正,所述第二预设计算式为:

其中,

将修正后的X轴坐标以及Y轴坐标作为所述标准图像的顶点的新的X轴坐标和Y轴坐标。

这里,可以通过设置于投影仪的惯性传感器(Inertial Measurement Unit,简称IMU)来获取投影仪的当前滚转角,当当前滚转角未满足预设阈值,说明投影仪发生了滚转的旋转。例如,当前滚转角不为0,则说明投影仪发生了滚转的旋转。当投影仪发生了滚转,其标准图像会以光心射线为旋转轴进行滚转,则标准图像的三维成像顶点坐标的X轴坐标以及Y轴坐标会发生变化,因此,需要基于第二预设计算式计算发生滚转的标准图像的三维顶点坐标的X轴坐标以及Y轴坐标,得到各个顶点修正后的X轴坐标以及Y轴坐标,从而获得标准图像新的三维成像顶点坐标。然后基于该新的三维成像顶点坐标重新计算射线向量,并求解出投影图像的三维成像顶点坐标。

应当理解的是,旋转中心rotateP的坐标可以是(0,0),旋转中心rotateP是指投影仪进行滚转的旋转中心,上述的预设中心点是假想的投影仪在发生偏航、俯仰的旋转之后,投影图像发生的偏移。

由此,通过滚转角可以考虑到投影仪在发送滚转之后的旋转投影图像的变化,从而实现精准的梯形校正。

应当理解的是,在上述实施方式中提出了一种计算投影图像的二维顶点坐标的实施方式,在具体应用中不仅可以使用上述实施方式公开的方法计算投影图像的二维顶点坐标,也可以使用其他方法计算投影图像的二维顶点坐标。例如,基于该偏移信息、以及原始图像的顶点坐标,计算得到经过旋转后的原始图像的顶点坐标。其中,经过旋转后的原始图像的顶点坐标是指原始图像的顶点坐标经过偏航角、俯仰角以及滚转角旋转之后的顶点坐标,然后再基于计算得到的投影仪的投影深度,计算旋转后的原始图像的顶点坐标映射到投影平面的投影图像的二维顶点坐标。其中,投影深度是指投影仪与投影平面的距离。在一些可实现的实施方式中,步骤153中,从所述投影图像中选取目标矩形,可以包括:

从所述投影图像的任一边上任意选取一点,并以该点作为待构建的矩形的顶点、以所述原始图像的宽高比作为所述待构建的矩形的宽高比,在所述投影图像的区域内生成矩形;

从生成的矩形中选取面积最大的矩形作为所述目标矩形。

这里,选取目标矩形的具体做法可以是在投影图像任一边上任意选取一点,并以该点作为待构建的矩形的顶点、以原始图像的宽高比作为待构建的矩形的宽高比,在投影图像的区域内生成矩形,并从生成的矩形中选取面积最大的矩形作为目标矩形。

例如,遍历投影图像的最长边以及与该最长边相邻的边,选取任一点作为待构建的矩形的顶点,向投影图像的四周生成宽高比与原始图像一致的宽高比的矩形,在遍历完成最后,从所有生成的矩形中查找出面积最大的矩形作为目标矩形。

由此,通过选取面积最大的矩形作为目标矩形,可以保证用户观看到的投影图像面积最大,从而提升用户的观看体验。

图12是根据一示例性实施例示出的一种投影仪校正系统的结构示意图。如图12所示,该系统400包括:

测量模块401,配置为控制投影仪的飞行时间传感器对投影平面进行测量,获得所述飞行时间传感器照射在所述投影平面上的多个光点的深度信息;

三维坐标计算模块402,配置为针对每个所述光点,基于所述光点的深度信息,确定所述光点在所述投影平面上的三维坐标;

第一测量法向量计算模块403,配置为根据多个所述光点的三维坐标,确定所述投影平面相对于所述飞行时间传感器的第一测量法向量;

偏移信息确定模块404,配置为根据所述第一测量法向量,得到所述投影仪的偏移信息;

校正模块405,配置为基于所述偏移信息,对所述投影仪的原始图像的尺度进行校正,得到校正后的原始图像的尺度;

投影模块406,配置为控制所述投影仪根据校正后的原始图像的尺度进行投影。

可选地,所述偏移信息包括偏航角和俯仰角;所述偏移信息确定模块404具体配置为:

根据所述第一测量法向量、第一标定法向量、第二标定法向量计算得到所述投影仪的偏航角和俯仰角;

所述第一标定法向量是在所述投影仪处于水平位置且所述投影仪的投影光线垂直于投影平面的情况下,通过所述飞行时间传感器对该投影平面进行测量得到的该投影平面的法向量,所述第二标定法向量是将处于所述水平位置的所述投影仪以竖直方向为旋转轴旋转第一预设角度后,通过所述飞行时间传感器对该投影平面进行测量得到的该投影平面的法向量。

可选地,所述三维坐标计算模块402具体配置为:

针对每个所述光点,基于所述光点的深度信息,结合TOF测距模型,得到所述光点在所述投影平面上的三维坐标,其中,所述TOF测距模型为:

其中,x为所述光点在所述投影平面上的X轴坐标,y为所述光点在所述投影平面上的Y轴坐标,z为所述光点在所述投影平面上的Z轴坐标,Dis0为所述光点的深度信息,α为所述光点与所述飞行时间传感器的光心之间的连线与所述飞行时间传感器的投影射线之间的夹角,β为所述光点投影在垂直于所述投影射线且通过所述光心的平面上的投影点与所述光心之间的连线与水平线的夹角。

可选地,所述系统400还包括:

深度修正模块,配置为针对每个所述光点,将所述光点的深度信息与所述飞行时间传感器的测量误差的和作为所述光点的最终的深度信息,其中,所述测量误差是所述飞行时间传感器的测量得到的光点的深度信息与该光点距离所述飞行时间传感器的实际距离之间的差值;

其中,所述测量误差通过以下步骤获得:

在所述投影仪水平放置且所述投影仪的投影光线垂直于投影平面的情况下,控制所述投影仪以竖直方向为旋转轴、以第二预设角度为旋转角度旋转多次,并在每次旋转后,控制所述飞行时间传感器对所述投影平面进行测量,得到每次旋转后的所述飞行时间传感器照射在所述投影平面的光点的测量深度值;以及

基于几何关系计算该光点距离所述飞行时间传感器的真实深度值;

计算每次测量到的测量深度值与该测量深度值对应的真实深度值之间的差值;

将多次计算得到的所述差值的平均值作为所述测量误差。

可选地,所述校正模块405包括:

顶点坐标计算单元,配置为基于所述偏移信息,得到所述原始图像投射在所述投影平面上的投影图像的二维成像顶点坐标;

单应矩阵构建单元,配置为基于所述投影图像的二维成像顶点坐标、以及所述投影仪的原始图像的二维成像顶点坐标,建立单应矩阵;

选取单元,配置为从所述投影图像中选取目标矩形,并确定该目标矩形的二维成像顶点坐标;

尺度校正单元,配置为根据所述目标矩形的二维成像顶点坐标,结合所述单应矩阵,得到校正后的原始图像的二维成像顶点坐标,并将所述校正后的原始图像的二维成像顶点坐标作为所述校正后的原始图像的尺度。

可选地,所述选取单元具体配置为:

从所述投影图像的任一边上任意选取一点,并以该点作为待构建的矩形的顶点、以所述原始图像的宽高比作为所述待构建的矩形的宽高比,在所述投影图像的区域内生成矩形;

从生成的矩形中选取面积最大的矩形作为所述目标矩形。

关于上述实施例中的系统,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

图13是根据一示例性实施例示出的一种电子设备700的框图。如图13所示,该电子设备700可以包括:处理器701,存储器702。该电子设备700还可以包括多媒体组件703,输入/输出(I/O)接口704,以及通信组件705中的一者或多者。

其中,处理器701用于控制该电子设备700的整体操作,以完成上述的投影仪校正方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作,这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件705可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。

在一示例性实施例中,电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的投影仪校正方法。

在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的投影仪校正方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器702,上述程序指令可由电子设备700的处理器701执行以完成上述的投影仪校正方法。

图14是根据一示例性实施例示出的一种电子设备1900的框图。例如,电子设备1900可以被提供为一服务器。参照图14,电子设备1900包括处理器1922,其数量可以为一个或多个,以及存储器1932,用于存储可由处理器1922执行的计算机程序。存储器1932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理器1922可以被配置为执行该计算机程序,以执行上述的投影仪校正方法。

另外,电子设备1900还可以包括电源组件1926和通信组件1950,该电源组件1926可以被配置为执行电子设备1900的电源管理,该通信组件1950可以被配置为实现电子设备1900的通信,例如,有线或无线通信。此外,该电子设备1900还可以包括输入/输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统,例如WindowsServer

在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的投影仪校正方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器1932,上述程序指令可由电子设备1900的处理器1922执行以完成上述的投影仪校正方法。

在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的投影仪校正方法的代码部分。

以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。

另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。

此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

相关技术
  • 投影仪校正方法、系统、存储介质以及电子设备
  • 投影仪校正方法、系统、存储介质以及电子设备
技术分类

06120112754171