一种标定方法、装置及电子设备

技术领域

本公开涉及计算机技术领域，尤其涉及一种标定方法、装置及电子设备。

背景技术

虚拟拍摄是指：将经虚拟引擎渲染得到的场景图投屏到屏幕上显示，然后演员利用屏幕作为背景进行表演，图像采集装置同时拍摄演员和屏幕，之后，再将拍摄到的图像与原始场景图合成，从而将真实演员置身于虚拟场景中，达到在影棚内拍摄外景或科幻背景的效果。

在进行虚拟拍摄前，通常需要对图像采集装置的镜头进行标定，现有的标定技术针对定焦镜头，而缺乏针对变焦镜头的标定。

发明内容

有鉴于此，本公开提出了一种标定方法、装置、电子设备、存储介质及计算机程序产品。

根据本公开的一方面，提供了一种标定方法，用于对虚拟拍摄场景中图像采集装置进行标定，所述方法包括：

对第一焦距对应的内参进行标定，所述第一焦距为所述图像采集装置多个焦距中的一个焦距；

获取所述多个焦距中各焦距的采集图像，所述采集图像为所述图像采集装置在同一位姿、所述多个焦距中各焦距下分别拍摄屏幕中画面得到的图像；

根据标定后的所述第一焦距对应的内参及所述多个焦距中各焦距的采集图像，对所述多个焦距中除所述第一焦距外的各焦距的内参进行标定。

在一种可能的实现方式中，所述多个焦距中各焦距的采集图像，包括所述多个焦距中各焦距下均对屏幕中画面进行一次拍摄得到的图像。

在一种可能的实现方式中，所述根据标定后的所述第一焦距对应的内参及所述多个焦距中各焦距的采集图像，对所述多个焦距内除所述第一焦距外的各焦距的内参进行标定，包括：

根据所述多个焦距中与第二焦距相邻的至少一个焦距对应的内参，确定所述第二焦距对应的内参的初始值；其中，所述第二焦距为所述多个焦距中除所述第一焦距外的任一焦距；

根据所述第二焦距对应的内参的初始值及所述第二焦距的采集图像，确定所述第二焦距对应的内参的标定值，

其中，当所述第二焦距与所述第一焦距相邻时，所述多个焦距中与所述第二焦距相邻的至少一个焦距包括所述第一焦距。

在一种可能的实现方式中，所述多个焦距中各焦距的采集图像中包括多个特征点；

所述根据所述第二焦距对应的内参的初始值及所述第二焦距的采集图像，确定所述第二焦距对应的内参的标定值，包括：

确定所述第二焦距的采集图像中各特征点的二维坐标，及各特征点在屏幕上的三维坐标；

根据所述第二焦距对应的内参的初始值、所述第二焦距的采集图像中各特征点的二维坐标及各特征点在屏幕上的三维坐标，确定所述第二焦距对应的内参的标定值。

在一种可能的实现方式中，所述根据所述第二焦距对应的内参的初始值、所述第二焦距的采集图像中各特征点的二维坐标及各特征点在屏幕上的三维坐标，确定所述第二焦距对应的内参的标定值，包括：

根据所述图像采集装置的位姿、所述第二焦距的采集图像中各特征点的二维坐标及各特征点在屏幕中的三维坐标、所述第二焦距对应的内参的初始值，确定所述第二焦距对应的内参的标定值。

在一种可能的实现方式中，所述根据所述图像采集装置的位姿、所述第二焦距的采集图像中各特征点的二维坐标及各特征点在屏幕中的三维坐标、所述第二焦距对应的内参的初始值，确定所述第二焦距对应的内参的标定值，包括：

根据所述图像采集装置的位姿及所述第二焦距对应的内参的取值，确定所述第二焦距的采集图像中各特征点在屏幕中的三维坐标对应的二维参考坐标；并基于所述二维参考坐标及所述第二焦距的采集图像中各特征点的二维坐标，对所述第二焦距对应的内参的取值进行迭代优化，并将满足预设条件时所述第二焦距对应的内参的取值作为所述标定值；其中，将所述第二焦距对应的内参的初始值作为迭代优化过程中所述第二焦距对应的内参的初始取值。

在一种可能的实现方式中，所述方法还包括：

确定第三焦距，其中，所述第三焦距为所述图像采集装置的变焦范围内的任一焦距；

在所述多个焦距中确定与所述第三焦距相邻的一个或多个焦距；

根据所述一个或多个焦距对应的内参，确定所述第三焦距对应的内参。

在一种可能的实现方式中，所述对第一焦距对应的内参进行标定，包括：

采用定焦标定的方式，对所述第一焦距对应的内参进行标定。

在一种可能的实现方式中，所述第一焦距为所述多个焦距中的最小焦距。

根据本公开的另一方面，提供了一种标定装置，用于对虚拟拍摄场景中图像采集装置进行标定，所述装置包括：

标定模块，用于对第一焦距对应的内参进行标定，所述第一焦距为所述图像采集装置多个焦距中的一个焦距；

获取模块，用于获取所述多个焦距中各焦距的采集图像，所述采集图像为所述图像采集装置在同一位姿、所述多个焦距中各焦距下分别拍摄屏幕中画面得到的图像；

所述标定模块，还用于根据标定后的所述第一焦距对应的内参及所述多个焦距中各焦距的采集图像，对所述多个焦距中除所述第一焦距外的各焦距的内参进行标定。

在一种可能的实现方式中，所述多个焦距中各焦距的采集图像，包括所述多个焦距中各焦距下均对屏幕中画面进行一次拍摄得到的图像。

在一种可能的实现方式中，所述标定模块，还用于：根据所述多个焦距中与第二焦距相邻的至少一个焦距对应的内参，确定所述第二焦距对应的内参的初始值；其中，所述第二焦距为所述多个焦距中除所述第一焦距外的任一焦距；根据所述第二焦距对应的内参的初始值及所述第二焦距的采集图像，确定所述第二焦距对应的内参的标定值，其中，当所述第二焦距与所述第一焦距相邻时，所述多个焦距中与所述第二焦距相邻的至少一个焦距包括所述第一焦距。

在一种可能的实现方式中，所述多个焦距中各焦距的采集图像中包括多个特征点；所述标定模块，还用于：确定所述第二焦距的采集图像中各特征点的二维坐标，及各特征点在屏幕上的三维坐标；根据所述第二焦距对应的内参的初始值、所述第二焦距的采集图像中各特征点的二维坐标及各特征点在屏幕上的三维坐标，确定所述第二焦距对应的内参的标定值。

在一种可能的实现方式中，所述标定模块，还用于：根据所述图像采集装置的位姿、所述第二焦距的采集图像中各特征点的二维坐标及各特征点在屏幕中的三维坐标、所述第二焦距对应的内参的初始值，确定所述第二焦距对应的内参的标定值。

在一种可能的实现方式中，所述标定模块，还用于：根据所述图像采集装置的位姿及所述第二焦距对应的内参的取值，确定所述第二焦距的采集图像中各特征点在屏幕中的三维坐标对应的二维参考坐标；并基于所述二维参考坐标及所述第二焦距的采集图像中各特征点的二维坐标，对所述第二焦距对应的内参的取值进行迭代优化，并将满足预设条件时所述第二焦距对应的内参的取值作为所述标定值；其中，将所述第二焦距对应的内参的初始值作为迭代优化过程中所述第二焦距对应的内参的初始取值。

在一种可能的实现方式中，所述标定模块，还用于：确定第三焦距，其中，所述第三焦距为所述图像采集装置的变焦范围内的任一焦距；在所述多个焦距中确定与所述第三焦距相邻的一个或多个焦距；根据所述一个或多个焦距对应的内参，确定所述第三焦距对应的内参。

在一种可能的实现方式中，所述标定模块，还用于：采用定焦标定的方式，对所述第一焦距对应的内参进行标定。

在一种可能的实现方式中，所述第一焦距为所述多个焦距中的最小焦距。

根据本公开的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。

根据本公开的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。

通过本公开实施例，采用一个主焦距(第一焦距)+多个子焦距(多个焦距中除第一焦距外的各焦距)的模式；首先对第一焦距对应的内参进行标定，然后基于第一焦距对应的内参及在同一位姿、各焦距下分别拍摄屏幕中画面得到的采集图像，标定多个焦距中除第一焦距外的各焦距对应的内参，实现对图像采集装置的变焦镜头的标定；作为一个示例，每个焦距仅需采集一张图像即可完成标定，从而大大减少了数据采集量及数据处理量，节约了标定的时间，有效提高了变焦镜头的标定效率。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出了根据本公开一实施例的一种虚拟拍摄场景的示意图。

图2示出了根据本公开一实施例的一种标定方法的流程图。

图3示出了根据本公开一实施例的采集图像中特征点的示意图。

图4示出了根据本公开一实施例的采集图像中特征点及定位标识符的示意图。

图5示出了根据本公开一实施例的另一种标定方法的流程图。

图6示出了根据本公开一实施例的另一种标定方法的流程图。

图7示出了根据本公开一实施例的一种标定装置的结构图。

图8示出了根据本公开一实施例的一种电子设备的结构示意图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本公开的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“示例性”、“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本公开中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：包括单独存在A，同时存在A和B，以及单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

下面首先对本公开实施例适用的应用场景进行示例性说明。

图1示出了根据本公开一实施例的一种虚拟拍摄场景的示意图，如图1所示，虚拟拍摄场景可以包括显示装置10、图像采集装置20；其中，显示装置10用于显示渲染的场景，图像采集装置20用于拍摄显示装置10所显示的画面，例如，演员可以站在显示装置10前的适当位置，并将显示装置10作为背景进行表演，图像采集装置20可以同时拍摄到演员及显示装置10所显示的画面，从而完成虚拟场景的拍摄。

示例性地，显示装置10可以为LED(Light-Emitting Diode，发光二极管)屏幕或者其他材质的屏幕，屏幕的形状可以为直面屏、曲面屏等，显示装置10也可以为投影屏等，本公开实施例对此不做限定。

示例性地，图像采集装置20可以为相机、摄像机等具有拍摄功能的设备，图像采集装置20安装有变焦镜头，即图像采集装置20的镜头的焦距可以发生变化，从而满足不同的拍摄需求。

对于变焦镜头，当焦距发生变化时，它的成像参数通常会发生变化，因此，在利用图像采集装置20进行虚拟拍摄的过程中，正确地追踪变焦镜头焦距的变化及对应的成像参数的变化至关重要。为了实现在虚拟拍摄的过程中准确地对不同焦距下图像采集装置20变焦镜头的成像参数进行追踪，需要在利用图像采集装置20进行虚拟拍摄之前，对图像采集装置20进行标定，即求解图像采集装置20的变焦镜头在不同焦距对应的成像参数。示例性地，图像采集装置20的成像参数可以包括内参和/或外参，其中，外参可以包括位姿，即变焦镜头在空间中的位置和变焦镜头的朝向，可以用旋转矩阵R及平移矩阵T表示；内参可以包括变焦镜头的分辨率、视场角(field of view，FOV)、主点位置、畸变参数等。

示例性地，一种标定变焦镜头的方式如下：在变焦镜头的变焦范围内选取多个焦距，对于每一个焦距都进行定焦镜头的校准，得到各焦距下镜头的内参，形成一个内参表；在实际使用过程中，根据实时的焦距信息在内参表内查找，通过插值获取到实时的镜头内参。然而，该方式针对每个需要校准的焦距都要采集大量(一般10张左右)的图片，标定时间长，尤其当变焦镜头的变焦范围大时数据采集量更加巨大，非常耗时，标定的效率低。

为了解决上述技术问题，本公开实施例提出了一种针对变焦镜头的标定方法(具体描述参见下文)，可以用于对上述图1所示的虚拟拍摄场景中图像采集装置20进行标定，采用一个主焦距+多个子焦距的模式，首先标定主焦距对应的内参，然后结合图像采集装置在同一位姿、各焦距下分别拍摄屏幕中画面得到的图像，标定各子焦距对应的内参，实现对变焦镜头的标定。在一些示例中，各焦距下仅需采集一张图像即可完成标定，大大减少了数据采集量，节约了标定的时间，提高了变焦镜头标定的效率。

需要说明的是，本公开实施例描述的上述应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，针对其他相似的或新的场景的出现，例如，虚拟演播室场景等，本公开实施例提供的技术方案对于类似的技术问题同样适用。

下面对本公开实施例提供的标定方法进行详细说明。

图2示出了根据本公开一实施例的一种标定方法的流程图。该方法可以由处理器或服务器等具有数据处理功能的电子设备执行，如图2所示，该方法可以包括以下步骤：

步骤201、对第一焦距对应的内参进行标定，所述第一焦距为所述图像采集装置多个焦距中的一个焦距。

其中，焦距可以用固定在图像采集装置变焦镜头上的一组编码器来获取的，该编码器的zoom值即表示当前处于整个变焦范围的哪个位置，即当前的焦距。多个焦距中所包含的焦距数量及各相邻焦距的间隔可以根据实际需求进行设定；示例性地，由于图像采集装置配置有变焦镜头，即图像采集装置的变焦范围内有不止一个焦距，可以在图像采集装置的变焦范围中随机选取出多个焦距；示例性地，可以等间隔的在图像采集装置的变焦范围内选取出多个焦距，以使标定的焦距在变焦范围内均匀分布。其中，第一焦距可以在该多个焦距中任意选取；作为一个示例，第一焦距可以为所述多个焦距中的最小焦距，即可以将图像采集装置的变焦镜头的广角端作为第一焦距。例如，图像采集装置的变焦范围为10mm-110mm，则可以以10mm为间隔，选取出10个焦距，即多个焦距为10mm、20mm、30mm、40mm、50mm、60mm、70mm、80mm、90mm、100mm焦距；并可以将10mm焦距作为第一焦距。

在一种可能的实现方式中，所述对第一焦距对应的内参进行标定，可以包括：采用定焦标定的方式，对所述第一焦距对应的内参进行标定。示例性地，可以采用现有的定焦镜头标定的方式，对第一焦距对应的内参进行标定；例如，可以调用图像采集装置的标定接口(如OpenCV的标定接口)，从而得到第一焦距对应的内参。

步骤202、获取所述多个焦距中各焦距的采集图像，所述采集图像为所述图像采集装置在同一位姿、所述多个焦距中各焦距下分别拍摄屏幕中画面得到的图像。

其中，屏幕中画面表示在屏幕中显示的画面，也可称为上屏图像；作为一个示例，图像采集装置可以为上述图1中图像采集装置20，屏幕可以为上述图1中显示装置10。本公开实施例中，在图像采集装置采用固定位姿的方式拍摄屏幕中画面时，即图像采集装置及屏幕的位置均固定，且图像采集装置拍摄屏幕的朝向保持不变。示例性地，在图像采集装置采集图像的过程中，可以首先固定图像采集装置的位姿，然后调整图像采集装置的焦距，依次切换到上述所选取的多个焦距中各焦距，并在各焦距下分别拍摄屏幕中画面，从而得到各焦距的采集图像；示例性地，各焦距下的拍摄视野可以覆盖屏幕中的画面。

在一种可能的实现方式中，所述多个焦距中各焦距的采集图像可以包括：所述多个焦距中各焦距下均对屏幕中画面进行一次拍摄得到的图像。即针对于待标定的每一焦距，仅需获取图像采集装置在该焦距对屏幕中画面拍摄的一张图像，大大节省了采集图像的时间，减少了需要处理的数据量，提高了标定的效率。

作为一个示例，所述多个焦距中各焦距的采集图像中可以包括多个特征点。其中，特征点表示采集图像中灰度值发生剧烈变化的点或者在采集图像边缘上曲率较大的点，该点能够反映图像本质特征，可以标识采集图像中的物体或位置等信息。本公开实施例中，屏幕中的画面中可以包括预设的多个特征点，这样，图像采集装置在各焦段拍摄屏幕中的画面，生成的各焦段的采集图像中包含该多个特征点。示例性地，屏幕中的画面可以棋盘格图、圆点点阵图，或者也可以为棋盘格图与圆点点阵图的组合，例如，图3示出了根据本公开一实施例的采集图像中特征点的示意图，如图3所示，左侧图(a)为棋盘格图，该棋盘格图由黑白相间的正方形方格组成，两个相邻且同颜色的正方形方格相接处形成的点称为角点，该角点即为特征点；右侧图(b)为圆点点阵图，该圆点点阵图中由白色圆点组成，各白色圆点即为特征点。

作为另一个示例，图像采集装置拍摄屏幕中的画面中包括上述多个特征点及预设的位置信息已知的定位标识符；这样，图像采集装置在各焦距对屏幕中画面进行拍摄后，得到的采集图像中也包括该定位标识符及该多个特征点。示例性地，定位标识符可以基于Aruco码(一种二维码)生成的标识，或者是两者的组合；其中，Aruco码是一个合成的正方形标记，由宽的黑色边框和能够确定其标识的内部二进制矩阵组成。本公开实施例中，可以基于Aruco码来生成定位标识符，例如：可以将Aruco码单独作为定位标识符；也可以在Aruco码的基础上增加其他的标识信息等作为定位标识符；还可以对Aruco码进行一定的形状改进，将改进后的图形作为定位标识符等等。图4示出了根据本公开一实施例的采集图像中特征点及定位标识符的示意图，如图4所示，左侧图(a)为圆点点阵图，白色圆点即为特征点，中间的四个圆圈即为定位标识符；右侧图(b)为将Aruco码与棋盘格结合的图片，图中的角点即为特征点，将单个Aruco码嵌入在棋盘格的一个白色正方形方格中，该嵌入了ArUco码的白色正方形方格即为定位标识符。

步骤203、根据标定后的所述第一焦距对应的内参及所述多个焦距中各焦距的采集图像，对所述多个焦距中除所述第一焦距外的各焦距的内参进行标定。

在一种可能的实现方式中，可以采用循序渐进的内参初始值估计策略，对多个焦距中除第一焦距外的各焦距对应的内参进行标定；示例性地，可以根据多个焦距中与第二焦距相邻的至少一个焦距对应的内参，确定第二焦距对应的内参的初始值，即初始化第二焦距对应的内参；其中，第二焦距为多个焦距中除第一焦距外的任一焦距；当第二焦距与第一焦距相邻时，多个焦距中与第二焦距相邻的至少一个焦距包括所述第一焦距。进而，根据第二焦距对应的内参的初始值及第二焦距的采集图像，确定第二焦距对应的内参的标定值。示例性地，若多个焦距中存在一个与第二焦距相邻的已经标定完内参的焦距，则将该焦距对应的标定后的内参作为第二焦距对应的内参的初始值；若多个焦距中存在两个与第二焦距相邻的已经标定完内参的焦距，则可以将这两个焦距中任一焦距对应的标定后的内参作为第二焦距对应的内参的初始值，或者可以将这两个焦距对应的标定后的内参的均值作为第二焦距对应的内参的初始值。

作为一个示例，可以在多个焦距中，按照与第一焦距的距离从小到大的顺序，依次选取出需要进行标定的焦距；例如，多个焦距按照焦距数值从小到大排序，依次为焦距A、B、C、D、E；第一焦距为焦距A，可以在焦距B、C、D、E中选择与焦距A最近的焦距B，由于焦距A的内参a已经标定，则可以将所标定的焦距A的内参作为焦距B对应的内参b的初始值，进而根据内参b的初始值及焦距B的采集图像，对内参b进行标定，从而确定焦距B对应的内参b的标定值。接下来，可以标定焦距C对应的内参c，由于焦距B为与焦距C相邻的已经标定完内参的焦距，则可以将焦距B对应的内参b的标定值作为焦距C对应的内参c的初始值，进而根据内参c的初始值及焦距C的采集图像，对内参c进行标定，从而确定焦距C对应的内参c的标定值；同理，可以接着依次对焦距D对应的参数d及焦距E对应的参数e进行标定。这样，采用循序渐进的内参初始值估计策略，在优化新焦距对应的内参时，使用了该焦距相邻焦距对应的已经标定完的内参作为初始值，由于两个焦距相邻，对应的内参差别不大，将该初始值与该焦距对应内参的真实值接近，可以更容易、更快地得到该焦距对应的正确的内参值(即标定值)，简化了新焦距的对应内参的估计。

本公开实施例中，采用一个主焦距(第一焦距)+多个子焦距(多个焦距中除第一焦距外的各焦距)的模式；首先对第一焦距对应的内参进行标定，然后基于第一焦距对应的内参及在同一位姿、各焦距下分别拍摄屏幕中画面得到的采集图像，标定多个焦距中除第一焦距外的各焦距对应的内参，实现对图像采集装置的变焦镜头的标定；作为一个示例，每个焦距仅需采集一张图像即可完成标定，从而大大减少了数据采集量及数据处理量，节约了标定的时间，有效提高了变焦镜头的标定效率。

下面对上述采用循序渐进的内参初始值估计策略，对多个焦距内除第一焦距外的各焦距对应的内参进行标定的具体实现过程进行示例性说明。

图5示出了根据本公开一实施例的另一种标定方法的流程图。如图5所示，该方法可以包括以下步骤：

步骤501、对第一焦距对应的内参进行标定。

该步骤501与上述图2中步骤201相同，在此不再赘述。

步骤502、获取所述多个焦距中各焦距的采集图像。

该步骤502与上述图2中步骤202相同，在此不再赘述。

步骤503、分别对所述多个焦距中各焦距的采集图像进行特征点检测。

该步骤中，各焦距的采集图像中均包含特征点。通过该步骤，可以检测出第一焦距的采集图像中的各特征点，及多个焦距中除第一焦距外的任一焦距的采集图像中的各特征点。

示例性地，特征点检测可以采用多种不同的算法来实现，如角点检测算法或斑点检测算法等进行特征点检测，以确定多个焦距中各焦距的采集图像中的多个特征点。例如，针对上述图3所示的棋盘格图，可以进行棋盘格角点检测得到图中的各角点，即检测出特征点。

示例性地，对于包含定位标识符的采集图像，可以进行特征点的检测以及定位标识符的识别。

步骤504、确定各焦距的采集图像中各特征点的二维坐标及各特征点在屏幕上的三维坐标。

通过该步骤，可以确定第一焦距的采集图像中各特征点的二维坐标及各特征点在屏幕上的三维坐标，还可以确定多个焦距中除第一焦距外的任一焦距(即第二焦距)的采集图像中各特征点的二维坐标及各特征点在屏幕上的三维坐标。

示例性地，针对采集图像上的某一特征点，该特征点在对应采集图像中的二维坐标可以用该特征点在图像坐标系中的坐标值表示；其中，图像坐标系为二维直角坐标系，可以以采集图像的中心为坐标原点，也可以以采集图像的左下角某个点，或者右下角某个点作为坐标原点等；图像坐标系的X轴、Y轴分别与图像采集装置坐标系的X轴、Y轴平行；图像采集装置坐标系可以以图像采集装置的聚焦中心为原点，并以图像采集装置的光轴作为Z轴；示例性地，可以将图像采集装置的光轴与采集图像所在平面的交点，作为图像坐标系的坐标原点。这样，基于建立的图像坐标系，在上述检测到采集图像的各特征点后，即可确定各特征点在图像坐标系中的坐标值(即采集图像中的二维坐标)；例如，针对上述图3所示的棋盘格图，检测到图中各角点后，即可确定各角点在图像坐标系中的坐标值。

示例性地，针对采集图像上的某一特征点，该特征点在屏幕上的三维坐标可以用图像采集装置所拍摄屏幕中画面上的该特征点在屏幕坐标系中的坐标值表示；其中，屏幕坐标系为进行屏幕建模时所设定的三维坐标系，屏幕坐标系的定义方式可以根据实际情况设定，例如：可以以屏幕的中心为坐标原点，也可以以屏幕的左下角某个点，或者右下角某个点作为坐标原点等。

示例性地，可以通过以下方式确定检测到各特征点在屏幕上的三维坐标。

方式一，在生成包含特征点的画面(即屏幕中的画面)时，可以预先获取参考特征点在该画面上的位置，参考特征点为画面中任意一个或多个特征点，并可以预先确定出该画面在所建立的屏幕模型中的二维显示区域，基于参考特征点在画面上的位置，以及上述显示区域位置，可以确定出参考特征点在屏幕模型中的二维坐标：纹理贴图坐标(UV坐标)；另外，在屏幕建模时，对于屏幕模型中的各3D点，可以预先建立其在屏幕坐标系中的三维坐标与纹理贴图坐标之间的对应关系。这样，在确定检测到各特征点在对应采集图像中的二维坐标之后，可以基于各特征点之间的相对位置关系，以及上述参考特征点在画面上的位置，确定各特征点在画面上的位置，进而确定各特征点在屏幕模型中的UV坐标，然后，结合上述对应关系，得到各特征点在屏幕坐标系中的三维坐标值，即各特征点在屏幕上的三维坐标。

例如，以采集图像为上述图3所示的棋盘格图为例，特征点为该棋盘格图中的所有角点，该采集图像中包含棋盘格图中的所有角点，在进行角点检测时可以检测到采集图像中的各角点；预先选取参考角点，并获取参考角点在画面上的位置；在检测出棋盘格图中全部角点在采集图像中的二维坐标之后，可以基于各角点之间的相对位置关系，以及上述参考角点在画面上的位置，得到各角点在该画面中的位置；进而基于该画面在屏幕模型的显示区域位置以及各角点在画面中的位置，可以得到各角点在屏幕模型中的UV坐标；另外，在建立屏幕模型时，对于屏幕模型中的各3D点，预先建立其在屏幕坐标系中三维坐标与UV坐标之间的对应关系，这样，在得到各角点在屏幕模型中的UV坐标后，基于该对应关系，可以得到各角点在屏幕坐标系中的三维坐标值，即各角点在屏幕上的三维坐标。

方式二，图像采集装置拍摄屏幕中的画面及采集图像中包括多个特征点及预设的位置信息已知的定位标识符，该位置信息可以为在屏幕中画面上的位置；在确定检测到各特征点在对应采集图像中的二维坐标之后，可以利用定位标识符确定检测到的各特征点在屏幕上的三维坐标。示例性地，可以基于上述检测到的采集图像中的多个特征点和定位标识符，得到各特征点与定位标识符之间的相对位置关系，进而基于该相对位置关系及定位标识符的位置信息，可以确定各特征点在画面中的位置；然后，根据各特征点在画面中的位置及该画面在所建立的屏幕模型中的二维显示区域，确定各特征点在屏幕模型中的UV坐标；最后基于屏幕坐标系中三维坐标与UV坐标之间的对应关系，得到各特征点在屏幕坐标系中的三维坐标值，即各特征点在屏幕上的三维坐标。

例如，以采集图像为上述图4所示的Aruco码与棋盘格结合的图片为例，该图片中将单个Aruco码嵌入在棋盘格的一个白色方框中的方式生成定位标识符，并将棋盘格的角点作为特征点，在检测到棋盘格的各角点及任一Aruco码后，对检测到的任一Aruco码进行解码识别得到任一Aruco码的标识信息，并基于该标识信息，确定任一Aruco码在屏幕中画面上的位置；然后，基于各角点与任一Aruco码之间的相对位置关系，得到各角点在画面上的位置，进而确定各角点在屏幕模型中的UV坐标；最后基于屏幕坐标系中三维坐标与UV坐标之间的对应关系，得到各角点在屏幕坐标系中的三维坐标值，即各角点在屏幕上的三维坐标。

通过该步骤，针对上述检测到的任一特征点，确定该特征点在采集图像中的二维坐标及该特征点在屏幕上的三维坐标，从而构建出一个2D-3D点对。

步骤505、根据标定后的所述第一焦距对应的内参、所述第一焦距的采集图像中各特征点的二维坐标及各特征点在屏幕中的三维坐标，确定所述图像采集装置的位姿。

示例性地，可以通过solvepnp等现有算法，对标定后的第一焦距对应的内参、第一焦距的采集图像中各特征点的二维坐标及各特征点在屏幕中的三维坐标进行处理，求得第一焦距对应的位姿；该位姿即可表示图像采集装置坐标系与屏幕坐标系之间的坐标转换关系。其中，solvepnp算法可以为P3P相机姿态估计算法、直接最小二乘法(The DirectLeast-Squares Method，DLS)、高效的n点透视(Efficient Perspective-n-Point，EPnP)相机姿态估计算法、或迭代法等等。

可以理解的是，由于各焦距的采集图像为图像采集装置在同一位姿下拍摄屏幕中画面得到，即各焦距对应的位姿相同；因此，所确定的第一焦距对应的位姿即为图像采集装置的位姿。这样，图像采集装置在不变换位姿的情况下拍摄屏幕中画面得到各焦段的采集图像，固定了图像采集装置的外参；在得到一个焦距对应的位姿后，无需再对其他焦距对应的位姿进行标定，从而大大减少了标定复杂度，提高了标定效率。

该步骤505为可选步骤，既也可以采用其他方式确定图像采集装置的位姿，或者可以在利用图像采集装置拍摄屏幕中画面时将图像采集装置放置为已知位姿的状态，本申请实施例对此不作限定。

步骤506、根据第二焦距对应的内参的初始值及第二焦距的采集图像，确定第二焦距对应的内参的标定值。

其中，第二焦距对应的内参的初始值可以通过上述步骤203中方式确定。

示例性地，可以根据第二焦距对应的内参的初始值、第二焦距的采集图像中各特征点的二维坐标及各特征点在屏幕上的三维坐标，确定第二焦距对应的内参的标定值。针对任一特征点，该特征点在采集图像中的二维坐标与该特征点在屏幕上的三维坐标之间的转换与第二焦距对应的内参相关，这样，基于第二焦距对应的内参的初始值，可以采用非线性优化算法等方式不断优化第二焦距对应的内参取值，通过优化后的内参取值，可以将该特征点在采集图像中的二维坐标变换为该特征点在屏幕上的三维坐标。

在一种可能的实现方式中，可以根据所述图像采集装置的位姿、第二焦距的采集图像中各特征点的二维坐标及各特征点在屏幕中的三维坐标、所述第二焦距对应的内参的初始值，确定所述第二焦距对应的内参的标定值。

示例性地，所述根据所述图像采集装置的位姿、所述第二焦距的采集图像中各特征点的二维坐标及各特征点在屏幕中的三维坐标、所述第二焦距对应的内参的初始值，确定所述第二焦距对应的内参的标定值，可以包括：根据所述图像采集装置的位姿及所述第二焦距对应的内参的取值，确定所述第二焦距的采集图像中各特征点在屏幕中的三维坐标对应的二维参考坐标；并基于所述二维参考坐标及所述第二焦距的采集图像中各特征点的二维坐标，对所述第二焦距对应的内参的取值进行迭代优化，并将满足预设条件时所述第二焦距对应的内参的取值作为所述标定值；其中，将所述第二焦距对应的内参的初始值作为迭代优化过程中所述第二焦距对应的内参的初始取值。示例性地，预设条件可以包括：达到预设的迭代次数、达到预设的迭代时间、连续两次迭代得到结果的偏差小于预设值、各特征点对应的二维参考坐标与各特征点的二维坐标的差异达到最小等等；这样，通过非线性优化算法不断优化该第二焦距对应的内参取值，简化了变焦镜头在焦距下内参的估计流程，从而可以更容易、更快地收敛到准确的内参值。

举例来说，针对某一第二焦距的每一特征点，可以根据图像采集装置的位姿、该第二焦距对应的内参的初始值，结合投影方程可以计算出该第二焦距对应的采集图像中各特征点在屏幕中的三维坐标P_i(即屏幕坐标系中的三维坐标P_i)投影到图像坐标系下的二维参考坐标P_t；然后可以通过上述非线性优化算法不断优化该第二焦距对应的内参取值，并根据优化的第二焦距对应的内参的取值计算出新的二维参考坐标P_t，直到二维参考坐标P_t与各特征点在采集图像的二维坐标P’_t之间的欧氏距离达到最小，并将此时对应的内参的取值作为该第二焦距对应的内参的标定值。

本公开实施例中，采用循序渐进的内参初始值估计策略，并采用非线性优化算法不断优化各焦距对应的内参取值，在保证内参标定值准确性的基础上，有效提高了内参标定的效率；此外，各焦距的采集图像为图像采集装置在同一位姿分别拍摄屏幕中画面得到的图像，固定了图像采集装置的外参，使需要估计的参数大大减小，进一步提升了内参标定的准确性。

进一步地，在采用上述方式完成标定多个焦距中各焦距对应的内参后，可以基于标定的各焦距对应的内参，对图像采集装置变焦范围内的其他焦距对应的内参进行标定；或者基于标定的各焦距对应的内参，在进行虚拟拍摄的过程中确定实时调整的焦距对应的内参。

图6示出了根据本公开一实施例的另一种标定方法的流程图。如图6所示，该方法可以包括以下步骤：

步骤601、对第一焦距对应的内参进行标定，所述第一焦距为所述图像采集装置多个焦距中的一个焦距。

步骤602、获取所述多个焦距中各焦距的采集图像，所述采集图像为所述图像采集装置在同一位姿、所述多个焦距中各焦距下分别拍摄屏幕中画面得到的图像。

步骤603、根据标定后的所述第一焦距对应的内参及所述多个焦距中各焦距的采集图像，对所述多个焦距中除所述第一焦距外的各焦距的内参进行标定。

其中，步骤601-603与上述图2中步骤201-203相同，在此不再赘述。

步骤604、确定第三焦距，其中，所述第三焦距为所述图像采集装置的变焦范围内的任一焦距。

示例性地，第三焦距为像采集装置的变焦范围内除上述标定的多个焦距(即第一焦距及第二焦距)以外的任一焦距。

示例性地，在采用第三焦距拍摄屏幕中画面时，图像采集装置的位姿依旧与上述标定过程中多个焦距下拍摄屏幕中画面的位姿保持一致；即第三焦距对应的外参与上述第一焦距对应的外参及第二焦距对应的外参均相同。

步骤605、在所述多个焦距中确定与所述第三焦距相邻的一个或多个焦距。

作为一个示例，针对任一第三焦距，可以在多个焦距中确定与第三焦段相邻的两个焦距，其中，这两个焦距中一个焦距大于第三焦距，另一个小于第三焦距。例如，若多个焦距为10mm、20mm、30mm、40mm、50mm、60mm、70mm、80mm、90mm、100mm焦距，第三焦距为25mm，则选择20mm及30mm为与35mm相邻的两个焦距。

步骤606、根据所述一个或多个焦距对应的内参，确定所述第三焦距对应的内参。

示例性地，可以通过插值的方式，确定第三焦距对应的内参。例如，第三焦距为25mm，在已经标定的多个焦距中，与35mm相邻的焦距为20mm及30mm，若焦距20mm对应的内参的标定值为d1、焦距30mm对应的内参的标定值为d2，则焦距25mm对应的内参d3为(25-20)*(d2-d1)/(30-20)＝(d2-d1)/2。

本公开实施例中，在标定完多个焦距(即第一焦距及第二焦距)对应的内参后，可以基于该内参确定图像采集装置的变焦范围内任一焦距对应的内参，从而可以在进行虚拟拍摄之前，实现对任一焦距对应的内参的标定；或者，在进行实际虚拟拍摄过程中可以实时计算当前焦段对应的内参，从而满足虚拟拍摄的需求。

基于上述方法实施例的同一发明构思，本公开的实施例还提供了一种标定装置，该标定装置可以用于执行上述方法实施例所描述的技术方案。例如，可以执行上述图2、图5或图6中所示标定方法的各步骤。

图7示出了根据本公开一实施例的一种标定装置的结构图，该装置用于对虚拟拍摄场景中图像采集装置进行标定，如图7所示，该装置可以包括：

标定模块701，用于对第一焦距对应的内参进行标定，所述第一焦距为所述图像采集装置多个焦距中的一个焦距；

获取模块702，用于获取所述多个焦距中各焦距的采集图像，所述采集图像为所述图像采集装置在同一位姿、所述多个焦距中各焦距下分别拍摄屏幕中画面得到的图像；

所述标定模块701，还用于根据标定后的所述第一焦距对应的内参及所述多个焦距中各焦距的采集图像，对所述多个焦距中除所述第一焦距外的各焦距的内参进行标定。

本公开实施例中，采用一个主焦距(第一焦距)+多个子焦距(多个焦距中除第一焦距外的各焦距)的模式；首先对第一焦距对应的内参进行标定，然后基于第一焦距对应的内参及在同一位姿、各焦距下分别拍摄屏幕中画面得到的采集图像，标定多个焦距中除第一焦距外的各焦距对应的内参，实现对图像采集装置的变焦镜头的标定；作为一个示例，每个焦距仅需采集一张图像即可完成标定，从而大大减少了数据采集量及数据处理量，节约了标定的时间，有效提高了变焦镜头的标定效率。

在一种可能的实现方式中，所述多个焦距中各焦距的采集图像，包括所述多个焦距中各焦距下均对屏幕中画面进行一次拍摄得到的图像。

在一种可能的实现方式中，所述标定模块701，还用于：根据所述多个焦距中与第二焦距相邻的至少一个焦距对应的内参，确定所述第二焦距对应的内参的初始值；其中，所述第二焦距为所述多个焦距中除所述第一焦距外的任一焦距；根据所述第二焦距对应的内参的初始值及所述第二焦距的采集图像，确定所述第二焦距对应的内参的标定值，其中，当所述第二焦距与所述第一焦距相邻时，所述多个焦距中与所述第二焦距相邻的至少一个焦距包括所述第一焦距。

在一种可能的实现方式中，所述多个焦距中各焦距的采集图像中包括多个特征点；所述标定模块701，还用于：确定所述第二焦距的采集图像中各特征点的二维坐标，及各特征点在屏幕上的三维坐标；根据所述第二焦距对应的内参的初始值、所述第二焦距的采集图像中各特征点的二维坐标及各特征点在屏幕上的三维坐标，确定所述第二焦距对应的内参的标定值。

在一种可能的实现方式中，所述标定模块701，还用于：确定所述第一焦距的采集图像中各特征点的二维坐标，及各特征点在屏幕上的三维坐标；根据标定后的所述第一焦距对应的内参、所述第一焦距的采集图像中各特征点的二维坐标及各特征点在屏幕中的三维坐标，确定所述图像采集装置的位姿。

在一种可能的实现方式中，所述标定模块701，还用于：根据所述图像采集装置的位姿、所述第二焦距的采集图像中各特征点的二维坐标及各特征点在屏幕中的三维坐标、所述第二焦距对应的内参的初始值，确定所述第二焦距对应的内参的标定值。

在一种可能的实现方式中，所述标定模块701，还用于：根据所述图像采集装置的位姿及所述第二焦距对应的内参的取值，确定所述第二焦距的采集图像中各特征点在屏幕中的三维坐标对应的二维参考坐标；并基于所述二维参考坐标及所述第二焦距的采集图像中各特征点的二维坐标，对所述第二焦距对应的内参的取值进行迭代优化，并将满足预设条件时所述第二焦距对应的内参的取值作为所述标定值；其中，将所述第二焦距对应的内参的初始值作为迭代优化过程中所述第二焦距对应的内参的初始取值。

在一种可能的实现方式中，所述标定模块701，还用于：确定第三焦距，其中，所述第三焦距为所述图像采集装置的变焦范围内的任一焦距；在所述多个焦距中确定与所述第三焦距相邻的一个或多个焦距；根据所述一个或多个焦距对应的内参，确定所述第三焦距对应的内参。

在一种可能的实现方式中，所述标定模块701，还用于：采用定焦标定的方式，对所述第一焦距对应的内参进行标定。

在一种可能的实现方式中，所述第一焦距为所述多个焦距中的最小焦距。

上述图7所示的标定装置及其各种可能的实现方式的技术效果及具体描述可参见上述标定方法，此处不再赘述。

应理解以上装置中各模块的划分仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。此外，装置中的模块可以以处理器调用软件的形式实现；例如装置包括处理器，处理器与存储器连接，存储器中存储有指令，处理器调用存储器中存储的指令，以实现以上任一种方法或实现该装置各模块的功能，其中处理器例如为通用处理器，例如中央处理单元(Central Processing Unit，CPU)或微处理器，存储器为装置内的存储器或装置外的存储器。或者，装置中的模块可以以硬件电路的形式实现，可以通过对硬件电路的设计实现部分或全部模块的功能，该硬件电路可以理解为一个或多个处理器；例如，在一种实现中，该硬件电路为专用集成电路(application-specific integrated circuit，ASIC)，通过对电路内元件逻辑关系的设计，实现以上部分或全部模块的功能；再如，在另一种实现中，该硬件电路为可以通过可编程逻辑器件(programmable logic device，PLD)实现，以现场可编程门阵列(Field ProgrammableGate Array，FPGA)为例，其可以包括大量逻辑门电路，通过配置文件来配置逻辑门电路之间的连接关系，从而实现以上部分或全部模块的功能。以上装置的所有模块可以全部通过处理器调用软件的形式实现，或全部通过硬件电路的形式实现，或部分通过处理器调用软件的形式实现，剩余部分通过硬件电路的形式实现。

在本公开实施例中，处理器是一种具有信号的处理能力的电路，在一种实现中，处理器可以是具有指令读取与运行能力的电路，例如CPU、微处理器、图形处理器(graphicsprocessing unit，GPU)、数字信号处理器(digital signal processor，DSP)、神经网络处理器(neural-network processing unit，NPU)、张量处理器(tensor processing unit，TPU)等；在另一种实现中，处理器可以通过硬件电路的逻辑关系实现一定功能，该硬件电路的逻辑关系是固定的或可以重构的，例如处理器为ASIC或PLD实现的硬件电路，例如FPGA。在可重构的硬件电路中，处理器加载配置文档，实现硬件电路配置的过程，可以理解为处理器加载指令，以实现以上部分或全部模块的功能的过程。

可见，以上装置中的各模块可以是被配置成实施以上实施例方法的一个或多个处理器(或处理电路)，例如：CPU、GPU、NPU、TPU、微处理器、DSP、ASIC、FPGA，或这些处理器形式中至少两种的组合。此外，以上装置中的各模块可以全部或部分可以集成在一起，或者可以独立实现，对此不作限定。

本公开实施例还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现上述实施例的方法。示例性地，可以执行上述图2、图5或图6中所示标定方法的各步骤。

图8示出了根据本公开一实施例的一种电子设备的结构示意图，如图8所示，该电子设备可以包括：至少一个处理器801，通信线路802，存储器803以及至少一个通信接口804。

处理器801可以是一个通用中央处理器，微处理器，特定应用集成电路，或一个或多个用于控制本公开方案程序执行的集成电路；处理器801也可以包括多个通用处理器的异构运算架构，例如，可以是CPU、GPU、微处理器、DSP、ASIC、FPGA中至少两种的组合；作为一个示例，处理器801可以是CPU+GPU或者CPU+ASIC或者CPU+FPGA。

通信线路802可包括一通路，在上述组件之间传送信息。

通信接口804，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，RAN，无线局域网(wireless local area networks，WLAN)等。

存储器803可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路802与处理器相连接。存储器也可以和处理器集成在一起。本公开实施例提供的存储器通常可以具有非易失性。其中，存储器803用于存储执行本公开方案的计算机执行指令，并由处理器801来控制执行。处理器801用于执行存储器803中存储的计算机执行指令，从而实现本公开上述实施例中提供的方法；示例性地，可以实现上述图2、图5或图6中所示标定方法的各步骤。

可选的，本公开实施例中的计算机执行指令也可以称之为应用程序代码，本公开实施例对此不作具体限定。

示例性地，处理器801可以包括一个或多个CPU，例如，图8中的CPU0；处理器801也可以包括一个CPU，及GPU、ASIC、FPGA中任一个，例如，图8中的CPU0+GPU0或者CPU 0+ASIC0或者CPU0+FPGA0。

示例性地，电子设备可以包括多个处理器，例如图8中的处理器801和处理器807。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器，或者是包括多个通用处理器的异构运算架构。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中，作为一种实施例，电子设备还可以包括输出设备805和输入设备806。输出设备805和处理器801通信，可以以多种方式来显示信息。例如，输出设备805可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等，例如，可以为车载HUD、AR-HUD、显示器等显示设备。输入设备806和处理器801通信，可以以多种方式接收用户的输入。例如，输入设备806可以是鼠标、键盘、触摸屏设备或传感设备等。

本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述实施例中的方法。示例性地，可以实现上述图2、图5或图6中所示标定方法的各步骤。

本公开的实施例提供了一种计算机程序产品，例如，可以包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质；当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述实施例中的方法。示例性地，可以执行上述图2、图5或图6中所示标定方法的各步骤。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。