图像生成方法、装置及可读存储介质

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种图像生成方法、装置及可读存储介质。

背景技术

一般来说，车辆驾驶的过程中会存在众多盲区，如车辆的A/B柱会遮挡驾驶员侧前方视野，以及倒车时无法了解车后情况。因此，辅助驾驶系统应运而生。通常，辅助驾驶系统包括多个安装在车身不同位置的拍摄装置，拍摄装置用于拍摄车辆周围的驾驶环境，并将拍摄到的图像进行处理后，呈现给驾驶员供参考。

然而，在实际应用过程中，车身不同位置的拍摄装置所在的拍摄视点和驾驶员人眼实际视点不一致，导致直接呈现拍摄图像会和驾驶员人眼所见的实景存在观感差异，不利于驾驶员进行做判断(比如高度判断错误，距离估算不准等)，降低了行车安全性。

发明内容

本申请提供了一种图像生成方法、装置及可读存储介质，用于减少图像与人眼实际所观察到的画面的观感差异度。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供了一种图像生成方法，包括：获取多个拍摄装置拍摄目标区域的多个区域图像，以及拍摄多个区域图像时用户视点的外参数和多个拍摄装置的外参数；多个拍摄装置与多个区域图像一一对应，多个拍摄装置位于不同位置，外参数用于表示相比于预设基准点的位置姿态变化；将用户视点的外参数、多个拍摄装置的外参数以及多个区域图像输入到训练好的图像渲染模型，生成基于用户视点观测目标区域的目标区域图像。

基于本申请提供的技术方案，生成装置可以根据在获取多个拍摄装置拍摄目标区域的多个区域图像，以及拍摄多个区域图像时用户视点的外参数和多个拍摄装置的外参数之后，将用户视点的外参数、多个拍摄装置的外参数以及多个区域图像输入到训练好的图像渲染模型，生成基于用户视点观测目标区域的目标区域图像。由于多个拍摄装置与多个区域图像一一对应，多个拍摄装置位于不同位置，如此，可以扩大视野范围，减少视野盲区。另外，由于拍摄装置可以会抖动，引起拍摄装置拍摄的图像出现抖动，观感很差，而本申请没有直接呈现拍摄到的图像，而是用训练好的图像渲染模型，可以避免生成的图像出现抖动，提升用户观感。且该图像是基于用户视点观测目标区域的目标区域图像，呈现的图像会和用户人眼所见的实景观感差异较小，有利于驾驶员进行做准确的高度判断，距离估算等，提高了行车安全性。

可选的，获取多个拍摄装置拍摄目标区域的多个区域图像，包括：获取多个拍摄装置拍摄的多个区域原始图像以及多个拍摄装置的内参数，内参数包括投影参数和畸变参数；根据多个拍摄装置的内参数校正多个区域原始图像，得到多个区域图像。

如此，图像生成装置可以根据多个拍摄装置的内参数校正多个区域原始图像。避免由于拍摄装置的异常引起图像发送畸变，可以提高多个区域图像的准确性以及用户观感。

可选的，根据多个拍摄装置的内参数校正多个区域原始图像，得到多个区域图像，包括：根据多个拍摄装置的内参数、第一像素点以及预设转换公式确定第二像素点，第一像素点为第一区域原始图像中的任一个像素点，第二像素点为第一像素点在第一区域图像中对应的像素点，第一区域原始图像为多个区域原始图像中的任一个，第一区域图像为第一区域原始图像校正后的图像；根据第二像素点确定第一区域图像，得到多个区域图像。

如此，图像生成装置可以根据多个拍摄装置的内参数对区域原始图像中的每个像素点进行转换，得到区域原始图像中的每个像素点对应的第二像素点，可以对多个区域原始图像进行校正。避免由于拍摄装置的异常引起图像发送畸变，可以提高多个区域图像的准确性以及用户观感。

可选的，图像生成方法还包括：获取多组样本数据，多组样本数据包括用户视点的外参数、多个拍摄装置的外参数、多个拍摄装置拍摄的样本区域的多个样本区域图像以及用户视点的样本图像；将多组样本数据包括用户视点的外参数、多个拍摄装置的外参数、多个拍摄装置拍摄的样本区域的多个样本区域图像输入图像渲染模型，得到图像渲染模型输出的有偏图像；根据有偏图像与样本图像之间的差异，调整图像渲染模型的模型参数，得到训练好的图像渲染模型。

如此，图像生成装置可以通过样本数据对图像渲染模型进行训练，调整图像渲染模型的模型参数，得到训练好的图像渲染模型，由于图像渲染模型的模型参数是根据有偏图像和样本图像不断调整的，训练好的图像渲染模型输出结果准确率较高，可以更准确的确定预设视点的目标区域的目标区域图像。

第二方面，提供了一种图像生成装置，获取单元、处理单元，获取单元，用于获取多个拍摄装置拍摄目标区域的多个区域图像，以及拍摄多个区域图像时用户视点的外参数和多个拍摄装置的外参数；多个拍摄装置与多个区域图像一一对应，多个拍摄装置位于不同位置，外参数用于表示相比于预设基准点的位置姿态变化；处理单元，用于将用户视点的外参数、多个拍摄装置的外参数以及多个区域图像输入到训练好的图像渲染模型，生成基于用户视点观测目标区域的目标区域图像。

可选的，获取单元，具体用于：获取多个拍摄装置拍摄的多个区域原始图像以及多个拍摄装置的内参数，内参数包括投影参数和畸变参数；根据多个拍摄装置的内参数校正多个区域原始图像，得到多个区域图像。

可选的，获取单元，具体还用于：根据多个拍摄装置的内参数、第一像素点以及预设转换公式确定第二像素点，第一像素点为第一区域原始图像中的任一个像素点，第二像素点为第一像素点在第一区域图像中对应的像素点，第一区域原始图像为多个区域原始图像中的任一个，第一区域图像为第一区域原始图像校正后的图像；根据第二像素点确定第一区域图像，得到多个区域图像。

可选的，获取单元还用于：获取多组样本数据，多组样本数据包括用户视点的外参数、多个拍摄装置的外参数、多个拍摄装置拍摄的样本区域的多个样本区域图像以及用户视点的样本图像；处理单元，还用于将多组样本数据包括用户视点的外参数、多个拍摄装置的外参数、多个拍摄装置拍摄的样本区域的多个样本区域图像输入图像渲染模型，得到图像渲染模型输出的有偏图像；处理单元，还用于根据有偏图像与样本图像之间的差异，调整图像渲染模型的模型参数，得到训练好的图像渲染模型。

第三方面，提供了一种图像生成装置，该图像生成装置可以实现上述各方面或者各可能的设计中图像生成装置所执行的功能，功能可以通过硬件实现，如：一种可能的设计中，该图像生成装置可以包括：处理器和通信接口，处理器可以用于支持图像生成装置实现上述第一方面或者第一方面的任一种可能的设计中所涉及的功能。

在又一种可能的设计中，图像生成装置还可以包括存储器，存储器用于保存图像生成装置必要的计算机执行指令和数据。当该图像生成装置运行时，该处理器执行该存储器存储的该计算机执行指令，以使该图像生成装置执行上述第一方面或者第一方面的任一种可能的图像生成方法。

第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质可以为可读的非易失性存储介质，该计算机可读存储介质存储有计算机指令或者程序，当其在计算机上运行时，使得计算机可以执行上述第一方面或者上述方面的任一种可能的图像生成方法。

第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面或者上述方面的任一种可能的设计的图像生成方法。

第六方面，提供了一种图像生成装置，该图像生成装置包括一个或者多个处理器以及和一个或多个存储器。一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得图像生成装置执行如上述第一方面或者第一方面的任一可能的设计的图像生成方法。

第七方面，提供了一种芯片系统，该芯片系统包括处理器以及通信接口，该芯片系统可以用于实现上述第一方面或第一方面的任一可能的设计中图像生成装置所执行的功能，例如处理器用于通过通信接口获取来自终端设备的第一请求消息。在一种可能的设计中，芯片系统还包括存储器，存储器，用于保存程序指令和/或数据。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件，不予限制。

附图说明

图1为本申请实施例提供的一种拍摄视点和驾驶员人眼视点的示意图；

图2为本申请实施例提供的一种图像生成系统的示意图；

图3为本申请实施例提供的一种图像生成装置的结构示意图；

图4a为本申请实施例提供的一种图像生成方法的流程示意图；

图4b为本申请实施例提供的多个拍摄装置的示意图；

图5为本申请实施例提供的又一种图像生成方法的流程示意图；

图6为本申请实施例提供的又一种图像生成方法的流程示意图；

图7为本申请实施例提供的又一种图像生成方法的流程示意图；

图8为本申请实施例提供的又一种图像生成装置的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请实施例的一些方面相一致的装置和方法的例子。

还应当理解的是，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素和/或组件的存在或添加。

在介绍本申请实施例之前，对本申请内出现的名词进行介绍：

1、同步定位与地图构建(Simultaneous Localization and Mapping，SLAM)：电子设备分析通过摄像头采集的多帧区域图像的图像之间特征点的匹配关系，结合电子设备的传感器实时采集的电子设备的运动数据，得到电子设备在空间中的位置和姿态(以下简称空间位姿)。

2、神经辐射场(neural radiance field，NeRF)模型：可以通过将二维图像输入至神经网络中，由神经网络构建得到静态三维模型的方法。通常地，为了训练神经网络，针对一个静态场景，需要提供大量相机参数已知的二维图像。基于所提供的二维图像训练好的神经网络，即可以从任意角度渲染出二维图像对应的三维模型。

一般来说，车辆驾驶的过程中会存在众多盲区，如车辆的A/B柱会遮挡驾驶员侧前方视野，以及倒车时无法了解车后情况。因此，辅助驾驶系统应运而生。通常，辅助驾驶系统包括多个安装在车身不同位置的拍摄装置，拍摄装置用于拍摄车辆周围的驾驶环境，并将拍摄到的图像进行处理后，呈现给驾驶员供参考。

然而，在实际应用过程中，如图1所示，车身不同位置的拍摄装置所在的拍摄视点和驾驶员人眼视点和视线方向不一致，导致直接呈现拍摄图像会和驾驶员人眼所见的实景存在观感差异，不利于驾驶员进行做判断(比如高度判断错误，距离估算不准等)，降低了行车安全性。

鉴于此，本申请实施例提供一种图像生成方法，包括：获取多个拍摄装置拍摄目标区域的多个区域图像，以及拍摄多个区域图像时用户视点的外参数和多个拍摄装置的外参数；多个拍摄装置与多个区域图像一一对应，多个拍摄装置位于不同位置，外参数用于表示相比于预设基准点的位置姿态变化；将用户视点的外参数、多个拍摄装置的外参数以及多个区域图像输入到训练好的图像渲染模型，生成基于用户视点观测目标区域的目标区域图像。

下面结合说明书附图对本申请实施例提供的方法进行详细说明。

需要说明的是，本申请实施例描述的网络系统是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络系统的演变和其他网络系统的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

图2示出的是本申请实施例提供的一种图像生成系统的示意图。如图2所示，该图像生成系统可以包括多个拍摄装置11、图像生成装置12。拍摄装置11与图像生成装置12连接。例如，多个拍摄装置11与图像生成装置12之间可以通过无线的方式进行连接。

其中，本申请的实施例中涉及的拍摄装置11，可以为摄像头、或其他具有拍摄功能的电子设备(如相机、录像设备等视频监控设备终端、移动台(mobile station，MS)、移动终端(mobile terminal，MT)等，本申请的实施例对拍摄装置11所采用的具体技术、具体数量和具体设备形态不做限定。

其中，本申请的实施例中涉及的图像生成装置12，也可以称为服务器，计算机等。本申请的实施例对图像生成装置12所采用的具体技术、具体数量和具体设备形态不做限定。

其中，拍摄装置11用于拍摄目标区域的多个区域图像，并将拍摄到的目标区域的多个区域图像发送给图像生成装置12。图像生成装置12，用于接收拍摄装置11拍摄到的目标区域的多个区域图像，还用于拍摄多个区域图像时用户视点的外参数和多个拍摄装置的外参数，并根据目标区域的多个区域图像，拍摄多个区域图像时用户视点的外参数和多个拍摄装置的外参数确定基于用户视点观测目标区域的目标区域图像。

在不同的应用场景中，拍摄装置11、图像生成装置12可以为相互独立的设备，也可以集成于同一设备中，图像生成装置12可以为独立的设备。本发明实施例对此不作具体限定。

需要说明的是，图2仅为示例性框架图，图2中包括的各个设备的名称不受限制，且除图2所示功能节点外，还可以包括其他节点，本申请实施例对此不进行限定。

具体实现时，图2中的各个设备均可以采用图3所示的组成结构，或者包括图3所示的部件。图3为本申请实施例提供的一种图像生成装置200的组成示意图，该图像生成装置200可以为服务器，或者，该图像生成装置200可以为服务器中的芯片或者片上系统。如图3所示，该图像生成装置200包括处理器201，通信接口202以及通信线路203。

进一步的，该图像生成装置200还可以包括存储器204。其中，处理器201，存储器204以及通信接口202之间可以通过通信线路203连接。

其中，处理器201是CPU、通用处理器、网络处理器(network processor，NP)、数字信号处理器(digital signal processing，DSP)、微处理器、微控制器、可编程逻辑器件(programmable logic device，PLD)或它们的任意组合。处理器201还可以是其它具有处理功能的装置，例如电路、器件或软件模块，不予限制。

通信接口202，用于与其他设备或其它通信网络进行通信。通信接口202可以是模块、电路、通信接口或者任何能够实现通信的装置。

通信线路203，用于在图像生成装置200所包括的各部件之间传送信息。

存储器204，用于存储指令。其中，指令可以是计算机程序。

其中，存储器204可以是只读存储器(read-only memory，ROM)或可存储静态信息和/或指令的其他类型的静态存储设备，也可以是随机存取存储器(random accessmemory，RAM)或可存储信息和/或指令的其他类型的动态存储设备，还可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或其他磁存储设备等，不予限制。

需要指出的是，存储器204可以独立于处理器201存在，也可以和处理器201集成在一起。存储器204可以用于存储指令或者程序代码或者一些数据等。存储器204可以位于图像生成装置200内，也可以位于图像生成装置200外，不予限制。处理器201，用于执行存储器204中存储的指令，以实现本申请下述实施例提供的图像生成方法。

在一种示例中，处理器201可以包括一个或多个CPU，例如，图3中的CPU0和CPU1。

作为一种可选的实现方式，图像生成装置200包括多个处理器，例如，除图3中的处理器201之外，还可以包括处理器205。

需要指出的是，图3中示出的组成结构并不构成对该图2中的各个设备的限定，除图3所示部件之外，图2在的各个设备可以包括比图3更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本申请实施例中，芯片系统可以由芯片构成，也可以包括芯片和其他分立器件。

此外，本申请的各实施例之间涉及的动作、术语等均可以相互参考，不予限制。本申请的实施例中各个设备之间交互的消息名称或消息中的参数名称等只是一个示例，具体实现中也可以采用其他的名称，不予限制。

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

下面结合图2所示图像生成系统，对本申请实施例提供的图像生成方法进行描述。

图4a为本申请实施例提供了一种图像生成方法，应用于服务器，也可以应用于图像生成装置，该图像生成装置可以为图2中的图像生成装置12，还可以为图像生成装置12中的器件，如芯片等。本申请实施例以应用于图像生成装置12为例进行说明，如图4a所示，该方法包括下述S401-S402：

S401、图像生成装置获取多个拍摄装置拍摄目标区域的多个区域图像，以及拍摄多个区域图像时用户视点的外参数和多个拍摄装置的外参数。

其中，多个拍摄装置与多个区域图像一一对应，多个拍摄装置位于不同位置。例如，多个拍摄位置可以位于覆盖驾驶员被遮挡的视线区域的位置。拍摄装置的具体数量和具体放置位置可以根据需要设置，不予限制。该拍摄装置可以为图2中的拍摄装置11，还可以为拍摄装置11中的器件，如芯片等。

其中，外参数用于表示相比于预设基准点的位置姿态变化。例如，外参数可以包括相比于预设参考点的位置参数和旋转参数。预设基准点可以根据需要设置。例如，可以为车辆出发位置。

其中，目标区域可以指固定的区域，也可以指非固定的区域。例如，目标区域可以是行驶中的车辆的附近的区域。多个区域图像可以为位于车辆不同位置拍摄到的图像。例如，区域图像可以包括车辆的左前方区域，也可以包括车辆的正前方区域，还可以包括车辆的右前方区域等。

作为一种可能的实现方式，多个拍摄装置可以基于预设频率拍摄目标区域的多个区域图像，并在目标区域的多个区域图像之后，向图像生成装置发送第一消息。相应的，图像生成装置通过接收第一消息获取多个拍摄装置拍摄目标区域的多个区域图像。

需要说明的，预设频率可以根据需要设置。例如，可以为每秒20次，也可以为每秒10次等。

进一步的，图像生成装置在获取多个拍摄装置拍摄目标区域的多个区域图像之后，可以根据多个区域图像以及SLAM技术确定拍摄多个区域图像时用户视点的外参数和多个拍摄装置的外参数。

一种示例中，如图4b所示，示出了一种多个拍摄装置的示意图，多个拍摄装置可以分别设置在车辆中的三角所标定的位置。在T-1时刻，多个拍摄装置的外参数可以分别表示为

S402、图像生成装置将用户视点的外参数、多个拍摄装置的外参数以及多个区域图像输入到训练好的图像渲染模型，生成基于用户视点观测目标区域的目标区域图像。

其中，图像渲染模型具体可以根据需要设置。例如，可以为神经辐射场(neuralradiance field，NeRF)模型，也可以为Block-NeRF模型。

作为一种可能的实现方式，图像生成装置可以在将用户视点的外参数、多个拍摄装置的外参数以及多个区域图像输入到训练好的图像渲染模型之后，可以根据多个拍摄装置的外参数以及多个区域图像得到目标区域的三维场景，并基于用户视点的外参数确定观察该目标区域的三维场景的三维坐标。在得到该三维坐标之后，可以基于该三维坐标生成基于用户视点观测目标区域的目标区域图像。

需要说明的，训练好的图像渲染模型可以根据需要预先设置。图像渲染模型的训练过程的具体说明将在后续部分进行说明，本申请在此暂不赘述。

在一些实施例中，图像生成装置可以在用户视点周围，采样多个旋转角度，渲染出多幅目标区域图像，并将目标区域图像进行拼接得到更大视野的目标区域图像。

在又一些实施例中，图像生成装置可以采集用户视点的左眼视点和右眼视点，并基于左眼视点和右眼视点分别渲染图像，得到一对立体图像。图像生成装置还可以设置有立体显示器，立体显示器可以用于呈现该立体图像。

基于本申请提供的技术方案，生成装置可以根据在获取多个拍摄装置拍摄目标区域的多个区域图像，以及拍摄多个区域图像时用户视点的外参数和多个拍摄装置的外参数之后，将用户视点的外参数、多个拍摄装置的外参数以及多个区域图像输入到训练好的图像渲染模型，生成基于用户视点观测目标区域的目标区域图像。由于多个拍摄装置与多个区域图像一一对应，多个拍摄装置位于不同位置，如此，可以扩大视野范围，减少视野盲区。另外，由于拍摄装置可以会抖动，引起拍摄装置拍摄的图像出现抖动，观感很差，而本申请没有直接呈现拍摄到的图像，而是用训练好的图像渲染模型，可以避免生成的图像出现抖动，提升用户观感。且该图像是基于用户视点观测目标区域的目标区域图像，呈现的图像会和用户人眼所见的实景观感差异较小，有利于驾驶员进行做准确的高度判断，距离估算等，提高了行车安全性。

一种可能的实施例，如图5所示，为了获取多个拍摄装置拍摄目标区域的多个区域图像，本申请的图像生成方法S401可以具体包括下述S501-S502。

S501、图像生成装置获取多个拍摄装置拍摄的多个区域原始图像以及多个拍摄装置的内参数。

其中，所述内参数包括投影参数和畸变参数，畸变参数可以包括径向畸变参数和切向畸变参数。区域原始图像指未经过处理的图像。

作为一种可能的实现方式，图像生成装置可以根据预设算法获取多个拍摄装置的内参数。例如，预设算法可以为棋盘格标定法，也可以为张正友标定法等，不予限制。

作为又一种可能的实现方式，图像生成装置可以设置有输入装置，如键盘等。用户可以基于图像生成装置的输入装置将多个拍摄装置的内参数输入到图像生成装置。

S502、图像生成装置根据多个拍摄装置的内参数校正多个区域原始图像，得到多个区域图像。

其中，区域图像为区域原始图像经过校正后得到的图像。

作为一种可能的实现方式，图像生成装置根据多个拍摄装置的内参数将区域原始图像中的每个像素点进行转换，得到转换后的多个像素点，并基于转换后的多个像素点得到多个区域图像。

需要说明的，图像生成装置根据多个拍摄装置的内参数校正多个区域原始图像的具体说明将在后续部分进行说明，本申请在此暂不赘述。

如此，图像生成装置可以根据多个拍摄装置的内参数校正多个区域原始图像。避免由于拍摄装置的异常引起图像发送畸变，可以提高多个区域图像的准确性以及用户观感。

一种可能的实施例，如图6所示，为了根据多个拍摄装置的内参数校正多个区域原始图像，得到多个区域图像，本申请的图像生成方法中的S502具体可以包括下述S601-S602。

S601、图像生成装置根据多个拍摄装置的内参数、第一像素点以及预设转换公式确定第二像素点。

其中，第一像素点为第一区域原始图像中的任一个像素点，第二像素点为第一像素点在第一区域图像中对应的像素点，第一区域原始图像为多个区域原始图像中的任一个，第一区域图像为第一区域原始图像校正后的图像。

一种示例中，第一像素点可以为Q＝(u,v)，第二像素点第二像素点为Q'＝(u',v')，预设转换公式可以为u＝u'*(1+k1*r

其中，k1和k2为径向畸变系数。r

进一步的，在得到第二像素点之后，若第二像素点不是整数，图像生成装置可以通过插值处理将第二像素点进行插值转换。

S602、图像生成装置根据第二像素点确定第一区域图像，得到多个区域图像。

作为一种可能的实现方式，图像生成装置在得到第一原始区域图像中每个像素点的第二像素点之后，可以将每个像素点的第二像素点进行拼接，得到第一区域图像。

如此，图像生成装置可以根据多个拍摄装置的内参数对区域原始图像中的每个像素点进行转换，得到区域原始图像中的每个像素点对应的第二像素点，可以对多个区域原始图像进行校正。避免由于拍摄装置的异常引起图像发送畸变，可以提高多个区域图像的准确性以及用户观感。

一种可能的实施例，如图7所示，为了获取训练好的图像渲染模型，本申请的图像生成方法具体还可以包括下述S701-S703。

S701、图像生成装置获取多组样本数据。

其中，多组样本数据包括用户视点的外参数、多个拍摄装置的外参数、多个拍摄装置拍摄的样本区域的多个样本区域图像以及用户视点的样本图像。

作为一种可能的实现方式，外部数据库可以存储有多组样本数据，图像生成装置可以通过向外部数据库发送样本请求消息，样本请求消息用于请求多组样本数据。外部数据库在接收到样本请求消息之后，可以向图像生成装置发送样本回复消息，样本回复消息包括多组样本数据，图像生成装置可以通过接收到样本回复消息获取多组样本数据。

需要说明的，该获取方式仅为示例性的说明的，不予限制。

S702、图像生成装置将多组样本数据包括用户视点的外参数、多个拍摄装置的外参数、多个拍摄装置拍摄的样本区域的多个样本区域图像输入图像渲染模型，得到图像渲染模型输出的有偏图像。

其中，有偏图像为与样本图像之间的存在差异的图像。

需要说明的，多个拍摄装置的外参数、多个拍摄装置拍摄的样本区域的多个样本区域图像可以组成多个样本对输入图像渲染模型。例如，样本对可以为

其中，

S703、图像生成装置根据有偏图像与样本图像之间的差异，调整图像渲染模型的模型参数，得到训练好的图像渲染模型。

作为一种可能的实现方式，在得到有偏图像之后，图像生成装置可以通过构建损失函数，基于损失函数利用梯度下降法，根据有偏图像和样本图像之间的差异，调整原始图像渲染模型的模型参数，获得有偏图像，不断调整原始图像渲染模型的模型参数，直到通过该原始图像渲染模型得到的有偏图像和样本图像相似度大于第一阈值，将该调整模型参数后的原始图像渲染模型确定为训练好的图像渲染模型。

需要说明的，为提高训练速度，该训练过程可以为迭代训练。第一阈值可以根据需要设置。例如，可以为90％，也可以为95％，还可以为98％等。

需要说明的，图像渲染模型设置有初始模型参数以及预设的调整步长，图像生成装置可以根据初始模型参数以及预设的调整步长以及对应的输出结果确定训练好的图像渲染模型，初始模型参数以及预设的调整步长可以根据需要设置。

如此，图像生成装置可以通过样本数据对图像渲染模型进行训练，调整图像渲染模型的模型参数，得到训练好的图像渲染模型，由于图像渲染模型的模型参数是根据有偏图像和样本图像不断调整的，训练好的图像渲染模型输出结果准确率较高，可以更准确的确定预设视点的目标区域的目标区域图像。

本申请上述实施例中的各个方案在不矛盾的前提下，均可以进行结合。

本申请实施例可以根据上述方法示例对图像生成装置进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图8示出了一种图像生成装置的结构示意图，该图像生成装置可以为服务器，也可以为应用于服务器中的芯片，该图像生成装置可以用于执行上述实施例中涉及的对服务器的功能。图8所示的图像生成装置可以包括：获取单元801、处理单元802，获取单元801，用于获取多个拍摄装置拍摄目标区域的多个区域图像，以及拍摄多个区域图像时用户视点的外参数和多个拍摄装置的外参数；多个拍摄装置与多个区域图像一一对应，多个拍摄装置位于不同位置，外参数用于表示相比于预设基准点的位置姿态变化；处理单元802，用于将用户视点的外参数、多个拍摄装置的外参数以及多个区域图像输入到训练好的图像渲染模型，生成基于用户视点观测目标区域的目标区域图像。

一种可能的设计中，获取单元801，具体用于：获取多个拍摄装置拍摄的多个区域原始图像以及多个拍摄装置的内参数，内参数包括投影参数和畸变参数；根据多个拍摄装置的内参数校正多个区域原始图像，得到多个区域图像。

一种可能的设计中，获取单元801，具体还用于：根据多个拍摄装置的内参数、第一像素点以及预设转换公式确定第二像素点，第一像素点为第一区域原始图像中的任一个像素点，第二像素点为第一像素点在第一区域图像中对应的像素点，第一区域原始图像为多个区域原始图像中的任一个，第一区域图像为第一区域原始图像校正后的图像；根据第二像素点确定第一区域图像，得到多个区域图像。

一种可能的设计中，获取单元801还用于：获取多组样本数据，多组样本数据包括用户视点的外参数、多个拍摄装置的外参数、多个拍摄装置拍摄的样本区域的多个样本区域图像以及用户视点的样本图像；处理单元802，还用于将多组样本数据包括用户视点的外参数、多个拍摄装置的外参数、多个拍摄装置拍摄的样本区域的多个样本区域图像输入图像渲染模型，得到图像渲染模型输出的有偏图像；处理单元，还用于根据有偏图像与样本图像之间的差异，调整图像渲染模型的模型参数，得到训练好的图像渲染模型。

本申请实施例还提供了一种计算机可读存储介质。上述方法实施例中的全部或者部分流程可以由计算机程序来指令相关的硬件完成，该程序可存储于上述计算机可读存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。计算机可读存储介质可以是前述任一实施例的图像生成装置(包括数据发送端和/或数据接收端)的内部存储单元，例如图像生成装置的硬盘或内存。上述计算机可读存储介质也可以是上述终端装置的外部存储设备，例如上述终端装置上配备的插接式硬盘，智能存储卡(smart media card,SMC)，安全数字(secure digital,SD)卡，闪存卡(flash card)等。进一步地，上述计算机可读存储介质还可以既包括上述图像生成装置的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述图像生成装置所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

需要说明的是，本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。