基于球谐函数的场景信息的表达方法、装置、设备和介质

技术领域

本申请涉及实时渲染技术领域，特别是涉及基于球谐函数的场景信息的表达方法、装置、设备和介质。

背景技术

在对游戏实时渲染的过程中，由于物体跟周围场景的位置信息或者光照信息有基本的交互，所以当渲染物体时，可能需要表达场景信息(Scene Distance Field，简称SDF)。在Untiy3D中，一般是采用CameraDepthTexture或者CameraDepthNormalTexture来生成场景的深度信息。然而，使用上述方式表达场景信息时，针对每一帧都需要提前渲染一遍场景以生成相机当前视角下的场景深度信息，这会导致计算的开销很大，特别是在场景复杂的情况下，会造成更大的计算开销。

因此，如何在表达场景信息时节约计算成本，成为本领域技术人员亟待解决的问题。

发明内容

本申请实施例提供了一种基于球谐函数的场景信息的表达方法、装置、设备和介质，以至少解决相关技术中如何在表达场景信息时节约计算成本的问题。

第一方面，本申请实施例提供了一种基于球谐函数的场景信息的表达方法，包括：针对场景中每个物体模型的每个顶点，选取预设数目的法线方向；在每个所述法线方向上对距离信息进行预积分，得到与每个所述法线方向对应的深度信息，所述距离信息为所述顶点在所述法线方向上与最近的其他物体表面的距离信息；将各所述法线方向以及与各所述法线方向对应的所述深度信息作为球谐函数系数进行保存；当接收到任意所述法线方向时，根据保存的所述球谐函数系数，读取与该法线方向对应的所述深度信息；对读取的所述深度信息进行表达。

在其中一些实施例中，所述的选取预设数目的法线方向包括：通过蒙特卡洛随机选取预设数目的法线方向。

在其中一些实施例中，所述的在每个所述法线方向上对距离信息进行预积分，得到与每个所述法线方向对应的深度信息包括：对各所述顶点在每个所述法线方向上获取与最近的所有其他物体表面的距离信息；针对每个所述法线方向，将获取到的所有的所述距离信息进行相加，得到与每个所述法线方向对应的深度信息。

在其中一些实施例中，所述的将各所述法线方向以及与各所述法线方向对应的所述深度信息作为球谐函数系数进行保存包括：将各所述法线方向以及与各所述法线方向对应的所述深度信息作为两阶的球谐函数系数进行保存。

在其中一些实施例中，所述的所述的对读取的所述深度信息进行表达包括：采用环境光遮蔽(Ambient Occlusion，简称AO)算法对读取的所述深度信息进行表达。

第二方面，本申请实施例提供了一种基于球谐函数的场景信息的表达装置，包括：选取模块、预积分模块、保存模块、读取模块和表达模块，其中，选取模块用于针对场景中每个物体模型的每个顶点，选取预设数目的法线方向；预积分模块用于在每个所述法线方向上对距离信息进行预积分，得到与每个所述法线方向对应的深度信息，所述距离信息为所述顶点在所述法线方向上与最近的其他物体表面的距离信息；保存模块用于将各所述法线方向以及与各所述法线方向对应的所述深度信息作为球谐函数系数进行保存；读取模块用于当接收到任意所述法线方向时，根据保存的所述球谐函数系数，读取与该法线方向对应的所述深度信息；表达模块用于对读取的所述深度信息进行表达。

在其中一些实施例中，所述的选取预设数目的法线方向包括：通过蒙特卡洛随机选取预设数目的法线方向。

在其中一些实施例中，所述的在每个所述法线方向上对距离信息进行预积分，得到与每个所述法线方向对应的深度信息包括：对各所述顶点在每个所述法线方向上获取与最近的所有其他物体表面的距离信息；针对每个所述法线方向，将获取到的所有的所述距离信息进行相加，得到与每个所述法线方向对应的深度信息。

第三方面，本申请实施例提供了一种电子设备，包括处理器和存储有计算机程序的存储介质，所述计算机程序被所述处理器执行时实现如上述任一项所述的基于球谐函数的场景信息的表达方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于球谐函数的场景信息的表达方法。

根据上述内容，本申请实施例的基于球谐函数的场景信息的表达方法包括：针对场景中每个物体模型的每个顶点，选取预设数目的法线方向；在每个所述法线方向上对距离信息进行预积分，得到与每个所述法线方向对应的深度信息，所述距离信息为所述顶点在所述法线方向上与最近的其他物体表面的距离信息；将各所述法线方向以及与各所述法线方向对应的所述深度信息作为球谐函数系数进行保存；当接收到任意所述法线方向时，根据保存的所述球谐函数系数，读取与该法线方向对应的所述深度信息；对读取的所述深度信息进行表达。本申请实施例能够预生成场景信息，并对该场景信息即法线方向及其深度信息采用球谐函数系数进行保存，在渲染时，可以根据保存的球谐函数系数来还原场景，而无需对每一帧都进行场景的渲染，既提高了渲染效率，又降低了计算的开销，达到了节约计算成本的有益效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的不同法线方向的表达示意图；

图2是根据本申请实施例的基于球谐函数的场景信息的表达方法的流程图；

图3是根据本申请实施例的几阶球谐函数的表达示意图；

图4是根据本申请实施例的基于球谐函数的烘焙场景信息的效果示意图；

图5是根据本申请实施例的基于球谐函数的烘焙场景信息的效果示意图；

图6是根据本申请实施例的基于球谐函数的场景信息的表达装置的结构框图；

图7是根据本申请实施例的电子设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

如上文所述，在Unity3D中，相关技术中采用CameraDepthTexture或者CameraDepthNormalTexture来生成场景的深度信息时，由于对每一帧都需要提前渲染一遍场景以生成相机当前视角下的场景深度信息，换言之，由于对每一帧都需要额外进行预渲染一遍，在实际渲染场景时，相当于需要重复调用Draw Call。在每次调用Draw Call之前，CPU需要向GPU发送很多内容，包括数据，状态，命令等。在这一阶段，CPU需要完成很多工作，例如检查渲染状态等，当CPU完成了这些准备工作，GPU就可以开始本次的渲染。然而，如果Draw Call的开销太多，CPU就会把大量时间花费在提交Draw Call命令上，造成CPU的过载。

因此，上述方式会导致计算的开销很大，而且，不仅渲染效率低，若内存较小，还会导致渲染精度低的问题。

本申请的发明人通过预生成场景信息的思想来解决上文所提到的问题，而具体通过何种方式来预生成场景信息，也是本申请的关键所在。

图1是根据本申请实施例的不同法线方向的表达示意图，如图1所示，对于一个已经确定下来的静态的场景，场景中每一个物体跟周围场景的空间位置关系都能确定下来，可见任意物体与其周围其他物体的距离是固定的。但是，对于物体模型的某一顶点而言，在不同角度的法线方向上，该顶点与其他物体表面的距离可能是不同的，换言之，该顶点的各个法线方向分别对应有各自的场景深度。

本申请实施例根据顶点的每个不同角度的法线方向即法线方向偏移(NormalDirection Biased)来分析该顶点到其他物体表面的距离信息(例如为浮点数的值)，从而生成场景的深度信息，并采用球谐函数系数进行保存，而且可以将各法线方向对应的深度信息预烘焙到物体模型的顶点上。

图2是根据本申请实施例的基于球谐函数的场景信息的表达方法的流程图，如图2所示，包括以下步骤：

S100：针对场景中每个物体模型的每个顶点，选取预设数目的法线方向；

S200：在每个法线方向上对距离信息进行预积分，得到与每个法线方向对应的深度信息，所述距离信息为顶点在法线方向上与最近的其他物体表面的距离信息；

S300：将各法线方向以及与各法线方向对应的深度信息作为球谐函数系数进行保存；

S400：当接收到任意法线方向时，根据保存的球谐函数系数，读取与该法线方向对应的深度信息；

S500：对读取的深度信息进行表达。

根据上述内容，能够预生成场景信息，并对该场景信息即法线方向及深度信息采用球谐函数系数进行保存，在渲染时，可以根据保存的球谐函数系数快速高效的读取对应的场景信息，然后基于读取的场景信息进行渲染，既提高了渲染效率，又降低了计算的开销，达到了节约计算成本的效果。而且，由于无需在每一帧都对场景进行预渲染，所以降低了内存占用，即节约了存储成本。另外，即使硬件设备的性能较弱，由于采用本申请实施例的表达方法占用较少的内存，降低了数据缺失的概率，能够保障渲染结果的精准度。

由上文可知，本申请实施例采用球谐函数系数来保存各法线方向及其深度信息。图3是根据本申请实施例的几阶球谐函数的表达示意图，如图3所示，P表示勒让德多项式；l和m两个参数将这些多项式归为若干组，l是组的编号，取值为[0，6]之间的整数，而且m取值为[0，6]之间的整数。球谐函数的意义在于，可以通过几阶不同的球谐函数因子(系数)来表达不同方向下的振幅，它是基于拉普拉斯方程的球坐标系形式解的推导，可以通过球面坐标来表达不同方向的值。在本申请实施例的场景信息的表达方法中，通过球谐光照来存储环境的漫反射光照卷积。

作为一个示例，对各顶点在每个法线方向(是具有x、y、z坐标值的向量值)上查询所有的最近的其他物体表面，并获取与这些其他物体表面的距离信息；针对每个法线方向，将获取到的所有的距离信息进行相加，得到与每个法线方向对应的深度信息。

可选的，将各法线方向及其对应的深度信息作为两阶的球谐函数系数进行保存。由于两阶的球谐函数系数对应4个因子(coefficients)，在得到深度信息之后，可以很好的将各法线方向对应的深度信息预烘焙到物体模型的顶点上，也可以存到贴图上。由于4个系数刚好对应一个Float4的值，GPU是以四维向量为基本单位来计算的，4个浮点数所组成的Float4向量是GPU内置的最基本类型，所以无论是存到贴图或顶点，数据保存起来都十分方便。另外，在实际开发中，需要对球谐函数系数进行离线保存，因此球谐函数的阶数不同，在保存球谐函数系数时，会有不同的计算处理方式。理论上，球谐函数的阶数越高，渲染结果还原得越精确，但是球谐函数系数也会越多，既增加存储成本又增加计算成本，因此，为了保证渲染结果所还原的精确度同时降低存储成本和计算成本，此处选用两阶的球谐函数系数进行表达。

按照上述内容，将所有的(即预设数目的)法线方向及其深度信息进行球谐函数的两阶系数输入，以进行保存。可选的，通过蒙特卡洛随机采样方法随机选取例如1024个角度的法线方向，在每个法线方向上进行采样，将会得到这1024个法线方向和对应的采样结果(即距离信息)，在对采样结果做预积分之后，得到深度信息，从而将法线方向及其深度信息作为球谐函数系数保存下来。理论上，在一个顶点的360°所对应的法线方向上，每个法线方向都需要采样以计算深度信息，并将这些深度信息保存到球谐函数系数。虽然围绕整个360°空间球面的采样间隔越小，效果越好，但基于如此均匀采样分布的计算量来说，开销非常大。所以，上述的预设数目即1024这个值可以是均衡球谐函数系数和渲染效果的一个均衡值。

基于上述内容，在实际中使用(即渲染)的情况下，当输入法线方向(即硬件接收到法线方向)时，根据保存的球谐函数系数读取与该法线方向对应的深度信息，并对读取的深度信息进行表达。

图4是根据本申请实施例的基于球谐函数的烘焙场景信息的效果示意图；图5是根据本申请实施例的基于球谐函数的烘焙场景信息的效果示意图，如图4和图5所示，在Unity3D中可以运用本申请实施例的基于球谐函数的场景信息的表达方法，能够省去大量的计算开销，而额外的开销只是保存一部分球谐函数系数的顶点数据，并且是静态的，这部分数据的计算开销小到几乎可以忽略不计。同时，对于不同角度的法线方向，场景信息都可以通过球谐函数系数进行很精确的还原，无需对每一帧都预渲染一遍，因此可以节约计算成本。

本申请实施例提供了一种基于球谐函数的场景信息的表达装置，图6是根据本申请实施例的基于球谐函数的场景信息的表达装置的结构框图，如图6所示，该装置包括：选取模块1、预积分模块2、保存模块3、读取模块4和表达模块5，其中，选取模块1用于针对场景中每个物体模型的每个顶点，选取预设数目的法线方向。优选的，通过蒙特卡洛随机选取预设数目的法线方向。预积分模块2用于在每个法线方向上对距离信息进行预积分，得到与每个法线方向对应的深度信息，上述距离信息为顶点在法线方向上与最近的其他物体表面的距离信息。优选的，对各顶点在每个法线方向上获取与最近的所有其他物体表面的距离信息；针对每个法线方向，将获取到的所有的距离信息进行相加，得到与每个法线方向对应的深度信息。保存模块3用于将各法线方向以及与各法线方向对应的深度信息作为球谐函数系数进行保存。优选的，将各法线方向以及与各法线方向对应的深度信息作为两阶的球谐函数系数进行保存。读取模块4用于当接收到任意法线方向时，根据保存的球谐函数系数，读取与该法线方向对应的深度信息。表达模块5用于对读取的深度信息进行表达。优选的，采用环境光遮蔽算法对读取的深度信息进行表达。

基于以上内容，在获得场景信息之后，可以采用AO算法对读取的深度信息进行表达，或者，可以基于读取的深度信息进行厚度的生成等等。由于通过本申请实施例可以高效地读取贴图中每个像素周围的所有的场景深度信息，可以结合AO等算法快速实现场景信息的表达，这种高效的表达方式是现有技术无法或者很难做到的。

本申请实施例还提供一种电子设备，图7是根据本申请实施例的电子设备的结构框图，如图7所示，该电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。

具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。

存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。

处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种基于球谐函数的场景信息的表达方法。

在其中一些实施例中，上述电子设备还可包括通信接口83和总线80。其中，如图7所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。

通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

另外，结合上述实施例中的基于球谐函数的场景信息的表达方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于球谐函数的场景信息的表达方法。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。