基于多源异构深度网络融合的建筑物屋顶识别方法和装置

技术领域

本申请涉及图像识别技术领域，特别是涉及一种基于多源异构深度网络融合的建筑物屋顶识别方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着电力技术的发展，建筑物屋顶识别在电力系统规划与管理等众多领域都有重要的应用。通过对不同类型建筑物屋顶的特征分析，可以了解到其形状、大小等情况不同，这些信息可以用于后续的发电站规划与设计。因此，如何高效地进行建筑物屋顶的识别，成为了重要的研究方向。

传统技术通常是通过人工识别建筑物屋顶的图像，实现建筑物屋顶的识别；但是，通过该方式进行识别需要耗费较多的人工处理时间，导致建筑物屋顶识别效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高建筑物屋顶识别效率的基于多源异构深度网络融合的建筑物屋顶识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种基于多源异构深度网络融合的建筑物屋顶识别方法。所述方法包括：

获取目标区域的光学图像和所述目标区域的遥感图像；所述目标区域中包含建筑物屋顶；

将所述光学图像输入至光学图像分割模型，得到所述建筑物屋顶的光学分割图像；

将所述遥感图像输入至遥感图像分割模型，得到所述建筑物屋顶的遥感分割图像；

对所述光学分割图像和所述遥感分割图像进行融合处理，得到所述建筑物屋顶的融合分割图像；

对所述融合分割图像进行识别，得到所述建筑物屋顶的面积信息。

在其中一个实施例中，所述对所述光学分割图像和所述遥感分割图像进行融合处理，得到所述建筑物屋顶的融合分割图像，包括：

根据所述光学分割图像中的像素点的最大像素值，确定出所述光学分割图像中各像素点的相对像素值；

根据所述遥感分割图像中的像素点的最大像素值，确定出所述遥感分割图像中各像素点的相对像素值；

根据所述光学分割图像中各像素点的相对像素值和所述遥感分割图像中各像素点的相对像素值，对所述光学分割图像和所述遥感分割图像进行融合处理，得到所述建筑物屋顶的融合分割图像。

在其中一个实施例中，所述根据所述光学分割图像中各像素点的相对像素值和所述遥感分割图像中各像素点的相对像素值，对所述光学分割图像和所述遥感分割图像进行融合处理，得到所述建筑物屋顶的融合分割图像，包括：

根据所述光学分割图像中各像素点的位置信息和所述遥感分割图像中各像素点的位置信息，确定出所述光学分割图像中各像素点与所述遥感分割图像中各像素点之间的匹配关系；

根据所述匹配关系，确定出所述光学分割图像与所述遥感分割图像之间的像素点匹配对；

针对每一像素点匹配对，从所述像素点匹配对中选取出对应的相对像素值最大的像素点，作为所述建筑物屋顶的待生成融合分割图像中的目标像素点；

根据各所述目标像素点，生成所述建筑物屋顶的融合分割图像。

在其中一个实施例中，所述对所述融合分割图像进行识别，得到所述建筑物屋顶的面积信息，包括：

对所述融合分割图像进行边缘检测处理，得到所述建筑物屋顶的边缘检测图像；

对所述边缘检测图像进行识别，得到所述建筑物屋顶的面积信息。

在其中一个实施例中，所述对所述边缘检测图像进行识别，得到所述建筑物屋顶的面积信息，包括：

对所述边缘检测图像进行识别，确定出所述边缘检测图像中的边缘特征点；

对所述边缘特征点的包围区域进行识别，得到所述包围区域的面积值；

将所述包围区域的面积值，识别为所述建筑物屋顶的面积信息。

在其中一个实施例中，在对所述融合分割图像进行识别，得到所述建筑物屋顶的面积信息之后，还包括：

根据所述建筑物屋顶的地理位置信息，确定出对应的太阳高度角信息和太阳方位角信息；

根据所述面积信息、所述太阳高度角信息和所述太阳方位角信息，确定所述建筑物屋顶对应的光伏面板铺设面积。

第二方面，本申请还提供了一种基于多源异构深度网络融合的建筑物屋顶识别装置。所述装置包括：

图像获取模块，用于获取目标区域的光学图像和所述目标区域的遥感图像；所述目标区域中包含建筑物屋顶；

第一输入模块，用于将所述光学图像输入至光学图像分割模型，得到所述建筑物屋顶的光学分割图像；

第二输入模块，用于将所述遥感图像输入至遥感图像分割模型，得到所述建筑物屋顶的遥感分割图像；

图像融合模块，用于对所述光学分割图像和所述遥感分割图像进行融合处理，得到所述建筑物屋顶的融合分割图像；

图像识别模块，用于对所述融合分割图像进行识别，得到所述建筑物屋顶的面积信息。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取目标区域的光学图像和所述目标区域的遥感图像；所述目标区域中包含建筑物屋顶；

将所述光学图像输入至光学图像分割模型，得到所述建筑物屋顶的光学分割图像；

将所述遥感图像输入至遥感图像分割模型，得到所述建筑物屋顶的遥感分割图像；

对所述光学分割图像和所述遥感分割图像进行融合处理，得到所述建筑物屋顶的融合分割图像；

对所述融合分割图像进行识别，得到所述建筑物屋顶的面积信息。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取目标区域的光学图像和所述目标区域的遥感图像；所述目标区域中包含建筑物屋顶；

将所述光学图像输入至光学图像分割模型，得到所述建筑物屋顶的光学分割图像；

将所述遥感图像输入至遥感图像分割模型，得到所述建筑物屋顶的遥感分割图像；

对所述光学分割图像和所述遥感分割图像进行融合处理，得到所述建筑物屋顶的融合分割图像；

对所述融合分割图像进行识别，得到所述建筑物屋顶的面积信息。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取目标区域的光学图像和所述目标区域的遥感图像；所述目标区域中包含建筑物屋顶；

将所述光学图像输入至光学图像分割模型，得到所述建筑物屋顶的光学分割图像；

将所述遥感图像输入至遥感图像分割模型，得到所述建筑物屋顶的遥感分割图像；

对所述光学分割图像和所述遥感分割图像进行融合处理，得到所述建筑物屋顶的融合分割图像；

对所述融合分割图像进行识别，得到所述建筑物屋顶的面积信息。

上述基于多源异构深度网络融合的建筑物屋顶识别方法、装置、计算机设备、存储介质和计算机程序产品，获取目标区域的光学图像和所述目标区域的遥感图像；所述目标区域中包含建筑物屋顶；将所述光学图像输入至光学图像分割模型，得到所述建筑物屋顶的光学分割图像；将所述遥感图像输入至遥感图像分割模型，得到所述建筑物屋顶的遥感分割图像；对所述光学分割图像和所述遥感分割图像进行融合处理，得到所述建筑物屋顶的融合分割图像；对所述融合分割图像进行识别，得到所述建筑物屋顶的面积信息。该方案通过获取目标区域的光学图像和遥感图像，这些图像包含了建筑物屋顶的信息，然后，将光学图像输入到光学图像分割模型中，通过该模型得到建筑物屋顶的光学分割图像，同时，将遥感图像输入到遥感图像分割模型中，通过该模型得到建筑物屋顶的遥感分割图像，接下来，对光学分割图像和遥感分割图像进行融合处理，得到建筑物屋顶的融合分割图像，最后，对融合分割图像进行识别，可以得到建筑物屋顶的面积信息，从而有利于提高建筑物屋顶识别效率和准确率。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中基于多源异构深度网络融合的建筑物屋顶识别方法的流程示意图；

图2为另一个实施例中基于多源异构深度网络融合的建筑物屋顶识别方法的流程示意图；

图3为一个实施例中视觉转换图像分割的框架示意图；

图4为一个实施例中残差卷积模块的框架示意图；

图5为一个实施例中确定性网络模块的框架示意图；

图6为一个实施例中双层注意力融合模块的框架示意图；

图7为一个实施例中转换编码器的框架示意图；

图8为一个实施例中转换解码器的框架示意图；

图9为一个实施例中洗牌全卷积神经网络的框架示意图；

图10为一个实施例中基于多源异构深度网络融合的建筑物屋顶识别装置的结构框图；

图11为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。

在一个示例性的实施例中，如图1所示，提供了一种基于多源异构深度网络融合的建筑物屋顶识别方法，本实施例以该方法应用于终端进行举例说明；可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器之间的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等；服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该方法包括以下步骤：

步骤S101，获取目标区域的光学图像和目标区域的遥感图像；目标区域中包含建筑物屋顶。

本步骤中，光学图像可以是使用可见光范围内的光进行成像的图像；遥感图像可以是使用遥感技术获取的地球表面的图像，可以包括多种波段的信息，如红外、热红外等，例如遥感图像可以是遥感卫星图像；目标区域可以是某个地理区域。

可选地，终端通过地理信息系统获取光学图像数据库和遥感图像数据库，并从中挑选出指定区域的光学图像和遥感图像，其中这些图像中包含了建筑物屋顶。

步骤S102，将光学图像输入至光学图像分割模型，得到建筑物屋顶的光学分割图像。

本步骤中，光学图像分割模型可以是一个深度学习模型，可通过学习图像的特征和上下文信息，将图像中的建筑物屋顶进行分割，例如光学图像分割模型可以是基于残差确定性网络模块和双重注意力融合网络模块的视觉转换Mask2former(图像分割)框架的模型；分割图像可以是将图像中的像素分配到不同的类别或区域的图像，用于标记图像中不同的目标，其中，光学分割图像可以是光学图像分割后的分割图像。

可选地，终端将光学图像输入光学图像分割模型，通过光学图像分割模型根据学习图像的特征和上下文信息，将图像中的建筑物屋顶进行分割，这样，终端可以得到光学图像分割模型输出的建筑物屋顶的光学分割图像。

步骤S103，将遥感图像输入至遥感图像分割模型，得到建筑物屋顶的遥感分割图像。

本步骤中，遥感图像分割模型也可以是一个深度学习模型，可通过学习图像的特征和上下文信息，将图像中的建筑物屋顶进行分割，例如遥感图像分割模型可以是洗牌全连接网络模型(洗牌型二维全互连多层神经网络模型)；遥感分割图像可以是遥感图像分割后的分割图像。

可选地，终端将遥感图像输入遥感图像分割模型，通过遥感图像分割模型根据学习图像的特征和上下文信息，将图像中的建筑物屋顶进行分割，这样，终端可以得到遥感图像分割模型输出的建筑物屋顶的遥感分割图像。

步骤S104，对光学分割图像和遥感分割图像进行融合处理，得到建筑物屋顶的融合分割图像。

可选地，终端对光学分割图像和遥感分割图像进行融合处理，其中，这个过程可以使用像素级别的融合方法，例如将两个分割图像的像素进行比较，选择像素值较大的像素点作为建筑物屋顶的融合分割图像的像素点，从而得到建筑物屋顶的融合分割图像。

步骤S105，对融合分割图像进行识别，得到建筑物屋顶的面积信息。

本步骤中，面积信息可以是建筑物屋顶的面积大小，可以用于评估建筑物屋顶的可利用性或其他相关分析。

可选地，终端对融合分割图像进行识别，以获取建筑物屋顶的面积信息，其中，这个过程可以使用计算机视觉算法，例如计算建筑物屋顶像素的数量或计算建筑物屋顶区域的面积。

上述基于多源异构深度网络融合的建筑物屋顶识别方法中，获取目标区域的光学图像和目标区域的遥感图像；目标区域中包含建筑物屋顶；将光学图像输入至光学图像分割模型，得到建筑物屋顶的光学分割图像；将遥感图像输入至遥感图像分割模型，得到建筑物屋顶的遥感分割图像；对光学分割图像和遥感分割图像进行融合处理，得到建筑物屋顶的融合分割图像；对融合分割图像进行识别，得到建筑物屋顶的面积信息。该方案通过获取目标区域的光学图像和遥感图像，这些图像包含了建筑物屋顶的信息，然后，将光学图像输入到光学图像分割模型中，通过该模型得到建筑物屋顶的光学分割图像，同时，将遥感图像输入到遥感图像分割模型中，通过该模型得到建筑物屋顶的遥感分割图像，接下来，对光学分割图像和遥感分割图像进行融合处理，得到建筑物屋顶的融合分割图像，最后，对融合分割图像进行识别，可以得到建筑物屋顶的面积信息，从而有利于提高建筑物屋顶识别效率和准确率。

在一个示例性的实施例中，在步骤S104中，对光学分割图像和遥感分割图像进行融合处理，得到建筑物屋顶的融合分割图像，具体包括如下内容：根据光学分割图像中的像素点的最大像素值，确定出光学分割图像中各像素点的相对像素值；根据遥感分割图像中的像素点的最大像素值，确定出遥感分割图像中各像素点的相对像素值；根据光学分割图像中各像素点的相对像素值和遥感分割图像中各像素点的相对像素值，对光学分割图像和遥感分割图像进行融合处理，得到建筑物屋顶的融合分割图像。

本实施例中，相对像素值可以是指将像素值归一化到特定范围内的值，可以是将像素值除以最大像素值，使得像素值在0到1之间。

可选地，终端根据光学分割图像中的像素点的最大像素值，确定出光学分割图像中各像素点的相对像素值，其中这可以通过将每个像素点的像素值除以最大像素值来实现，从而使得每个像素点的像素值在0到1之间；根据遥感分割图像中的像素点的最大像素值，确定出遥感分割图像中各像素点的相对像素值，同样，这可以通过将每个像素点的像素值除以最大像素值来实现，使得每个像素点的像素值在0到1之间；使用光学分割图像的相对像素值和遥感分割图像的相对像素值对光学分割图像和遥感分割图像进行融合处理，其中这个过程可以使用像素级别的融合方式，例如将两个分割图像的相对像素值进行加权平均，得到建筑物屋顶的融合分割图像。

本实施例提供的技术方案，通过根据光学分割图像中各像素点的相对像素值和遥感分割图像中各像素点的相对像素值，有利于更高效和更准确地得到建筑物屋顶的融合分割图像，从而有利于提高建筑物屋顶识别效率和准确率。

在一个示例性的实施例中，上述步骤中，根据光学分割图像中各像素点的相对像素值和遥感分割图像中各像素点的相对像素值，对光学分割图像和遥感分割图像进行融合处理，得到建筑物屋顶的融合分割图像，具体包括如下内容：根据光学分割图像中各像素点的位置信息和遥感分割图像中各像素点的位置信息，确定出光学分割图像中各像素点与遥感分割图像中各像素点之间的匹配关系；根据匹配关系，确定出光学分割图像与遥感分割图像之间的像素点匹配对；针对每一像素点匹配对，从像素点匹配对中选取出对应的相对像素值最大的像素点，作为建筑物屋顶的待生成融合分割图像中的目标像素点；根据各目标像素点，生成建筑物屋顶的融合分割图像。

本实施例中，像素点的位置信息可以是像素点在图中的位置信息，例如像素点在图中的坐标；匹配关系可以是指光学分割图像中的像素点与遥感分割图像中的像素点之间的对应关系，通过比较像素点的位置坐标，可以确定光学分割图像和遥感分割图像中相对应的像素点；像素点匹配对可以是指匹配的各对像素点，其中每个像素点匹配对包括匹配的两个像素点；目标像素点可以是指在匹配对中选择的具有较高相对像素值的像素点，在生成融合分割图像时，选取的目标像素点将被放置在新的图像中，形成建筑物屋顶的融合分割图像。

可选地，终端根据光学分割图像中各像素点的位置信息和遥感分割图像中各像素点的位置信息，确定光学分割图像中的每个像素点与遥感分割图像中的每个像素点之间的匹配关系，其中这可以通过比较像素点的位置坐标来实现，找到光学分割图像和遥感分割图像中对应的像素点；根据匹配关系，确定光学分割图像和遥感分割图像之间的像素点匹配对，其中这表示找到光学分割图像和遥感分割图像中相对应的像素点，以便进行后续的融合处理；针对每个像素点匹配对，从匹配对中选取出相对像素值最大的像素点作为建筑物屋顶的目标像素点，其中这表示在每个匹配对中，选择具有较高相对像素值的像素点作为目标像素点；根据选取的目标像素点，生成建筑物屋顶的融合分割图像，其中这可以通过将选取的目标像素点放置在新的图像中来实现，形成建筑物屋顶的融合分割图像。

本实施例提供的技术方案，通过根据光学分割图像中各像素点的位置信息和遥感分割图像中各像素点的位置信息，有利于更准确地得到建筑物屋顶的融合分割图像，从而有利于提高建筑物屋顶识别准确率。

在一个示例性的实施例中，在步骤S105中，对融合分割图像进行识别，得到建筑物屋顶的面积信息，具体包括如下内容：对融合分割图像进行边缘检测处理，得到建筑物屋顶的边缘检测图像；对边缘检测图像进行识别，得到建筑物屋顶的面积信息。

本实施例中，边缘检测处理可以是指使用计算机视觉算法对图像进行处理，以识别出图像中的边缘信息，边缘检测处理可以帮助找到图像中物体的边界，包括建筑物屋顶的边缘；边缘检测图像可以是指经过边缘检测处理后得到的图像，边缘检测图像显示了图像中物体的边缘信息，包括建筑物屋顶的边缘。

可选地，终端使用计算机视觉算法(如边缘检测算法)，对融合分割图像进行边缘检测处理，其中，这将识别出建筑物屋顶的边缘，并生成边缘检测图像；使用计算机视觉算法(如图像分析和模式识别算法)，对边缘检测图像进行识别，其中，这将分析图像中的边缘信息，并识别出建筑物屋顶的面积信息。

本实施例提供的技术方案，通过对融合分割图像进行边缘检测处理，有利于更高效和更准确地得到建筑物屋顶的面积信息，从而有利于提高建筑物屋顶识别效率和准确率。

在一个示例性的实施例中，上述步骤中，对边缘检测图像进行识别，得到建筑物屋顶的面积信息，具体包括如下内容：对边缘检测图像进行识别，确定出边缘检测图像中的边缘特征点；对边缘特征点的包围区域进行识别，得到包围区域的面积值；将包围区域的面积值，识别为建筑物屋顶的面积信息。

本实施例中，边缘特征点可以是在边缘检测图像中确定的边缘的关键点，这些点可以包括边缘的端点或拐角点，有助于更准确地识别建筑物屋顶的形状和边界；包围区域可以是指边缘特征点周围的区域，这个区域可以通过将边缘特征点连接起来或使用区域生长算法来确定，包围区域的面积可以用来计算建筑物屋顶的实际面积；面积值可以是指建筑物屋顶或其包围区域的面积大小，在这个实施例中，通过对边缘特征点的包围区域进行识别，可以计算出建筑物屋顶的面积值，这将提供有关建筑物屋顶大小的定量数据。

可选地，终端使用计算机视觉算法(如角点检测算法或边缘点检测算法)，对边缘检测图像进行处理，以确定图像中的边缘特征点；使用计算机视觉算法(区域生长算法或轮廓分析算法)，对边缘特征点周围的区域进行识别，以确定出建筑物屋顶的实际形状，并计算出该区域的面积值；将计算得到的包围区域的面积值作为建筑物屋顶的面积信息，这将有助于确定出建筑物屋顶的可用面积。

本实施例提供的技术方案，通过根据边缘检测图像中的边缘特征点，有利于更高效和更准确地得到建筑物屋顶的面积信息，从而有利于提高建筑物屋顶识别效率和准确率。

在一个示例性的实施例中，上述步骤S105，在对融合分割图像进行识别，得到建筑物屋顶的面积信息之后，还包括如下内容：根据建筑物屋顶的地理位置信息，确定出对应的太阳高度角信息和太阳方位角信息；根据面积信息、太阳高度角信息和太阳方位角信息，确定建筑物屋顶对应的光伏面板铺设面积。

本实施例中，地理位置信息可以是指建筑物所在的地理坐标，包括纬度和经度，这些信息用于确定建筑物所处的地理位置，以便计算太阳高度角和太阳方位角；太阳高度角可以是指太阳相对于地平线的角度；太阳方位角可以是指太阳相对于正南方向的角度；光伏面板也可称为太阳能电池板，是一种将太阳能转换为电能的设备，光伏面板通常由多个太阳能电池组成，可以安装在建筑物的屋顶上，用于收集太阳能并将其转化为可用的电能；铺设面积可以是指光伏面板在建筑物屋顶上所占据的面积，根据建筑物屋顶的面积信息、太阳高度角信息和太阳方位角信息，可以确定建筑物屋顶适合铺设光伏面板的面积，这将帮助确定光伏面板的布局和安装方式。

可选地，终端根据建筑物屋顶的地理位置信息，计算出对应的太阳高度角和太阳方位角；根据建筑物屋顶的面积信息、太阳高度角信息和太阳方位角信息，确定建筑物屋顶适合铺设光伏面板的面积。

本实施例提供的技术方案，通过根据面积信息、太阳高度角信息和太阳方位角信息，有利于高效和准确地确定建筑物屋顶对应的光伏面板铺设面积，光伏面板铺设面积有助于后续的光伏发电站规划与设计。

以下以一个应用实例说明本申请提供的基于多源异构深度网络融合的建筑物屋顶识别方法，本应用实例以该方法应用于终端进行举例说明，如图2所示，主要步骤包括：

第一步，终端通过地理信息系统获取公开的光学图像数据库和遥感图像数据库挑选出指定区域的光学图像和遥感图像；对获得的光学图像进行裁剪；确定光学图像的中心坐标为(xnter，ycenter)，其中xnter可表示横坐标，ycenter可表示纵坐标；设置光学图像裁剪区域的左上角坐标为(xenter-100，ycenter-100)，右下角坐标为(xcenter+100，ycenter+100)进行图像裁剪；最终获得像素大小为200×200的光学图像；将像素大小为200×200的光学图像进行再次裁剪处理；设置裁剪区域的左上角坐标为(x，y)，其中x和y分别表示裁剪区域的列和行的索引；可设置裁剪区域大小为20；设置裁剪次数为10；最终将像素大小为200×200的光学图像裁剪为10张大小为20×20像素大小的光学图像。

第二步，终端将10张大小为20×20像素大小的光学图像基于残差确定性网络模块和双重注意力融合网络模块的视觉转换(Mask2former)图像分割框架进行建筑物屋顶图像分割；如图3所示，基于残差确定性网络模块和双重注意力融合网络模块的视觉转换图像分割的框架(可分为视觉转换框架和图像分割框架)为：进入7×7卷积层；进入第一个残差卷积模块；进入第二个残差卷积模快；进入第三个残差卷积模块；进入第一个确定性网络模块；进入第一个转换编码器模块；分为两路，第一路经过双层注意力融合模块，经过全局池化层，经过全连接层，进入第二个确定性网络模块；第一路的全连接层后接入Softmax层(归一化层)；第一路中的全局池化层、全连接层、Softmax层合并输入转换解码器；进入转置卷积层；进入Softmax层；第二路直接进入第二个确定性网络模块；进入第二个确定性网络模块；进入第二个转换编码器模块；分为两路，第一路经过双层注意力融合模块，经过全局池化层，经过全连接层，进入第三个确定性网络模块；第一路的全连接层后接入Softmax层；第一路中的全局池化层、全连接层、Softmax层合并输入转换解码器；进入转置卷积层；进入Softmax层；第二路直接进入第三个确定性网络模块；进入第三个确定性网络模块。

其中，每个模块的具体内容为：如图4所示，进入残差卷积模块，分为两路，第一路经过一个1×1卷积层，经过一个3×3卷积层，经过一个1×1卷积层；第一路与第二路合并；再分为两路，第一路经过一个1×1卷积层，经过一个3×3卷积层，经过一个1×1卷积层；第一路与第二路合并；再分为两路，第一路经过一个1×1卷积层，经过一个3×3卷积层，经过一个1×1卷积层；第一路与第二路合并。如图5所示，进入确定性网络模块，分为两路，第一路经过一个1×1卷积层，经过一个3×3卷积层，经过一个1×1卷积层；第二路经过一个1×1卷积层；第一路与第二路合并；再分为两路，第一路经过一个1×1卷积层，经过一个3×3卷积层，经过一个1×1卷积层；第一路与第二路合并；再分为两路，第一路经过一个1×1卷积层，经过一个3×3卷积层，经过一个1×1卷积层；第一路与第二路合并。如图6所示，进入双层注意力融合模块，分为两路；第一路又分为四路，四路中的第一路经过一个3×3卷积层，经过一个转置卷积层；四路中的第二路经过一个3×3卷积层，经过一个转置卷积层；四路中的第三路经过一个3×3卷积层，经过一个转置卷积层；四路中的第一路和第二路合并，经过一个Softmax层(归一化层)与四路中的第三路合并；经过一个转置卷积层，与四路中的第四路合并；第二路又分为四路；四路中的第一路经过一个转置卷积层；四路中的第二路经过一个转置卷积层；四路中的第三路经过一个转置卷积层；四路中的第二路与四路中的第三路合并，经过一个Softmax层，与四路中的第一路合并，再与四路中的第四路合并；第一路和第二路合并。如图7所示，进入转换编码器，分为两路，第一路经过归一化层，分为三路，经过多头注意力层；第一路与第二路合并；分为两路，第一路经过归一化层，经过全连接层，经过Softmax层(归一化层)；第一路与第二路合并。如图8所示，进入转换解码器，分为两路；第一路经过一个掩膜注意力层，经过一个归一化层；第一路与第二路合并；分为四路，前三路经过自注意力层，经过一个归一化层再与第四路合并；分为两路，第一路经过一个全连接层，经过一个归一化层再与第二路合并；最终得到两张光学建筑物屋顶分割图像(如光学建筑物分割图像1和光学建筑物分割图像2)。

第三步，终端获取像素大小为200×200的遥感卫星图像，输入洗牌全连接网络进行图像分割。如图9所示，洗牌全卷积神经网络的框架为：进入3×3卷积层；进入第一个3×3最大池化层；分为两路，第一路经过一个1×1分组卷积层，经过一个通道洗牌层，经过一个3×3深度卷积层，经过一个1×1分组卷积层；第二路经过一个3×3平均池化层；第一路与第二路合并；进入第二个3×3的最大池化层；再分为两路，第一路经过一个1×1分组卷积层，经过一个通道洗牌层，经过一个3×3深度卷积层，经过一个1×1分组卷积层；第二路经过一个3×3平均池化层；第一路与第二路合并；进入第三个3×3的最大池化层；再分为两路，第一路经过一个1×1分组卷积层，经过一个通道洗牌层，经过一个3×3深度卷积层，经过一个1×1分组卷积层；第二路经过一个平均池化层；第一路与第二路合并；进入第四个3×3的最大池化层；进入第一个转置卷积层；转置卷积层与第三个3×3的最大池化层合并；进入第二个转置卷积层；转置卷积层与第二个3×3的最大池化层合并；进入第三个转置卷积层；进入3×3全局池化层；进入3×3卷积层；最终获得一张遥感建筑物屋顶分割图像(遥感建筑物分割图像)。

第四步，终端确定出光学建筑物屋顶分割图像的每个像素点。其中，光学建筑物屋顶分割图像每个像素点的像素为经由基于残差确定性网络模块和双重注意力融合网络模块的视觉转换(Mask2former)图像分割方式获得的建筑物屋顶概率值；寻找所有像素点像素绝对值的最大值，将每个像素点像素都取绝对值再除以该最大值，使得每个像素点的像素取值区间为[0，1]。

第五步，终端确定出遥感建筑物屋顶分割图像的每个像素点为。其中，遥感建筑物屋顶分割图像每个像素点的像素为经由洗牌全连接网络方法获得的建筑物屋顶概率值；寻找所有像素点像素绝对值的最大值，将每个像素点像素都取绝对值再除以该最大值，使得每个像素点的像素取值区间为[0，1]。

第六步，终端比较经过处理后的光学建筑物屋顶分割图像每个像素点和遥感建筑物屋顶分割图像每个像素点的像素；像素更大的像素点作为建筑物屋顶分割融合图像像素点的像素，从而获得建筑物屋顶分割融合图像(可简称为建筑物分割融合图像)。

第七步，终端通过高斯滤波函数，将建筑物屋顶分割融合图像的每个像素点与高斯滤波函数进行卷积计算，得到高斯滤波后的建筑物屋顶分割融合图像，对高斯滤波后的建筑物屋顶分割融合图像的每个像素点进行Laplacian(拉普拉斯)运算，得到边缘检测图像，当边缘检测图像像素点的像素为0时，则认定为边缘标记点。

第八步，终端寻找边缘标记点内行索引和列索引的最大值和最小值，利用格林公式计算边缘标记点包围的面积值。

第九步，终端根据光伏板安装倾角、太阳高度角和太阳方位角，确定可铺设光伏板的面积，最终得到图像区域内建筑物屋顶可铺设光伏面板的面积(铺设光伏面积)。

其中，该方法分为两路，第一路将光学图像通过残差确定性网络模块和双重注意力融合网络模块的视觉转换Mask2former(图像分割)方式获取建筑物屋顶分割图像；第二路将遥感卫星图像通过洗牌全卷积神经网络方法得到建筑物屋顶分割图像；通过像素最大值图像融合方法和Laplacian边缘检测方式(边缘检测算法)得到建筑物屋顶边缘，从而计算建筑物屋顶可用面积；最终通过屋顶可用面积估算出可铺设的光伏面积；能够提高复杂地貌下的建筑物屋顶识别准确率，降低误识别概率。也就是，将基于残差确定性网络模块和双重注意力融合网络模块的视觉转换(Mask2former)图像分割方式、洗牌全卷积神经网络方法、像素最大值图像融合方法、Laplacian边缘检测方法进行结合，用于复杂地貌的建筑物屋顶识别，提高复杂地貌的建筑物屋顶识别准确率，优化建筑物屋顶可用面积的数据获取方式。

本应用实例提供的技术方案，实现通过基于残差确定性网络模块和双重注意力融合网络模块的视觉转换图像分割方式对光学图像内的建筑物屋顶进行分割，能够理解像素之间的上下文信息，提高分割的准确性；通过洗牌全卷积神经网络方法对遥感图像内的建筑物屋顶进行分割，能够将不同层级的特征图进行融合，提高图像分割的准确性；通过像素最大值图像融合方式对光学建筑物屋顶分割图像和遥感建筑物屋顶分割图像进行融合，充分利用两种数据来源的建筑物屋顶分割图像，能够在复杂地貌环境下获取全面的建筑物屋顶特征；通过Laplacian边缘检测方式对建筑物屋顶分割融合图像进行建筑物屋顶边缘检测，能够适应不同形状的建筑物屋顶边缘特征，且计算效率高；提高建筑物屋顶识别效率和准确率。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于多源异构深度网络融合的建筑物屋顶识别方法的基于多源异构深度网络融合的建筑物屋顶识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于多源异构深度网络融合的建筑物屋顶识别装置实施例中的具体限定可以参见上文中对于基于多源异构深度网络融合的建筑物屋顶识别方法的限定，在此不再赘述。

在一个示例性的实施例中，如图10所示，提供了一种基于多源异构深度网络融合的建筑物屋顶识别装置，该装置1000可以包括：

图像获取模块1001，用于获取目标区域的光学图像和目标区域的遥感图像；目标区域中包含建筑物屋顶；

第一输入模块1002，用于将光学图像输入至光学图像分割模型，得到建筑物屋顶的光学分割图像；

第二输入模块1003，用于将遥感图像输入至遥感图像分割模型，得到建筑物屋顶的遥感分割图像；

图像融合模块1004，用于对光学分割图像和遥感分割图像进行融合处理，得到建筑物屋顶的融合分割图像；

图像识别模块1005，用于对融合分割图像进行识别，得到建筑物屋顶的面积信息。

在一个示例性的实施例中，图像融合模块1004，还用于根据光学分割图像中的像素点的最大像素值，确定出光学分割图像中各像素点的相对像素值；根据遥感分割图像中的像素点的最大像素值，确定出遥感分割图像中各像素点的相对像素值；根据光学分割图像中各像素点的相对像素值和遥感分割图像中各像素点的相对像素值，对光学分割图像和遥感分割图像进行融合处理，得到建筑物屋顶的融合分割图像。

在一个示例性的实施例中，图像融合模块1004，还用于根据光学分割图像中各像素点的位置信息和遥感分割图像中各像素点的位置信息，确定出光学分割图像中各像素点与遥感分割图像中各像素点之间的匹配关系；根据匹配关系，确定出光学分割图像与遥感分割图像之间的像素点匹配对；针对每一像素点匹配对，从像素点匹配对中选取出对应的相对像素值最大的像素点，作为建筑物屋顶的待生成融合分割图像中的目标像素点；根据各目标像素点，生成建筑物屋顶的融合分割图像。

在一个示例性的实施例中，图像识别模块1005，还用于对融合分割图像进行边缘检测处理，得到建筑物屋顶的边缘检测图像；对边缘检测图像进行识别，得到建筑物屋顶的面积信息。

在一个示例性的实施例中，图像识别模块1005，还用于对边缘检测图像进行识别，确定出边缘检测图像中的边缘特征点；对边缘特征点的包围区域进行识别，得到包围区域的面积值；将包围区域的面积值，识别为建筑物屋顶的面积信息。

在一个示例性的实施例中，该装置1000还包括：信息确定模块，用于根据建筑物屋顶的地理位置信息，确定出对应的太阳高度角信息和太阳方位角信息；根据面积信息、太阳高度角信息和太阳方位角信息，确定建筑物屋顶对应的光伏面板铺设面积。

上述基于多源异构深度网络融合的建筑物屋顶识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于多源异构深度网络融合的建筑物屋顶识别方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个示例性的实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个示例性的实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个示例性的实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。