违章建筑的检测装置和检测方法以及终端设备

技术领域

本发明涉及监控自动化领域，特别涉及一种违章建筑的检测装置、一种违章建筑的检测方法、一种终端设备、以及一种违章建筑检测系统。

背景技术

违章建筑是城市管理中的重要关注点，因为违章建筑会严重影响到城市的市容市貌和社会可持续发展。

目前对于违章建筑的管理主要依靠人工巡查或通过调取监控数据的人工监察。

然而，受限于人员编制不足及对人工监察海量视频的超大工作量，违章建筑的检测效率及实效性不高。

发明内容

有鉴于此，本发明的各实施例分别提供了一种违章建筑的检测装置、一种违章建筑的检测方法、一种终端设备、以及一种违章建筑检测系统，能够实现对违章建筑的自动检测。

在一个实施例中，提供了一种违章建筑的检测装置，包括：

遥感采集模块，用于获取从飞行器无线传输的遥感图像；

图像筛选模块，用于利用基于深度学习的第一神经网络对获取到的遥感图像进行内容检测，并利用第一神经网络产生的表示是否包含建筑图形的内容检测结果筛选出包含建筑图形的遥感图像；

违章判定模块，用于利用基于深度学习的第二神经网络对筛选出的遥感图像进行违章判定，并获取第二神经网络产生的表示建筑图形是否属于疑似违章建筑的违章判定结果。

可选地，违章判定模块进一步用于获取第二神经网络产生的疑似违章建筑的违章等级和/或定位信息。

可选地，违章判定模块进一步用于根据第二神经网络产生的疑似违章建筑在遥感图像中的图像坐标，在遥感图像中包含疑似违章建筑的图像区域增加的区域分割标记作为可视化定位信息。

可选地，遥感采集模块进一步用于获取从飞行器与遥感图像同步无线传输的拍摄区域的区域坐标；违章判定模块进一步用于根据遥感图像的拍摄区域的区域坐标、以及第二神经网络产生的疑似违章建筑在遥感图像中的图像坐标，确定疑似违章建筑的位置坐标作为坐标化定位信息。

可选地，进一步包括：后端交互模块，用于根据表示建筑图形属于疑似违章建筑的违章判定结果，产生附带该疑似违章建筑的违章等级和/或定位信息的违章告警。

可选地，进一步包括：数据存储模块，用于存储违章判定模块输出的违章判定结果、以及疑似违章建筑的违章等级和/或定位信息，以供后端交互模块获取。

可选地，进一步包括：图像预处理模块，用于在图像筛选模块进行内容检测之前对接收到的遥感图像进行灰度化和/或去噪处理。

在另一个实施例中，提供了一种违章建筑的检测方法，包括：

获取从飞行器无线传输的遥感图像；

利用基于深度学习的第一神经网络对获取到的遥感图像进行内容检测；

利用第一神经网络产生的表示是否包含建筑图形的内容检测结果筛选出包含建筑图形的遥感图像；

利用基于深度学习的第二神经网络对筛选出的遥感图像进行违章判定；

获取第二神经网络产生的表示建筑图形是否属于疑似违章建筑的违章判定结果。

可选地，利用基于深度学习的第二神经网络对筛选出的遥感图像进行违章判定之后，进一步包括：获取第二神经网络产生的疑似违章建筑的违章等级和/或定位信息。

可选地，获取第二神经网络产生的疑似违章建筑的定位信息包括：获取第二神经网络产生的疑似违章建筑在遥感图像中的图像坐标；根据疑似违章建筑在遥感图像中的图像坐标，在遥感图像中包含疑似违章建筑的图像区域增加的区域分割标记作为可视化定位信息。

可选地，获取第二神经网络产生的疑似违章建筑的定位信息包括：获取从飞行器与遥感图像同步无线传输的拍摄区域的区域坐标；获取第二神经网络产生的疑似违章建筑在遥感图像中的图像坐标；根据遥感图像的拍摄区域的区域坐标、以及疑似违章建筑在遥感图像中的图像坐标，确定疑似违章建筑的位置坐标作为坐标化定位信息。

可选地，获取第二神经网络产生的表示建筑图形是否属于疑似违章建筑的违章判定结果、并且获取第二神经网络产生的疑似违章建筑的违章等级和/或定位信息之后，进一步包括：根据表示建筑图形属于疑似违章建筑的违章判定结果，产生附带该疑似违章建筑的违章等级和/或定位信息的违章告警。

在另一个实施例中，提供了一种终端设备，包括处理器、无线收发器、以及智能芯片，其中：

所述处理器用于执行如上所述的检测方法中的步骤；

所述无线收发器用于通过与飞行器的通信连接接收从飞行器无线传输的遥感图像；

所述智能芯片用于运行所述第一神经网络和所述第二神经网络。

在另一个实施例中，提供了一种违章建筑检测系统，包括如上所述的终端设备、与所述终端设备建立无线通信连接的飞行器、控制所述飞行器的遥控装置、以及与所述终端设备建立有线或无线通信连接的后端设备。

在另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上所述的检测方法中的步骤。

基于上述实施例，可以利用飞行器在不同区域实施巡航采集到的遥感数据进行违章建筑的检测，以确保检测的实效性；而且，对遥感图像的检测可以采用第一神经网络和第二神经网络的级联方式依次进行非建筑物图像的排除、以及建筑物图形的违章判定。由此，可以实现对违章建筑的自动检测，以提高检测效率。

而且，相比于遥感图像与历史图像进行特征比对的方式，采用第一神经网络和第二神经网络的级联方式，既可以省去对遥感图像进行特征比对所需的时间和处理资源消耗，又可以省去为支持特征比对而存储历史图像所需的存储资源消耗。

另外，基于上述实施例，除了可以得到表示建筑图形是否属于疑似违章建筑的违章判定结果之外，作为进一步优化的可选方案，还可以得到疑似违章建筑的违章等级和/或可视化或坐标化的定位信息，并以此产生信息丰富的报警信息。

附图说明

以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围：

图1为一个实施例中的一种违章建筑的检测装置的示例性结构示意图；

图2为如图1所示的检测装置的原理示意图；

图3为如图1所示的检测装置基于检测结果多样化的扩展原理示意图；

图4为如图1所示的检测装置使用的神经网络的训练过程示意图；

图5为如图1所示的检测装置使用的神经网络的模型原理示意图；

图6为如图1所示的检测装置基于检测效率优化的扩展结构示意图；

图7为包含如图1所示的违章建筑的检测装置的违章建筑检测系统的框架结构示意图；

图8为如图1所示的检测装置基于系统对接扩展的扩展结构示意图；

图9为另一个实施例中的一种违章建筑的检测方法的示例性流程示意图；

图10为如图9所示的检测方法基于检测结果多样化的优化流程示意图；

图11为如图10所示的检测方法基于检测效率优化的优化流程示意图；

图12为如图10所示的检测方法基于检测应用扩展的优化流程示意图；

图13为另一个实施例中的一种终端设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明作进一步详细说明。

图1为一个实施例中的一种违章建筑的检测装置的示例性结构示意图。图2为如图1所示的检测装置的原理示意图。

请参见图1并结合图2，在一个实施例中，一种违章建筑的检测装置100可以包括遥感采集模块110、图像筛选模块120以及违章判定模块130。

遥感采集模块110用于获取从飞行器200(例如无人机)无线传输的遥感图像210。

图像筛选模块120用于利用基于深度学习的第一神经网络310对获取到的遥感图像210进行内容检测，并利用第一神经网络310产生的表示是否包含建筑图形的内容检测结果筛选出包含建筑图形的遥感图像220。即，第一神经网络310可以是以遥感图像210为输入、并以表示图像中是否包含建筑图形的是非定性定论的内容检测结果为输出。

违章判定模块130用于利用基于深度学习的第二神经网络320对筛选出的遥感图像220进行违章判定，并获取第二神经网络320产生的表示建筑图形是否属于疑似违章建筑的违章判定结果230。即，第二神经网络320可以是以遥感图像220为输入、并且其输出包含表示建筑图形是否属于疑似违章建筑的是非定性定论的违章判定结果230。

基于上述实施例，可以利用飞行器200在不同区域实施巡航采集到的遥感数据进行违章建筑的检测，以确保检测的实效性；而且，对遥感图像210的检测可以采用第一神经网络310和第二神经网络320的级联方式依次进行非建筑物图像的排除、以及选择性地对包含建筑物图形的遥感图像220为对象的违章判定。由此，可以实现对违章建筑的自动检测，以提高检测效率。

而且，相比于遥感图像与历史图像进行特征比对的方式，采用第一神经网络310和第二神经网络320的级联方式既可以省去特征比对所需的时间和处理资源消耗，又可以省去为支持特征比对而存储历史图像所需的存储资源消耗。

图3为如图1所示的检测装置基于检测结果多样化的扩展原理示意图。

请参见图3，为了支持检测结果多样化，违章判定模块130可以进一步用于获取第二神经网络320产生的疑似违章建筑的违章等级231和/或疑似违章建筑的定位信息232。

违章等级231可以表示疑似违章建筑的违章严重程度，其可以根据疑似违章建筑的估算占地面积、以及疑似违章建筑的所在区域属性等因素确定。

例如，疑似违章建筑的估算占地面积的大小对违章等级231所表示的违章严重程度成正比，即，疑似违章建筑的估算占地面积越大，其对违章等级231产生趋向于越严重的加权影响，反之，疑似违章建筑的估算占地面积越小，其对违章等级231产生趋向于越轻微的加权影响。

再例如，疑似违章建筑的所在区域属性可以与估算占地面积对违章严重程度的正比影响产生加权补偿，即，区域属性所表示的违建规范严苛等级越高(诸如区域属性设定为重点单位、示范园区等情况时)，估算占地面积对违章严重程度的正比影响越大，反之，区域属性所表示的违建规范严苛等级越低(诸如普通园区等情况时)，估算占地面积对违章严重程度的正比影响越小。

定位信息232则可以是便于将疑似违章建筑与周边环境分割的信息，其可以呈现为可视化定位信息或者坐标化定位信息。

例如，违章判定模块130可以进一步用于根据第二神经网络320产生的疑似违章建筑在遥感图像中的图像坐标，在遥感图像中包含疑似违章建筑的图像区域增加的区域分割标记作为可视化定位信息。其中，区域分割标记可以是包围疑似违章建筑的图像区域的封闭多边形。作为可视化定位信息的区域分割标记可用于后续对疑似违章建筑的图像区域的截图提取。

再例如，遥感采集模块110可以进一步用于获取从飞行器200与遥感图像210同步无线传输的拍摄区域的区域坐标，并且，违章判定模块130可以进一步用于根据遥感图像220的拍摄区域的区域坐标、以及第二神经网络320产生的疑似违章建筑在遥感图像220中的图像坐标，确定疑似违章建筑的位置坐标作为坐标化定位信息。

基于上述扩展原理，除了可以得到表示建筑图形是否属于疑似违章建筑的违章判定结果230之外，还可以得到疑似违章建筑的违章等级231和/或可视化或坐标化的定位信息232。由此，可以实现结论性检测与等级鉴定和定位分割的集成式检测，既可以有助于检测的准确性，又可以进一步减少后端人工处理，从而可以进一步提升违章建筑的检测效率和时效性。

图4为如图1所示的检测装置使用的神经网络的训练过程示意图。

请参见图4，上述实施例所使用的第一神经网络310和第二神经网络320可以是通过样本训练得到的，该样本训练过程包括：

S410：样本输入。

其中，训练第一神经网络310时输入的图像样本中可以包含表征建筑物纹理、颜色、轮廓等特征的样本特征，以使第一神经网络310可以针对输入的图像产生表示图像中是否包含建筑图形的是非定性定论的内容检测结果的输出。训练第二神经网络320时输入的图像样本则可以更着重体现鉴别是否违章的规则性特征，例如，违章建筑相比于相邻合法建筑的轮廓差异特征、违章建筑相比于相邻合法建筑的位置关系特征、违章建筑相比于合法建筑的纹理和/或颜色差异特征、违章建筑与道路边界的位置关系特征等等。

S420：样本增强。

其中，样本增强可以通过增强学习(Reinforcement Learning)实现，以提升样本泛化能力，并支持在非海量样本的情况下增强训练过程中对高重要性特征和噪声特征的识别能力。

S430：深层网络构建。例如，深层网络构建可以是通过基于深度学习(DeepLearning)的参数训练构建多层的卷积神经网络(Convolutional Neural Networks，CNN)的过程。

图5为如图1所示的检测装置使用的神经网络的模型原理示意图。

请参见图5，以基于深度学习的神经网络为CNN为例：

S510：遥感图像经CNN的输入层输入：

S520：CNN的多层卷积实现特征提取；

S530：提取的特征经感知器感知后输出结果。

即，第一神经网络310在输入遥感图像210后即可经过上述过程产生表示图像中是否包含建筑图形的是非定性定论的内容检测结果的输出；第二神经网络320在输入遥感图像220后即可经过上述过程产生表示建筑图形是否属于疑似违章建筑的违章判定结果230、以及疑似违章建筑的违章等级231和/或可视化或坐标化的定位信息232。

在实际应用中，遥感图像通常是RGB真彩色图像，其在CNN的输入层会分为RGB三个分量图像，并需要在CNN的输入层涉及到大量用于将输入图像归一化的参数。因此，为了降低CNN的输入层的复杂度，可以考虑采用灰度化后的遥感图像作为输入，以提高处理效率。

此外，由于遥感图像在采集过程中受到环境光照变化及相机的成像质量等因素的影响，其通常会包含噪声、模糊等情况。因此，也可以考虑对遥感图像通过中值滤波、高斯滤波、维纳滤波等方式进行去噪处理，以增强遥感图像的图像质量。

图6为如图1所示的检测装置基于检测效率优化的扩展结构示意图。

如图6所示，违章建筑的检测装置100可以进一步包括图像预处理模块140，用于在图像筛选模块120进行内容检测之前对接收到的遥感图像210进行灰度化和/或去噪处理。相应地，图像筛选模块120可以对灰度化和/或去噪处理后的遥感图像210’进行内容检测。

可以理解的是，在图6所示的扩展结构中，违章判定模块130可以获取表示建筑图形是否属于疑似违章建筑的违章判定结果230，并且还可以进一步获取疑似违章建筑的违章等级231和/或可视化或坐标化的定位信息232。

图7为包含如图1所示的违章建筑的检测装置的违章建筑检测系统的框架结构示意图。

请参见图7，该违章建筑检测系统可以包括终端设备710，上述违章建筑的检测装置100可以包括在终端设备710中。该终端设备710可以与飞行器200建立无线通信连接，以获取遥感图像。并且，如图7所示的违章建筑检测系统还可以包括控制飞行器200飞行的遥控装置720、以及与终端设备710建立有线或无线通信连接的后端设备730。后端设备730可以包括显示设备、并布置在后端的监控中心，并且，终端设备710获取到的违章判定结果230、以及疑似违章建筑的违章等级231和/或可视化或坐标化的定位信息232可以在后端设备730显示。

基于如图7所示的违章建筑检测系统，可以通过后端设备730为监管人员提供执法依据，且能将违章情况直观地在后端设备730展示，能有效提高预警能力和用户交互体验感。

图8为如图1所示的检测装置基于系统对接扩展的扩展结构示意图。

请参见图8，为了在违章建筑的检测装置100应用于如图7所示的终端设备710时与后端设备730的对接，该检测装置100可以进一步包括后端交互模块150，用于根据表示建筑图形属于疑似违章建筑的违章判定结果230，产生附带该疑似违章建筑的违章等级231和/或定位信息232的违章告警240。

并且，仍参见图8，为了后端交互模块150获取产生告警信息240所使用的违章判定结果230、以及疑似违章建筑的违章等级231和/或定位信息232，该检测装置100还可以进一步包括数据存储模块160，用于存储违章判定模块130输出的违章判定结果230、以及疑似违章建筑的违章等级231和/或定位信息232，以供后端交互模块150获取。

可以理解的是，图8所示的扩展结构也同样支持如图6所示的检测装置100可以进一步包括图像预处理模块140的情况。

图9为另一个实施例中的一种违章建筑的检测方法的示例性流程示意图。请参见图9，在该实施例中，一种违章建筑的检测方法包括：

S910：获取从飞行器无线传输的遥感图像。

S920：利用基于深度学习的第一神经网络对获取到的遥感图像进行内容检测。

S930：利用第一神经网络产生的表示是否包含建筑图形的内容检测结果筛选出包含建筑图形的遥感图像。

其中，上述S920～S930使用的第一神经网络可以是通过如图4所示的原理训练得到的，并按照如图5所示的原理以遥感图像为输入、以表示图像中是否包含建筑图形的是非定性定论的内容检测结果为输出。

S940：利用基于深度学习的第二神经网络对筛选出的遥感图像进行违章判定。

S950：获取第二神经网络产生的表示建筑图形是否属于疑似违章建筑的违章判定结果。

其中，上述S940～S950使用的第二神经网络可以是通过如图4所示的原理训练得到的，并按照如图5所示的原理以筛选后的遥感图像为输入、并且其输出包含表示建筑图形是否属于疑似违章建筑的是非定性定论的违章判定结果。

图10为如图9所示的检测方法基于检测结果多样化的优化流程示意图。请参见图10，为了使检测结果多样化，如图9所示的流程可以被优化为：

S1010：获取从飞行器无线传输的遥感图像。

S1020：利用基于深度学习的第一神经网络对获取到的遥感图像进行内容检测。

其中，上述S1020～S1030使用的第一神经网络可以与图9中的S920～S930使用的第一神经网络相同，此处不再赘述。

S1030：利用第一神经网络产生的表示是否包含建筑图形的内容检测结果筛选出包含建筑图形的遥感图像。

S1040：利用基于深度学习的第二神经网络对筛选出的遥感图像进行违章判定。

S1050：获取第二神经网络产生的表示建筑图形是否属于疑似违章建筑的违章判定结果，并获取第二神经网络产生的疑似违章建筑的违章等级和/或定位信息。

其中，上述S1040～S1050使用的第二神经网络可以是通过如图4所示的原理训练得到的，并按照如图5所示的原理以筛选后的遥感图像为输入，并且产生的输出包含表示建筑图形是否属于疑似违章建筑的是非定性定论的违章判定结果、以及疑似违章建筑的违章等级和/或定位信息等附加判定结果。

并且，对于获取第二神经网络产生的疑似违章建筑的定位信息，可以包括两种方式，即，可视化定位信息和坐标化定位信息。

可视化定位信息的获取方式可以具体包括：获取第二神经网络产生的疑似违章建筑在遥感图像中的图像坐标，并且，根据疑似违章建筑在遥感图像中的图像坐标，在遥感图像中包含疑似违章建筑的图像区域增加的区域分割标记作为可视化定位信息。

坐标化定位信息的获取方式可以具体包括：获取从飞行器与遥感图像同步无线传输的拍摄区域的区域坐标(可以与S1010同时执行)，获取第二神经网络产生的疑似违章建筑在遥感图像中的图像坐标，并且，根据遥感图像的拍摄区域的区域坐标、以及疑似违章建筑在遥感图像中的图像坐标，确定疑似违章建筑的位置坐标作为坐标化定位信息。

图11为如图10所示的检测方法基于检测效率优化的优化流程示意图。请参见图11，当第一神经网络和第二神经网络为CNN时，为了简化CNN的输入层复杂度，如图10所示的流程可以进一步被优化为：

S1110：获取从飞行器无线传输的遥感图像。

S1120：对接收到的遥感图像进行灰度化处理。

并且，在本步骤中，也可以对接收到的遥感图像进一步做去噪处理。

S1130：利用基于深度学习的第一神经网络对灰度化的遥感图像进行内容检测。

S1140：利用第一神经网络产生的表示是否包含建筑图形的内容检测结果筛选出包含建筑图形的遥感图像。

其中，上述S1130～S1140使用的第一神经网络可以是通过如图4所示的原理训练得到的CNN，并按照如图5所示的原理以遥感图像为输入、以表示图像中是否包含建筑图形的是非定性定论的内容检测结果为输出。

S1150：利用基于深度学习的第二神经网络对筛选出的遥感图像进行违章判定；

S1160：获取第二神经网络产生的表示建筑图形是否属于疑似违章建筑的违章判定结果，并获取第二神经网络产生的疑似违章建筑的违章等级和/或定位信息。

其中，上述S1150～S1160使用的第二神经网络可以是通过如图4所示的原理训练得到的CNN，并按照如图5所示的原理以筛选后的遥感图像为输入，并且其产生的输出可以包含表示建筑图形是否属于疑似违章建筑的是非定性定论的违章判定结果、以及疑似违章建筑的违章等级和/或定位信息等附加判定结果。

并且，对于获取第二神经网络产生的疑似违章建筑的定位信息，可以包括两种方式，即，可视化定位信息和坐标化定位信息。这两种方式的具体过程可以参考前文对于S1050的附加描述，此处不再赘述。

图12为如图10所示的检测方法基于检测应用扩展的优化流程示意图。请参见图12，为了支持与后端的交互对接，如图10所示的流程可以进一步被优化为：

S1210：获取从飞行器无线传输的遥感图像。

S1220：利用基于深度学习的第一神经网络对获取到的遥感图像进行内容检测。

在S1220之前，也可以对接收到的遥感图像进行灰度化处理，即，本步骤进行内容检测的遥感图像可以是灰度化后的图像。

S1230：利用第一神经网络产生的表示是否包含建筑图形的内容检测结果筛选出包含建筑图形的遥感图像。

其中，上述S1220～S1230使用的第一神经网络可以与图10中的S1020～S1030使用的第一神经网络相同，此处不再赘述。

S1240：利用基于深度学习的第二神经网络对筛选出的遥感图像进行违章判定；

S1250：获取第二神经网络产生的表示建筑图形是否属于疑似违章建筑的违章判定结果，并获取第二神经网络产生的疑似违章建筑的违章等级和/或定位信息。

其中，上述S1240～S1250使用的第二神经网络可以与图10中的S1040～S1050使用的第二神经网络相同，此处不再赘述。并且，对于获取第二神经网络产生的疑似违章建筑的定位信息，可以包括两种方式，即，可视化定位信息和坐标化定位信息。这两种方式的具体过程可以参考前文对于S1050的附加描述，此处不再赘述。

S1260：根据表示建筑图形属于疑似违章建筑的违章判定结果，产生附带该疑似违章建筑的违章等级和/或定位信息的违章告警。

图13为另一个实施例中的一种终端设备的结构示意图。请参见图13，作为对如图7中所示的终端设备710的一种去模块化的改进，该实施例中的终端设备可以包括处理器1310、无线收发器1320、以及智能芯片1330，其中：

处理器1310用于执行如图9至图12任一所示的检测方法中的步骤；

无线收发器1320用于通过与飞行器的通信连接接收从飞行器无线传输的遥感图像；

智能芯片1330则用于运行第一神经网络和第二神经网络。

并且，从图13中可以看出，该终端设备还可以包括非瞬时计算机可读存储介质1300，其存储指令，这些指令中的一部分可以在由处理器1310执行时使得处理器1310执行如图9至图12任一所示的检测方法中的步骤。

另外，非瞬时计算机可读存储介质1300存储的这些指令中还可以包括另一部分，所述的另一部分在由智能芯片1330执行时可以使得智能芯片1330运行第一神经网络和第二神经网络。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。