一种阳台高空坠物风险检测方法及系统

技术领域

本发明涉及一种阳台高空坠物风险检测方法及系统。

背景技术

在一些居民区的阳台护栏上，存在堆砌杂物、盆栽，悬挂拖把的现象；这些放置在阳台上的物品，加剧了高中坠物的隐患。因此需要对阳台是否存在高空坠物风险进行检测，进而减少由高空坠物造成的不必要财产损失和人员伤亡。

目前检测阳台是否存在高空坠物风险的方法十分有限，用一般的检测方法不能检测复杂多样的阳台物品。而用传统的机器学习算法，需要大量的数据进行学习并且不能具有很好的泛化性。

如何设计一种能够自动检测阳台是否存在高空坠物风险，且易于实现的方法及系统就成为了需要解决的问题。

发明内容

本发明所解决的技术问题是，针对现有技术的不足，提供一种阳台高空坠物风险检测方法及系统，检测效率和准确度高。

本发明所采用的技术方案如下：

一方面，本发明提供一种阳台高空坠物风险检测方法，其特征在于，包括以下步骤：

S1、基于多种式样的阳台图片，采用MAML(Model-Agnostic Meta-Learning，与模型无关的元学习)算法训练一个用于判断阳台是否存在高空坠物风险的神经网络，得到其最佳参数；本步骤中采用MAML算法训练出的神经网络，具有对变化敏感，能够快速学习的优点；

S2、对于需要进行坠物危险检测的特定小区，将该特定小区带有分类标签的多张阳台图片输入步骤S1中训练好的神经网络，用于对该神经网络进行微调，形成适用于该特定小区阳台的神经网络；

S3、采集该特定小区阳台图片，输入步骤S2中形成的神经网络，判断相应的阳台是否存在高空坠物风险。

进一步地，所述步骤S1中，将判断多种式样的阳台是否存在高空坠物风险分别作为多个任务；针对每个任务，分别构建支持集(support set)和查询集(query set)，支持集和查询集中分别包括相应式样阳台的多张图片及其分类标签；

采用MAML算法训练神经网络，得到其最佳参数包括以下步骤：

S11：初始化训练次数k＝0；给予神经网络一个初始化参数θ

S12：对于当前批次的每个任务T

S13：计算当前批次所有任务的总损失值

S14：判断是否满足总损失值Loss≤ε，其中ε为设定的误差阈值；若满足，则结束训练，至此得到一个对变化敏感的能够快速学习的用于判断阳台是否存在高空坠物风险的神经网络，将神经网络当前的初始化参数θ

S15：根据总损失值Loss更新神经网络的初始化参数为θ

进一步地，所述神经网络采用卷积神经网络。

进一步地，所述S1中，先对阳台图片归一化和标准化处理，再利用处理后的阳台图片进行神经网络训练。

归一化和标准化处理方法为：先对原始图像进行归一化处理，即将原始图像上所有像素点的像素值同时除以255，即令p＝p/255；再对归一化处理后得到的图像进行标准化处理，即将图像上每个像素点的像素值p减去该图像上所有像素点的像素值均值μ后除以该图像上所有像素点的像素值标准差σ，即令

将图像数据形成一个4D的数组(batch_size，height，width，depth)，作为卷积神经网络的输入数据，其中batch_size、height、width和depth分别表示批大小、图像高度、图像宽度、图像通道数(即图像深度，RGB图像的深度为3，灰度图像的深度为1)。

进一步地，先通过电脑对神经网络进行训练，得到其最佳参数；再将训练好的神经网络导入无人机中；

所述步骤S2中，对于需要进行坠物危险检测的特定小区，先利用无人机采集该特定小区的阳台图片，再对采集的阳台图片进行人工分类，然后将将带有分类标签的多张阳台图片输入无人机中训练好的神经网络，用于对该神经网络进行微调，形成适用于该特定小区阳台的神经网络；

所述步骤S3中，利用无人机采集该特定小区的阳台图片，并将采集的阳台图片输入微调后的神经网络，判断相应的阳台是否存在高空坠物风险。

进一步地，所述无人机包括运动控制模块、数据采集模块及机器视觉模块；

所述运动控制模块根据数据采集模块采集的信息，规划出无人机的最佳飞行路径，计算无人机运动所需的运动控制信息，使之依据设定好的路线与飞行模式飞行，并进行自动实时避障；

所述机器视觉模块搭载神经网络；运动控制模块根据北斗导航模块采集的数据确定无人机位置，在无人机到达预定坐标点后，控制机器视觉模块逐层采集特定小区阳台图片，并将采集的阳台图片输入其搭载的神经网络，判断相应的阳台是否存在高空坠物风险。

进一步地，所述数据采集模块包括北斗导航模块和激光雷达；所述北斗导航模块用于获得无人机本体的经纬度信息；所述激光雷达用于获得无人机本体的高度信息，感知周围障碍物与无人机本体之间的距离。

进一步地，采集特定小区阳台图片时，激光雷达获取机头水平方向一定角度内各角度测得点与无人机的距离，通过三角函数计算出每个角度(方向)测得点与无人机的垂直距离；将此数据传送给运动控制模块，运动控制模块依此数据确定无人机与阳台的距离，用于无人机与阳台之间距离的保持。

进一步地，所述无人机通过数传模块与监控终端通信连接，将存在高空坠物风险的阳台的位置信息传至监控终端。

另一方面，本发明提供一种阳台高空坠物风险检测系统，包括以下模块：

神经网络训练模块，用于基于多种式样的阳台图片，采用MAML算法训练一个用于判断阳台是否存在高空坠物风险的神经网络，得到其最佳参数；

神经网络微调模块，用于针对需要进行坠物危险检测的特定小区，将该特定小区带有分类标签的多张阳台图片输入神经网络训练模块训练好的神经网络，用于对该神经网络进行微调，形成适用于该特定小区阳台的神经网络；

图片采集及判断模块，用于采集该特定小区阳台图片，输入神经网络微调模块形成的神经网络，判断相应的阳台是否存在高空坠物风险。

进一步地，所述神经网络训练模块为电脑；所述神经网络微调模块和图片采集及判断模块为无人机中的机器视觉模块。先在电脑中，基于多种式样的阳台图片，采用Model-Agnostic Meta-Learning(MAML)的算法训练一个能够快速学习的用于判断阳台是否存在高空坠物风险的神经网络，得到其最佳参数；再将训练所得的神经网络的最佳参数导入无人机机器视觉模块中的神经网络；在机器视觉模块中，通过人工将需要进行高空查询易坠物品小区的多张阳台图片进行标记，可将存在高空坠物风险的阳台图片的分类标签置为1，不存在高空坠物风险的阳台图片的分类标签置为0；将带有分类标签的多张图片输入机器视觉模块的神经网络，对该神经网络进行微调，形成一个可以应用于该小区的神经网络。

元学习是机器学习的分支。传统的机器学习问题是基于海量数据集从开头开始学习一个用于预测的数学模型，这与人类学习，累计历史经验(也称为元知识)指导新的机器学习任务的过程相差甚远。元学习则是学习不同的机器学习任务的学习训练过程，以及学习如何更快更好地训练一个数学模型。本发明将元学习神经网络搭载在无人机系统中，从而能大大提高无人机计算机视觉的识别精度与效率，提高识别阳台是否存在高空坠物风险的准确度。

有益效果：

本发明能够对小区住户阳台是否存在高空坠物风险进行检测，并将存在高空坠物风险的阳台位置信息及时传递给监控终端，可有效减少小区高空坠物的发生概率，对保障居民出行安全，营造安全的居民生活环境具有重要意义。本发明技术方案具有以下优点：

1、本发明将神经网络以及元学习相结合，能够训练出一个对变化敏感，能够快速学习的用于判断阳台是否存在高空坠物风险的神经网络，得到其最佳参数；在神经网络最佳参数已获取的前提下，针对新环境，只需基于少量的样本对神经网络参数进行微调，就能够使神经网络迅速适应新环境的易坠物品的检测，适应性强，能大大提高对阳台易坠物品的检测效率。

2、本发明通过无人机采集小区阳台图片，并在无人机中搭载神经网络对小区阳台进行高空坠物风险判断，使得检测效率大大提高。

附图说明

图1为本发明实施例神经网络参数训练示意图；

图2为本发明实施例中神经网络工作流程图；

图3为本发明实施例中的无人机模块交互示意图；

图4为本发明实施例中的无人机侧视图；

附图标记说明：

1、电机，2、锂电池，3、激光雷达模块，4、MT9v034全局快门摄像头，5，机架6、电调，7、北斗导航模块，8、运动控制模块，9、桨叶，10，数传模块。

具体实施方式

下面结合说明书附图对本发明作进一步详细、完整地说明。

实施例1：

本实施例公开了一种阳台高空坠物风险检测方法，包括以下步骤：

S1、基于多种式样的阳台图片，在电脑中采用MAML算法训练一个用于判断阳台是否存在高空坠物风险的神经网络，得到其最佳参数；

S2、对于需要进行坠物危险检测的特定小区，利用无人机采集该特定小区阳台图片，并进行人工标记，标记后将该特定小区带有分类标签的多张阳台图片输入步骤S1中训练好的神经网络，用于对该神经网络进行微调，形成适用于该特定小区阳台的神经网络；

S3、利用无人机采集该特定小区阳台图片，输入步骤S2中形成的神经网络，判断相应的阳台是否存在高空坠物风险。

如图1所示，采用MAML算法训练神经网络，得到其最佳参数包括以下步骤：

S11：初始化训练次数k＝0；给予神经网络一个初始化参数θ

S12：对于当前批次的每个任务T

S13：计算当前批次所有任务的总损失值

S14：判断是否满足总损失值Loss≤ε，其中ε为设定的误差阈值；若满足，则结束训练，至此得到一个对变化敏感的能够快速学习的用于判断阳台是否存在高空坠物风险的神经网络，将神经网络当前的初始化参数θ

S15：根据总损失值Loss更新神经网络的初始化参数为θ

本实施例中神经网络采用卷积神经网络。

由于原始图像上像素点的像素值范围为0-255，而卷积神经网路在卷积层会使用加权的形式对图像进行处理，为了训练过程能够稳定有效，所以本实施例原始图像上进行预处理，得到适用于卷积神经网络的图像数据。图像预处理方式如下：

1、先对原始图像进行归一化处理，即将原始图像上所有像素点的像素值同时除以255，即令p＝p/255，从而将像素数据范围从0-255缩小到了0-1，极大的减少的运算量并加快loss函数的收敛。

2、接着对归一化的数据进行标准化，即每个像素点减去本图像上所有像素点的像素值均值μ后除以该图像上所有像素点的像素值标准差σ，即令

3、在对图像数据进行预处理之后，将图像数据形成一个4D的数组(batch_size，height，width，depth)，分别对应着图像数量、图像高度、图像宽度、图像通道数，作为神经网络的输入数据。

如图1所示，神经网络参数获得如下：在训练神经网络阶段，拍摄各种式样(形状)的阳台图片，经过处理后，将图像数据录入电脑。图片包含各种式样的阳台，包含存在高空坠物风险的阳台及不存在高空坠物风险的阳台。人工识别对应照片是否存在高空坠物风险，把阳台的图片进行标记，判定是否存在高空坠物风险，存在高空坠物风险则置其分类标签为1，不存在高空坠物风险则置其分类标签为0。把所有的图片组成一个集合C；把对判断一种阳台是否存在高空坠物危险作为一个任务，针对每个任务，在C里面随机选出Num张(本实施例中为20张)含有标签的图片，构成support set和query set；support set和queryset分别包含Num/2张图片及其标签。采用Model-Agnostic Meta-Learning(MAML)的算法，在单任务把Support set输入神经网络内环，并计算出损失函数，更新神经网络。再将Queryset输入更新后的神经网络。多训练几个任务，这几个任务组成一个批次，把一个批次内每个任务用query set算出的误差取出标记为loss，算出一个批次loss的平均值，并用它更新神经网络外环的元学习。本实施例中，在电脑训练7万次左右，总损失值Loss小于设定的误差阈值ε，至此得到一个对变化敏感的元学习神经网络初始化参数。将网络的参数保存在电脑。

如图2所示，神经网络应用阶段工作流程图，将电脑训练所得的神经网络的最佳参数导入机器视觉模块的神经网络系统，小区物业人工地对M张阳台图片(本实施例中为50张图片)识别是否存在高空坠物风险，并对图片进行标记；将M张阳台图片及其标签输进神经网络。对神经网络进行简单的微调，就形成了一个可以应用于该小区的卷积神经网络。执行飞行检查任务时，当飞机位于一个相对固定的环境检查时，将无人机所拍摄照片输入进神经网络，就可以得到准确的判断值，判断该阳台是否存在高空坠物风险。

如图3模块交互示意图所示，所述无人机包括无人机本体、机器视觉模块(Openmv视觉模块)、激光雷达模块、北斗导航模块和数传模块。

所述无人机本体，包括机架、动力装置以及运动控制模块(本实施例中运动控制模块采用TM4C123飞控板)。所述机架用于构成无人机基础架构以及搭载其他各个模块；所述动力装置包括电调和电机，运动控制模块在经过姿态解算后计算出油门数值，并实时传送相应的方波信号给电调，电调根据接收到的方波信号输出PWM信号给电机，驱动电机转动。

所述北斗导航模块，采用螺旋天线技术，在定位精度上能达到亚米级以及厘米级。在无人机起飞后，该模块将所测得无人机经纬度以及速度通过串口发送至运动控制模块；运动控制模块根据之前踩点的目标楼位置以及获取的当前位置，通过数据的处理规划出无人机的最佳飞行路径，配合无人机的自动避障功能，使无人机飞行至目标位置。

所述激光雷达模块，采用低功率的红外线激光器作为发射光源，实现对周围环境的360度全方位扫描测距检测，同时，其采样频率可达每秒8000次，为无人机飞行过程中提供足够的时间去避障以及定高定距反应。其中取方向垂直向下的测距数据作为定高的数据传送给运动控制模块，而在机头水平方向一定的角度内取各角度对应的数据，角度以及对应角度的距离通过三角函数可计算出每个方向测得点与无人机的垂直距离。将此数据传送给运动控制模块，并在运动控制模块对以上水平各方向的垂直距离进行数据融合，以此作为无人机与阳台的距离，用于无人机与阳台之间距离的保持。而其他方向上的测量数据则传送给运动控制模块，用于简单避障功能的数据需要。

所述数传模块，用于实现无人机与外部监控终端无线通信。其中运动控制模块通过姿态传感器采集的无人机姿态数据以及通过机器视觉模块获取的标志位(相应阳台是否存在高空坠物风险的分类标签)都通过运动控制模块处理后传给数传发送模块进行实时传输，数传接收模块接收后，由监控终端显示。

所述监控终端，用于接收来自数传模块的数据信息，并派工作人员及时上门提醒阳台住户，解决高空坠物危险。

所述机器视觉模块用于住户阳台照片拍摄、图像处理。运动控制模块8与机器视觉模块通过通信模块连接，实现信息传递。优选地，所述机器视觉模块采用OpenMV组件。其中Openmv组件包括stm32芯片(STM32H743芯片)与MT9v034全局快门摄像头，在stm32芯片上搭载了进行了元学习的卷积神经网络。

所述锂电池2给无人机搭载的用电器件(包括电机1、电调6、运动控制模块8、MT9v034全局快门摄像头4、激光雷达模块3、北斗导航模块7以及数传模块10)供电，保证各器件的正常工作。

所述运动控制模块在起点位置进行无人机自检与系统初始化处理；根据陀螺仪、加速度计、地磁传感器来获取无人机所处的姿态信息；通过北斗导航模块得知无人机本体的经纬度信息；通过激光雷达得知自身的高度信息，感知周围障碍物与无人机本体之间的距离；运动控制模块融合各模块所获得的信息，规划出无人机的最佳飞行路径，计算无人机运动所需的运动控制信息，使之依据设定好的路线与飞行模式飞行，并进行自动实时避障；同时采用激光雷达进行测距实现定高飞行，采用惯性测量单元保证飞行的平稳姿态，保证了无人机不同状态的顺利进行。

所述运动控制模块根据激光雷达所获得的高度信息来控制机器视觉模块进行采集图像信息的时机。所述运动控制模块与机器视觉模块进行通信，将开始检测的信号传递给机器视觉模块，控制其定点采集图像信息，机器视觉模块使用OpenMV组件上所搭载的MT9v034全局快门摄像头、以图像形式对无人机所处的外界环境信息进行采集，随后通过已经搭建好的神经网络对拍摄的图片信息进行处理，判断该阳台是否存在高空坠物的风险；通过神经网络的处理后，将存在高空坠物风险的阳台的位置信息传输至运动控制模块8进行存储。

运动控制模块8存储机器视觉模块传来的数据，以便返航后将存在高空坠物风险的阳台的位置信息传至监控终端；电调6接收到运动控制模块8发来的信号来控制电流的大小，进而控制电机1和桨叶9的转速，实现高度的调节。无人机过北斗导航模块7配合运动控制模块8进行路径规划，同时北斗导航模块7将当前检测到有高楼易坠物品的楼层所在经纬度数据传给运动控制模块进行储存。待无人机完成了检查任务，返回地面后，运动控制模块将存储的数据(存在高空坠物风险的阳台的位置信息)通过数传模块10传送给监控终端(上位机)。所述监控终端收到无人机传来住户阳台位置信息后，提醒住户及时处理阳台放置的物品，保证高空坠物问题的有效解决。

实施例2：

本实施例公开了一种阳台高空坠物风险检测系统，包括以下模块：

神经网络训练模块，用于基于多种式样的阳台图片，采用MAML算法训练一个用于判断阳台是否存在高空坠物风险的神经网络，得到其最佳参数；

神经网络微调模块，用于针对需要进行坠物危险检测的特定小区，将该特定小区带有分类标签的多张阳台图片输入神经网络训练模块训练好的神经网络，用于对该神经网络进行微调，形成适用于该特定小区阳台的神经网络；

图片采集及判断模块，用于采集该特定小区阳台图片，输入神经网络微调模块形成的神经网络，判断相应的阳台是否存在高空坠物风险。

进一步地，所述神经网络训练模块为电脑；所述神经网络微调模块和图片采集及判断模块为无人机中的机器视觉模块。

本实施例系统中各模块实现其功能的具体方式参见实施例1中相应步骤的实现方法。

本发明能够对小区住户阳台是否存在高空坠物风险进行检测，并将存在高空坠物风险的阳台位置信息及时传递给监控终端，可有效减少小区高空坠物的发生概率，对保障居民出行安全，营造安全的居民生活环境具有重要意义。