一种实现海漂垃圾识别的仿视觉识别方法、设备和介质

技术领域

本发明涉及一种实现海漂垃圾识别的仿视觉识别方法，属于环境治理和图像识别技术领域。

背景技术

在全球范围内，海漂垃圾都是一个严重的问题，在亚洲情况尤为严峻。据报道，全球超过80％的海漂垃圾来自亚洲。海漂垃圾大多难以自然降解，只能依靠人力收集、清理。而大量海漂垃圾距陆地较远，需要从远海将垃圾收集并运回陆地进行处理。在整个过程中消耗大量人力物力，给地方财政带来较大负担。

现有技术中通过视频监控的方法监测海面上的海漂垃圾，通过人工对视频中出现的异物进行排查，确认是否为海漂垃圾，确认为垃圾后再通知海面治理人员对海漂垃圾进行清理；这种人工监测的效率低下，需要时刻有值班工作人员对视频中出现的异物进行排查，且人工识别存在识别错误的可能，有可能将鱼类或捕鱼工具等识别为海漂垃圾，导致通知错误信息给海面治理人员，造成资源浪费。

发明内容

为了解决上述现有技术中存在的问题，本发明提出了一种实现海漂垃圾识别的仿视觉识别方法，通过设置背景影像，识别出实时影像中与背景影像出现不同的部分，通过目标检测模型对不同的部分进行自动识别，确认是否为海漂垃圾，提高海漂垃圾的识别效率。

本发明的技术方案如下：

技术方案一：

一种实现海漂垃圾识别的仿视觉识别方法，包括以下步骤：

确定监测海域；将监测海域划分为若干个区域，在监测海域搭设至少一个影像采集设备采集各区域的影像数据；

建立背景数据库；根据所述各区域的影像数据挑选与各区域一一对应的背景影像放入背景数据库中，所述背景影像为海面不包含异物的影像；

模型训练；收集复数张海漂垃圾的图片作为训练样本集，通过训练样本集对目标检测模型进行训练，生成海漂垃圾识别模型；

仿视觉处理；通过影像采集设备获取各区域的实时影像数据，将每一区域的实时影像数据分别与对应的背景影像进行对比，根据对比结果进行异或处理，消除实时影像数据与背景影像相同的部分，保留实时影像数据与背景影像不同的部分为待识别目标；

海漂垃圾识别；通过海漂垃圾识别模型对所述待识别目标进行识别，输出识别为海漂垃圾的待识别目标，并将无法识别的待识别目标进行标注后对海漂垃圾识别模型进行迭代训练。

进一步的，挑选所述背景影像的方法具体为：

首先通过人工挑选各区域的背景影像放入背景数据库中，并记录挑选时间；

设定时间阈值T0，若当前时间与所述挑选时间的时间间隔等于时间阈值T0时，通过影像采集设备自动获取各区域的实时影像数据，并通过所述海漂垃圾识别模型识别实时影像数据中是否包含海漂垃圾；

若一区域的实时影像数据不包含海漂垃圾，则将背景数据库中的该区域的背景影像更新为当前的影像数据并记录更新时间；

若一区域的实时影像数据包含海漂垃圾，则持续通过海漂垃圾识别模型对该区域的实时影像数据进行监测，直至该区域的实时影像数据不包含海漂垃圾后，再将背景数据库中的该区域的背景影像更新为当前的影像数据并记录更新时间；

各区域的背景影像根据更新时间和时间阈值T0按上述步骤进行持续更新。

进一步的，在所述仿视觉处理步骤中，还包括一图像预处理步骤，具体为：

根据各区域的影像数据分别确定各区域的海面轮廓；

根据各区域的海面轮廓分别制定各区域的切割模板并保存；

通过各区域的切割模板分别对各区域的实时影像数据和背景影像进行图像切割，剔除实时影像数据和背景影像中海面轮廓以外的部分。

进一步的，所述异或处理的具体步骤为：

对所述背景影像进行灰度处理，获取背景灰度图；

对所述背景灰度图进行平滑滤波处理后，获取背景灰度图中各像素点对应的灰度值；

对实时影像数据进行上述灰度处理和平滑滤波处理，获取实时灰度图中各像素点对应的灰度值；

设定灰度差阈值T1，逐一对比实时灰度图中各像素点的灰度值与背景灰度图中各像素点的灰度值，获取像素点与灰度差值一一对应的灰度差分布图，通过灰度差阈值T1对所述灰度差分布图进行二值化，将灰度差值大于灰度差阈值T1的像素点置为黑点，将灰度差值小于灰度差阈值T1的像素点置为白点，生成二值化图像；

根据二值化的黑点轮廓确定为待识别目标的轮廓，根据待识别目标的轮廓在实时影像数据中提取出待识别目标。

技术方案二：

一种实现海漂垃圾识别的仿视觉识别设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如技术方案一所述的方法。

技术方案三：

一种实现海漂垃圾识别的仿视觉识别介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如技术方案一所述的方法。

目标本发明具有如下有益效果：

1、本发明一种实现海漂垃圾识别的仿视觉识别方法，通过训练海漂垃圾识别模型，能够自动识别影像数据中的海漂垃圾，通过仿视觉处理，分割出海面上与背景影像不同的待识别目标，再通过海漂垃圾识别模型对待识别目标进行识别，提高海漂垃圾的识别效率，大大减少工作人员的工作量，减少海漂垃圾识别错误的概率。

2、本发明一种实现海漂垃圾识别的仿视觉识别方法，通过不断更新背景影像降低背景噪声的干扰，提高待提取目标的识别精确度。

3、本发明一种实现海漂垃圾识别的仿视觉识别方法，通过设置模板对影像数据进行切割，可以剔除影像数据中海面以外的干扰，例如影像数据中包含部分沙滩、天空或礁石等，可以进行剔除，避免造成干扰。

附图说明

图1为本发明一实施例的流程图；

图2为本发明实施中进行异或处理的示例图。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细的说明。

实施例一：

参见图1，一种实现海漂垃圾识别的仿视觉识别方法，包括以下步骤：

确定监测海域；将监测海域划分为若干个区域，在监测海域搭设至少一个影像采集设备采集各区域的影像数据，影像数据可为视频流或图片；

建立背景数据库；根据所述各区域的影像数据挑选与各区域一一对应的背景影像放入背景数据库中，所述背景影像为海面不包含异物的影像；

模型训练；收集复数张海漂垃圾的图片，对图片中的海漂垃圾进行人为标注，标注垃圾类别，垃圾类别可以是“属于海漂垃圾”或“不属于海漂垃圾”这样的大类别，还可以对大类别进行细分，例如在“属于海漂垃圾”的分类下，可以具体细分垃圾种类，如：树枝、水瓶、垃圾袋、泡沫等；在“不属于海漂垃圾”的分类下，可以具体细分物体种类，例如：海洋生物、礁石等。将人为标注后的图片作为训练样本集，通过训练样本集对目标检测模型进行训练，生成海漂垃圾识别模型；目标检测模型训练时会根据海漂垃圾的图片中标注的垃圾类别信息去学习当前标注的目标的样子和大概轮廓，然后拿训练好以后的海漂垃圾识别模型去分析影像数据，就会根据自己学习到的参数快速找到影像数据里相应的目标并框出这个目标，本实施例中，目标检测模型采用YOLOv5目标检测深度学习网络模型。

仿视觉处理；参见图2，通过影像采集设备获取各区域的实时影像数据，将每一区域的实时影像数据分别与对应的背景影像进行对比，根据对比结果进行异或处理，图2中左侧上下两张图片分别为一区域的背景影像和该区域的实时影像数据。消除实时影像数据与背景影像相同的部分，保留实时影像数据与背景影像不同的部分为待识别目标，图2中右侧图片为待识别目标；通过人工进行海漂垃圾识别时，首先工作人员会对海面的画面有个记忆，记忆海面的初始状态，当有异物出现在海面上时，人眼观察到当前海面的画面出现了与记忆中不同的部分，就会告知大脑出现异物，本发明基于此提出了一种仿视觉处理方法，通过异或处理快速找到海面影像数据中的异物，帮助海漂垃圾识别。

海漂垃圾识别；通过海漂垃圾识别模型对所述待识别目标进行识别，输出识别为海漂垃圾的待识别目标，同时输出报警信息至上位管理系统，通知海面治理人员该区域存在垃圾，亦可将识别出的海漂垃圾影像通过上位管理系统传输给海面治理人员告知海漂垃圾的形状轮廓和位置；对于输出为不属于海漂垃圾的待识别目标，例如礁石、海洋生物等，则不进行处理；对于无法识别的待识别目标，送入待标注数据库中，工作人员可在上位系统软件对待标注数据库进行浏览和标注，对无法识别的待识别目标进行人为标注垃圾类别，将标注后的待识别目标的影像数据再送入海漂垃圾识别模型进行迭代训练。

本实施例通过训练海漂垃圾识别模型，能够自动识别影像数据中的海漂垃圾，通过仿视觉处理，分割出海面上与背景影像不同的待识别目标，再通过海漂垃圾识别模型对待识别目标进行识别，提高海漂垃圾的识别效率，大大减少工作人员的工作量，减少海漂垃圾识别错误的概率。

实施例二：

本实施例中，挑选所述背景影像的方法具体为：

首先通过人工挑选各区域的背景影像放入背景数据库中，并记录挑选时间，例如记录2020年1月31日5时20分15秒；

设定时间阈值T0，例如十分钟，若当前时间与所述挑选时间的时间间隔等于时间阈值T0时，即间隔到达2020年1月31日5时30分15秒，通过影像采集设备自动获取各区域的实时影像数据，并通过所述海漂垃圾识别模型识别实时影像数据中是否包含海漂垃圾；

若一区域的实时影像数据不包含海漂垃圾，则将背景数据库中的该区域的背景影像更新为当前的影像数据并记录更新时间；

若一区域的实时影像数据包含海漂垃圾，则持续通过海漂垃圾识别模型对该区域的实时影像数据进行监测，直至该区域的实时影像数据不包含海漂垃圾后，再将背景数据库中的该区域的背景影像更新为当前的影像数据并记录更新时间；

各区域的背景影像根据更新时间和时间阈值T0按上述步骤进行持续更新；本实施例通过不断更新背景影像，确保在进行异或处理时，背景影像与实时影像数据之间的背景噪声最小，背景噪声例如海面因太阳光照引起的颜色变化或因涨潮退潮导致的海面波浪，通过不断更新背景影像降低背景噪声的干扰，提高待提取目标的识别精确度。

在本实施例中，在所述仿视觉处理步骤中，还包括一图像预处理步骤，具体为：

根据各区域的影像数据分别确定各区域的海面轮廓；

根据各区域的海面轮廓分别制定各区域的切割模板并保存；

通过各区域的切割模板分别对各区域的实时影像数据和背景影像进行图像切割，剔除实时影像数据和背景影像中海面轮廓以外的部分。通过本实施例的方案，可以剔除影像数据中海面以外的干扰，例如影像数据中包含部分沙滩、天空或礁石等，可以进行剔除，避免造成干扰。

在本实施例中，所述异或处理的具体步骤为：

对所述背景影像进行灰度处理，获取背景灰度图；

对所述背景灰度图进行平滑滤波处理后，获取背景灰度图中各像素点对应的灰度值；本实施例中，以背景灰度图中一像素点为原点做水平直角坐标系，设像素点的坐标为(x，y)，该像素点对应的灰度值为G(x，y)，表示横坐标为x，纵坐标为y的像素点的灰度值为G。

对实时影像数据进行上述灰度处理和平滑滤波处理，获取实时灰度图中各像素点对应的灰度值，记实时灰度图中个像素点对应的灰度值为K(x，y)；

设定灰度差阈值T1，例如T1＝50，灰度阈值T1根据人为经验设定，可以通过多次试验选取效果较优的值，逐一对比实时灰度图中各像素点的灰度值与背景灰度图中各像素点的灰度值，获取像素点与灰度差值一一对应的灰度差分布图，例如G(1,2)＝20，K(1,2)＝25，则像素点(1,2)的灰度差为5，G(10,20)＝1，K(10,20)＝255，则像素点(10,20)的灰度差为254，通过灰度差阈值T1对所述灰度差分布图进行二值化，将灰度差值大于灰度差阈值T1的像素点置为黑点，将灰度差值小于灰度差阈值T1的像素点置为白点，生成二值化图像，即上述点(1,2)被置为白点，点(10,20)被置为黑点；因与背景图不一致的待识别目标出现时，定与背景海面的像素不一致，因此设置一灰度阈值，通过灰度对比的方式快速识别出待识别目标的形状轮廓。

根据二值化的黑点轮廓确定为待识别目标的轮廓，根据待识别目标的轮廓在实时影像数据中提取出待识别目标。

实施例三：

一种实现海漂垃圾识别的仿视觉识别设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如本发明任一实施例所述的方法。

实施例四：

一种实现海漂垃圾识别的仿视觉识别介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本发明任一实施例所述的方法。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。