一种基于YoloV5的房源自标签方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于YoloV5的房源自标签方法。

背景技术

租房是现在年轻人生活的一种流行趋势，而房内设施是大家租房的一个关键指标。大家租房时需要去出租的房子实地考察或者租房网站的照片了解房内的大概设施。近年来，随着神经网络技术的迅速发展，基于YoloV5的神经网络结构的房源自标签法可以快捷、准确地识别出房内设施，并自动为房内设施打上相应的标签。它快捷、高效的优点受到了工业界和学术界的广泛关注。基于YoloV5的神经网络结构有同步和异步两个接口，分别可以读取用户直接发送的图片和链接下的图片，读取的图片通过YoloV5s模型和Mosaic数据增强等对用户上传的图片进行处理识别并打上相应的标签。同时由于运行该模型结构无需部署在带有GPU的服务器，使其应用更加地便利。

发明内容

本发明所要解决的技术问题是针对图像处理中所涉及的图像分类自动标签，提供一种基于YoloV5的房源自标签的项目标签实现方法，重点从构建YoloV5神经网络模型，使用roboflow给数据标注类别，并构建高效的损失函数，从而高效挖掘图片的信息特征，准确给出对应标签，解决了传统人工输入房屋设施相应信息的时间长、有遗漏、效率低的问题，从而达到高效准确分类标签房屋设施的目的。

本发明为解决上述技术问题采用以下技术方案：

一种基于YoloV5的房源自标签方法，包含以下步骤

步骤1.获取数据集，通过标准化对图像信息进行预处理，并使用roboflow对数据进行标注类别；

步骤2.在预训练的Yolov5s模型上对图像信息进行特征提取，在对图像信息特征提取的过程中，使用Mosaic数据增强，将四张图片进行随机裁剪，再拼接到一张图上作为训练数据；接着根据图像实际的标注框，优化网络参数，降低损失函数；

步骤3.在训练完模型后，使用Flask框架对模型进行运用，结果无需部署在带有GPU的服务器上，对不同接口分别采用同步与异步2种方式请求结果，同时使用Paste来提高系统的并行能力。

通过标准化对图像信息进行预处理，并使用roboflow对数据进行标注类别：

2.1获取数据集,使用国内常见出租房照片数据，使用标准化将图片裁剪为3:4

2.2将图片使用roboflow进行标注，这边以['床','桌椅','油烟机','柜子','马桶','冰箱','水池','沙发','洗衣机']这几种类别为例，分别以0-8作为标记符号；

2.3以3:7划分测试集与训练集。使用Auto-Orient纠正方向错误的图片，并导出数据集为YAML的训练格式。

在预训练的Yolov5m模型上对图像信息进行特征提取，在对图像信息特征提取的过程中，使用Mosaic数据增强，将四张图片进行随机裁剪，再拼接到一张图上作为训练数据；接着根据图像实际的标注框，优化网络参数，降低损失函数：

3.1将步骤1所述数据集索引加入到内存单位中,将图片每16张打包成一个batch_size。

3.2将3.1所述把图片进行Mosatic增强，Mosaic数据增强方法是YOLOV4论文中提出来的，主要思想是将四张图片进行随机裁剪，再拼接到一张图上作为训练数据。这样做的好处是丰富了图片的背景，并且四张图片拼接在一起变相地提高了batch_size，在进行batchnormalization的时候也会计算四张图片，所以对本身batch_size不是很依赖，单块GPU就可以训练YOLOV4。使用Yolov5m模型结构前向传播，并使用Adam与初始化学习率0.01来对模型进行优化。

所述步骤3在训练完模型后，使用Flask框架对模型进行运用，结果无需部署在带有GPU的服务器上，对不同接口分别采用同步与异步2种方式请求结果，同时使用Paste来提高系统的并行能力。

4.1在训练完成后，使用Flask框架部署服务器上，同时使用Paste来提高系统的并行能力。

4.2设计有接口如下：

4.2.1同步的图片检测接口：接受用户使用POST方法发送表单，表单内有‘image’字段的Base64编码后的图片。服务端在接受到了对应的Post数据后，解码相对应的Base64图片，将图片转换为OpenCV2格式，将模型放入步骤2所述的网络中前向传播，使用0.25的置信度以及0.45的iou来提取图片的特征，将特征编码成如下格式的json数据：

4.2.2异步的批量图片检测接口：接受用户使用POST方法发送表单，表单内有‘urls’字段的图片链接。服务端在接受到了对应的Post数据后，发送给用户一个随机编码并断开与用户的连接，异步地下载链接所指向的图片，将图片转换为OpenCV2格式，将模型放入步骤2所述的网络中前向传播，使用0.3的置信度以及0.50的iou来提取图片的特征，将特征编码成如下格式的json数据：

把这个json以随机编码的文件名存储。用户端每间隔一段时间(以实际数量决定)请求数据查看文件是否存在。如果存在则发送给用户，如果不存在说明还未检测完毕。

附图说明：

图1为本发明模型图片。

具体实施方式

下面对本发明的技术方案做进一步的详细说明以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围：

本发明公开了一种基于YoloV5的房源自标签系统实现方法，包含以下步骤：

一种基于YoloV5的房源自标签方法，其特征在于，包含以下步骤

步骤1.获取数据集，通过标准化对图像信息进行预处理，并使用roboflow对数据进行标注类别；

步骤2.在预训练的Yolov5s模型上对图像信息进行特征提取，在对图像信息特征提取的过程中，使用Mosaic数据增强，将四张图片进行随机裁剪，再拼接到一张图上作为训练数据；接着根据图像实际的标注框，优化网络参数，降低损失函数；

步骤3.在训练完模型后，使用Flask框架对模型进行运用，结果无需部署在带有GPU的服务器上，对不同接口分别采用同步与异步2种方式请求结果，同时使用Paste来提高系统的并行能力。

通过标准化对图像信息进行预处理，并使用roboflow对数据进行标注类别：

2.1获取数据集,使用国内常见出租房照片数据，使用标准化将图片裁剪为3:4

2.2将图片使用roboflow进行标注，这边以['床','桌椅','油烟机','柜子','马桶','冰箱','水池','沙发','洗衣机']这几种类别为例，分别以0-8作为标记符号。

2.3以3:7划分测试集与训练集。使用Auto-Orient纠正方向错误的图片，并导出数据集为YAML的训练格式。

在预训练的Yolov5m模型上对图像信息进行特征提取，在对图像信息特征提取的过程中，使用Mosaic数据增强，将四张图片进行随机裁剪，再拼接到一张图上作为训练数据；接着根据图像实际的标注框，优化网络参数，降低损失函数：

3.1将步骤1所述数据集索引加入到内存单位中,将图片每16张打包成一个batch_size。

3.2将3.1所述把图片进行Mosatic增强，Mosaic数据增强方法是YOLOV4论文中提出来的，主要思想是将四张图片进行随机裁剪，再拼接到一张图上作为训练数据。这样做的好处是丰富了图片的背景，并且四张图片拼接在一起变相地提高了batch_size，在进行batch normalization的时候也会计算四张图片，所以对本身batch_size不是很依赖，单块GPU就可以训练YOLOV4。使用Yolov5m模型结构前向传播，并使用Adam与初始化学习率0.01来对模型进行优化。

所述步骤3)在训练完模型后，使用Flask框架对模型进行运用，结果无需部署在带有GPU的服务器上，对不同接口分别采用同步与异步2种方式请求结果，同时使用Paste来提高系统的并行能力。

4.1在训练完成后，使用Flask框架部署服务器上，同时使用Paste来提高系统的并行能力。

4.2设计有接口如下：

4.2.1同步的图片检测接口：接受用户使用POST方法发送表单，表单内有‘image’字段的Base64编码后的图片。服务端在接受到了对应的Post数据后，解码相对应的Base64图片，将图片转换为OpenCV2格式，将模型放入步骤2所述的网络中前向传播，使用0.25的置信度以及0.45的iou来提取图片的特征，将特征编码成如下格式的json数据：

4.2.2异步的批量图片检测接口：接受用户使用POST方法发送表单，表单内有‘urls’字段的图片链接。服务端在接受到了对应的Post数据后，发送给用户一个随机编码并断开与用户的连接，异步地下载链接所指向的图片，将图片转换为OpenCV2格式，将模型放入步骤2所述的网络中前向传播，使用0.3的置信度以及0.50的iou来提取图片的特征，将特征编码成如下格式的json数据：

把这个json以随机编码的文件名存储。用户端每间隔一段时间(以实际数量决定)请求数据查看文件是否存在。如果存在则发送给用户，如果不存在说明还未检测完毕。

示例：

[{"type":"马桶","conf":93.4,"posi":[98,56,424,425]},{"type":"油烟机","conf":86.58,"posi":[11,454,778,753]},

{"type":"柜子","conf":76.97,"posi":[88,45,708,738]},{"type":"床",

"conf":85.9,"posi":[2,200,497,457]},

{"type":"桌椅","conf":90.5,"posi":[55,136,493,397]}]。