一种基于大屏购物实时检测分发系统

技术领域

本发明涉及网络购物系统领域，具体为一种基于大屏购物实时检测分发系统。

背景技术

在5G和物联网到来，人们非常依赖手机购物，但是手机购物屏幕太小，而且一起购物非常不方便，利用家庭电视进行大屏购物是一种家庭一起购物更方面，屏幕更大更高清，但是这也产生了另外一个问题，家里有小孩，一些少儿不宜的画面不能让小孩看到，不利于小孩的身心发展，还有根据自身的信息，和搜索属性更快找到所需要的产品是非常重要的，这样快和准，安全的购物体验会是家庭购物的一个刚需。目前现有主流针对视频实时识别框架，1.一般都不能很好的支持各种流媒体解码，以及各种滤镜组合检测，不能满足我既要针对视频时上的对象做识别，也要修改美化视频里面的对象，去掉瑕疵部分，这是商户面临的刚需，2、市面上的检测框架很难达到25fps/s，因为识别检测因视频码率，图像复杂度，检测的精确度都会很大影响识别的性能，本发明采取针对场景特点采取相应的算法来提高低延时性能，从而达到实时检测效果；为此提供一种基于大屏购物实时检测分发系统。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种基于大屏购物实时检测分发系统，以解决上述背景技术提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于大屏购物实时检测分发系统，包括服务器初始化模块、流媒体检测规则配置、rtmp/hls流解码模块、滤镜处理模块、识别检测滤镜桥梁模块、识别检测模块、opencv实时效果、rtmp/hls流编码推流模块、大屏电视端实时获取推荐媒体服务和商户/epg服务，所述服务器初始化模块与流媒体检测规则配置相连，双手流媒体检测规则配置分别与商户/epg服务和rtmp/hls流解码模块相连，所述商户/epg服务与大屏电视端实时获取推荐媒体服务相连，所述rtmp/hls流解码模块与滤镜处理模块相连，所述识别检测滤镜桥梁模块与识别检测模块相连，所述识别检测模块分别与opencv实时效果和rtmp/hls流编码推流模块相连。

作为本发明的一种优选技术方案，所述服务器初始化模块包括硬件配置、软件配置、srs服务器模块、网络侦听模块和购物后台分发服务。

作为本发明的一种优选技术方案，所述流媒体检测规则配置包括申请识别服务 、参数设置和模型设置 。

作为本发明的一种优选技术方案，所述rtmp/hls流解码模块包括ffmpeg 流协议解析模块、ffmpeg 硬件解码模块和 ffmpeg 数据颜色格式转换模块。

作为本发明的一种优选技术方案，所述滤镜处理模块包括注册滤镜和创建多线程分发视频数据处理。

作为本发明的一种优选技术方案，所述识别检测滤镜桥梁模块包括注册一组调度yolo功能接口 和ffmpeg 解码数据转码到yolo。

作为本发明的一种优选技术方案，所述识别检测模块包括识别模型及检测规则初始环境 、加载网络 、加载图片并归一化 、网络预测、预测框输出 、图片数据输出 和fps/delay 计算。

作为本发明的一种优选技术方案，所述opencv实时效果包括 opencv 窗口创建和输送image数据到窗口显示 。

作为本发明的一种优选技术方案，所述rtmp/hls流编码推流模块包括h编码 和rtmp/hls协议封装 和数据分发模块。

本发明的有益效果是：本发明可以解决针对商家自动上传物品图片、视频进行实时检测分类，违规的地方通知显示，搜索属性自动匹配，省去了大批工人肉眼看的成本，提高了检测效率，只要商家提供足够多的商品信息，本发明会根据商品信息自动匹配对应用户推荐，提高商品的精确定位。

本发明改进了在ffmpeg基础上加了一种实时识别检测滤镜功能，采取yolo4实时检测框架，自己训练针对大屏购物场景自建数据模型，包括违规特征的媒体数据模型，媒体数据分类模型，购物自动推荐匹配属性模型；本发明还通过对ffmpeg 的解码转出来的颜色格式匹配yolo4支持的颜色格式，这样就减少了输入和输出的格式转换，提升了检测的性能；通过抽帧的思想来提高速率，本发明采取根据当前的fps来隔段时间来抽帧做识别检测；采用设置rtmp/hls推流缓存时间来保证拉流的流畅性，做到不卡顿，从以上3个方面保证达到25fps/s。

附图说明

图1为本发明的模块图；

图2为本发明服务器空间的模块图；

图3为本发明的局部模块图；

图4为本发明的系统流程图。

图中：服务器初始化模块10、硬件配置11、软件配置12、srs服务器模块13、网络侦听模块14、购物后台分发服务15 、流媒体检测规则配置20、 申请识别服务21 、参数设置22、模型设置23 、rtmp/hls流解码模块30 、ffmpeg 流协议解析模块31、ffmpeg 硬件解码模块32、 ffmpeg 数据颜色格式转换模块33、滤镜处理模块40、注册滤镜 41 、创建多线程分发视频数据处理 42 、识别检测滤镜桥梁模块50、注册一组调度yolo4功能接口 51 、ffmpeg 解码数据转码到yolo4 52 、识别检测模块60、识别模型及检测规则初始环境 61、加载网络 62、加载图片并归一化 63、网络预测 64 、预测框输出 65、图片数据输出 66、fps/delay 计算67、opencv实时效果70、 opencv 窗口创建 71、输送image数据到窗口显示72、rtmp/hls流编码推流模块80、 h264编码 81、 rtmp/hls协议封装 82、 数据分发模块83 、大屏电视端实时获取推荐媒体服务90、商户/epg服务110。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易被本领域人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

实施例：请参阅图1-4，本发明提供一种技术方案：一种基于大屏购物实时检测分发系统，包括服务器初始化模块10、流媒体检测规则配置20、rtmp/hls流解码模块30、滤镜处理模块40、识别检测滤镜桥梁模块50、识别检测模块60、opencv实时效果70、rtmp/hls流编码推流模块80、大屏电视端实时获取推荐媒体服务90和商户/epg服务110，服务器初始化模块10与流媒体检测规则配置20相连，双手流媒体检测规则配置20分别与商户/epg服务110和rtmp/hls流解码模块30相连，商户/epg服务110与大屏电视端实时获取推荐媒体服务90相连，rtmp/hls流解码模块30与滤镜处理模块40相连，识别检测滤镜桥梁模块50与识别检测模块60相连，识别检测模块60分别与opencv实时效果70和rtmp/hls流编码推流模块80相连。

服务器初始化模块10包括硬件配置11、软件配置12、srs服务器模块13、网络侦听模块14和购物后台分发服务15。

流媒体检测规则配置20包括申请识别服务21 、参数设置22和模型设置23 。

rtmp/hls流解码模块30包括ffmpeg 流协议解析模块31、ffmpeg 硬件解码模块32和 ffmpeg 数据颜色格式转换模块33。

滤镜处理模块40包括注册滤镜 41 和创建多线程分发视频数据处理 42 。

识别检测滤镜桥梁模块50包括注册一组调度yolo4功能接口 51和ffmpeg 解码数据转码到yolo4 52 。

识别检测模块60包括识别模型及检测规则初始环境 61、加载网络 62、加载图片并归一化 63、网络预测 64 、预测框输出 65、图片数据输出 66和fps/delay 计算67。

opencv实时效果70包括 opencv 窗口创建 71和输送image数据到窗口显示 72。

rtmp/hls流编码推流模块80包括h264编码 81和 rtmp/hls协议封装 82和数据分发模块 83 。

本发明的一组装置的步骤：准备一台nvdia显卡服务器，完成10服务器初始化模块，使服务器满足yolo4实时检测的环境，保证服务器的网络、15购物后台分发服务，服务部署后的完整性，当商户上传一组待检测的产品图片/视频数据,会把信息推送给20流媒体检测规则配置，来完成数据配置及检测服务申请，当配置准备就绪启动ffmpeg 指令，如ffmpeg.exe-fflv-re-irtmp://x.x.x.x:x/live/livestream-vf "detect=modelcfg='cfg/yolov3.cfg':datacfg='data/coco.data':weights=yolov3.weights:frame_skip=60:threshold=0.50,fps=fps=15" -y -threads 4 -f flv -y rtmp://x.x.x.x:x/live/test2 ，指令输入后会经过30 rtmp/hls流解码模块完成数据解码，每一帧解码后的数据推送到40滤镜处理模块触发滤镜需求处理，通过50识别检测滤镜桥梁模块来调度yolo4 60识别检测模块，可以设置开关来实时看70opencv实时效果，60识别检测模块 处理的数据会返回给80rtmp/hls流编码推流模块，最终会生成90大屏电视端实时获取推荐媒体服务 需要的一组媒体流数据地址，这组地址会缓存到110商户/epg服务；

具体实施步骤：

服务器初始化模块10硬件配置11 CPU是E5v3，多核多线程有利于并发处理识别模块，显卡GPU是gtx 1080ti/1060ti 支持cuda/cuDNN 硬件加速算法；

软件配置12安装gtx 对应的驱动要求450版本以上，安装cuda 10.0的驱动及配套的cudnn-10.0，因为yolo4最低支持到cuda 10.0版本，安装opencv 2.4 版本用于预览检测效果显示；

srs服务器模块13用于搭建rtmp/hls 低延时流推送和拉取服务，配置到支持实时检测低延时相关设置；

网络侦听模块14根据网络心跳，判断网速，用于识别检测模块70 实时调整检测帧率。

购物后台分发服务15 启动后台分发服务，该服务是承商户和流媒体检测的中间服务中心，用于商户的数据信息收集、鉴权、接口api调度服务；

流媒体检测规则配置20；

申请识别服务21 创建服务端识别唯一id,该唯一id 用于绑定识别参数，配置数据，以及结果；

参数设置22 包块识别媒体流的路径，识别相似度配置，检测的fps，抽帧的设置，根据网络侦听模块14 设置延时时间；

模型设置23 包括分类模型配置，违规模型配置，属性配置的录入

rtmp/hls流解码模块30；

ffmpeg 流协议解析模块31；

ffmpeg 硬件解码模块32；

ffmpeg 数据颜色格式转换模块33；

滤镜处理模块40注册滤镜 41 注册vf_inference_dect滤镜，初始化AV_PIX_FMT_BGR24格式设置query_formats，设置filter_frame回调来处理每一视频帧数据； 创建多线程分发视频数据处理 42 使用do_conversion来创建线程分发，防止阻塞滤镜处理主线程；

识别检测滤镜桥梁模块50；

注册一组调度yolo4功能接口 51，一组接口包括detectorInit完成实时检测配置及模型初始化，detectorToffmpeg完成ffmpeg解码数据实时检测的过程，detectorExit完成识别检测结束清理内存以减少服务器的承载压力；

ffmpeg 解码数据转码到yolo4 52 从ffmpeg_img到in_img 把解码数据存储到mat_cv矩阵，Mat处理图像数据使用四元数乘法等高效算法，生成识别数据det-img， 输出后的det_img到show-img,整个转码流畅都利用mat之间的高效拷贝；

识别检测模块60 ；

识别模型及检测规则初始环境 61 主要分为 1.配置文件的读取 分别初始化coco.data 训练数据集、yolov4.cfg 训练配置、yolov4.weights 训练权重2.图片文件的读写 3.网络模型文件的加载，从coco.names里加载标签字符串由get_labels函数完成，网络模型的加载总体由load_network函数完成，parse_network_cfg函数读取yolov4.cfg文件并根据文件内的规则完成网络的内存分配。然后load_weights函数加载yolov4.weights权重文件。由于是验证，不牵涉到权重文件的更新，减少不必要的延时消耗；

加载网络 62；

加载图片并归一化 63；

网络预测 64 将根据网络层的不同，选择对应的前向传播函数；

预测框输出 65；

图片数据输出 66；

fps/delay 计算67 使用steady_clock来达到不会被调整的单调时钟，从而利用精确的fps来为抽帧识别做参考数据；

opencv实时效果70；

opencv 窗口创建 71， 创建窗口create_window_cv输送image数据到窗口显示72， 根据show_image_mat来显示 图片输出 66，调用cvWaitKey(1)等待显示完成，能够看到完整的一帧画面显示;

rtmp/hls流编码推流模块80；

h264编码 81 根据识别检测模块70 输出的媒体数据进行 h264编码 rtmp/hls协议封装 82 根据h264编码81 编码后的数据进行数据rtmp/hls的协议封装数据分发模块83 根据rtmp/hls协议封装82 的数据根据协议和srs 服务器连接传输，然后返回后台服务一个媒体服务数据地址；

大屏电视端实时获取推荐媒体服务90；

根据后台制定的数据获取接口，实时获取由rtmp/hls流编码推流模块80 返回的数据访问地址商户/epg服务110把rtmp/hls流编码推流模块80 返回的媒体数据访问地址存数据库，接收商户上传商品信息包括图片、视频，商品属性等；

本发明改进了在ffmpeg基础上加了一种实时识别检测滤镜功能，采取yolo4实时检测框架，自己训练针对大屏购物场景自建数据模型，包括违规特征的媒体数据模型，媒体数据分类模型，购物自动推荐匹配属性模型；本发明还通过对ffmpeg 的解码转出来的颜色格式匹配yolo4支持的颜色格式，这样就减少了输入和输出的格式转换，提升了检测的性能；通过抽帧的思想来提高速率，本发明采取根据当前的fps来隔段时间来抽帧做识别检测；采用设置rtmp/hls推流缓存时间来保证拉流的流畅性，做到不卡顿，从以上3个方面保证达到25fps/s。

上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。