一种基于车载摄像头的司机乘客行为识别系统

技术领域

本发明涉及司机乘客行为识别技术领域，具体为一种基于车载摄像头的司机乘客行为识别系统。

背景技术

车辆行驶中的驾驶员行为是对驾驶安全性影响的重要因素，识别驾驶员乘客行为能够降低交通事故率，基于车载摄像头的行为识别，是指根据车载摄像头采集的图像、视频序列，利用计算机视觉技术检测车内人体，并识别驾驶员与乘客的行为及其属性。

现有的基于车载摄像头的驾驶员乘客行为识别系统通常基于单种深度学习技术为基础开发，各行为识别原子能力间基于模型的强耦合关联，使得多种行为识别性能被统一模式的技术所限制，面向不同应用场景需求时缺乏定制化的识别系统适配。

针对这个问题，我们提出了一种基于车载摄像头的司机乘客行为识别系统，通过解耦各种行为识别能力过程，将识别能力重构为公共能力模块与专有能力模块，提升识别能力的原子性，通过基于服务接口参数的识别能力调配方法，高效且低冗余地调配构造识别能力过程实现定制化场景需求，实现了识别能力的快速调配组合、落地与迭代。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于车载摄像头的司机乘客行为识别系统，具备定制化的识别系统去适配不同的应用场景，实现定制化的场景需求等优点，解决了多种行为识别性能被统一模式的技术所限制，面向不同应用场景需求时缺乏定制化的识别系统适配的问题。

(二)技术方案

为实现上述解耦行为识别系统各识别能力，并通过基于接口参数的调配方法调配各低耦合的识别能力，实现满足于不同需求场景的定制化行为识别系统的目的，本发明提供如下技术方案：一种基于车载摄像头的司机乘客行为识别系统，包括能力调配子系统、公共能力管理子系统和专有能力管理系统，所述能力调配子系统包括服务参数解析模块、参数表构造模块、公共能力调用模块、专有能力调用模块和识别结果格式化模块。

优选的，所述能力调配子系统解析服务请求参数，构建公共、专有能力调配参数表调用各原子能力进行车载图像司机乘客行为识别，并整合公共、专有能力子系统结果数据。

优选的，所述公共能力管理子系统管理行为识别过程中各识别能力的公共原子能力，根据公用能力调配参数表对车载图像进行公共原子能力识别处理。

优选的，所述专有能力管理子系统对各识别能力的特殊数据处理部分进行抽象，根据专有能力调配参数表对人体、人脸图像进行特定行为判定性目标的检测。

优选的，所述服务参数解析模块接收外部请求调用系统服务时的请求参数，解析其中车载图像作为识别系统统一数据输入，解析行为识别路由、阈值等参数用以定制化选择识别服务、制定识别条件。

优选的，所述参数表构造模块根据行为识别路由参数类信息，构造公共、专用能力调配参数表，构造方法如下：

步骤一：服务需求字典；

步骤二：参数优先级；

步骤三：公共能力调配参数表构造；

步骤四：专有能力调配参数表构造。

优选的，所述公共能力管理子系统在行为识别流程中对车载图像进行的必要数据处理，且公共能力管理子系统由人体目标检测、基于区域的司机乘客分类、通用人体属性(性别、戴帽子、戴口罩、工作服、打电话、抽烟和系安全带等)识别及更多原子能力组成，子系统主要负责管理与提供公共原子能力，根据公共能力调配参数表，对车载摄像头图像进行统一化的数据处理。

优选的，所述专有能力管理子系统在行为识别流程中对车载图像进行的特殊数据处理，且专有能力管理子系统由特定行为目标(烟、手机)检测、安全带语义分割及更多行为特有的精细化识别能力组成，子系统根据专有能力参数表，利用与参数指定属性相对应的专有原子能力，完成对各行人图像进行精细化行为识别处理。

(三)有益效果

与现有技术相比，本发明提供了一种基于车载摄像头的司机乘客行为识别系统，具备以下有益效果：

1、该基于车载摄像头的司机乘客行为识别系统，通过识别流程解耦，将以图像检测、分割、识别算法为基础的人体行为识别能力分为公共、专有能力两部分进行管理，设计基于服务参数的识别能力调配方法，定制化调用公共、专有子系统中各原子能力形成结构完整、流程独立的行为识别系统，能够实现司机乘客的人体检测、人脸检测与关键点检测，及抽烟、玩手机、未系安全带和安全驾驶等行为的识别，行为识别系统能够有效的进行司机乘客驾驶安全性行为的识别，系统以接口服务接收参数为服务基础，通过不同的参数解析结果形成不同的识别服务流程，以公共、专有的管理形式达到系统能力进行统一管理的同时也满足识别能力的新增扩展需求，以低冗余、高自由度、高性能的识别系统面向不同应用场景。

2、该基于车载摄像头的司机乘客行为识别系统，通过将系统设计为调配系统分别调配公共能力子系统、专有能力子系统的形式，能力的原子性，改变任意一个原子能力，不影响其他原子能力的性能与运行流程，使得系统能够在当前基础上方便的添加与删除公共、专有原子能力，而只需要修改原子能力调配参数表的构造过程；场景适配，根据不同的场景需求、性能需求，只需要构建识别能力二值化表参数，便能快速且低冗余地形成满足于场景的行为识别系统；自由度，各个原子能力间的前置后置流程顺序，可以通过原子能力组合进行自由组合来完成，进而能够较为快速的提升识别性能需求。

附图说明

图1为本发明的系统架构图；

图2为本发明的司机乘客区分示例图；

图3为本发明的司机乘客行为识别系统接口返回报文信息图；

图4为本发明的公共能力与专有能力子系统关系图。

具体实施方式

下面将结合本发明的实施例和附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-4，一种基于车载摄像头的司机乘客行为识别系统，包括能力调配子系统、公共能力管理子系统和专有能力管理系统，能力调配子系统包括服务参数解析模块、参数表构造模块、公共能力调用模块、专有能力调用模块和识别结果格式化模块。

在实施例中，服务参数解析模块接收外部请求调用系统服务时的请求参数，解析其中车载图像作为识别系统统一数据输入，解析行为识别路由、阈值等参数用以定制化选择识别服务、制定识别条件，如服务调用方ID(appi d)、识别能力二值编码(reco_code)、人体检测置信度阈值(person_thresh)、人体最小尺寸(minsize)与最大数目(maxnum)、司机区域相对位置(drive r_pos)、司机围栏区域大小(driver_area)、烟头识别阈值(smoke_reco_th resh)与检测阈值(smoke_detec_thresh)等。

在实施例中，参数表构造模块根据行为识别路由参数类信息，构造公共、专用能力调配参数表，构造方法如下：

1)服务需求字典，根据应用场景项目需求分析,得到各调用方appidi识别需求的默认识别能力二值编码codei，初始化服务需求字典code_dict为{appid1:code1,appid2:code2,...,appidn:coden}。

2)参数优先级，首先判断解析的路由参数中是否传入识别能力二值编码reco_code参数，优先使用参数reco_code作为当前识别能力选择，如果未传入reco_code，则使用服务需求字典中参数appid对应的编码codei赋值识别能力二值编码reco_code。

3)公共能力调配参数表构造，根据识别能力二值编码reco_code，解析形成调配参数表public_list:[pu_atom1,pu_atom2...,pu_atomm],其中pu_atomi表示选择的第i个公共原子能力，形如{”name”:”,“param1”:thr esh1,...,“paramp”:threshp},其中name表示当前能力名称标识，paramj表示公共原子能力pu_atomi的第j个参数，并由流程1)中解析的对应参数进行赋值，例如仅安全检测时，调配参数表[{“choose”:True,“name”:”person”,“person_thresh”:0.5,“maxnum”:10},{“choose”:True,“na me”:’driver’}]。

4)专有能力调配参数表构造，与过程4处理相似，调配参数表由识别能力二值编码解析形成，表示为private_list:[[pv_atom1],[pv_atomi,pv_at omj],...,[pv_atomq]],其中pv_atomi表示选择的第i个专有原子能力，不同之处在于，专有能力调配表由识别能力二值编码reco_code直接对应生成，公共能力调配表为解析对应生成，其中调配参数表中[pv_atomi,pv_atomj]表示专有原子能力组合共同完成单行为识别任务，且pv_atomi为pv_atomj的前置流程，例如仅抽烟安全带识别时，调配参数表为[[{“name”:’smoke_detec’,”smoke_reco_thresh”:0.5}],[{“name”:’seal_seg’,”seal_seg_thresh”:0.5},{“name”:’seal_detec’,”seal_detec_thresh”:0.5}]]。

在实施例中，公共能力调用模块与专有能力调用模块，根据公共能力调配表public_list与车载图像img，调用公共能力子系统完成对车载图像的行人检测及通用数据处理，形成公共能力识别结果pu_results:[{person_dete c1,person_attr1},{person_detec2,person_attr2},...,{person_detecn,person_attrn}]，其中person_deteci为第i个人体的位置信息，person_att ri为第i个人体的通用识别信息及其司机乘客分类，并生成行人检测图像pe rson_img；根据行人图像与专有能力调配参数表private_list，调用专有原子能力子系统完成对行人图像的行为识别，形成专有能力识别结果pv_results:[[score11,score12,...,score1q],[score21,score22,...,score2q],[scoren1,scoren2,...,scorenq],],其中scoreiq表示第i个人体的第q个选择的专有原子能力置信度。

在实施例中，识别结果格式化，通过组合公共能力与专有能力的识别输出，根据专有能力识别结果pv_results，对部分通用属性识别结果进行数据修正与组合，形成最终的识别结果服务报文。

在实施例中，公共能力管理子系统，具体流程如下：根据公共能力调配参数表public_list:[pu_atom1,pu_atom2...,pu_atomm]，按表单顺序串行执行表项中pu_atomi.name所对应的原子能力，各公共原子能力如下：

1)人体目标检测，采用Yolov5目标检测算法实现车载图像中人体检测，相较于同类型检测算法Yolov5更加轻量、高效，在单一、多种类别目标的检测都能良好的适配，适用于不同大小检测目标的同时检测速度也更快，人体目标检测原子能力负责检测出车载图像中包含的所有满足于尺寸条件的人体区域，并给出各个人体区域的坐标信息与置信度信息。

2)基于区域的司机乘客分类，采用如图2所示的基于区域的方法，根据服务请求参数中司机围栏区域大小driver_area与默认司机区域中心点，构建司机区域电子围栏(红框所示)，利用人体检测检出的人体区域与司机区域的相交关系，选择与司机区域满足条件：1、交并比值最大；2、人体区域框面积最大；3、区域中心点距离最小的人体区域作为司机人体区域，其中交并比值计算为：

其中p表示人体区域，A表示电子围栏区域，函数I()表示计算区域交集面积，函数U()表示计算区域并集面积。

3)通用人体属性识别，采用基于属性定位模块(Attribute Localizati onModule,ALM)的属性识别网络实现对人体的多属性识别，AML模块能够对各属性生成对应的单个局部注意力区域，并引入特征金字塔与多特征图预测投票机制，学习与选择最优的区域特征，从而实现了相较于同类属性识别算法更少的资源消耗与更可靠的识别性能，通用人体属性识别对负责对各人体图像，进行性别、戴帽子、戴口罩、工作服、打电话、抽烟、系安全带等属性的基础识别，得到部分易识别的行为识别结果，同时也将难识别的行为进行初步筛选。

在实施例中，专有能力管理子系统具体流程如下：根据专有能力调配参数表private_list:[[pv_atom1],[pv_atomi,pv_atomj],...,[pv_atomq]]，并行执行表项中个原子能力组，串行顺序执行原子能力组内pv_atomi.name所对应的专有原子能力，各专有原子能力如下：

1)手机、烟头、安全带目标检测，与人体检测一致，对特殊目标的检测也采用Yolov5目标检测算法实现，3类特殊目标分别对应各自的独立的目标检测模型，以降低多类别分类对单类别分类的干扰，同时基于相同的算法框架使得模型推理代码能够高度复用，特殊目标检测通过对输入的人体图像进行单目标的准确检测，检出人体图像区域内具有高判别性的目标，并以此为依据决定公共能力子系统中通用属性识别结果中对应的属性的置信度。

2)安全带语义分割，采用PP-LiteSeg图像分割算法安全带目标分割，PP-LiteSeg的编码模块(FLD)能够灵活调整通道数让模型适应不同的目标分割任务，并通过注意力融合模块与简易金字塔池化模块加强特征表示并简化模型计算，使得模型能够保持高实时性与高精度，安全带语义分割负责对安全带检测结果，根据安全带具有方向性连续的特点将多个安全带检测结补充为连续区域，并对补充后的区域进行安全带的前景背景分割，不存在分割结果则定义为未知是否佩戴安全带。

3)人脸检测与安全检测，采用yolov5Face人脸检测与特征点定位算法实现对人体图像的人脸定位与特征点检测，yolov5Face算法是在yolov5算法基础上针对人脸特殊性进行优化，并利用人脸检测、人脸特征点双任务组合损失函数，具有很高的人脸检测检出率与实时性，安全检测原子能力基于人脸关键点进行驾驶员是否安全驾驶，根据关键点是否正常分布，判断驾驶员是否侧身背身，根据人脸框(box)、关键点计算人脸翻滚角(roll)，俯仰角(pitch)与水平角(yaw)，判断驾驶员是否存在非目视前方、低头分心等行为，其中人脸角度计算如下：

其中leye、reye、nose分别表示人脸左眼、右眼、鼻子关键点，box表示人脸框，由(x1,y1,x2,y2)组成，表示框左上角点、右下角点。

综上所述，该基于车载摄像头的司机乘客行为识别系统，通过识别流程解耦，将以图像检测、分割、识别算法为基础的人体行为识别能力分为公共、专有能力两部分进行管理，设计基于服务参数的识别能力调配方法，定制化调用公共、专有子系统中各原子能力形成结构完整、流程独立的行为识别系统，能够实现司机乘客的人体检测、人脸检测与关键点检测，及抽烟、玩手机、未系安全带和安全驾驶等行为的识别，行为识别系统能够有效的进行司机乘客驾驶安全性行为的识别，系统以接口服务接收参数为服务基础，通过不同的参数解析结果形成不同的识别服务流程，以公共、专有的管理形式达到系统能力进行统一管理的同时也满足识别能力的新增扩展需求，以低冗余、高自由度、高性能的识别系统面向不同应用场景。

而且，

本系统中涉及到的相关模块均为硬件系统模块或者为现有技术中计算机软件程序或协议与硬件相结合的功能模块，该功能模块所涉及到的计算机软件程序或协议的本身均为本领域技术人员公知的技术，其不是本系统的改进之处；本系统的改进为各模块之间的相互作用关系或连接关系，即为对系统的整体的构造进行改进，以解决本系统所要解决的相应技术问题。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。