劳保鞋穿戴检测方法、装置、设备及存储介质
文献发布时间:2023-06-19 19:07:35
技术领域
本发明涉及智能检测技术领域,尤其涉及一种劳保鞋穿戴检测方法、装置、设备及存储介质。
背景技术
现有技术对人体是否穿戴有劳保鞋的检测方式,大多是通过机器学习模型对采集到的图像进行检测。但实际上,在劳保鞋检测场景中,劳保鞋相对人体的特征较小,而摄像头采集的图像相对偏大,图像传入机器学习模型时,常常会被压缩,导致劳保鞋的特征被严重丢失,实际检测场景检测中常出现劳保鞋的误检和漏检问题,检测准确度较低。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种劳保鞋穿戴检测方法、装置、设备及存储介质,旨在解决现有技术在进行劳保鞋穿戴检测时准确度较低的技术问题。
为实现上述目的,本发明提供了一种劳保鞋穿戴检测方法,所述方法包括以下步骤:
获取待检测图像,并判断所述待检测图像中是否存在人体特征;
在存在所述人体特征时,提取所述人体特征对应的人体感兴趣区域;
判断所述人体感兴趣区域中是否存在脚部特征,若存在,则提取所述脚部特征对应的脚部感兴趣区域;
根据所述脚部感兴趣区域判断所述脚部特征所属的人体是否穿戴劳保鞋。
可选地,所述判断所述人体感兴趣区域中是否存在脚部特征,若存在,则提取所述脚部特征对应的脚部感兴趣区域,包括:
通过预设人脚检测模型判断所述人体感兴趣区域中是否存在脚部特征;
在存在所述脚部特征时,提取所述脚部特征对应的脚部感兴趣区域。
可选地,所述在存在所述脚部特征时,提取所述脚部特征对应的脚部感兴趣区域,包括:
在存在所述脚部特征时,获取所述脚部特征在所述待检测图像中的脚部宽高尺寸信息;
根据所述脚部宽高尺寸信息判断所述脚部特征是否为有效脚部特征;
在所述脚部特征为有效脚部特征时,提取所述有效脚部特征对应的脚部感兴趣区域。
可选地,所述根据所述脚部宽高尺寸信息判断所述脚部特征是否为有效脚部特征,包括:
判断所述脚部宽高尺寸信息对应的脚部宽高尺寸是否大于或等于预设最小脚部宽高尺寸;
若是,则判定所述脚部特征为有效脚部特征;
若否,则判定所述脚部特征为无效脚部特征。
可选地,所述在存在所述脚部特征时,获取所述脚部特征在所述待检测图像中的脚部宽高尺寸信息,包括:
在存在所述脚部特征时,对所述脚部特征进行边缘检测,以确定所述脚部特征对应的脚部轮廓;
对所述脚部轮廓进行修正,并获取修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息。
可选地,所述在所述脚部特征为有效脚部特征时,提取所述有效脚部特征对应的脚部感兴趣区域,包括:
在所述脚部特征为有效脚部特征时,将所述人体感兴趣区域转化为的HSV图像;
通过图像掩模技术在所述HSV图像中提取所述有效脚部特征对应的脚部感兴趣区域。
可选地,所述通过图像掩模技术在所述HSV图像中提取所述有效脚部特征对应的脚部感兴趣区域,包括:
在所述HSV图像中对所述有效脚部特征所在的区域进行像素填充,获得包含像素填充后的有效脚部特征的掩模图像;
对所述掩模图像和所述HSV图像进行与运算,获得所述有效脚部特征对应的脚部感兴趣区域。
可选地,所述对所述脚部轮廓进行修正,并获取修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息,包括:
选取所述待检测图像中的一像素点作为坐标原点构建坐标系;
基于构建的所述坐标系确定所述脚部轮廓中各轮廓点的位置坐标;
根据所述脚部轮廓中各轮廓点的位置坐标对所述脚部轮廓进行修正,并获取修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息。
可选地,所述根据所述脚部轮廓中各轮廓点的位置坐标对所述脚部轮廓进行修正,并获取修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息,包括:
根据所述脚部轮廓中各轮廓点的位置坐标判断所述脚部轮廓中是否存在间断像素点;
在存在所述间断像素点时,确定所述间断像素点对应的待连接像素点,并将所述间断像素点和所述待连接像素点连接,获得修正后的脚部轮廓;
基于所述坐标系获取所述修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息。
可选地,所述获取待检测图像,并判断所述待检测图像中是否存在人体特征,包括:
获取待检测图像,通过预设人体检测模型判断所述待检测图像中是否存在人体特征。
可选地,所述根据所述脚部感兴趣区域判断所述脚部特征所属的人体是否穿戴劳保鞋,包括:
将所述脚部感兴趣区域输入至预设劳保鞋分类模型进行分类,获得分类结果;
根据所述分类结果中的脚部位置信息和劳保鞋分类信息判断所述脚部位置信息对应的人体是否穿戴劳保鞋。
可选地,所述获取待检测图像,通过预设人体检测模型判断所述待检测图像中是否存在人体特征之前,还包括:
获取穿戴劳保鞋的人体图像数据和未穿戴劳保鞋的人体图像数据;
通过所述未穿戴劳保鞋的人体图像数据对第一初始神经网络模型进行迭代训练,获得所述预设人体检测模型;
提取所述穿戴劳保鞋的人体图像数据对应的人体感兴趣区域图像数据,通过所述人体感兴趣区域图像数据对第二初始神经网络模型进行迭代训练,获得所述预设人脚检测模型;
从所述人体感兴趣区域图像数据中提取人脚感兴趣区域图像数据,通过所述人脚感兴趣区域图像数据对初始二分类模型进行迭代训练,获得所述预设劳保鞋分类模型。
此外,为实现上述目的,本发明还提出一种劳保鞋穿戴检测装置,所述劳保鞋穿戴检测装置包括:
图像识别模块,用于获取待检测图像,并判断所述待检测图像中是否存在人体特征;
所述图像识别模块,还用于在存在所述人体特征时,提取所述人体特征对应的人体感兴趣区域;
所述图像识别模块,还用于判断所述人体感兴趣区域中是否存在脚部特征,若存在,则提取所述脚部特征对应的脚部感兴趣区域;
穿戴检测模块,用于根据所述脚部感兴趣区域判断所述脚部特征所属的人体是否穿戴劳保鞋。
可选地,所述图像识别模块,还用于通过预设人脚检测模型判断所述人体感兴趣区域中是否存在脚部特征;在存在脚部特征时,提取所述脚部特征对应的脚部感兴趣区域。
可选地,所述图像识别模块,还用于在存在所述脚部特征时,获取所述脚部特征在所述待检测图像中的脚部宽高尺寸信息;根据所述脚部宽高尺寸信息判断所述脚部特征是否为有效脚部特征;在所述脚部特征为有效脚部特征时,提取所述有效脚部特征对应的脚部感兴趣区域。
可选地,所述图像识别模块,还用于判断所述脚部宽高尺寸信息对应的脚部宽高尺寸是否大于或等于预设最小脚部宽高尺寸;若是,则判定所述脚部特征为有效脚部特征;
若否,则判定所述脚部特征为无效脚部特征。
可选地,所述图像识别模块,还用于在存在所述脚部特征时,对所述脚部特征进行边缘检测,以确定所述脚部特征对应的脚部轮廓;对所述脚部轮廓进行修正,并获取修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息。
此外,为实现上述目的,本发明还提出一种劳保鞋穿戴检测设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的劳保鞋穿戴检测程序,所述劳保鞋穿戴检测程序配置为实现如上文所述的劳保鞋穿戴检测方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有劳保鞋穿戴检测程序,所述劳保鞋穿戴检测程序被处理器执行时实现如上文所述的劳保鞋穿戴检测方法的步骤。
本发明由于是先检测图像中是否存在人体特征,若存在则提取人体特征对应的人体感兴趣区域,然后检测人体感兴趣区域中是否存在脚部特征,若存在则提取脚部特征对应的脚部感兴趣区域,再根据脚部感兴趣区域判断脚部特征所属的人体是否穿戴劳保鞋,该方式相比于现有的将穿戴劳保鞋的人体作为整体识别对象进行劳保鞋检测的方式,能够避免误检,同时通过提取脚部特征对应的脚部感兴趣区域,再根据脚部感兴趣区域判断脚部特征所属的人体是否穿戴劳保鞋,能够有效降低检测过程中劳保鞋特征值的损失,保证了检测结果的精度和可靠性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的劳保鞋穿戴检测设备的结构示意图;
图2为本发明劳保鞋穿戴检测方法第一实施例的流程示意图;
图3为本发明劳保鞋穿戴检测方法第二实施例的流程示意图;
图4为本发明劳保鞋穿戴检测方法第二实施例中掩模图像和HSV图像进行与运算的示意图;
图5为本发明劳保鞋穿戴检测装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的劳保鞋穿戴检测设备结构示意图。
如图1所示,该劳保鞋穿戴检测设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对劳保鞋穿戴检测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及劳保鞋穿戴检测程序。
在图1所示的劳保鞋穿戴检测设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明劳保鞋穿戴检测设备中的处理器1001、存储器1005可以设置在劳保鞋穿戴检测设备中,所述劳保鞋穿戴检测设备通过处理器1001调用存储器1005中存储的劳保鞋穿戴检测程序,并执行本发明实施例提供的劳保鞋穿戴检测方法。
本发明实施例提供了一种劳保鞋穿戴检测方法,参照图2,图2为本发明劳保鞋穿戴检测方法第一实施例的流程示意图。
本实施例中,所述劳保鞋穿戴检测方法包括以下步骤:
步骤S10:获取待检测图像,并判断所述待检测图像中是否存在人体特征;
需要说明的是,本实施例方法的执行主体可以是具有数据处理、网络通信以及程序运行功能的计算服务设备,例如手机、平板电脑、个人电脑等,还可以是能够实现相同或相似功能的其他电子设备。以下以上述劳保鞋穿戴检测设备(简称检测设备)对本实施例和下述各实施例进行说明。
本实施例中,所述人体特征可以是人身体的图像特征。在实际应用中,检测设备可通过图像特征识别来判断待检测图像中是否存在人体特征。具体的,可通过大量的人体图像数据预先训练一个人体检测模型(可以是神经网络模型)来判断所述待检测图像中是否存在人体特征。
若检测设备检测到待检测图像中不存在人体特征,则停止后续的检查操作;若检测到存在人体特征,则需要继续检测待检测图像中该人体特征是否包含脚部特征。
步骤S20:在存在所述人体特征时,提取所述人体特征对应的人体感兴趣区域;
应理解的是,感兴趣区域(Region Of Interest,ROI),即根据图像处理需求从被处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出的区域。本实施例中为了实现劳保鞋穿戴的准确检测,检测设备需要从待检测图像中提取人体特征对应的感兴趣区域。
需要说明的是,本实施例中检测设备可以通过图像掩模(image mask)技术提取人体特征对应的感兴趣区域。当然,检测设备还可调用Halcon、OpenCV、Matlab等机器视觉软件中的各种算子(例如Operator)和函数来获得感兴趣区域。本实施例对人体特征对应的感兴趣区域的提取方式不作具体限制。
在具体实现中,检测设备在检测到待检测图像中存在人体特征时,还将检测人体特征的数量,若数量大于1,则需要分别提取各个人体特征对应的感兴趣区域。
步骤S30:判断所述人体感兴趣区域中是否存在脚部特征,若存在,则提取所述脚部特征对应的脚部感兴趣区域;
需要说明的是,所述脚部特征可以是人脚部位的图像特征。实际应用中,并非每次拍摄到的待检测图像中的人体都是完整的,可能会存在只拍摄到人体上半身的情形。因此,如果人体感兴趣区域中存在脚部特征,则需要继续检测该脚部特征对应的人体是否穿着劳保鞋;若人体感兴趣区域中不存在脚部特征,则停止对该人体特征进行劳保鞋穿戴检测,转而对其它的人体特征进行检测,即执行上述步骤S20。
在具体实现中,检测设备可判断人体感兴趣区域中是否存在脚部特征,若存在,则提取脚部特征对应的脚部感兴趣区域。
进一步地,为了保证脚部特征识别的准确度,可预先通过大量的人体图像数据对初始神经网络模型进行迭代训练,得到用于识别人体脚部特征的人脚检测模型,然后再通过该人脚检测模型识别人体感兴趣区域中是否存在脚部特征。因此,本实施例中本步骤S30可包括:
步骤S301:通过预设人脚检测模型判断所述人体感兴趣区域中是否存在脚部特征;
步骤S302:在存在所述脚部特征时,提取所述脚部特征对应的脚部感兴趣区域。
应理解的是,检测设备可通过预设人脚检测模型来识别人体感兴趣区域中是否存在脚部特征,若存在,则提取脚部特征对应的感兴趣区域,即上述脚部感兴趣区域。当然,考虑到在一张图像中,如果某一个图像元素的尺寸太小,其包含的元素特征也会相对较少,容易引起模型误判,从而导致最终的检测结果不准确。因此,本实施例中,检测设备可对人体感兴趣区域中存在的脚部特征进行筛选,只选取尺寸特征较大或元素特征较为明显的脚部特征来进行脚部感兴趣特征的提取。
步骤S40:根据所述脚部感兴趣区域判断所述脚部特征所属的人体是否穿戴劳保鞋。
应理解的是,判断人体是否穿戴劳保鞋,即识别脚部感兴趣区域中是否存在劳保鞋对应的图像特征,存在则表明该脚部特征所属的人体穿戴有劳保鞋;反之,则表明未穿戴劳保鞋,此时为保证被检测人员能够规范作业,本实施例检测设备还将发出预警,以提醒被检测人员尽快穿戴劳保鞋,保证安全。
由于本实施例是先检测图像中是否存在人体特征,若存在则提取人体特征对应的人体感兴趣区域,然后检测人体感兴趣区域中是否存在脚部特征,若存在则提取脚部特征对应的脚部感兴趣区域,再根据脚部感兴趣区域判断脚部特征所属的人体是否穿戴劳保鞋,该方式相比于现有的将穿戴劳保鞋的人体作为整体识别对象进行劳保鞋检测的方式,能够避免误检,同时通过提取脚部特征对应的脚部感兴趣区域,再根据脚部感兴趣区域判断脚部特征所属的人体是否穿戴劳保鞋,能够有效降低检测过程中劳保鞋特征值的损失,保证了检测结果的精度和可靠性。
进一步地,考虑到判断脚部感兴趣区域中脚部特征所属的人体是否穿戴劳保鞋实际上是一个二分类问题,即被检测人员穿戴或未穿戴劳保鞋。
为了提高劳保鞋穿戴检测效率,本实施例可预先根据大量的穿戴有劳保鞋的图像数据对初始二分类模型(例如逻辑回归模型、支持向量机SVM、随机森林RF等)进行迭代训练,获得预设劳保鞋分类模型,然后通过训练好的模型对脚部感兴趣区域进行分类。
因此,上述步骤S40可包括:将所述脚部感兴趣区域输入至预设劳保鞋分类模型进行分类,获得分类结果;然后根据所述分类结果中的脚部位置信息和劳保鞋分类信息判断所述脚部位置信息对应的人体是否穿戴劳保鞋。
需要说明的是,上述脚部位置信息即脚部特征在脚部感兴趣区域中所处的位置,劳保鞋分类信息即用于判定脚部感兴趣区域中是否存在劳保鞋特征的信息,例如脚部感兴趣区域中存在劳保鞋特征的概率大于或等于预设阈值,则判定穿戴有劳保鞋;反之,则判定未穿戴劳保鞋。
另外,需要强调的是,现有技术大多是通过预先训练的机器学习模型直接对采集到的图像直接进行检测,而这些机器学习模型在训练时基本都是将大量穿戴劳保鞋的人体图像输入到模型中进行训练,但由于劳保鞋相对人体的特征较小,而摄像头的获取的图片相对偏大,图片传入机器学习模型时,常常会被压缩,导致劳保鞋的特征被严重丢失,模型不能很好的学习劳保鞋的特征值,极大的影响了劳保鞋穿戴检测的准确度,误检严重。
为了避免这种情况,本实施例中在对最初的神经网络模型进行训练时,单独收集穿戴劳保鞋的人体图像数据和未穿戴劳保鞋的人体图像数据作为训练样本,然后分别通过这两类特征明显的训练样本进行人体检测模型、人脚检测模型以及劳保鞋分类模型的训练,从而能够保证人体特征、人脚特征和劳保鞋特征在训练中被各自的模型充分学习,提高识别精度。
因此,在上述步骤S10之前,本实施例提供的劳保鞋穿戴检测方法还包括以下步骤:
获取穿戴劳保鞋的人体图像数据和未穿戴劳保鞋的人体图像数据;
通过所述未穿戴劳保鞋的人体图像数据对第一初始神经网络模型进行迭代训练,获得所述预设人体检测模型;
提取所述穿戴劳保鞋的人体图像数据对应的人体感兴趣区域图像数据,通过所述人体感兴趣区域图像数据对第二初始神经网络模型进行迭代训练,获得所述预设人脚检测模型;
从所述人体感兴趣区域图像数据中提取人脚感兴趣区域图像数据,通过所述人脚感兴趣区域图像数据对初始二分类模型进行迭代训练,获得所述预设劳保鞋分类模型。
本实施例通过两类特征明显的训练样本进行人体检测模型、人脚检测模型以及劳保鞋分类模型的训练,从而能够保证人体特征、人脚特征和劳保鞋特征在训练中被各自的模型充分学习,提高了识别精度。另外,由于输入到劳保鞋分类模型中的图像数据是单独提取出来的人脚感兴趣区域,从而能够避免劳保鞋特征在待检测图像中被压缩后再进行特征识别所导致的检测结果不准确的问题。
参考图3,图3为本发明劳保鞋穿戴检测方法第二实施例的流程示意图。
基于上述第一实施例,在本实施例中,所述步骤S302包括:
步骤S3021:在存在脚部特征时,获取所述脚部特征在所述待检测图像中的脚部宽高尺寸信息;
需要说明的是,在实际检测过程中,摄像头采集的待检测图像中可能存在多个被检测人员的情形,但由于不同的被检测人员距离摄像头的距离远近不同,一些距离远的被检测人员在待检测图像中的区域占比就不会太多,而且距离过远也会导致拍摄的事物清晰度下降,因此本实施例中检测设备在进行劳保鞋穿戴检测时,将对识别到的脚部特征进行过滤,从而滤除那些尺寸过小的脚部特征,避免检测误差。
在具体实现中,检测设备可在待检测图像中存在脚部特征时,获取脚部特征在待检测图像中的脚部宽高尺寸信息。其中,所述脚部宽高尺寸信息可以是人体脚部在待检测图像中的高度信息和宽度信息。
进一步地,为了更准确地获取脚部宽高尺寸信息,需要先保证脚部轮廓的完整性。因此,本实施例中检测设备在检测到人体感兴趣区域中存在脚部特征时,将对脚部特征进行轮廓修正,以获得完整的脚部轮廓。具体包括以下步骤:
步骤S31:在存在脚部特征时,对所述脚部特征进行边缘检测,以确定所述脚部特征对应的脚部轮廓;
可理解的是,边缘检测是图像处理和计算机视觉中进行特征提取的一种操作,其目的是标识数字图像中亮度变化明显的像素点,然后根据标识结果提取图像中不连续部分的特征,然后根据这些特征确定区域。
在具体实现中,检测设备可先获取脚部特征中各特征的灰度值,然后根据这些特征点的灰度值和其相邻特征点的灰度值来判断是否出现明显的灰度变化,若出现明显的灰度变化,则基本可以判断出该特征点属于边缘特征像素点,在边缘特征像素点确定后,检测设备即可将这些脚部特征像素点连线,获取不连续的轮廓,即所述脚部轮廓。
应理解的是,在边缘检测过程中,通过简单的二值化和边缘提取可以得到封闭的图像轮廓。但大多数边缘提取算子得到的轮廓都可能存在缺陷,即轮廓不封闭,如:Cannyl算子,所以往往需要对轮廓进行进一步处理。本实施例中,检测设备在确定出脚部特征对应的脚部轮廓后,还将检测这些脚部轮廓所组成的区域是否是封闭区域,若不是,则需要对脚部轮廓进行修正。
步骤S32:对所述脚部轮廓进行修正,并获取修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息。
需要说明的是,本实施例中对脚部轮廓进行修正,可以是将轮廓中不连续的部分用线段连接起来,使得修正后的脚部轮廓是封闭的;也可以是将轮廓中相邻线段之间的角度明显不符合实际的进行平滑处理,使得修正后的轮廓更加接近于真实的人体脚部轮廓。
进一步地,为了保证轮廓修正的效果,本实施例中,检测设备还可以采用构建坐标系的方式,通过轮廓像素点的位置坐标对脚部轮廓进行修正。具体的,检测设备可选取所述待检测图像中的一像素点(例如中心像素点或者左下角的边缘像素点)作为坐标原点构建坐标系;基于构建的所述坐标系确定所述脚部轮廓中各轮廓点的位置坐标;根据所述脚部轮廓中各轮廓点的位置坐标对所述脚部轮廓进行修正,并获取修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息。
作为轮廓修正的一种实现方式,本实施例中,检测设备可根据所述脚部轮廓中各轮廓点的位置坐标判断所述脚部轮廓中是否存在间断像素点;在存在所述间断像素点时,确定所述间断像素点对应的待连接像素点,并将所述间断像素点和所述待连接像素点连接,获得修正后的脚部轮廓;基于所述坐标系获取所述修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息。
应理解的是,图像轮廓修正仅需要对轮廓端点进行处理,而不是轮廓上的每一个点。而在图像处理中对轮廓端点的定义通常为:对于轮廓上的任意一点,如果满足其8邻域(上下左右四个邻域+四个对角邻域)按顺时针或逆时针方向像素值变化次数为0次或者2次,则该点为轮廓端点。当变化次数为0次时,该点为孤立点,即轮廓的两个端点重合。任意两端点之间的距离不大于给定阈值时可用直线连接这两个端点。
因此,本实施例中,检测设备可按照根据上述定义判断所述脚部轮廓中是否存在间断像素点,若存在,则获取间断像素点对应的待连接像素点(实际上也是一个间断像素点),然后在间断像素点和待连接像素点之间的距离不大于给定阈值时,用直线连接这两个端点,从而实现轮廓修复。
本实施例通过上述方式能够获取完整的脚部轮廓,保证后续提取脚部宽高尺寸信息以及脚部感兴趣区域的准确度。
步骤S3022:根据所述脚部宽高尺寸信息判断所述脚部特征是否为有效脚部特征;
应理解的是,若在待检测图像中人体脚部的高度和宽度过小,例如在20cm×15cm的图片中,某一人体脚部的高度为1cm,宽度为1.5cm,那么该1.5cm
在具体实现中,检测设备可判断所述脚部宽高尺寸信息对应的脚部宽高尺寸是否大于或等于预设最小脚部宽高尺寸;若是,则判定所述脚部特征为有效脚部特征;若否,则判定所述脚部特征为无效脚部特征。
步骤S3023:在所述脚部特征为有效脚部特征时,提取所述有效脚部特征对应的脚部感兴趣区域。
应理解的是,感兴趣区域(Region Of Interest,ROI),即根据图像处理需求从被处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出的区域。本实施例中为了实现劳保鞋穿戴的准确检测,检测设备需要从待检测图像中提取有效人体特征对应的感兴趣区域。
需要说明的是,本实施例中检测设备可以通过图像掩模(image mask)技术提取有效脚部特征对应的感兴趣区域。当然,检测设备还可调用Halcon、OpenCV、Matlab等机器视觉软件中的各种算子(例如Operator)和函数来获得感兴趣区域。本实施例对有效脚部特征对应的感兴趣区域的提取方式不作具体限制。
作为上述步骤S3023的一种实现方式,本实施例中检测设备可基于OpenCV(一种开源的计算机视觉库)采用图像掩模技术来提取感兴趣区域。具体的,可通过以下步骤来实现:
步骤S33:在所述脚部特征为有效脚部特征时,将所述人体感兴趣区域转化为的HSV图像;
应理解的是,HSV(Hue,Saturation,Value)是根据颜色的直观特性创建的一种颜色空间,其中H代表色调,S代表饱和度,V代表明度。通常情况下摄像机拍摄的图像为RGB颜色空间下的图像,因此在提取感兴趣区域时,需要先将这些图像转化为HSV颜色空间中的HSV图像。
步骤S34:通过图像掩模技术在所述HSV图像中提取所述有效脚部特征对应的脚部感兴趣区域。
应理解的是,图像掩模技术即用选定的图像、图形或物体,对待处理的图像(整体或局部)进行遮挡,来控制图像处理的区域或图像处理过程。在具体实现中,检测设备可先在所述HSV图像中对所述有效脚部特征所在的图像区域进行像素填充,获得包含像素填充后的有效脚部特征的掩模图像(即由0和1组成的一个二进制图像,像素填充后的有效脚部特征属于1值区域,其他的图像特征则属于0值区域);然后将所述掩模图像和所述HSV图像进行与运算,获得所述有效脚部特征对应的感兴趣区域。
此处结合图4进行说明,图4为本发明劳保鞋穿戴检测方法第二实施例中掩模图像和HSV图像进行与运算的示意图。
如图4所示,HSV图像中的每个像素和掩膜图像(mask图像)中的每个对应像素进行与运算(比如1&1=1;1&0=0)后,即可获得感兴趣区域(图像),由于mask图像中经过像素填充后的有效脚部特征属于1值区域,因此HSV图像与mask图像经过与运算后,生成的图像中感兴趣区内图像值保持不变,而区外图像值都为0,从而实现了对有效脚部特征这一感兴趣区域的提取。
本实施例在存在脚部特征时,获取所述脚部特征在所述待检测图像中的脚部宽高尺寸信息;根据所述脚部宽高尺寸信息判断所述脚部特征是否为有效脚部特征;在所述脚部特征为有效脚部特征时,提取所述有效脚部特征对应的脚部感兴趣区域,能够避免将图像中宽高尺寸过小的脚部特征作为被检测的对象,进一步提高了检测的准确度。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有劳保鞋穿戴检测程序,所述劳保鞋穿戴检测程序被处理器执行时实现如上文所述的劳保鞋穿戴检测方法的步骤。
参照图5,图5为本发明劳保鞋穿戴检测装置第一实施例的结构框图。
如图5所示,本发明实施例提出的劳保鞋穿戴检测装置包括:
图像识别模块501,用于获取待检测图像,并判断所述待检测图像中是否存在人体特征;
所述图像识别模块501,还用于在存在所述人体特征时,提取所述人体特征对应的人体感兴趣区域;
所述图像识别模块501,还用于判断所述人体感兴趣区域中是否存在脚部特征,若存在,则提取所述脚部特征对应的脚部感兴趣区域;
穿戴检测模块502,用于根据所述脚部感兴趣区域判断所述脚部特征所属的人体是否穿戴劳保鞋。
由于本实施例是先检测图像中是否存在人体特征,若存在则提取人体特征对应的人体感兴趣区域,然后检测人体感兴趣区域中是否存在脚部特征,若存在则提取脚部特征对应的脚部感兴趣区域,再根据脚部感兴趣区域判断脚部特征所属的人体是否穿戴劳保鞋,该方式相比于现有的将穿戴劳保鞋的人体作为整体识别对象进行劳保鞋检测的方式,能够避免误检,同时通过提取脚部特征对应的脚部感兴趣区域,再根据脚部感兴趣区域判断脚部特征所属的人体是否穿戴劳保鞋,能够有效降低检测过程中劳保鞋特征值的损失,保证了检测结果的精度和可靠性。
基于本发明上述劳保鞋穿戴检测装置第一实施例,提出本发明劳保鞋穿戴检测装置的第二实施例。
在本实施例中,所述图像识别模块501,还用于通过预设人脚检测模型判断所述人体感兴趣区域中是否存在脚部特征;在存在脚部特征时,提取所述脚部特征对应的脚部感兴趣区域。
进一步地,所述图像识别模块501,还用于在存在脚部特征时,获取所述脚部特征在所述待检测图像中的脚部宽高尺寸信息;根据所述脚部宽高尺寸信息判断所述脚部特征是否为有效脚部特征;在所述脚部特征为有效脚部特征时,提取所述有效脚部特征对应的脚部感兴趣区域。
进一步地,所述图像识别模块501,还用于判断所述脚部宽高尺寸信息对应的脚部宽高尺寸是否大于或等于预设最小脚部宽高尺寸;若是,则判定所述脚部特征为有效脚部特征;若否,则判定所述脚部特征为无效脚部特征。
进一步地,所述图像识别模块501,还用于在存在脚部特征时,对所述脚部特征进行边缘检测,以确定所述脚部特征对应的脚部轮廓;对所述脚部轮廓进行修正,并获取修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息。
进一步地,所述图像识别模块501,还用于在所述脚部特征为有效脚部特征时,将所述人体感兴趣区域转化为HSV图像;通过图像掩模技术在所述HSV图像中提取所述有效脚部特征对应的脚部感兴趣区域。
进一步地,所述图像识别模块501,还用于选取所述待检测图像中的一像素点作为坐标原点构建坐标系;基于构建的所述坐标系确定所述脚部轮廓中各轮廓点的位置坐标;根据所述脚部轮廓中各轮廓点的位置坐标对所述脚部轮廓进行修正,并获取修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息。
进一步地,所述图像识别模块501,还用于根据所述脚部轮廓中各轮廓点的位置坐标判断所述脚部轮廓中是否存在间断像素点;在存在所述间断像素点时,确定所述间断像素点对应的待连接像素点,并将所述间断像素点和所述待连接像素点连接,获得修正后的脚部轮廓;基于所述坐标系获取所述修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息。
进一步地,所述图像识别模块501,还用于获取待检测图像,通过预设人体检测模型判断所述待检测图像中是否存在人体特征。
进一步地,所述穿戴检测模块502,用于将所述脚部感兴趣区域输入至预设劳保鞋分类模型进行分类,获得分类结果;根据所述分类结果中的脚部位置信息和劳保鞋分类信息判断所述脚部位置信息对应的人体是否穿戴劳保鞋。
进一步地,所述劳保鞋穿戴检测装置还包括:模型训练模型,用于通过所述未穿戴劳保鞋的人体图像数据对第一初始神经网络模型进行迭代训练,获得所述预设人体检测模型;
提取所述穿戴劳保鞋的人体图像数据对应的人体感兴趣区域图像数据,通过所述人体感兴趣区域图像数据对第二初始神经网络模型进行迭代训练,获得所述预设人脚检测模型;
从所述人体感兴趣区域图像数据中提取人脚感兴趣区域图像数据,通过所述人脚感兴趣区域图像数据对初始二分类模型进行迭代训练,获得所述预设劳保鞋分类模型。
本发明提供A1一种劳保鞋穿戴检测方法,所述劳保鞋穿戴检测方法包括:
获取待检测图像,并判断所述待检测图像中是否存在人体特征;
在存在所述人体特征时,提取所述人体特征对应的人体感兴趣区域;
判断所述人体感兴趣区域中是否存在脚部特征,若存在,则提取所述脚部特征对应的脚部感兴趣区域;
根据所述脚部感兴趣区域判断所述脚部特征所属的人体是否穿戴劳保鞋。
A2、如A1所述的劳保鞋穿戴检测方法,所述判断所述人体感兴趣区域中是否存在脚部特征,若存在,则提取所述脚部特征对应的脚部感兴趣区域,包括:
通过预设人脚检测模型判断所述人体感兴趣区域中是否存在脚部特征;
在存在所述脚部特征时,提取所述脚部特征对应的脚部感兴趣区域。
A3、如A2所述的劳保鞋穿戴检测方法,所述在存在所述脚部特征时,提取所述脚部特征对应的脚部感兴趣区域,包括:
在存在所述脚部特征时,获取所述脚部特征在所述待检测图像中的脚部宽高尺寸信息;
根据所述脚部宽高尺寸信息判断所述脚部特征是否为有效脚部特征;
在所述脚部特征为有效脚部特征时,提取所述有效脚部特征对应的脚部感兴趣区域。
A4、如A3所述的劳保鞋穿戴检测方法,所述根据所述脚部宽高尺寸信息判断所述脚部特征是否为有效脚部特征,包括:
判断所述脚部宽高尺寸信息对应的脚部宽高尺寸是否大于或等于预设最小脚部宽高尺寸;
若是,则判定所述脚部特征为有效脚部特征;
若否,则判定所述脚部特征为无效脚部特征。
A5、如A3所述的劳保鞋穿戴检测方法,所述在存在所述脚部特征时,获取所述脚部特征在所述待检测图像中的脚部宽高尺寸信息,包括:
在存在所述脚部特征时,对所述脚部特征进行边缘检测,以确定所述脚部特征对应的脚部轮廓;
对所述脚部轮廓进行修正,并获取修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息。
A6、如A3所述的劳保鞋穿戴检测方法,所述在所述脚部特征为有效脚部特征时,提取所述有效脚部特征对应的脚部感兴趣区域,包括:
在所述脚部特征为有效脚部特征时,将所述人体感兴趣区域转化为的HSV图像;
通过图像掩模技术在所述HSV图像中提取所述有效脚部特征对应的脚部感兴趣区域。
A7、如A6所述的劳保鞋穿戴检测方法,所述通过图像掩模技术在所述HSV图像中提取所述有效脚部特征对应的脚部感兴趣区域,包括:
在所述HSV图像中对所述有效脚部特征所在的区域进行像素填充,获得包含像素填充后的有效脚部特征的掩模图像;
对所述掩模图像和所述HSV图像进行与运算,获得所述有效脚部特征对应的脚部感兴趣区域。
A8、如A5所述的劳保鞋穿戴检测方法,所述对所述脚部轮廓进行修正,并获取修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息,包括:
选取所述待检测图像中的一像素点作为坐标原点构建坐标系;
基于构建的所述坐标系确定所述脚部轮廓中各轮廓点的位置坐标;
根据所述脚部轮廓中各轮廓点的位置坐标对所述脚部轮廓进行修正,并获取修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息。
A9、如A8所述的劳保鞋穿戴检测方法,所述根据所述脚部轮廓中各轮廓点的位置坐标对所述脚部轮廓进行修正,并获取修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息,包括:
根据所述脚部轮廓中各轮廓点的位置坐标判断所述脚部轮廓中是否存在间断像素点;
在存在所述间断像素点时,确定所述间断像素点对应的待连接像素点,并将所述间断像素点和所述待连接像素点连接,获得修正后的脚部轮廓;
基于所述坐标系获取所述修正后的脚部轮廓在所述待检测图像中的脚部宽高尺寸信息。
A10、如A2至A9任一项所述的劳保鞋穿戴检测方法,所述获取待检测图像,并判断所述待检测图像中是否存在人体特征,包括:
获取待检测图像,通过预设人体检测模型判断所述待检测图像中是否存在人体特征。
A11、如A10所述的劳保鞋穿戴检测方法,所述根据所述脚部感兴趣区域判断所述脚部特征所属的人体是否穿戴劳保鞋,包括:
将所述脚部感兴趣区域输入至预设劳保鞋分类模型进行分类,获得分类结果;
根据所述分类结果中的脚部位置信息和劳保鞋分类信息判断所述脚部位置信息对应的人体是否穿戴劳保鞋。
A12、如A10所述的劳保鞋穿戴检测方法,所述获取待检测图像,通过预设人体检测模型判断所述待检测图像中是否存在人体特征之前,还包括:
获取穿戴劳保鞋的人体图像数据和未穿戴劳保鞋的人体图像数据;
通过所述未穿戴劳保鞋的人体图像数据对第一初始神经网络模型进行迭代训练,获得所述预设人体检测模型;
提取所述穿戴劳保鞋的人体图像数据对应的人体感兴趣区域图像数据,通过所述人体感兴趣区域图像数据对第二初始神经网络模型进行迭代训练,获得所述预设人脚检测模型;
从所述人体感兴趣区域图像数据中提取人脚感兴趣区域图像数据,通过所述人脚感兴趣区域图像数据对初始二分类模型进行迭代训练,获得所述预设劳保鞋分类模型。
本发明劳保鞋穿戴检测装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
- 穿戴式设备的控制方法、装置、存储介质及穿戴式设备
- 基于穿戴式设备的发烧提醒方法、装置、设备及存储介质
- 穿戴式设备用户的安全提醒方法、装置、设备及存储介质
- 控制穿戴式设备报警的方法、装置、设备和存储介质
- 穿戴式设备的坐姿更正引导方法、装置、设备及存储介质
- 可穿戴设备的穿戴检测方法、装置、设备及存储介质
- 穿戴设备的佩戴检测方法、装置、穿戴设备和存储介质