一种图像识别方法及装置、计算机可读存储介质
文献发布时间:2023-06-19 10:21:15
相关申请的交叉引用
本申请要求申请号为10201913955V、于2019年12月31日的向新加坡专利局提交的题为“图像识别方法和装置以及计算机可读存储介质”的新加坡专利申请的优先权,该新加坡专利申请的全部内容再次引用本申请作为参考。
技术领域
本公开涉及人工智能领域,尤其涉及一种图像识别方法及装置、计算机可读存储介质。
背景技术
近年来,随着人工智能技术的普及和发展,由计算机或照相机执行的图像识别被应用于越来越多的场景。例如,在当前的视频监视器和图像识别系统中,使用照相机来识别目标对象与周围的多个干预对象之间的关联关系,比如识别物品和周围人物之间存放和拿取的关系。
公开内容
本公开提供一种图像识别方法及装置、计算机可读存储介质。
本公开实施例提供一种图像识别方法,所述方法包括:
根据检测区的至少一组目标对象的状态的变化,确定变化对象;
获取所述检测区的至少一组目标对象的状态发生变化之前的第一预设时间内所采集到的侧视图像帧构成的侧视图像帧集合和至少一个待匹配图像帧,所述至少一个待匹配图像帧由位于所述检测区上方的图像采集设备采集所述检测区的图像而获取,所述侧视图像帧由位于所述检测区侧面的图像采集设备采集所述检测区的图像而获取;
从所述至少一个待匹配图像帧中,确定出关联图像帧;所述关联图像帧中包括与所述变化对象关联度最高的干预部位;
从所述侧视图像帧集合中,获取与所述关联图像帧对应的侧视图像帧,所述与所述关联图像帧对应的侧视图像帧中包含与所述变化对象关联度最高的干预部位以及至少一个干预对象;
基于所述关联图像帧与所述与所述关联图像帧对应的侧视图像帧,从所述至少一个干预对象中确定出与所述变化对象关联度最高的目标干预对象。
本公开实施例提供一种图像识别装置,所述图像识别装置包括:
第一确定单元,用于根据检测区的至少一组目标对象的状态的变化,确定变化对象;
第一获取单元,用于获取检测区的至少一组目标对象的状态发生变化之前的第一预设时间内所采集到的侧视图像帧构成的侧视图像帧集合和至少一个待匹配图像帧,至少一个待匹配图像帧由位于检测区上方的图像采集设备采集检测区的图像而获取,侧视图像帧由位于检测区侧面的图像采集设备采集检测区的图像而获取;
第二确定单元,用于从至少一个待匹配图像帧中,确定出关联图像帧;所述关联图像帧中包括与所述变化对象关联度最高的干预部位;
第二获取单元,用于从侧视图像帧集合中,获取与关联图像帧对应的侧视图像帧,所述与所述关联图像帧对应侧视图像帧中包含所述与所述变化对象关联度最高的干预部位以及至少一个干预对象;
第三确定单元,用于基于关联图像帧与所述与所述关联图像帧对应的侧视图像帧,从至少一个干预对象中确定出与变化对象关联度最高的目标干预对象。
本公开实施例提供一种图像识别装置,所述图像识别装置包括:处理器、存储器以及通信总线,所述存储器通过所述通信总线与所述处理器进行通信,所述存储器存储所述处理器可执行的一个或者多个程序,当所述一个或者多个程序被执行时,所述处理器执行如上述任一种图像识别方法。
本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上述任一种图像识别方法。
附图说明
图1为本公开实施例提供的一种图像识别场景示意图;
图2为本公开实施例提供的一种图像识别方法的一个可选的流程示意图一;
图3为本公开实施例提供的一种图像识别方法的一个可选的流程示意图二;
图4为本公开实施例提供的一种图像识别方法的一个可选的流程示意图三;
图5为本公开实施例提供的一种图像识别方法的一个可选的流程示意图四;
图6为本公开实施例提供的一种图像识别方法的一个可选的流程示意图五;
图7为本公开实施例提供的一种图像识别装置的结构示意图一;
图8为本公开实施例提供的一种图像识别装置的结构示意图二。
具体实施方式
目前的视频监测和图像识别系统,现有相机在识别目标对象和周围多个干预对象的关联关系时,比如识别物品和周围人物之间存放和拿取的关系时,由于采集到的图像中存在很多关键信息缺失,导致当目标对象发生变化时,不能正确关联到使目标对象发生变化的干预对象,以及采集到的干预对象的信息不完整,无法根据部分干预对象的信息匹配出具体的目标干预对象等问题,最终导致无法正确识别出与目标对象关联度最高的目标干预对象。
本公开实施例提供了一种图像识别方法及装置、计算机可读存储介质,该方法包括:根据检测区的至少一组目标对象的状态的变化,确定变化对象;获取检测区的至少一组目标对象的状态发生变化之前的第一预设时间内所采集到的侧视图像帧构成的侧视图像帧集合和至少一个待匹配图像帧,至少一个待匹配图像帧由位于检测区上方的图像采集设备采集检测区的图像而获取,侧视图像帧由位于检测区侧面的图像采集设备采集检测区的图像而获取;从至少一个待匹配图像帧中,确定出关联图像帧,关联图像帧中包括与变化对象关联度最高的干预部位;从侧视图像帧集合中,获取与关联图像帧对应的侧视图像帧,侧视图像帧中包含与变化对象关联度最高的干预部位以及至少一个干预对象;基于关联图像帧与侧视图像帧,从至少一个干预对象中确定出与变化对象关联度最高的目标干预对象。
采用上述方法实现方案,可以在鸟瞰角度下得到与变化对象关联度最高的干预部位,由于鸟瞰角度下的位置信息与实际位置信息成比例,因此在鸟瞰角度下得到的变化对象与干预部位的位置关系比在侧视角度下更加准确;进一步的,将关联图像帧与对应的侧视图像帧相结合,从而实现变化对象到与变化对象关联度最高的干预部位的确定(基于关联图像帧确定),进而实现与变化对象关联度最高的干预部位到目标干预对象的确定(基于对应的侧视图像帧确定),从而确定出与变化对象关联度最高的目标干预对象,提高了将目标对象的变化与干预对象相关联的准确度。
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述。
本公开实施例提供一种图像识别场景,如图1所示,图1为本公开实施例提供的一种图像识别场景示意图,包括位于检测区500上方的图像采集设备100,实际应用中通常以垂直角度对检测区进行图像采集;以及位于检测区500侧面的图像采集设备200_1和图像采集设备200_2,实际应用中通常以平行角度对检测区进行图像采集;其中,图像采集设备100、图像采集设备200_1和图像采集设备200_2根据各自的方位和角度持续对检测区500进行检测。检测区500中放置有至少一组目标对象300_1至300_n,其中,每组目标对象300_1……300_n由至少一个子对象堆叠而成。在检测区500周围包含至少一个干预对象400_1至400_n,其中,干预对象400_1至400_n处于图像采集设备100、图像采集设备200_1和图像采集设备200_2采集范围内。在本公开实施例提供的图像识别场景中,图像采集设备可以是摄像头或相机等,干预对象可以是人物,目标对象可以是可堆叠类物品,当人物400_1至400_n中的某个人从检测区500中拿取或放置物品时,相机100可以捕捉到该人物手部伸进检测区500的上方垂直视角图像,相机200_1和相机200_2可以捕捉到对应时刻人物400_1至400_n的不同侧面视角图像。
本公开实施例中,图像采集设备100通常设置在检测区500上方,例如,在检测区中心点的正上方或者正上方附近,采集范围至少覆盖整个检测区;图像采集设备200_1与200_2位于检测区的侧面,并分别在检测区的两个相对侧设置,设置高度与检测区内的目标对象平齐,采集范围覆盖整个检测区以及检测区周围的干预对象。
在一些实施例中,当检测区为桌面上的一块方形区域时,图像采集设备100可以设置在方形区域中心点的正上方,其设置高度可以根据具体图像采集设备的视角调整,保证采集范围可以覆盖到整个检测区的方形区域;图像采集设备200_1与200_2分别设置在检测区的两个相对侧,其设置高度可以与检测区的目标对象300_1至300_n平齐,与检测区之间的距离可以根据具体图像采集设备的视角调整,保证采集范围可以覆盖到整个检测区以及检测区周围的干预对象。
需要说明的是,实际使用中,在图像采集设备200_1与200_2之外,也可以根据需要设置更多位于检测区侧面的图像采集设备,本公开实施例不做限定。
图2为本公开实施例提供的一种图像识别方法的一个可选的流程示意图,将结合图2示出的步骤进行说明。
S101、根据检测区的至少一组目标对象的状态的变化,确定变化对象。
本公开实施例提供的一种图像识别方法适用于对在多个物体或人物中识别使监测物发生变化的目标物体或人物。示例性的,本公开实施例提供的图像识别方法适用于自动记账零售系统,智能物品监控等场景。
本公开实施例中,至少一组目标对象中的每组目标对象可以由至少一个子对象堆叠而成。
在一些实施例中,至少一组目标对象可以是堆叠的几摞书本,每一摞书本为一组目标对象,也可以是堆叠的硬币,每一摞硬币为一组目标对象。
本公开实施例中,可以在检测区上方设置图像采集设备,用以持续监测至少一组目标对象中包含的子对象,当至少一组目标对象中包含的子对象发生变化,或者监测到检测区出现新的一组目标对象,或检测区原有的任意一组目标对象消失时,确定至少一组目标对象的状态发生变化。
本公开实施例中,还可以在位于检测区侧面平行的角度设置图像采集设备,用以持续监测至少一组目标对象中包含的子对象,当监测到任意一组目标对象包含的子对象的数量或外观发生变化时,确定至少一组目标对象的状态发生变化。
需要说明的是,本公开实施例中,由于从侧视角度监测时会存在目标对象之间互相遮挡的问题,因此为了保证监测的准确性,可以在检测区的侧面设置至少两个图像采集设备对检测区中已有的至少一组目标对象的数量或外观进行监测。
本公开实施例中,可以将全部检测区放入图像采集设备的检测框中,当检测框中至少一组目标对象的数量没有变化时,检测区的图像特征统计可以在连续的采集时间点上表现为一条平滑的曲线,当检测框中至少一组目标对象的数量出现变化时,示例性的,总组数增加或减少,至少一组目标对象的图像特征对应曲线会发生陡变,表征至少一组目标对象的图像内容发生了变化,从而通过监测至少一组目标对象的图像特征曲线获知检测区的至少一组目标对象是否发生了变化。
本公开实施例中,为了保证检测的准确性,可以在至少一组目标对象发生变化稳定超过预设帧数后,确定至少一组目标对象的状态发生变化。
在一些实施例中,检测到检测区中增加的新的至少一组目标对象稳定存在超过5帧,或是减少的至少一组目标对象稳定消失超过20帧后,确定至少一组目标对象的数量发生变化。
在一些实施例中,以三摞堆叠的书本作为至少一组目标对象,其中,每一摞书本对应一组目标对象,其中一摞书本包含20本书,以侧视相机作为位于检测区侧面平行角度的图像采集设备,分别从左右两个侧面角度对检测区进行持续的图像采集,当包含20本书的书摞中被取走5本书时,侧视相机监测到三摞堆叠的书本中包含20本书的一摞书本数量减少,当减少的5本书从检测区消失超过20帧后,确定至少一组目标对象中的至少一个子对象的数量发生变化。
本发明实施例中,将至少一组目标对象中状态发生变化的至少一个子对象,确定为变化对象。
在一些实施例中,鸟瞰相机为位于检测区上方的图像采集设备,当鸟瞰相机检测到检测区的新位置上增加了一组目标对象时,会将增加的一组目标对象作为变化对象;当鸟瞰相机检测到检测区中原有的一组目标对象消失时,会将消失的目标对象作为变化对象。
在一些实施例中,侧视相机为位于检测区侧面的图像采集设备,当侧视相机检测到已有的一组目标对象中子对象的数量增加了20个时,将增加的20个子对象作为变化对象;当侧视相机检测到已有的一组目标对象中子对象的数量减少了20个时,将减少的20个子对象作为变化对象。
S102、获取检测区的至少一组目标对象的状态发生变化之前的第一预设时间内所采集到的侧视图像帧构成的侧视图像帧集合和至少一个待匹配图像帧,至少一个待匹配图像帧由位于检测区上方的图像采集设备采集检测区的至少一个图像而获取,侧视图像帧由位于检测区侧面的图像采集设备采集检测区的图像而获取。
本公开实施例中,当检测区的至少一组目标对象的状态发生变化时,通过图像采集设备获取在至少一组目标对象的状态发生变化之前的第一预设时间内所采集到侧视图像帧集合和至少一个待匹配图像帧。
本公开实施例中,图像采集设备用于对检测区及检测区周围的干预对象进行持续的图像采集,本公开实施例中的图像采集设备可以是摄像头,也可以是相机,或是其他具有图像采集功能的设备,本公开实施例不做限定。
本公开实施例中,在检测区上方设置图像采集设备,用以持续监测至少一组目标对象在鸟瞰角度所呈现的图像;在检测区侧面设置图像采集设备,用以持续监测至少一组目标对象在侧视角度所呈现的图像。当至少一组目标对象的状态发生变化时,通过位于检测区上方的图像采集设备获取状态变化时间点之前的第一预设时间内所采集到的图像帧,作为至少一个待匹配图像帧;同时,通过位于检测区侧面的图像采集设备,获取与至少一个待匹配图像帧同步采集的图像帧,作为侧视图像帧集合。
在一些实施例中,在检测区上方设置鸟瞰相机作为图像采集设备,在检测区侧面设置侧视相机作为图像采集设备,至少一组目标对象的数量在时间点B时发生变化,第一预设时间为2秒;获取鸟瞰相机在B-2到B时刻之间所采集到的图像帧,作为至少一个待匹配图像帧;获取侧视相机在B-2到B时刻之间所采集到的图像帧,作为侧视图像帧集合。
可以理解的是,本公开实施例中,当检测区的至少一组目标对象的数量发生变化时,可以从鸟瞰角度捕捉到至少一组目标对象被干预发生变化的图像,避免了侧视角度下目标对象之间互相遮挡的问题,同时可以在侧视角度下捕捉到目标对象的附近至少一个干预对象的整体侧面图像,避免了鸟瞰角度下对干预对象的整体图像捕捉不全的问题。
S103、从至少一个待匹配图像帧中,确定出关联图像帧;关联图像帧中包括与变化对象关联度最高的干预部位。
本公开实施例中,在确定出变化对象后,从至少一个待匹配图像帧中,确定出与变化对象关联度最高的关联图像帧。
本公开实施例中,基于图2,从至少一个待匹配图像帧中,确定出与变化对象关联度最高的关联图像帧可以如图3所示,包括S1031-S1034,如下:
S1031、从至少一个待匹配图像帧的每个待匹配图像帧中识别出至少一个干预部位,至少一个干预部位为至少一个干预对象在至少一个待匹配图像帧中出现的部位。
本公开实施例中,在得到至少一个待匹配图像帧之后,对每个待匹配图像帧进行干预部位的识别,识别出每个待匹配图像帧中的干预部位,从而得到至少一个干预部位。
本公开实施例中,可以使用图像识别算法从每个待匹配图像帧中识别出至少一个干预部位,也可以使用其他方法,本公开实施例不做限定。
本公开实施例中,一个干预部位是一个干预对象对目标对象进行干预导致目标对象的状态发生变化的部位,会在至少一个待匹配图像帧中出现的部位。
本公开实施例中,当干预对象的一部分进入图像采集设备的检测区时,无论是否与变化对象发生了接触,都可以在待匹配图像帧中捕捉到干预对象的一部分图像,将捕捉到的至少一个干预对象中的一部分图像,作为至少一个干预部位。
在一些实施例中,鸟瞰相机作为位于检测区上方的图像采集设备,当干预对象为人物时,可以通过鸟瞰相机捕捉到人手伸进检测区的图像,将在至少一个待匹配图像帧中捕捉到的至少一个人手图像作为至少一个干预部位。
S1032、将变化对象与识别出的干预部位一一组合,得到至少一组变化对象与干预部位的组合。
本公开实施例中,在识别出至少一个干预部位之后,将变化对象与识别出的干预部位一一组合,得到至少一组变化对象与干预部位的组合。
需要说明的是,本公开实施例中,由于需要从每一个待匹配图像帧中识别该待匹配图像帧中包含的干预部位,因此至少一个干预部位中可能包含重复的干预部位,在将变化对象与至少一个干预部位一一组合时,需要保证变化对象与每个干预部位只组合一次。
S1033、从至少一组变化对象与干预部位的组合中确定出关联度最高的组合;其中,关联度最高的组合中的干预部位为目标干预部位,也就是说,目标干预部位也就是各个干预部位中与变化对象关联度最高的干预部位。
本公开实施例中,从至少一组变化对象与干预对象部位的组合中确定出关联度最高的组合可以通过S201-S202,如下:
S201、获取至少一组变化对象与干预部位的组合中每个组合的变化对象到干预部位的距离。
本公开实施例中,可以通过位于检测区上方的图像采集设备,获取至少一组变化对象与干预部位的组合中,每个组合的变化对象到干预部位的距离。
本公开实施例中,由于在侧视角度中,干预部位到变化对象之间的距离与其在实际中的距离不成比例,因此无法根据由侧视角度获得的干预部位到变化对象之间的距离推算出实际距离。通过位于检测区上方的图像采集设备,从鸟瞰角度获取每个变化对象与干预部位的组合中变化对象到干预部位的距离,得到至少一个变化对象与到干预部位的距离。
S202、从距离中确定出最小距离。
本公开实施例中,从至少一个变化对象与干预部位之间的距离中找出最小值,作为最小距离。
在本公开的一些实施例中,从至少一个变化对象与干预部位之间的距离中确定出最小距离的方法还可以包括S2021-S2022,如下:
S2021、对距离进行反比计算,得到至少一个变化对象与干预部位之间距离中每个距离的计算结果。
本公开实施例中,对距离进行反比计算的方法可以是采用与距离成负相关关系的任意公式计算,得到对应的计算结果。
本公开实施例中,与距离成负相关的函数均可用于计算,本公开实施例不做限定。
在一些实施例中,每个组合的变化对象与干预部位之间的距离为d,可以通过计算1或e
d
本公开实施例中,对距离进行反比计算的方法也可以是其他方法,本公开实施例不做限定。
S2022、从计算结果中确定出最大计算结果,将最大计算结果对应的距离确定为最小距离。
本公开实施例中,在得到距离反比计算结果之后,从计算结果中确定出最大计算结果,将最大计算结果对应的距离,作为最小距离。
可以理解的是,距离反比计算的最大计算结果对应的干预部位,是距离变化对象最近的干预部位。
S203、将最小距离对应的变化对象与干预部位的组合,作为关联度最高的组合。
本公开实施例中,由于最小距离对应的干预部位是在至少一个干预部位中离变化对象最近的干预部位,该干预部位与变化对象发生关联的可能性最大,因此,将最小距离对应的变化对象与干预部位的组合,作为关联度最高的组合。
在一些实施例中,当检测区堆叠的书本增加了一摞时,通过鸟瞰相机获取至少一组待匹配图像帧,在至少一组待匹配图像帧捕捉进入检测区的至少一个人手图像。将增加的书本与至少一个人手图像一一组合,计算每个组合中增加的书本到人手图像的距离,再将最小距离对应的增加的书本与人手图像的组合,作为关联度最高的组合。
可以理解的是,本公开实施例中,关联度最高的组合中的干预部位是最有可能与变化对象发生接触的干预部位。由于鸟瞰角度得到的距离与实际距离是成比例的,从而解决了通过侧视角度获取的干预部位和变化对象之间的距离不成比例,通过侧视角度关联干预部位与变化对象不准确的问题,提高了变化对象与干预部位关联的准确度,进而提高了变化对象与目标干预对象的关联的准确度。
在本公开的一些实施例中,从至少一组变化对象与干预部位的组合中确定出关联度最高的组合还可以包括S301-S302,如下:
S301、获取识别出的各个干预部位中每个干预部位的实际运动轨迹。
本公开实施例中,获取识别出的各个干预部位中每个干预部位的实际运动轨迹可以包括S3011-S3014,如下:
S3011、获取目标对象的状态发生变化的触发时间点。
本公开实施例中,记录并获取目标对象的状态发生变化的时间点,作为触发时间点。
S3012、获取触发时间点前第二预设时间内采集的至少一个运动轨迹图像帧,至少一个运动轨迹图像帧由位于检测区上方的图像采集设备获取。
本公开实施例中,得到触发时间点之后,会通过位于检测区上方的图像采集设备,获取在触发时间点第二预设时间内采集的至少一个图像帧,作为至少一个运动轨迹图像帧。
在一些实施例中,干预部位为人手图像,第二预设时间为5秒,获取5秒内鸟瞰相机采集到的10帧图像帧,每帧图像帧中都包含了处于不同位置的至少一个人手图像,将10帧图像帧作为至少一个运动轨迹图像帧。
需要说明的是,本发明实施例中,为了使干预部位的运动轨迹更加准确,第二预设时间通常设置为比第一预设时间更长的时间段,因此触发时间点前第二预设时间内采集的至少一个运动轨迹图像帧中一般包含由第一预设时间内采集的至少一个待匹配图像帧。
S3013、获取识别出的各个干预部位在至少一个运动轨迹图像帧中对应的位置信息。
本公开实施例中,至少一个运动轨迹图像帧中包含了各个干预部位处于不同位置的图像,针对同一个干预部位,在至少一个运动轨迹图像帧中获取该干预部位在每个运动轨迹图像帧中分别对应的位置信息。
本公开实施例中,针对各个干预部位,确定各个干预部位在每个运动轨迹图像帧中分别对应的位置信息。
在一些实施例中,当干预部位为人手图像时,获取该人手图像在10帧运动轨迹图像帧的每一帧图像中所处的不同位置,作为该人手的图像对应的位置信息。
S3014、根据至少一个运动轨迹图像帧的时间序列,将位置信息向量化连接,得到识别出的各个干预部位的实际运动轨迹。
本公开实施例中,针对同一个干预部位,在确定该干预部位对应的位置信息之后,根据至少一个运动轨迹图像帧的时间序列,从时间序列的起点到终点的顺序,将该干预部位对应的位置信息依次连线,得到该干预部位对应的一条向量轨迹,作为该干预部位的实际运动轨迹。
本公开实施例中,针对识别出的各个干预部位,确定识别出的各个干预部位的实际运动轨迹。
在一些实施例中,获取到一只人手图像对应的位置信息之后,根据10帧运动轨迹图像帧不同的采集时间,从第一帧运动轨迹图像帧中该人手图像对应的位置开始,依次向该人手图像在下一运动轨迹图像帧中对应的位置连线,最终得到该人手图像对应的实际运动轨迹。
S302、在至少一组变化对象与干预部位的组合中,获取每个组合中干预部位到变化对象的模拟运动轨迹,一个组合中干预部位到变化对象模拟运动轨迹为连接该组合中的干预部位与变化对象的轨迹。
本公开实施例中,对于一个变化对象与干预部位的组合,从该组合的干预部位连线至变化对象,将得到的向量轨迹作为该组合中干预部位到变化对象的模拟运动轨迹。
S303、比较各个实际运动轨迹与各个模拟运动轨迹之间的相似度。
本公开实施例中,对于一个变化对象与干预部位的组合,将该组合中包含的干预部位的实际运动轨迹,该组合对应的模拟运动轨迹进行相似度的比较。
本公开实施例中,比较两条向量轨迹之间相似度的方法为现有技术,本公开实施例不再赘述。
S304、将与一个实际运动轨迹相似度最高的模拟运动轨迹对应的变化对象与干预部位的组合确定为关联度最高的组合。
本公开实施例中,与模拟运动轨迹相似度最高的实际运动轨迹,就是最有可能向变化对象运动并与变化对象发生接触的运动轨迹,因此将与一个实际运动轨迹相似度最高的模拟运动轨迹对应的变化对象与干预部位的组合,确定为关联度最高的组合。
需要说明的是,S201-S203与S301-S303是从至少一组变化对象与干预部位的组合中确定出关联度最高的组合可选的两种方法,具体应用是可以根据实际情况选择其中的一种或同时选择两种,本公开实施例不做限定。
S1034、将关联度最高的组合中的干预部位所在的待匹配图像帧,作为关联图像帧。也就是说关联图像帧中包括与变化对象关联度最高的干预部位,也就是包括目标干预部位。
本公开实施例中,确定出关联度最高的组合之后,将关联度最高的组合中干预部位所在的待匹配图像帧,作为关联图像帧。也就是说,关联图像帧中包含了与变化对象关联度最高的干预部位的信息。
本公开实施例提供的图像识别方法,在S103之后,如图2和图3所示,还包括:
S104、从侧视图像帧集合中,获取与关联图像帧对应的侧视图像帧,与所述关联图像帧对应的侧视图像帧中包含与变化对象关联度最高的干预部位以及至少一个干预对象。
本公开实施例中,得到关联图像帧之后,从侧视图像帧集合中,获取与关联图像帧同步采集的侧视图像帧。
本公开实施例中,位于检测区上方的图像采集设备和位于检测区侧面的图像采集设备是同步对检测区进行采集的,因此在位于检测区上方的图像采集设备采集到关联图像帧的时刻,位于检测区侧面的图像采集设备也可以同步采集到同一场景的侧视图像帧。
本公开实施例中,侧视图像帧中可以捕捉到与变化对象相关的至少一个干预对象的完整侧面图像。
在一些实施例中,当对至少一个人物对检测区的书本进行拿和放的动作进行检测时,通过鸟瞰相机,确定出书本数量变化时进入检测区与变化对象关联度最高的人手图像,将该人手图像所在的图像帧作为关联图像帧;获取与关联图像帧同步采集的侧视相机中的侧视图像帧,其中,侧视图像帧中包含了至少一个人物的侧面图像,包括:至少一个人物的侧面脸部图像,至少一个人物的侧面人体图像,以及至少一个人物的侧面人手图像,在至少一个人物的侧面图像中,每个人物的侧面脸部图像、侧面人体图像以及侧面人手图像是互相关联的。
可以理解的是,本公开实施例中,关联图像帧中包含的干预部位图像是由鸟瞰角度所采集到的图像,由于鸟瞰角度下很难采集到干预对象的关键标识性信息,如人脸信息,仅靠鸟瞰角度下的干预部位图像无法将变化对象直接与干预对象的标识性信息相关联。因此需要获取同步的侧视图像帧,用于先将鸟瞰角度下的干预部位图像与干预对象的侧面整体图像相关联。
S105、基于关联图像帧与所述与所述关联图像帧对应的侧视图像帧,从至少一个干预对象中确定出与变化对象关联度最高的目标干预对象。
本公开实施例中,图像识别装置在得到侧视图像帧后,图像识别装置将关联图像帧与侧视图像帧进行图像融合,将同步的不同角度获取的干预部位与干预对象的图像信息融合在一起,以从至少一个干预对象中确定出与变化对象关联度最高的目标干预对象,完成变化对象关联到目标干预对象的图像识别过程。
本公开实施例中,基于图3,基于关联图像帧与所述与所述关联图像帧对应的侧视图像帧,从至少一个干预对象中确定出与变化对象关联度最高的目标干预对象可以如图4所示,包括S1051-S1053,如下:
S1051、将关联图像帧与所述与所述关联图像帧对应的侧视图像帧进行图像融合,得到目标干预部位的侧视图像,目标干预部位的侧视图像为目标干预部位在所述与所述关联图像帧对应的侧视图像帧中的图像。
本公开实施例中,由于关联图像帧和侧视图像帧是从不同角度对检测区同步采集得到的图像帧,因此可以利用图像融合,将同一物体在鸟瞰角度和侧视角度下得到的图像信息相互关联,得到鸟瞰角度下的目标干预部位在侧视图像帧中对应的侧面角度的图像,作为目标干预部位的侧视图像。
在一些实施例中,干预部位为人手图像,干预对象为人物,鸟瞰角度的关联图像帧中包含的目标干预部位为人手图像A1,侧视人物图像帧中包含侧面人手图像A1’,侧面人手图像B1’和侧面人手图像C1’。将关联图像帧与侧视图像帧进行图像融合,将鸟瞰角度下得到的人手图像信息与侧视角度得到的人手图像信息进行图像融合之后,可以得到侧面人手图像A1’与鸟瞰角度的人手图像A1是同一只人手的信息,将侧面人手图像A1’作为目标干预部位的侧视图像。
S1052、基于所述与所述关联图像帧对应的侧视图像帧,得到目标干预部位的侧视图像相关联的目标干预对象的侧视图像,所述与所述关联图像帧对应的侧视图像帧包含至少一个干预对象的侧视图像。
本公开实施例中,侧视图像帧包含至少一个干预对象的侧面完整图像,目标干预部位的侧视图像为其中一个干预对象的侧面部分图像,也就是说目标干预部位的侧视图像是对应的干预对象的侧视图像中的一部分,并且与干预对象的侧视图像中的其他部分相关联。基于侧视图像帧,将目标干预部位的侧视图像关联的干预对象的侧视图像,作为目标干预对象的侧视图像。
在一些实施例中,目标干预部位的侧视图像为侧面人手图像A1’,侧视图像帧中包含人物侧面图像A’,人物侧面图像B’和人物侧面图像C’。人物侧面图像A’中还包含侧面人体图像A2’和侧面人脸图像A3’,由于在侧视图像帧中,侧面角度的人手图像A1’与侧面人体图像A2’互相连接,可以将A1’关联到A2’,而侧面人体图像A2’又与侧面人脸图像A3’互相连接,再将侧面角度的人手图像A1’进一步关联到侧面人脸图像A3’,将侧面人脸图像A3’作为目标干预对象的侧视图像。
可以理解的是,将目标干预部位所在的关联图像帧与侧视图像帧进行多角度图像融合之后,就得到了鸟瞰角度下目标干预部位与侧视角度下的目标干预对象的侧视图像关联关系,这样就可以进一步根据目标干预对象的侧视图像中包含的信息对目标干预对象进行身份识别,解决了鸟瞰角度下无法采集到干预对象的标识性信息,仅靠鸟瞰角度下的干预部位图像无法直接与干预对象的标识性信息相关联的问题。
S1053、根据目标干预对象的侧视图像,在预存的干预对象的图像与干预对象的身份信息的对应关系中,确定出目标干预对象的身份信息。
本公开实施例中,对于一个干预对象,预存该干预对象的图像与该干预对象的身份信息的对应关系,可以通过该干预对象图像的唯一对应到该干预对象的身份信息。
在一些实施例中,预存的干预对象的图像与干预对象的身份信息的对应关系可以是每个人物的正面脸部图像与该人物身份ID的对应关系,示例性的,正面脸部图像A与人物A对应,正面脸部图像B与人物B对应,正面脸部图像C与人物C对应。根据目标干预对象的侧视图像即侧视视角下人脸图像A3’,匹配到A3’对应的正面脸部图像A,再通过预存的每个人物的正面脸部图像与该人物身份ID的对应关系,将侧视视角下人脸图像A3’进一步关联到正面脸部图像A对应的人物A,将人物A作为目标干预对象。
可以理解的是,本公开实施例中,可以从鸟瞰角度获得准确度更高的与变化对象相关联的目标干预部位信息,并通过图像融合,将鸟瞰角度下的目标干预部位信息与到侧视角度下干预对象的完整信息相结合,实现了将鸟瞰角度下的目标干预部位信息关联到侧视角度下的目标干预对象的信息,再进一步将目标干预对象的信息与预存的干预对象的标识性信息相关联,提高了识别目标干预对象的准确度。
本公开实施例中,在S105之后,还包括S106-S107,如下:
S106、从侧视图像帧中获取变化对象的侧面图像。
S107、根据变化对象的侧面图像,获取变化对象的对象价值,对象价值为构成变化对象的至少一个子变化对象价值的总和,变化对象的侧面图像包含至少一个子变化对象中每一个的侧面图像,至少一个子变化对象中每一个的侧面图像表征不同的价值。
本公开实施例中,由于至少一组目标对象是由至少一个子对象堆叠而成的,变化对象是至少一组目标对象中的一部分,因此可以通过检测区侧面的图像采集设备,获取变化对象的侧视角度下的图像,并根据变化对象不同的侧视角度下的图像,获取变化对象的对象价值。
本公开实施例中,变化对象包含至少一个子变化对象,其中,子变化对象的侧视角度下的图像可以包含不同的颜色,花纹或可识别的图案或文字,每种不同的颜色,花纹或可识别的图案或文字可表征不同的价值信息。
本公开实施例中,变化对象的对象价值为构成变化对象的每个子变化对象的侧视角度下的图像所表征的价值的总和。
S108、关联目标干预对象与对象价值,
从而得到目标干预对象获取或付出对应对象价值的信息。
在一些实施例中,红色书每本价值10元,绿色书每本价值20元,通过侧视视角的相机检测到某一摞堆叠放置的书本高度降低,数量发生了减少,并通过侧视相机获取减少书本的侧面图像,通过书本的侧面颜色发现减少了10本红色书和5本绿色书,可以得到减少书本的对象价值为200元,根据S101-S105得到目标干预对象为人物A,将目标干预对象与对象价值相关联,得到人物A取走价值200元书本的信息。
可以理解的是,通过侧视视角下的相机获取至少一组变化对象的对象价值并与目标人物相关联,进一步补充了目标人物对至少一组变化对象进行操作的具体信息。
在本公开的一些实施例中,识别与变化对象关联的目标干预对象,并将目标干预对象与对象价值相关联的一种实现方法可以如图5所示,包含S601-S616,如下:
S601、当通过位于检测区上方的图像采集设备,监测到检测区出现新的一组目标对象,或检测区原有的任意一组目标对象消失时,从至少一组目标对象中,确定变化对象。
S602、获取在当前时间点之前的第一预设时间内所采集到至少一个待匹配图像帧和侧视图像帧集合。
S603、从每个待匹配图像帧中识别出至少一个干预部位。
S604、将变化对象与识别出的干预部位一一组合,得到至少一组变化对象与干预部位的组合。
S605、获取至少一组变化对象与干预部位的组合中每个组合的变化对象到干预部位的距离。
S606、对距离进行反比计算,得到距离中每个距离的计算结果。
S607、从计算结果中确定出最大计算结果,将最大计算结果对应的距离确定为最小距离。
S608、将最小距离对应的变化对象与干预部位的组合,作为关联度最高的组合。
S609、将关联度最高的组合中的干预部位所在的待匹配图像帧,作为关联图像帧。
S610、将关联度最高的组合中的干预部位,确定为目标干预部位。
S611、将关联图像帧与侧视图像帧进行图像融合,得到目标干预部位的侧视图像,目标干预部位的侧视图像为目标干预部位在侧视图像帧中的图像。
S612、基于侧视图像帧,得到目标干预部位的侧视图像相关联的目标干预对象的侧视图像,侧视图像帧包含至少一个干预对象的侧视图像。
S613、根据目标干预对象的侧视图像,在预存的干预对象的图像与干预对象的身份信息的对应关系中,确定出目标干预对象。
S614、从侧视图像帧中获取变化对象的侧面图像(即侧视角度下的图像)。
S615、根据变化对象的侧面图像,获取变化对象的对象价值。
S616、关联目标干预对象与对象价值,完成识别与变化对象关联的目标干预对象,并关联目标干预对象与对象价值的过程。
需要说明的是,本公开实施例提供的图像识别方法在识别出与变化对象关联的目标干预对象之后,会继续对检测区的至少一个目标对象进行监测,当至少一个目标对象的数量再次发生变化时,会继续以同样的处理方法识别出目标干预对象。
本公开实施例还提供一种图像识别方法,适用于智能监测筹码投放或撤回的场景,基于图1的图像识别场景示意图,本公开实施例中的至少一组目标对象可以是至少一组筹码,对应于图1的目标对象300_1至300_n;至少一个干预对象可以是至少一个参与游戏的玩家,当然也可以是荷官,对应于图1的干预对象400_1至400_n;位于检测区上方的图像采集设备可以是鸟瞰相机,对应于图1的图像采集设备100;位于检测区侧面的图像采集设备可以是侧视相机,对应于图1的图像采集设备200_1与200_2。本公开实施例提供的图像识别方法可以如图6所示,包含S701-S721,如下:
S701、当检测到检测区已有的一组筹码上再叠放一组筹码时,通过侧视相机确定检测区的至少一组筹码的数量发生变化。
本发明实施例中,至少一组目标对象为至少一组筹码。
本发明实施例中,当检测区已有的一组筹码上又被叠放了一组筹码时,可以通过侧视相机,发现检测区已有的一组筹码中包含的筹码数量增加,确定检测区的至少一组筹码的状态发生变化。
S702、从检测区的至少一组筹码中,确定出新增筹码。
本发明实施例中,变化对象为新增筹码。
S703、从鸟瞰相机中,获取当前时间点之前2秒内采集到的3帧图像帧,作为至少一个待匹配图像帧;获取侧视相机在对应时段采集的图像帧,作为侧视图像帧集合。
本公开实施例中,第一预设时间为2秒。
S704、从每个待匹配图像帧中,识别出至少一个人手图像。
本发明实施例中,至少一个干预部位为至少一个人手图像。
可以理解的是,本公开实施例中,当在检测区已有的一组筹码上再叠放一组筹码时,人手必然要伸进检测区,通过鸟瞰相机,捕捉到至少一组筹码数量变化时间点之前的至少一个待匹配图像帧,从至少一个待匹配图像帧中可以识别出至少一个人手图像,其中,至少一个人手图像中包含叠放筹码的人手图像,还可能包含其他的人手图像。因此需要从至少一个人手图像中确定出叠放筹码的的人手。
S705、将鸟瞰相机下新增筹码图像与至少一个人手图像一一组合,得到至少一组新增筹码图像与人手图像的组合。
本公开实施例中,将新增筹码图像与至少一个人手图像一一组合,保证新增筹码图像与至少一个人手图像中的每个人手图像只组合一次,得到至少一组新增筹码图像与人手图像的组合。
S706、将至少一组筹码的数量发生变化的时间点记为触发时间点,获取鸟瞰相机在触发时间点前4秒内采集到的6帧图像帧,作为至少一个运动轨迹图像帧。
本公开实施例中,第二预设时间为4秒。
S707、对于识别出的各个人手图像,获取每个人手图像在至少一个运动轨迹图像帧的每个运动轨迹图像帧中对应的位置信息。
本公开实施例中,对于一个人手图像,可以在6帧运动轨迹图像帧中获取该人手图像对应的6个不同位置信息;对于识别出的各个人手图像,可以用相同的方法,获取识别出的各个人手图像在至少一个运动轨迹图像帧的每个运动轨迹图像帧中分别对应的位置信息。
S708、根据采集至少一个运动轨迹图像帧的时间顺序,将每个人手图像对应的位置信息依次连接,将连接得到的向量轨迹作为每个人手图像的实际运动轨迹。
本发明实施例中,至少一个运动轨迹图像帧的时间序列为采集至少一个运动轨迹图像帧的时间顺序。
S709、在至少一组新增筹码图像与人手图像的组合中,将每个组合中人手图像到新增筹码图像的路径,作为每个组合的人手图像到新增筹码图像的模拟运动轨迹。
S710、对于每个新增筹码图像和人手图像的组合,比较每个组合的模拟运动轨迹与人手图像实际运动轨迹之间的相似度。
本公开实施例中,对于至少一个新增筹码图像和人手图像的组合中的每个组合,可以采取同样的方法处理,比较各个实际运动轨迹与各个模拟运动轨迹之间的相似度。
S711、将与一个实际运动轨迹相似度最高的组合确定为关联度最高的组合。
S712、将关联度最高的组合对应的待匹配图像帧,作为关联图像帧。
S713、将关联度最高的组合中的人手图像,确定为目标人手图像。
S714、从侧视图像帧集合中,获取与关联图像帧对应的侧视图像帧,侧视图像帧中包含与新增筹码图像相关的人(一个玩家或者荷官)的侧面图像。
本公开实施例中的侧面图像是相对于俯视角度下的图像而言,也就是侧视视角下的图像。
本公开实施例中,与关联图像帧对应的侧视图像帧是由侧视相机采集与关联图像帧同步的图像帧。
S715、将关联图像帧与侧视图像帧进行图像融合,得到目标人手图像在侧视图像帧中对应的目标人手的侧面图像。
本发明实施例中,目标干预部位的侧视图像为目标人手的侧面图像。
本公开实施例中,将关联图像帧与侧视图像帧进行图像融合,将关联图像帧鸟瞰角度下的人手图像与侧视图像帧中侧视角度下的人手图像进行图像信息的关联,就得到了鸟瞰角度下的目标人手图像在侧视图像帧中对应的图像,即目标人手的侧面图像。
S716、基于侧视图像帧,得到与目标人手的侧面图像相关联的目标玩家的侧面人体图像(即侧视角度下的人体图像)。
本公开实施例中,由于侧视图像帧中包含了至少一个人(玩家和荷官)的人体的侧面图像,包括至少一个人的侧面人手图像,至少一个人的侧面脸部图像和至少一个人的侧面人体图像,其中,同一个人的侧面人手图像,侧面脸部图像和侧面人体图像是互相关联的一个整体。可以基于侧视图像帧,找到目标人手的侧面图像是属于哪个人的侧面人手图像,从而与得到目标人手的侧面图像相关联的目标人物的侧面人体图像。
S717、基于侧视图像帧,得到与目标人物的侧面人体图像相关联的目标人物的脸部图像。
本发明实施例中,目标干预对象的侧视图像为目标人物的侧面脸部图像。
本公开实施例中,得到目标人物的侧面人体图像之后,继续基于侧视图像帧中侧面人体图像与脸部图像的关联关系,将目标人物的侧面人体图像关联到目标人物脸部图像。
S718、根据目标人物脸部图像,在预存的每个人物的正面脸部图像与该玩家身份信息的对应关系中,确定出目标人物的身份信息。
本发明实施例中,预存的干预对象的图像与干预对象的身份信息的对应关系为预存的每个人的正面脸部图像与该玩家身份信息的对应关系。
可以理解的是,通过将目标人手图像关联到侧视角度下的目标人手的侧面图像,再根据侧视图像帧中人手人体和人脸的关联关系,将目标人手的侧面图像关联到目标人物的侧面人体图像,进一步根据目标玩家的侧面人体图像关联到目标人物脸部图像,最后根据目标人物脸部图像与预存的至少一个人的正面脸部图像进行匹配,实现了将鸟瞰角度下获取的与变化对象相关联的目标人手图像与正面采集的目标玩家的正面脸部图像相关联,完成了变化对象所属的目标人物身份的识别。
S719、从侧视图像帧中获取新增筹码的侧面图像。
S720、根据新增筹码的侧面图像,获取新增筹码的对象价值。
本公开实施例中,新增筹码中包含至少一个颜色和花纹不同的筹码,筹码的每种不同颜色和花纹代表不同的筹码价值,可以根据新增筹码的侧面图像,获取新增筹码的对象价值。
S721、关联目标人物与对象价值,得到目标人物投放对象价值的筹码的信息。
可以理解的是,本公开实施例中,通过侧视相机可以监测到检测区中已有的一组筹码之上被叠放新筹码的情况,避免了通过鸟瞰相机无法对搭筹码的情况进行有效监测,同时,通过鸟瞰相机下的人手到筹码的运动轨迹确定目标人手图像,避免了通过侧视相机获取的人手到新增筹码的运动轨迹存在畸变,导致新增筹码关联到目标人手图像的关联不准,进一步的,通过侧视相机获取玩家的人体侧面图像,将鸟瞰角度下的目标人手图像与侧视角度下的玩家人体侧面图像进行信息融合,建立了目标人手图像到目标人物的人脸图像的关联,使得可以通过目标人物的人脸图像关联到预存的至少一个人的正面脸部图像,实现了从鸟瞰角度的与变化对象相关联的目标人手图像关联到玩家的正面脸部图像,最终提高了识别变化对象所属人物的身份信息的准确度。
本公开实施例提供一种图像识别装置,对应于一种图像识别方法;图7为本公开实施例提供的一种图像识别装置的结构示意图一,如图7所示,该图像识别装置4包括:第一确定单元400、第一获取单元401、第二确定单元402、第二获取单元403和第三确定单元404;其中,
所述第一确定单元400,用于根据检测区的至少一组目标对象的状态的变化,确定变化对象;
所述第一获取单元401,用于获取检测区的至少一组目标对象的状态发生变化之前的第一预设时间内所采集到的侧视图像帧构成的侧视图像帧集合和至少一个待匹配图像帧,至少一个待匹配图像帧由位于检测区上方的图像采集设备采集检测区的图像而获取,侧视图像帧由位于检测区侧面的图像采集设备采集检测区的图像而获取;
所述第二确定单元402,用于从至少一个待匹配图像帧中,确定出关联图像帧;所述关联图像帧中包括与所述变化对象关联度最高的干预部位;
所述第二获取单元403,用于从侧视图像帧集合中,获取与关联图像帧对应的侧视图像帧,侧视图像帧中包含所述与所述变化对象关联度最高的干预部位以及至少一个干预对象;
所述第三确定单元404,用于基于关联图像帧与侧视图像帧,从所述至少一个干预对象中确定出与变化对象关联度最高的目标干预对象。
在一些实施例中,所述图像识别装置4还包括第三获取单元、第四获取单元和第一关联单元,其中;
所述第三获取单元,用于从所述侧视图像帧中获取所述变化对象的侧面图像;
所述第四获取单元,用于根据所述变化对象的侧面图像,获取所述变化对象的对象价值,所述对象价值为构成所述变化对象的至少一个子变化对象价值的总和,所述变化对象的侧面图像包含所述至少一个子变化对象中每一个的侧面图像,所述至少一个子变化对象中每一个的侧面图像表征不同的价值;
所述第一关联单元,用于关联所述目标干预对象与所述对象价值。
在一些实施例中,所述第二确定单元402包括识别单元、组合单元和第一确定子单元和第二确定子单元,其中,
所述识别单元,用于从所述至少一个待匹配图像帧的每个待匹配图像帧中识别出至少一个干预部位,所述至少一个干预部位为所述至少一个干预对象在一个待匹配图像帧中出现的部位;
所述组合单元,用于将所述变化对象与识别出的干预部位一一组合,得到至少一组变化对象与干预部位的组合;
所述第一确定子单元,用于从所述至少一组变化对象与干预部位的组合中确定出关联度最高的组合;其中,所述关联度最高的组合中的干预部位为目标干预部位;
所述第二确定子单元,还用于将所述关联度最高的组合中的干预部位所在的待匹配图像帧,作为所述关联图像帧。
在一些实施例中,所述第三确定单元404包括融合单元、第二关联单元和第三确定子单元,其中,
所述融合单元,用于将所述关联图像帧与所述侧视图像帧进行图像融合,得到所述目标干预部位的侧视图像,所述目标干预部位的侧视图像为所述目标干预部位在所述侧视图像帧中的图像;
所述第二关联单元,用于基于所述侧视图像帧,得到所述目标干预部位的侧视图像相关联的目标干预对象的侧视图像,所述侧视图像帧包含至少一个干预对象中每一个的侧视图像;
所述第三确定子单元,用于根据所述目标干预对象的侧视图像,在预存的干预对象的图像与干预对象的身份信息的对应关系中,确定出所述目标干预对象的身份信息。
在一些实施例中,所述第一确定子单元还包括:
第五获取单元,用于获取所述至少一组变化对象与干预部位的组合中每个组合的变化对象到干预部位的距离;
第四确定子单元,还用于从所述距离中确定出最小距离;
第五确定子单元,还用于将所述最小距离对应的变化对象与干预部位的组合,作为所述关联度最高的组合。
在一些实施例中,所述第四确定子单元用于:
对所述距离进行反比计算,得到所述距离中每个距离的计算结果;
从所述计算结果中确定出最大计算结果,将最大计算结果对应的距离确定为所述最小距离。
在一些实施例中,所述第一确定子单元还包括第六获取单元、第七获取单元、比较单元和第六确定子单元,其中,
所述第六获取单元,用于获取识别出的各个干预部位中每个干预部位的实际运动轨迹;
所述第七获取单元,用于在所述至少一组变化对象与干预部位的组合中,获取每个组合中干预部位到变化对象的模拟运动轨迹,一个组合中干预部位到变化对象的模拟运动轨迹为连接该组合中的干预部位与变化对象的轨迹;
所述比较单元,用于比较各个实际运动轨迹与各个模拟运动轨迹之间的相似度;
所述第六确定子单元,用于将与一个实际运动轨迹相似度最高的模拟运动轨迹对应的变化对象与干预部位的组合,确定为关联度最高的组合。
在一些实施例中,所述第六获取单元包括第八获取单元、第九获取单元、第十获取单元和连接单元,其中,
所述第八获取单元,用于获取所述目标对象的状态发生变化的触发时间点;
所述第九获取单元,用于获取所述触发时间点前第二预设时间内采集的至少一个运动轨迹图像帧,所述至少一个运动轨迹图像帧由所述位于所述检测区上方的图像采集设备获取;
所述第十获取单元,用于获取识别出的各个干预部位在所述至少一个运动轨迹图像帧中对应的位置信息;
所述连接单元,用于根据所述至少一个运动轨迹图像帧的时间序列,将所述位置信息向量化连接,得到识别出的各个干预部位的实际运动轨迹。
在一些实施例中,所述图像识别装置4还包括第一监测单元,其中,
所述第一监测单元,用于当通过所述位于所述检测区上方的图像采集设备,监测到所述检测区出现新的一组目标对象,或所述检测区原有的任意至少一组目标对象消失时,确定所述检测区的至少一组目标对象的状态发生变化。
在一些实施例中,所述至少一组目标对象为由至少一个子对象堆叠而成的至少一组目标对象,所述图像识别装置4还包括第二监测单元,其中,
所述第二监测单元,用于当通过所述位于所述检测区侧面的图像采集设备,监测到所述至少一组目标对象中的任意一组目标对象包含的子对象的数量或外观发生变化时,确定所述检测区的至少一组目标对象的状态发生变化。
需要说明的是,在实际应用中,上述第一确定单元400、第一获取单元401、第二确定单元402、第二获取单元403和第三确定单元404可由位于图像识别装置2上的处理器54实现,具体为中央处理器(Central Processing Unit,CPU)、微处理器(MicroprocessorUnit,MPU)、数字信号处理器(Digital Signal Processing,DSP)或现场可编程门阵列(Field Programmable Gate Array,FPGA)等实现。
本公开实施例提供一种图像识别装置,对应于一种图像识别方法;图8为本公开实施例提供的一种图像识别装置的结构示意图二,如图8所示,该图像识别装置5包括:处理器54、存储器55和通信总线56,存储器55通过通信总线56与处理器54进行通信,存储器55存储处理器54可执行的一个或者多个程序,当一个或者多个程序被执行时,通过处理器54执行如前述实施例的任意一种图像识别方法。
可以理解的是,本公开实施例中,图像识别装置可以从鸟瞰角度获得准确度更高的目标干预部位信息,并通过图像融合,将鸟瞰角度下的目标干预部位信息与到侧视角度下干预对象的完整侧面信息相结合,实现了将鸟瞰角度下的目标干预部位信息关联到侧视角度下的目标干预对象的侧面信息,再进一步与预存的干预对象的图像信息相关联,提高了识别目标干预对象的准确度。
本公开实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器54执行,程序被处理器54执行时实现如本公开实施例的图像识别方法。
本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本公开的较佳实施例而已,并非用于限定本公开的保护范围。
- 图像识别方法及装置、图像获取方法及设备、计算机设备及非易失性计算机可读存储介质
- 图像识别方法及装置、计算机装置和计算机可读存储介质