自移动设备摄像头遮挡处理方法、自移动设备及存储介质
文献发布时间:2024-04-18 20:01:23
技术领域
本发明涉及自移动设备技术领域,尤其涉及一种自移动设备摄像头遮挡处理方法、自移动设备及存储介质。
背景技术
目前,自移动设备(例如庭院机器人)被广泛地应用于生活的场景中,以自动化的方式完成各种功能,包括除雪、割草以及吹树叶等。在上述自移动设备中,会在其机身上设置摄像头,但自移动设备在复杂的处理环境中,会出现摄像头被遮挡的情况,例如被积雪、冰块、积水、水汽或者异物(如泥浆)遮挡。此时,如果不能及时检测到上述存在遮挡的情况,则摄像头的检测功能可能会受到影响,自移动设备可能会出现碰撞或导航定位偏差等问题。现有技术中,自移动设备一般通过融合定位或基于人工智能模型确定遮挡情况,上述方式均存在确定效率较低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种自移动设备摄像头遮挡处理方法、自移动设备及存储介质,以解决现有技术中确定遮挡情况效率较低等问题。
一种自移动设备摄像头遮挡处理方法,所述方法包括:
获取自移动设备的摄像头拍摄的第一图片;
根据所述第一图片确定与其对应的摄像头是否存在遮挡现象;
在确定所述摄像头存在遮挡现象后,执行遮挡处理操作。
一种自移动设备,包括摄像头以及与所述摄像头通信连接的控制模块,所述控制模块用于执行上述自移动设备摄像头遮挡处理方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述自移动设备摄像头遮挡处理方法的步骤。
本发明提供的自移动设备摄像头遮挡处理方法包括:获取自移动设备的摄像头拍摄的第一图片;根据第一图片确定与其对应的摄像头是否存在遮挡现象;在确定摄像头存在遮挡现象后,执行遮挡处理操作。在本发明中,在获取自移动设备的摄像头拍摄的第一图片后,通过第一图片(比如第一图片的第一信息熵值或目标边缘值等)确定与其对应的摄像头是否存在遮挡现象,从而提高了遮挡现象的检测精度且缩短了遮挡现象的检测时间,从而提高了对遮挡物的处理效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中自移动设备摄像头遮挡处理方法的流程示意图。
图2是本发明一实施例中自移动设备摄像头遮挡处理方法的步骤S200的流程示意图。
图3是本发明又一实施例中自移动设备摄像头遮挡处理方法的步骤S200的流程示意图。
图4是本发明一实施例中自移动设备摄像头遮挡处理方法的步骤S400的流程示意图。
图5是本发明一实施例中自移动设备摄像头遮挡处理方法的步骤S500的流程示意图。
图6是本发明又一实施例中自移动设备摄像头遮挡处理方法的步骤S500的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明一实施例提供的一种自移动设备摄像头遮挡处理方法,包括步骤S100至S300:
S100,获取自移动设备的摄像头拍摄的第一图片。可以理解地,所述自移动设备可以为扫雪机器人、除草机器人等庭院机器人。在一实施例中,所述自移动设备为扫雪机器人,所述自移动设备的不同位置上分别设置有摄像头。在本实施例中,可以分别获取每个摄像头拍摄的第一图片,从而分别对每个摄像头进行检测。用户可以根据实际情况设置获取所述自移动设备的摄像头拍摄的第一图片的条件,例如:所述第一图片可以实时获取,可以间隔预设获取时长获取,也可以在一些预设条件(例如开启行人检测或导航定位异常或开启障碍物检测或发生碰撞等时间点)触发之后获取,还可以由用户下发预设获取指令进行获取。所述第一图片可以为所述摄像头在当前时刻拍摄的图片,所述第一图片还可以为所述摄像头在当前时刻之前的某一时刻拍摄并存储的图片。
S200,根据所述第一图片确定与其对应的摄像头是否存在遮挡现象。可以理解地,所述自移动设备可以包括一个或多个摄像头,在本实施例中,根据所述第一图片可以确定拍摄所述第一图片的所述摄像头是否存在遮挡现象。也即,可以分别获取每个摄像头对应拍摄的第一图片,从而根据获取的第一图片去确定拍摄该第一图片的摄像头是否存在遮挡现象。
如图2所示,在一实施例中,所述步骤S200,所述根据所述第一图片确定与其对应的摄像头是否存在遮挡现象,包括步骤S210至S240:
S210,确定与所述第一图片对应的第一信息熵值。可以理解地,信息熵可以反映图片的信息复杂度,对于摄像头存在遮挡现象时拍摄的图片,其所包含的信息量较少,相应的信息熵就较小。所述第一信息熵值可以通过以下方式获取:首先统计所述第一图片中的每种像素值出现的数量,并根据上述数量计算该种像素值对应的像素点的出现概率,进而根据上述出现概率来确定第一信息熵值。
在一实施例中,所述第一信息熵值的计算公式如下:
其中,H为第一图片对应的第一信息熵值;k为像素值;p
在一实施例中,所述步骤S110,所述确定与所述第一图片对应的第一信息熵值,包括:
S211,将所述第一图片分割为预设数量的图像块,并确定与各所述图像块分别对应的第二信息熵值。可以理解地,所述预设数量可以根据实际情况(例如第一图片的大小)进行设置。在一实施例中,可以将所述第一图片平均分割为10*10像素大小的图像块。在另一实施例中,也可按照所述第一图片中的各景物的颜色、相似度或景深等信息,将所述第一图片分割为形状不等的预设数量的图像块。
S212,将所有所述第二信息熵值的平均值确定为所述第一图片的第一信息熵值。可以理解地,将所述第一图片分割为预设数量的图像块,并确定与各所述图像块分别对应的第二信息熵值后,将所有所述第二信息熵值的平均值确定为所述第一图片的第一信息熵值,可以得到更准确的所述第一图片的第一信息熵值结果,同时避免了所述第一信息熵值在不同时刻存在较大的波动的情况。
S220,确定所述自移动设备的当前位置对应的场景信息,并获取与所述场景信息对应的预设信息熵范围。可以理解地,所述预设信息熵范围与所述场景信息对应,可以根据所述自移动设备的当前位置对应的不同的场景信息进行动态设置。所述场景信息包括但不限于时间信息、天气信息和环境信息等其中一种或多种。例如:所述场景信息可以包括:户外(有杂物)、积雪多(但杂物被积雪覆盖)且光线暗的场景,为简单场景;户外(有杂物)、白天且晴天(无积雪遮挡杂物且光线亮)的场景,为复杂场景;晚上(光线暗)、院落(杂物多)且积雪少(积雪不会覆盖杂物)的场景,为复杂场景;晚上、院落(杂物较多)、积雪少(积雪不会覆盖杂物)且光线亮的场景,为复杂场景;摄像头面向单色墙壁(颜色单一),为简单场景。上述场景为复杂场景的情况下,所述预设信息熵范围可以设置在信息熵相对较高的范围,场景为简单场景的情况下,所述预设信息熵范围可以设置在信息熵相对较低的范围,所述预设信息熵范围可以首先通过在不同场景信息下进行试验的方式确定,之后在使用过程中根据使用过程中的反馈不断优化。所述场景信息可以通过传感器(例如感光传感器、激光传感器或视觉传感器等)和联网模块确定。其中,所述传感器可以确定当前的环境明暗以及是否存在杂物和积雪等,所述联网模块可以确定当前时间和天气等。在一实施例中,所述预设信息熵范围在第一阈值和第二阈值之间,所述第二阈值大于所述第一阈值。
S230,在所述第一信息熵值处于所述预设信息熵范围内时,确定所述第一图片对应的摄像头存在遮挡现象。可以理解地,在步骤S220中,确定了与所述场景信息对应的预设信息熵范围。在本实施例中,通过将所述第一信息熵值与所述预设信息熵范围进行比较,若所述第一信息熵值处于所述预设信息熵范围内,则可以确定所述第一图片对应的摄像头存在遮挡现象。
在一实施例中,所述步骤S220,所述确定所述自移动设备的当前位置对应的场景信息,并获取与所述场景信息对应的预设信息熵范围之后,还包括:
S240,在所述第一信息熵值大于第三阈值时,确定所述第一图片对应的摄像头不存在遮挡现象;其中,所述第三阈值大于所述第二阈值。可以理解地,所述第三阈值也可以根据所述自移动设备的当前位置对应的不同的场景信息进行动态设置。若所述第一信息熵值大于第三阈值,则可以确定所述第一图片对应的摄像头不存在遮挡现象。若所述第一信息熵值在所述第二阈值和所述第三阈值之间,则与所述第一图片对应的摄像头可能存在遮挡,但遮挡可能并不明显,无需对上述遮挡进行处理,从而可以在保证自移动设备的摄像头正常识别工作的前提下节约电量的消耗程度。
如图3所示,在一实施例中,所述步骤S200,所述根据所述第一图片确定与其对应的摄像头是否存在遮挡现象,包括步骤S250至S260:
S250,基于Sobel算子或Canny算子进行边缘检测,得到所述第一图片的目标边缘值。其中,目标边缘值是指第一图片的图片边缘所对应的边缘信息(图片边缘是白色的,非图片边缘是黑色的);因此,若第一图片中存被遮挡区域,那么,被遮挡区域越大,第一图片的边框被遮挡的程度越高(图片边缘对应的白色越少),第一图片所对应包含的目标边缘信息越少,当第一图片被完全遮挡时,其目标边缘信息为0(第一图片的图片边缘对应位置全被遮挡而由白色变成黑色)。
在一实施例中,基于Sobel算子对第一图片进行边缘检测时,可以通过统计所述第一图片中图片边缘对应的像素值为1的像素点(图片边缘对应的像素值为1的像素点即为白色像素点;黑色像素点则像素值为0)的数量,从而得到所述第一图片的目标边缘值。
在一实施例中,基于Canny算子进行边缘检测,可以先将所述第一图像转换为灰度图,再将灰度图所有的像素点的值(此时,图片边缘对应的像素值为255的像素点即为白色像素点;黑色像素点则像素值为0)相加再除以像素点的总数,从而得到所述第一图片的目标边缘值;还可以统计灰度图中像素值为255的像素点的数量,并除以像素点总数得到像素值为255的像素点的占比作为所述第一图片的目标边缘值。在基于Canny算子进行边缘检测时,还可以通过调整Canny算子检测时的阈值来适应环境光线的变化。
S260,在所述目标边缘值处于预设边缘值范围内时,确定所述第一图片对应的摄像头存在遮挡现象。可以理解地,所述预设边缘值范围可以首先在不同场景信息下通过实验的方式确定,之后在使用过程中根据使用过程中的反馈不断优化。通过将所述目标边缘值与所述预设边缘值范围进行比较,若所述目标边缘值处于预设边缘值范围内,则可以确定所述第一图片对应的摄像头存在遮挡现象。
在一实施例中,所述步骤S250,所述基于Sobel算子或Canny算子进行边缘检测,得到所述第一图片的目标边缘值之后,还包括:
S270,在所述目标边缘值超出所述预设边缘值范围时,确定所述第一图片对应的摄像头不存在遮挡现象。其中,本发明中的不存在遮挡现象,代表摄像头完全未被遮挡因此无需处理,或摄像头可能存在一定遮挡,但遮挡可能并不明显,无需对上述遮挡进行处理,从而可以在保证自移动设备的摄像头正常识别工作的前提下节约电量的消耗程度。本发明中的存在遮挡现象,代表摄像头存在较大程度的遮挡或者完全被遮挡,因此需要对遮挡物进行处理,否则会影响自移动设备的继续运行。
在一实施例中,在环境光线较强时(例如汽车大灯或强光手电直射摄像头等),还可以通过直方图均衡化的方法对所述第一图片进行优化,从而避免在根据所述第一图片确定与其对应的摄像头是否存在遮挡现象时受到强光的影响。
S300,在确定所述摄像头存在遮挡现象后,执行遮挡处理操作。可以理解地,在确定所述摄像头存在遮挡现象后,即可执行遮挡处理操作。其中,遮挡操作处理可以包括对遮挡物进行加热、抖动以自动清除遮挡物,也可以对预设处理方进行提示或报警等以提示预设处理方对遮挡物进行处理,在此并不做限定。
在一实施例中,所述步骤S300中,所述执行遮挡处理操作,包括步骤S400和S500:
S400,确定与所述遮挡现象对应的遮挡类型。其中,遮挡类型可以用于表征遮挡物是否可以清除,或/和处理遮挡现象的方式。
如图4所示,在一实施例中,所述步骤S400中,所述确定与所述遮挡现象对应的遮挡类型,包括步骤S401和S402:
S401,通过预设图像识别模型识别所述第一图片中的遮挡物的第一特征信息。可以理解地,所述预设图像识别模型可以根据实际情况进行设置,比如,可以通过神经网络模型根据不同图像样本进行训练,每一个图像样本均包括至少一个特征信息以及与该特征信息对应的特征标识,在神经网络模型顺次对每一个图像样本进行识别得到对应的特征识别结果之后,若该特征识别结果和与其对应的图像样本的特征标识不匹配,则调整神经网络模型的模型参数以迭代训练该神经网络模型,直至最后通过迭代训练后的神经网络模型对图像样本识别得到的特征识别结果,与和该特征识别对应的该图像样本的特征标识匹配,说明神经网络模型已经训练完毕,且训练好的该神经网络模型即为上述预设图像识别模型。也即,所述预设图像识别模型可以精准识别所述第一图片中的遮挡物对应的第一特征信息。在一实施例中,所述第一特征信息包括但不限定于为遮挡物边缘信息、遮挡物模糊灰度信息,以及遮挡物不规则分布信息等。
S402,根据所述第一特征信息确定遮挡物种类,并根据所述遮挡物种类确定遮挡类型;所述遮挡类型包括加热清除类型、抖动清除类型和无法清除类型。可以理解地,确定遮挡类型,可以方便根据遮挡类型对所述遮挡物进行清除。所述遮挡物种类包括但不限于水汽、水滴、积雪或冰块等其中的一种或多种。在一实施例中,所述根据所述第一特征信息确定遮挡物种类,并根据所述遮挡物种类确定遮挡类型,包括:
在根据所述遮挡物边缘信息确定所述遮挡物种类为冰雪(积雪或冰块)时,确定所述遮挡类型为加热清除类型和/或抖动清除类型。其中,加热清除类型可以通过加热的方式对遮挡物进行清除;抖动清除类型可以通过抖动的方式对遮挡物进行清除。也即,在本实施例中,认为冰雪这一类遮挡物可以通过加热和/或抖动的方式进行清除。在该实施例中,冰雪对应的遮挡物边缘信息即视为第一特征信息,因此,可以首先获取第一图片中遮挡物对应的遮挡物边缘信息(遮挡物边缘信息可以通过图像识别技术进行识别得到的边缘形状),进而,根据上述遮挡物边缘信息对应的边缘形状,即可识别其是否为冰雪,其具体的识别方式可以是通过实际冰雪的边缘形状确定若干标准边缘形状图像,进而,将识别得到的遮挡物边缘信息与标准边缘形状图像进行匹配,若匹配成功,则视为遮挡物种类为冰雪;若匹配失败,则视为遮挡物种类不是冰雪。
在根据所述遮挡物模糊灰度信息确定所述遮挡物种类为镜面水汽时,确定所述遮挡类型为加热清除类型。也即,在本实施例中,认为镜面水汽这一类遮挡物可以通过加热的方式进行清除。镜面水汽使得摄像头模糊,因此,可以首先确定遮挡物模糊灰度信息,该遮挡物模糊灰度信息可以首先对第一图片进行灰度处理之后,获取第一图片的灰度值的平均值之后,将该平均值与预设值进行对比,进而得到遮挡物模糊灰度信息(也即第一特征信息),也即,该平均值大于该预设值即认为其为镜面水汽,该平均值小于该预设值即认为其不是镜面水汽。
在根据所述遮挡物不规则分布信息确定所述遮挡物种类为水滴时,确定所述遮挡类型为加热清除类型和/或抖动清除类型。也即,在本实施例中,认为水滴这一类遮挡物可以通过加热和/或抖动的方式进行清除。在该实施例中,水滴对应的遮挡物不规则分布信息即视为第一特征信息,因此,可以首先获取第一图片中遮挡物对应的遮挡物不规则分布信息(遮挡物边缘信息可以通过图像识别技术提取该第一图片中的遮挡物对应的图像区域),进而,根据上述提取的遮挡物边缘信息,即可识别其是否为水滴,其具体的识别方式可以是通过实际水滴的不规则分布的状态确定若干标准不规则分布图像,进而,将识别得到的遮挡物不规则分布信息与标准不规则分布图像进行匹配,若匹配成功,则视为遮挡物种类为水滴;若匹配失败,则视为遮挡物种类不是水滴。另外,本发明提到的抖动可以指自移动设备行走或者旋转等一系列动作或者组合动作。
S500,根据所述遮挡类型对所述摄像头执行遮挡处理操作。可以理解地,在确定所述摄像头存在遮挡现象后,通过确定与所述遮挡现象对应的遮挡类型,并根据遮挡类型对摄像头执行遮挡处理操作,在保证自移动设备中摄像头正常识别工作的前提下,还可以根据遮挡类型对遮挡物执行精准的遮挡处理操作,减少电量的消耗,从而提高了对遮挡物的处理效率。
如图5所示,在一实施例中,所述步骤S500,所述根据所述遮挡类型对所述摄像头执行遮挡处理操作,包括步骤S501至S504:
S501,在确定所述遮挡类型为加热清除类型时,控制安装在所述摄像头上的加热模块对所述遮挡物进行加热。可以理解地,所述摄像头上安装有加热模块,加热模块可以用于对所述摄像头的镜片进行加热,从而清除所述摄像头的镜片上的遮挡物。所述加热模块可以为热风装置,通过向所述摄像头吹送热风的方式对所述摄像头进行加热;所述加热模块也可以为发热装置,通过安装在所述摄像头的镜头上或镜头附近且直接向所述摄像头传递热量的方式对所述摄像头进行加热。
S502,在持续加热第一预设时长之后,获取所述摄像头拍摄的第二图片。可以理解地,所述第二图片为所述摄像头在持续加热第一预设时长之后拍摄的图片。所述第一预设时长可以根据实际情况进行设置,例如可以按照所述遮挡物种类进行设置,在所述遮挡物种类为冰雪时所设置的所述第一预设时长,可以大于在所述遮挡物种类为水汽时设置的所述第一预设时长。
S503,根据所述第二图片确定所述遮挡物是否已被清除。
在一实施例中,可以按照所述步骤S200中的方法,根据所述第二图片确定与其对应的摄像头是否存在遮挡现象;若确定不存在遮挡现象,则可以确定所述遮挡物已被清除。
在一实施例中,还可以通过所述预设图像识别模型识别所述第二图片中的遮挡物的第二特征信息。其中,所述第二特征信息包括遮挡物边缘信息、遮挡物模糊灰度信息,以及遮挡物不规则分布信息等;进而根据上述所述第二特征信息确定所述遮挡物是否已被清除,例如:在所述第二特征信息表征摄像头上当前已经不存在遮挡物时,可以确定所述遮挡物已被清除。可理解地,在通过所述第二特征信息确定所述遮挡物已经减少到预设特征阈值时,也同样可以认为所述遮挡物不会再影响自移动设备的摄像头正常识别工作,此时也可以确定所述遮挡物已被清除。
S504,若确认所述遮挡物已被清除,则控制所述加热模块停止加热,并提示遮挡物清除完成信息。
本发明的上述实施例中,首先在获取自移动设备的摄像头拍摄的第一图片后,通过第一图片(比如第一图片的第一信息熵值或目标边缘值等)确定与其对应的摄像头是否存在遮挡现象,从而提高了遮挡现象的检测精度且缩短了遮挡现象的检测时间,从而提高了对遮挡物的处理效率。
在一实施例中,所述步骤S500,所述根据所述遮挡类型对所述摄像头执行遮挡处理操作,还包括:
S505,在确定所述遮挡类型为无法清除类型时,向预设处理方提示遮挡物不可清除信息。也即,在遮挡类型为不可清除类型时,可以向预设处理方发送遮挡物不可清除信息或直接报警,以供预设处理方根据上述提示对遮挡物进行人工处理等。
如图6所示,在一实施例中,所述步骤S503,所述根据所述第二图片确定所述遮挡物是否已被清除之后,还包括步骤S506至S512:
S506,若确认所述遮挡物并未被清除,则通过所述预设图像识别模型识别所述第二图片中的遮挡物的第二特征信息。在本实施例中,控制安装在所述摄像头上的加热模块对所述遮挡物持续加热第一预设时长,用于确定所述遮挡物是否减少。
S507,根据所述第二特征信息和所述第一特征信息确定所述遮挡物是否已减少。可以理解地,将所述第二特征信息的尺寸和所述第一特征信息的尺寸对比后,若所述第二特征信息的尺寸小于所述第一特征信息的尺寸(或第二特征信息的尺寸小于所述第一特征信息的尺寸达到一定尺寸差值),即可确定所述遮挡物已减少。
S508,在确定所述遮挡物已减少后,控制所述加热模块继续对所述遮挡物进行加热。可以理解地,所述遮挡物可能为无法通过或较难通过加热清除的物体。通过步骤S470中的方法确定所述遮挡物是否已减少,在确定所述遮挡物已减少后,再控制所述加热模块继续对所述遮挡物进行加热,可以避免所述加热模块长时间对所述摄像头无效加热而造成电量的浪费。
S509,在持续加热第二预设时长之后,获取所述摄像头拍摄的第三图片。可以理解地,所述第三图片为所述摄像头在持续加热第二预设时长之后拍摄的图片。所述第二预设时长可以根据实际情况进行设置,例如可以按照所述遮挡物种类进行设置。在本实施例中,所述第一预设时长用于对所述遮挡物进行预加热,从而进一步判断所述遮挡物是否为加热清除类型,仅需要对所述遮挡物短时间内加热即可。而所述第二预设时长用于将所述遮挡物清除。因此,在一实施例中,所述第一预设时长小于所述第二预设时长。
S510,根据所述第三图片确定所述遮挡物是否已被清除。
在一实施例中,可以按照所述步骤S200中的方法,根据所述第三图片确定与其对应的摄像头是否存在遮挡现象;若确定不存在遮挡现象,则可以确定所述遮挡物已被清除。
在一实施例中,还可以通过所述预设图像识别模型识别所述第三图片中的遮挡物的第三特征信息。其中,所述第三特征信息包括遮挡物边缘信息、遮挡物模糊灰度信息,以及遮挡物不规则分布信息等;根据所述第三特征信息确定所述遮挡物是否已被清除,例如:在所述第三特征信息表征摄像头上当前已经不存在遮挡物时,可以确定所述遮挡物已被清除;可理解地,在通过所述第三特征信息确定所述遮挡物已经减少到预设特征阈值时,也同样可以认为所述遮挡物不会再影响自移动设备的摄像头正常识别工作,此时也可以确定所述遮挡物已被清除。
S511,若确认所述遮挡物已被清除,则控制所述加热模块停止加热,并提示遮挡物清除完成信息。进而,可以控制自移动设备及其摄像头进行正常工作。
S512,若确认所述遮挡物并未被清除,则在确定所述遮挡物已再次减少后,控制所述加热模块继续对所述遮挡物进行加热,直至确认所述遮挡物已被清除,控制所述加热模块停止加热,并提示遮挡物清除完成信息。在本实施例中,控制所述加热模块继续对所述遮挡物进行加热之后,可以通过步骤S509至步骤S510中的方法确认所述遮挡物是否已被清除。若预设轮数的加热清除之后,所述遮挡物还没有完全被清除,则可以向预设处理方提示遮挡物清除异常信息,说明所述遮挡物可能为混同遮挡物,也即所述遮挡物可能同时包含包括加热清除类型的遮挡物和无法清除类型的遮挡物,向预设处理方提示遮挡物清除异常信息可以是直接向预设处理方发送遮挡物清除异常信息或直接发出报警,以提示预设处理方进行人工处理。
在一实施例中,所述加热模块可以包括多个子模块,多个子模块分布在所述摄像头的不同区域;所述摄像头可以通过所述遮挡物的第一特征信息确定遮挡物所在的区域;在控制所述加热模块对所述遮挡物进行加热时,可以通过控制与遮挡物所在区域的模块具有针对性地对遮挡物进行加热,从而提高加热的精准性,同时提高加热模块的加热效率。
在一实施例中,所述步骤S509,所述在持续加热第二预设时长之前,包括步骤S513和S514:
S513,获取所述第一特征信息与第二特征信息之间的差异信息。可以理解地,所述差异信息可以为所述第二特征信息的尺寸相对于所述第一特征信息的尺寸缩小的比例或缩小的数值。
S514,根据所述第一预设时长以及所述差异信息,确定所述第二预设时长。可以理解地,所述差异信息反映了控制安装在所述摄像头上的加热模块对所述遮挡物进行加热所述第一预设时长后,对所述遮挡物的清除程度(也即缩小的比例或缩小的数值),根据上述清除程度,可以确定所述第二预设时长,以通过所述第二预设时长的加热,清除所述遮挡物,从而以避免过长时间加热造成电量的浪费,或过短时间的加热而无法完全清除所述遮挡物,提升了清除效率。
在一实施例中,所述步骤S500,所述根据所述遮挡类型对所述摄像头执行遮挡处理操作,还包括步骤S515至S523:
S515,在确定所述遮挡类型为抖动清除类型时,控制所述自移动设备按照初始抖动模式往复运动。可以理解地,在确定所述遮挡类型为抖动清除类型(例如水滴或者积雪)时,通过控制所述自移动设备按照初始抖动模式往复运动,也可以清除所述遮挡物。其中,初始抖动模式对应的往复运动速度和往复频率相对于后文中的高速抖动模式来说较低。在一实施例中,在所述遮挡物的遮挡类型同时包括抖动清除类型和加热清除类型时,可以同时控制所述自移动设备按照初始抖动模式往复运动且控制安装在所述摄像头上的加热模块对所述遮挡物进行加热,从而可以加快清除所述遮挡物的时间。
S516,在持续往复运动第三预设时长之后,获取所述摄像头拍摄的第四图片。可以理解地,所述第四图片为所述摄像头在持续往复运动第三预设时长之后拍摄的图片。所述第三预设时长可以根据实际情况进行设置。
S517,根据所述第四图片确定所述遮挡物是否已被清除。
在一实施例中,可以按照所述步骤S200中的方法,根据所述第四图片确定与其对应的摄像头是否存在遮挡现象;若确定不存在遮挡现象,则可以确定所述遮挡物已被清除。
在一实施例中,还可以通过所述预设图像识别模型识别所述第四图片中的遮挡物的第四特征信息。其中,所述第四特征信息包括遮挡物边缘信息、遮挡物模糊灰度信息,以及遮挡物不规则分布信息等;根据所述第四特征信息确定所述遮挡物是否已被清除,例如:在所述第四特征信息表征摄像头上当前已经不存在遮挡物时,可以确定所述遮挡物已被清除。可理解地,在通过所述第四特征信息确定所述遮挡物已经减少到预设特征阈值时,也同样可以认为所述遮挡物不会再影响自移动设备的摄像头正常识别工作,则可以确定所述遮挡物已被清除。
S518,若确认所述遮挡物已被清除,则控制所述自移动设备停止运动,并提示遮挡物清除完成信息。进而,可以控制自移动设备及其摄像头进行正常工作。
S519,若确认所述遮挡物并未被清除,则控制所述自移动设备按照高速抖动模式往复运动。其中所述高速抖动模式的往复运动速度和往复频率均大于所述初始抖动模式。可以理解地,若通过所述初始抖动模式无法完全清除所述遮挡物,则可以控制所述自移动设备按照往复运动速度更高的高速抖动模式往复运动,对所述遮挡物进行清除。
S520,在持续往复运动第四预设时长之后,获取所述摄像头拍摄的第五图片。可以理解地,所述第五图片为所述摄像头在持续往复运动第四预设时长之后拍摄的图片。所述第四预设时长可以根据实际情况进行设置。在一实施例中,若确认所述遮挡物并未被清除,可以通过所述第四图片与所述第一图片进行对比,确定通过持续往复运动第四预设时长,对所述遮挡物的清除程度,从而确定所述第四预设时长,进而避免过长时间往复运动造成电量的浪费,或过短时间的往复运动而无法完全清除所述遮挡物。
S521,根据所述第五图片确定所述遮挡物是否已被清除。
在一实施例中,可以按照所述步骤S200中的方法,根据所述第五图片确定与其对应的摄像头是否存在遮挡现象;若确定不存在遮挡现象,则可以确定所述遮挡物已被清除。
在一实施例中,还可以通过所述预设图像识别模型识别所述第五图片中的遮挡物的第五特征信息。其中,所述第五特征信息包括遮挡物边缘信息、遮挡物模糊灰度信息,以及遮挡物不规则分布信息等;根据所述第五特征信息确定所述遮挡物是否已被清除,例如:在所述第五特征信息表征摄像头上当前已经不存在遮挡物时,可以确定所述遮挡物已被清除;可理解地,在通过所述第五特征信息确定所述遮挡物已经减少到预设特征阈值时,也同样可以认为所述遮挡物不会再影响自移动设备的摄像头正常识别工作,则可以确定所述遮挡物已被清除。
S522,若确认所述遮挡物已被清除,则控制所述自移动设备停止运动,并提示遮挡物清除完成信息。进而,可以控制自移动设备及其摄像头进行正常工作。
S523,若确认所述遮挡物并未被清除,则提示遮挡物清除异常信息。可以理解地,若确认所述遮挡物并未被清除,则可以向预设处理方提示遮挡物清除异常信息,说明所述遮挡物可能包含部分无法通过加热清除的物体,向预设处理方提示遮挡物清除异常信息可以是直接向预设处理方发送遮挡物清除异常信息或直接发出报警,以提示预设处理方进行人工处理。
可理解地,在本实施例中,仅通过两次不同抖动模式的运动以清除具有抖动清除类型的遮挡物,若两次之后还不能完全清除就提示遮挡物清除异常信息,如此可以避免电能过多消耗;在本发明中,也可以设定通过更多抖动次数(抖动次数根据需求设定,抖动清除方式可以参照上述实施例进行)的抖动清除以实现进一步自动清除遮挡物,在此并不加以限定。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,本发明还提供一种自移动设备,包括摄像头以及与所述摄像头通信连接的控制模块,所述控制模块用于执行上述自移动设备摄像头遮挡处理方法的步骤。所述自移动设备可以为扫雪机器人、除草机器人等庭院机器人。在一实施例中,自移动设备的车头可设置一个前置摄像头,自移动设备的车身的两侧可分别设置一个边侧摄像头,其中,每个摄像头中至少设置一个加热模块。
该控制模块的执行功能与上述实施例中自移动设备摄像头遮挡处理方法一一对应。关于控制模块的具体限定可以参见上文中对于自移动设备摄像头遮挡处理方法的限定,在此不再赘述。上述控制模块中的各个子模块可全部或部分通过软件、硬件及其组合来实现。上述各子模块可以硬件形式内嵌于或独立于控制模块中的处理器中,也可以以软件形式存储于控制模块中的存储器中,以便于处理器调用执行以上各个子模块对应的操作。
在一实施例中,本发明还提供一个或多个存储有计算机可读指令的可读存储介质,本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质;该可读存储介质上存储有计算机可读指令,该计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器实现上述实施例中所述自移动设备摄像头遮挡处理方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中,该计算机可读指令在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述系统的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
- 一种注塑件加工用定位夹具
- 一种汽车制动防尘罩模芯加工用定位夹具
- 一种玻璃产品加工用移动式载物定位机构
- 一种汽车零部件加工用夹具定位机构
- 一种汽车零部件加工用定位夹具