掌桥专利:专业的专利平台
掌桥专利
首页

数据采集方法、装置和系统

文献发布时间:2024-04-18 19:58:53


数据采集方法、装置和系统

本申请实施例涉及车辆安全技术领域,并且更具体地,涉及一种数据采集方法、装置和系统。

根据安防需要,监控系统在金融、军事、交通、家居等各个领域都有重要的应用,在公共场所或私人场所,都可以通过安装相应的监控设备来对某些区域进行监控。例如,用户可以在家中安装监控设备,以对窗口、门口等区域进行监控,或者在车辆上安装监控设备,以对车辆停泊后可能发生的碰撞、刮划等事件进行监控。然而,现有的对车辆停泊后的监控技术存在效果不佳的问题。

发明内容

本申请实施例提供一种数据采集方法、装置和系统,以提升车辆周围环境信息采集的效果。

第一方面,提供了一种数据采集系统,设置于车辆上,该系统包括:图像采集装置,包括摄像头和驱动部件,驱动部件用于驱动摄像头的拍摄角度的调整,使得在摄像头所采集到的图像中,车辆的车身侧面下边线与竖直方向的夹角小于第一角度;控制系统,与图像采集装置电连接,用于向所图像采集装置发送第一控制信令,第一控制信令用于控制摄像头的拍摄角度。

本申请实施例中,在车辆上安装图像采集装置(又可以称为相机/摄像头组件)和控制系统,其中图像采集装置可以在控制系统的控制下改变其空间位置或者拍摄角度(例如水平方向和/或垂直方向的位置),从而减少监控盲区,提升对环境进行检测的效果,在相同检测范围内,对摄像头的需求数量降低,减少成本。

在某些实现方式中,控制系统还用于:接收第一指令,第一指令应车辆的第一模式开启而生成;根据第一指令,向图像采集装置发送第一控制信令,第一控制指令用于控制摄像头的拍摄角度为第一角度,使得在摄像头所采集到的图像中,车辆的车身侧面下边线与竖直方向的夹角小于第一角度。

现有技术中使用普通摄像头对车辆周围环境进行监控,监控盲区大,在监控有人划车等场景中,经常拍不到肇事者的面部,而本申请实施例中,在车辆上设置图像采集装置和控制系统,该图像采集装置可以在控制系统的控制下改变其摄像头的空间位置,或者,改变其摄像头的拍摄角度,如此可以减少监控盲区,且图像采集装置在控制系统的控制下改变拍摄角度,可以进一步灵活的调整拍摄角度,增加监控灵活性,减少关键信息的遗漏。由于划车等场景中外界对车辆的伤害大多是对车身侧面的伤害,因此对于车身的监控尤为重要,采用以上方法,可以使得整个车身侧面处于摄像头拍摄范围中,对于线性摄像头可 以扩大其有效的拍摄范围,而对于鱼眼环视摄像头可以减少由于拍摄范围边缘畸变而无法有效拍摄的问题。

在某些实现方式中,控制系统还用于:向图像采集装置发送第二控制信令,第二控制指令用于控制摄像头的拍摄频率为第一频率,第一控制信令和第二控制信令为相同或不同的信令。

在某些实现方式中,控制系统还用于:从传感器获取传感数据,传感器为设置于车辆上除图像采集装置之外的传感器或为图像采集装置;根据传感数据确定车辆周围第一范围内具有对象进入。

在某些实现方式中,控制系统还用于:向图像采集装置发送第三控制信令,第三控制指令用于控制摄像头的拍摄频率为第二频率,第二频率大于第一频率。

控制系统可以在车辆周围第一范围内有对象(例如行人或其它车辆)进入时,控制摄像头对对象进行追踪检测,直到该对象离开第一范围;和/或,控制摄像头的拍摄频率增加,以减少关键信息遗漏,例如控制拍摄频率为第二频率,第二频率大于第一频率。

在某些实现方式中,控制系统还用于:控制摄像头的拍摄角度随对象调整。

在车辆的第一范围内存在对象时,根据对象的位置调整图像采集装置的摄像头的拍摄角度,以便图像采集装置对对象进行跟踪检测,即控制摄像头的拍摄角度随对象调整。

在某些实现方式中,控制系统还用于:从图像采集装置接收图像数据;当图像数据中对象与车辆的距离小于第一距离时,触发图像数据的保存和/或发送,或触发图像数据中的关键信息的保存和/或发送。

控制系统检测到车周有划车等危险情况发生的可能性时,控制系统保存一段时长内的图像数据,该时长例如为检测到有危险情况发生的可能性的时刻前后的一段时长(例如5分钟)的图像数据到存储器中,例如控制系统中的存储器,或者车机硬盘或U盘内。和/或通过通信模块将图像数据上传至远端服务器(例如,云端)或用户的其它终端设备(例如手机或电脑)。

在某些实现方式中,该控制系统还用于:根据环境因素,确定对象为非干扰对象。

为了降低对以上对危险情况发生的可能性的误判,可以根据环境因素排除干扰对象,即确定以上对象为非干扰对象,并对非干扰对象执行跟踪拍摄。

第二方面,提供一种控制系统,该控制系统设置于车辆上,该控制系统用于:向图像采集装置发送第一控制信息,第一控制信息用于控制图像采集装置的拍摄频率为第一频率;从传感器获取传感数据,且该传感数据显示车辆周围第一范围内具有对象进入,其中,传感器为设置于车辆上除图像采集装置之外的传感器或为图像采集装置;向图像采集装置发送第二控制信息,第二控制信息用于控制图像采集装置的拍摄频率为第二频率,第二频率大于第一频率。

在某些实现方式中,第一控制信息还用于控制图像采集装置的拍摄角度,使得在图像采集装置所采集到的图像中,车辆的车身侧面下边线与竖直方向的夹角小于第一角度。

在某些实现方式中,控制系统还用于控制图像采集装置的拍摄角度随对象调整。

第三方面,提供一种数据采集方法,用于车辆的周围的数据采集,由设置于车辆上的控制系统执行,该方法包括:向图像采集装置发送第一控制信令,第一控制信令用于控制图像采集装置的拍摄角度,使得在图像采集装置所采集到的图像中,车辆的车身侧面下边 线与竖直方向的夹角小于第一角度;从图像采集装置获取图像数据。

在某些实现方式中,该方法还包括:接收第一指令,第一指令应车辆的第一模式开启而生成;根据第一指令,向图像采集装置发送第一控制信令,第一控制指令用于控制图像采集装置的拍摄角度为第一角度,使得在图像采集装置所采集到的图像中,车辆的车身侧面下边线与竖直方向的夹角小于第一角度。

在某些实现方式中,该方法还包括:向图像采集装置发送第二控制信令,第二控制指令用于控制图像采集装置的拍摄频率为第一频率,第一控制信令和第二控制信令为相同或不同的信令。

在某些实现方式中,该方法还包括:从传感器获取传感数据,传感器为设置于车辆上除图像采集装置之外的传感器或为图像采集装置;根据传感数据确定车辆周围第一范围内具有对象进入。

在某些实现方式中,该方法还包括:向图像采集装置发送第三控制信令,第三控制指令用于控制图像采集装置的拍摄频率为第二频率,第二频率大于第一频率。

在某些实现方式中,该方法还包括:控制图像采集装置的拍摄角度随对象调整。

在某些实现方式中,该方法还包括:从图像采集装置接收图像数据;当图像数据中对象与车辆的距离小于第一距离时,触发图像数据的保存和/或发送,或触发图像数据中的关键信息的保存和/或发送。

在某些实现方式中,该方法还包括:根据环境因素,确定所述对象为非干扰对象。

第四方面,提供一种数据采集方法,用于车辆的周围的数据采集,由设置于车辆上的控制系统执行,包括:向图像采集装置发送第一控制信息,第一控制信息用于控制图像采集装置的拍摄频率为第一频率;从传感器获取传感数据,且该传感数据显示车辆周围第一范围内具有对象进入,其中,传感器为设置于车辆上除图像采集装置之外的传感器或为图像采集装置;向图像采集装置发送第二控制信息,第二控制信息用于控制图像采集装置的拍摄频率为第二频率,第二频率大于第一频率。

控制系统控制摄像头以较低的频率感测车辆周围环境,实现低频率低功耗上电状态,当有对象接近车辆时,控制摄像头以更高的频率感测车辆周围环境,如此减少关键信息遗漏的可能性,如此可以平衡功耗和监控关键信息的需求,提升监控效果。

在某些实现方式中,第一控制信息还用于控制图像采集装置的拍摄角度,使得在图像采集装置所采集到的图像中,车辆的车身侧面下边线与竖直方向的夹角小于第一角度。

在某些实现方式中,控制系统还用于控制图像采集装置的拍摄角度随对象调整。

第五方面,提供了一种数据采集方法,该方法由设置于车辆上的控制系统执行,包括:调整图像采集装置的角度,使得在图像采集装置所采集到的图像信息中,车辆的车身侧面下边线与竖直方向的夹角小于第一角度,图像采集装置设置在车辆上;在车辆的第一范围内存在对象时,根据对象的位置调整图像采集装置的角度,以便图像采集装置对对象进行跟踪检测。

使用本申请实施例的数据采集方法对车辆周围环境进行监控,可以复用现有的线性相机和和非线性相机(例如鱼眼相机)等,无需进行新型相机的开发,降低成本,其中,将车辆的车身侧面下边线在图像采集装置中所采集到的图像信息中的位置限定为与竖直方向的夹角小于第一角度,可以有效拍摄到对象的全貌,减小盲区,避免畸变等问题,拍摄 质量高。其中,图像信息既可以是图像,也可以是采集到的数据。在本申请实施例中,判定车辆的第一范围内存在对象,既可以根据图像采集装置采集到的图像信息来判定,也可以根据车辆的其他传感器(例如雷达传感器等)来判定。

在某些实现方式中,在车辆的第一范围内存在对象时,包括在有对象进入所述车辆的第一范围内时。

本申请实施例中,在车辆的第一范围内存在对象,既包括该对象一直存在于车辆的第一范围内,例如当用户停车时,该对象即存在于车辆的第一范围内,用户开启智能停车监控并锁车后,则对该对象进行检测;也包括对象原来不在车辆的第一范围内,后来逐渐靠近车辆并进入车辆的第一范围内的情况。

在某些实现方式中,根据对象的位置调整图像采集装置的角度,包括:调整图像采集装置的角度使对象位于图像采集装置拍摄的图像的中间位置。

调整图像采集装置的角度使得该对象位于图像采集装置拍摄画面的中间位置,如此可以尽量完整的拍摄到该对象的全貌,同时当图像采集装置为鱼眼相机时,避免对象处于画面边缘而产生畸变。应理解,这里的中间位置,可以是在拍摄的图像的中心一定范围内,而不一定要严格的中间位置,例如可以偏左、偏右、偏上、偏下等,例如以拍摄的图像的中心为圆心,以预设数值为半径的圆内均属于图像的中间位置;或者在拍摄条件有限的情况下,在能拍摄到的范围内尽量靠近圆心的位置也可以属于图像的中间位置。

在某些实现方式中,图像采集装置为可旋转相机,或承载图像采集装置的车辆部件可旋转。

本申请实施例中的可旋转相机既可以是相机本身可旋转,也可以是承载相机的车辆部件可旋转,承载相机的车辆部件可以是如图1中所示的后座120,也可以车辆本身的部件,例如将摄像头安装在车辆的左右后视镜上,左右后视镜可以自行旋转,从而可以带动安装在左右后视镜上的摄像头旋转。

在某些实现方式中,图像采集装置为普通线性相机或非线性相机,其中非线性相机包括鱼眼相机或电子后视镜相机等。

本申请实施例的车辆保护方法可以复用现有的相机,无需进行新型相机的开发,降低成本,其中鱼眼相机相对于普通线性相机,其视场角更大,盲区更小,如果使用鱼眼相机将取得更好的效果。

在某些实现方式中,根据对象的位置调整图像采集装置的角度,以便图像采集装置对对象进行检测,包括:调整图像采集装置的角度以跟随对象进行录像。

如此,当有人过于靠近车辆时,则调整图像采集装置角度将这个人置于拍摄画面的中间位置,并且根据这个人的运动位置实时调整图像采集装置,以对这个人进行跟踪拍摄,则可以记录下这个人对于车辆的行为。

在某些实现方式中,录像获取的视频中包括对象的视频片段,对象的视频片段作为有效视频保存。

在某些实现方式中,方法还包括:筛选出有效视频中包括对象的多帧清晰图像;对多帧清晰图像进行处理,以得到多帧处理后的图像;将多帧处理后的图像发送给用户。

在根据图像采集装置对环境中的对象进行跟踪录像后,本申请实施例的方法还包括,对录像获取的视频进行筛选,选取其中的有效视频进行保存,其中有效视频为清晰拍摄到 该对象的视频片段。进一步的,还可以对获取的有效视频进行筛选,筛选出包括该对象的多帧清晰图像,然后对该多帧清晰图像进行超分辨率处理,以得到多帧处理后的图像,最后将该多帧处理后的图像发送给用户,例如,可以发送到用户关联的手机或邮箱或应用账户等。如此可以及时通知用户车辆情况,并方便用户查看和保存。之后删除获取的视频,如此可以减少内存占用。

在某些实现方式中,对多帧清晰图像的处理包括图像超分辨率处理,以进一步提高多帧清晰图像的清晰度。

在某些实现方式中,根据对象的位置调整图像采集装置的角度之前,方法还包括:根据停车位置和干扰对象确定对象为非干扰对象,干扰对象包括树荫、树枝、影子和光斑中的一个或多个。

在某些实现方式中,确定对象为非干扰对象的方法包括图像分割算法和运动目标检测算法。

本申请实施例的车辆保护方法对环境中的对象进行检测,排除干扰对象,减少误报。

在某些实现方式中,当车辆的第一范围内存在对象时,该方法还包括:开启第一传感器,以便第一传感器对对象进行检测,第一传感器包括图像采集装置、雷达和震动传感器中的一个或多个。

本申请实施例的车辆保护方法根据检测到的对象的位置及时开启其他传感器或提高已开启的传感器的检测频率,以保证对可能具有危险的对象的全面检测。

在某些实现方式中,方法还包括:当检测到对象进入第二范围内,根据对象的位置调整图像采集装置和第一传感器的功耗,第二范围小于第一范围。

本申请实施例的车辆保护方法根据对象的位置实时调整传感器的功耗,避免不必要的能源浪费。

第六方面,提供了一种控制装置,包括:处理单元,用于向图像采集装置发送第一控制信令,第一控制信令用于控制图像采集装置的拍摄角度,使得在图像采集装置所采集到的图像中,车辆的车身侧面下边线与竖直方向的夹角小于第一角度;第一获取单元,用于从图像采集装置获取图像数据。

在某些实现方式中,该控制装置还包括:第二获取单元,用于获取第一指令,第一指令应车辆的第一模式开启而生成;处理单元,用于根据第一指令,向图像采集装置发送第一控制信令,第一控制指令用于控制图像采集装置的拍摄角度为第一角度,使得在图像采集装置所采集到的图像中,车辆的车身侧面下边线与竖直方向的夹角小于第一角度。

在某些实现方式中,第一获取单元,还用于从传感器获取传感数据,传感器为设置与车辆上除图像采集装置之外的传感器或为图像采集装置;处理单元,还用于根据传感数据确定车辆周围第一范围内具有对象进入。

在某些实现方式中,处理单元,还用于向图像采集装置发送第三控制信令,第三控制指令用于控制图像采集装置的拍摄频率为第二频率,第二频率大于第一频率。

在某些实现方式中,处理单元,还用于控制图像采集装置的拍摄角度随对象调整。

在某些实现方式中,第一获取单元,还用于从图像采集装置接收图像数据;处理单元,还用于当图像数据中对象与车辆的距离小于第一距离时,触发图像数据的保存和/或发送,或触发图像数据中的关键信息的保存和/或发送。

在某些实现方式中,处理单元,还用于根据环境因素,对图像数据采用图像分割的方式确定对象与车辆的距离小于第一距离。

第七方面,提供一种控制装置,包括:处理单元,用于向图像采集装置发送第一控制信息,第一控制信息用于控制图像采集装置的拍摄频率为第一频率;获取单元,用于从传感器获取传感数据,且该传感数据显示车辆周围第一范围内具有对象进入,其中,传感器为设置于车辆上除图像采集装置之外的传感器或为图像采集装置;处理单元还用于向图像采集装置发送第二控制信息,第二控制信息用于控制图像采集装置的拍摄频率为第二频率,第二频率大于第一频率。

在某些实现方式中,第一控制信息还用于控制图像采集装置的拍摄角度,使得在图像采集装置所采集到的图像中,车辆的车身侧面下边线与竖直方向的夹角小于第一角度。

在某些实现方式中,处理单元还用于向图像采集装置发送第三控制信息,第三控制信息用于控制图像采集装置的拍摄角度随对象调整。

第八方面,提供了一种数据采集装置,包括:处理单元,用于调整图像采集装置的角度,使得在图像采集装置所采集待的图像信息中,车辆的车身侧面下边线与竖直方向的夹角小于第一角度,图像采集装置设置在车辆上;获取单元,用于获取车辆的传感器对车辆周围环境的检测数据;处理单元,用于根据检测数据确定在车辆的第一范围内存在对象时,根据对象的位置调整图像采集装置的角度,以便图像采集装置对对象进行跟踪检测。

在某些实现方式中,在车辆的第一范围内存在对象时,包括在有对象进入车辆的第一范围内时。

在某些实现方式中,处理单元具体用于:调整图像采集装置的角度使对象位于图像采集装置拍摄的画面的中间位置。

在某些实现方式中,图像采集装置为可旋转相机,或承载相机的车辆部件可旋转。

在某些实现方式中,图像采集装置普通线性相机或非线性相机,其中非线性相机包括鱼眼相机或电子后视镜相机等。

在某些实现方式中,处理单元具体用于:调整图像采集装置的角度以跟随对象进行录像。

在某些实现方式中,录像获取的视频中包括对象的视频片段,对象的视频片段作为有效视频保存。

在某些实现方式中,处理单元还用于:筛选出有效视频中包括对象的多帧清晰图像;对多帧清晰图像进行图像超分辨率处理,以得到多帧处理后的图像;将多帧处理后的图像发送给用户。

在某些实现方式中,处理单元还用于:根据停车位置和干扰对象确定对象为非干扰对象,干扰对象包括树荫、树枝、影子和光斑中的一个或多个。

在某些实现方式中,确定对象为非干扰对象的方法包括图像分割算法和运动目标检测算法。

在某些实现方式中,处理单元还用于:开启第一传感器,以便第一传感器对对象进行检测,第一传感器包括图像采集装置、雷达和震动传感器中的一个或多个。

在某些实现方式中,处理单元还用于:当检测到对象进入第二范围内,根据对象的位置调整图像采集装置和第一传感器的功耗,第二范围小于第一范围。

第九方面,提供一种控制装置,包括:至少一个处理器和接口电路,所述接口电路用于所述至少一个处理器与图像采集装置通信,所述至少一个处理器用于执行上述第三方面至第五方面中任一项所述的方法。

第十方面,提供一种控制装置,包括处理器和存储器,所述存储器用于存储程序指令,所述处理器用于调用所述程序指令来执行上述第三方面至第五方面中任一项所述的方法。

第十一方面,提供一种车辆,包括:上述第一方面和第二方面中任一项所述的数据采集系统。

在某些实现方式中,所述图像采集装置设置于所述车辆的后视镜上或设置于所述车辆的前照灯与后照灯之间的车身上。

图1是本申请实施例的图像采集装置的示意性结构图;

图2是本申请实施例的控制系统的示意性框图;

图3是本申请实施例的摄像头在车辆上可能的安装位置的示意图;

图4是本申请实施例的一种数据采集方法的示意性流程图;

图5是本申请实施例的另一种数据采集方法的示意性流程图;

图6是本申请实施例的又一种数据采集方法的示意性流程图;

图7是本申请实施例的又一种数据采集方法的示意性流程图;

图8是本申请实施例的控制装置的示意性框图;

图9是本申请实施例的车辆的结构示意图。

下面将结合附图,对本申请实施例中的技术方案进行描述。

停车场景下的对车辆的监控(如哨兵模式)可以以对车辆停泊后可能发生的碰撞、刮划等事件进行监控,对车上无人场景下的车辆安全具有重要的意义。但是,目前车辆上安装的摄像头存在盲区大,拍不到关键信息的问题,监控效果不理想。

在本申请的一些实施例中,在车辆上安装图像采集装置(又可以称为相机/摄像头组件)和控制系统,其中图像采集装置可以在控制系统的控制下改变其空间位置或者拍摄角度(例如水平方向和/或垂直方向的位置),从而减少监控盲区,提升对环境进行检测的效果,在相同检测范围内,对摄像头的需求数量降低,减少成本。进一步的,控制系统用于根据图像采集装置采集到的图像数据对图像采集装置进行控制,以调整图像采集装置的空间位置或拍摄角度,使得图像采集装置采集到关键信息的可能性大大提高。如此,可以根据图像采集装置采集的图像情况,及时调整图像采集装置的空间位置或拍摄角度,获得更加有效的图像信息,提升监控效果,减少关键信息(例如肇事车辆或人的信息)无法获取的问题。

为了便于理解本申请实施例,首先结合图1简单介绍图像采集装置的结构。图1示出了图像采集装置100的一例。如图1所示,该图像采集装置100可以包括摄像头110和后座120。其中,摄像头110种类不做限制,例如可以是鱼眼环视摄像头或线性摄像头等,后座120是安装、固定摄像头110的支撑设备。摄像头110和后座120可分离。

在本申请实施例中,后座120内具有驱动部件,用于驱动摄像头110的空间位置或拍摄角度调整。例如,后座120可包括水平电机和/或垂直电机来控制摄像头在水平和/或垂直方向上的旋转角度。该水平电机和/或垂直电机可接收来自控制系统的控制信令(或控制信息),并基于该控制信令通过对水平电机和/或垂直电机的控制精确定位摄像头110。在其它实现中,可以通过一个电机驱动传动件,传动件将电机的输出扭矩转换为不同方向的驱动力,驱动摄像头的在不同方向的位置或拍摄角度调整。可选的,后座120内还设置有驱动芯片,用于接收来自控制系统的控制信令,并将其转换为控制驱动部件的驱动信号,使得驱动部件在驱动信号的作用下运动。或者,驱动部件可以直接在控制信令的作用下运动。

该摄像头110可以包括镜头和感光元件。感光元件可配置在摄像头的镜头中。感测图像时,光线通过镜头传递到摄像头的感光元件上。物体通过镜头生成的光学图像投射到感光元件上。感光元件可以把光信号转换成电信号。

作为示例而非限定,该感光元件例如可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管等。感光元件可以进一步将电信号传递给图像处理器处理,图像处理器用于将接收到的电信号处理成所需格式的图像数据,以提供给对图像数据有需求的设备,例如传输到显示屏上进行显示,再如转换为所需的数据格式进行存储或传输等。图像处理器可以将处理后的图像方法送至存储器中保存。由于摄像头可以实时地拍摄,保存在存储器中的图像例如可以通过时间戳来区分,例如,每一帧图像可对应一个时间戳。

应理解,上述图像处理器和存储器均可以是图像采集装置100中的模块,也可以是控制系统中的模块,图1中虽未示出,但不应对本申请构成任何限定。

为了更好地理解本申请实施例,下面结合图2详细说明本申请实施例的控制系统,图2示出了控制系统200与图像采集装置100的示意性框图,该控制系统200可与图1中的图像采集装置100电连接,以控制图像采集装置100中摄像头的拍摄范围。例如,向后座120中的驱动芯片发送控制信号,该控制信号用于控制电机(例如水平电机和垂直电机)驱动摄像头调整镜头角度、从图像采集装置的存储器或图像处理器中获取图像数据、控制图像采集装置存储图像数据等。

如图2所示,该控制系统200可以包括一个或多个处理器。处理器是一种具有信号的处理能力的电路,在一种实现中,控制系统200包括具有指令读取与运行能力的处理器,例如中央处理单元(Central Processing Unit,CPU)、微处理器、图形处理器(graphics processing unit,GPU)、或数字信号处理器(digital singnal processor,DSP)等;在另一种实现中,处理器可以通过硬件电路的逻辑关系实现一定功能,该硬件电路的逻辑关系是固定的或可以重构的,例如处理器为专用集成电路(application-specific integrated circuit,ASIC)或可编程逻辑器件(programmable logic device,PLD)实现的硬件电路,例如FPGA。在可重构的硬件电路中,处理器加载配置文档,实现硬件电路配置的过程,可以理解为处理器加载指令,以实现该指令对应功能的过程。此外,还可以是针对人工智能(AI)设计的硬件电路,其可以理解为一种ASIC,例如神经网络处理单元(Neural Network Processing Unit,NPU)、张量处理单元(Tensor Processing Unit,TPU)、深度学习处理单元(Deep learning Processing Unit,DPU)等。

可见,以上控制系统200可以包括一个或多个处理器(或处理电路),例如:CPU、GPU、NPU、TPU、DPU、微处理器、DSP、ASIC、FPGA,或这些处理器形式中至少两种的组合。控制系统200的处理器可以全部或部分可以集成在一起,或者可以独立实现。在一种实现中,这些处理器集成在一起,以片上系统(system-on-a-chip,SOC)的形式实现。

示例的,控制系统200包括CPU芯片和AI芯片等,或者,还可以包括GPU芯片。其中AI芯片用于实现对图像算力要求较高的数据处理(在后续实施例中进行描述),GPU芯片用于实现通用图像数据处理。

CPU芯片可以用于实现对图像采集装置的控制,以控制摄像头的拍摄角度,例如生成并发送控制信号,该控制信号用于驱动摄像头的驱动部件(例如电机)的运动。

AI芯片可以对来自图像采集装置的图像进行处理后,得到处理后的数字图像信号。控制系统200还可以包括存储器,处理后的数字图像数据可以在存储器中保存。作为示例而非限定,存储器例如可以包括双倍速率(double data rate,DDR)存储器、闪存(flash)等。应理解,DDR存储器和闪存仅为存储器的两种可能的形式,不应对本申请构成任何限定。存储器可以包括一个或多个,且可以与处理器集成在一起,或者存储器与处理器分离设置。在具体实现过程中,存储器可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上,本申请实施例对存储器的类型、数量、以及存储器与处理器的设置方式不做限定。

例如,该CPU芯片和AI芯片还包括内部存储器。该内部存储器可用于存储指令或代码。该CPU芯片或AI芯片可通过执行该内部存储器中存储的指令或代码,实现该指令或代码相应的功能。作为示例而非限定,该内部存储器例如可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、通用闪存存储器(universal flash storage,UFS)等。

CPU芯片或AI芯片也可以不包括上述内部存储器,通过读取外部存储器中存储的指令或代码,实现该指令或代码相应的功能。该外部存储器可以位于CPU芯片或AI芯片之外独立存在。本申请对此不作限定。

本申请实施例还提供通信模块,该通信模块可以位于该图像采集装置100中,或者位于控制系统200中,或者独立于图像采集装置100和控制系统200。

车辆,图像采集装置100、或控制系统200可以通过通信模块与用户的其它终端设备(例如手机,平板电脑,智能穿戴设备等移动终端)进行通信,或者与远程服务器(例如云端)通信,通信模块可以用于将处理后的全部或部分图像数据发送给终端设备或服务器。该通信模块例如可以是网卡、蓝牙(Bluetooth)模块、或无线保真(wireless fidelity,Wi-Fi)模块等。

网卡也可以称为网络适配器(network adapter)、网络接口卡等。该网卡例如为无线网卡,可以基于蜂窝通信技术与终端设备或远程服务器进行通信。

蓝牙模块或无线保真模块是一种短距无线通信技术,当用户(例如,车主)在通信范围内时,图像采集装置100可以通过通信模块与用户的终端设备(例如手机,平板电脑,智能穿戴设备等移动终端)进行通信。

应理解,上文所列举的通信模块的具体形式仅为示例,不应对本申请构成任何限定。 本申请对于该通信模块的具体形式以及该图像采集装置与终端设备或远程服务器间的通信方式均不做限定。

此外,关于图像采集装置100和控制系统200之间的通信可以基于车内有线通信实现,或者可以基于无线通信,例如短距通信实现,例如蓝牙(Bluetooth)模块、或无线保真(wireless fidelity,Wi-Fi)模块实现本申请对此不作限定。

图3示出了本申请实施例中摄像头在车辆上可能的安装位置的示意图,如图3所示,摄像头可以安装在车头、车尾或者左右后视镜上,其中摄像头安装在后视镜上时可以安装在后视镜内侧或外侧。图3只是对本申请实施例中摄像头在车辆上可能的安装位置的举例,以便更好地理解,除了图3中所示的位置,摄像头还可以安装在车辆的其他位置,例如前挡风玻璃和后挡风玻璃车辆之间侧面车身的任意位置,例如,车辆的车身框架、车窗、或车门等,本申请实施例对此不做限定。

在一种实现中,在车辆上设置图像采集装置100和控制系统200,该图像采集装置100可以在控制系统200的控制下改变其摄像头的空间位置,或者,改变其摄像头的拍摄角度,使得车辆的车身侧面下边线与竖直方向的夹角小于第一角度,由于划车等场景中外界对车辆的伤害大多是对车身侧面的伤害,如此,采用拍摄角度可以调整的图像采集装置可以扩大其有效的拍摄范围,减少监控盲区,另外,角度控制使得车辆的车身侧面下边线与竖直方向的夹角小于第一角度,可以使得车身侧面处于拍摄范围中,且减少由于拍摄范围边缘畸变而无法辨别清楚关键信息(例如肇事者的面部或肇事车辆的特征等)的问题。

图4示出了本申请实施例提供的一种数据采集方法的示意性流程图,图4所示的方法可以应用于车辆在停车场景中,对车辆周围环境进行检测,并根据检测的数据执行相应指令,从而达到保护车辆的目的。图4所示的方法可以由车辆的车载系统来执行,车载系统例如可以是车载芯片、车载装置(例如车机、车载电脑、或具有数据处理功能的传感器等),例如由图2所示的控制系统200控制图1所示的图像采集装置100来执行。例如,控制系统控制车辆的传感器对车辆周围环境进行检测,这里的传感器包括图1所示的图像采集装置100,也可以包括其他传感器例如雷达传感器等,传感器将对车辆周围环境的检测数据发送给控制系统,控制系统通过对检测数据进行相应的处理,并根据检测数据发出相应的指令,例如控制图像采集装置100调整角度和/或检测频率等。在一种实现中,控制系统200可通过接口与图像采集装置100的驱动芯片连接,该驱动芯片可以驱动图像采集装置100的摄像头的拍摄角度的调整。图4所示的方法包括步骤401至步骤402,以下分别进行介绍。

S401,向图像采集装置发送控制信令(为了区分以下其它控制信令,可以称为第一控制信令),该控制信令用于控制图像采集装置的拍摄角度,使得在图像采集装置所采集到的图像中,车辆的车身侧面下边线与竖直方向的夹角小于第一角度。

S402,从图像采集装置获取图像数据。

现有技术中使用普通摄像头对车辆周围环境进行监控,监控盲区大,在监控有人划车等场景中,经常拍不到肇事者的面部,而本申请实施例中,在车辆上设置图像采集装置和控制系统,该图像采集装置可以在控制系统的控制下改变其摄像头的空间位置,或者,改变其摄像头的拍摄角度,如此可以减少监控盲区,且图像采集装置在控制系统的控制下改变拍摄角度,可以进一步灵活的调整拍摄角度,增加监控灵活性,减少关键信息的遗漏。 此外,采用视场角(filed of view,FOV)更大,盲区更小的摄像头,例如鱼眼环视摄像头,可以进一步减少监控盲区,此外,控制拍摄角度使得车辆的车身侧面下边线与竖直方向的夹角小于第一角度的情况下,可以降低这类摄像头拍摄的图像在边缘处会产生较大畸变的问题,如此可以提升关键信息的识别准确性,例如在监控划车等场景中,可以拍摄清楚肇事者的面部或肇事车辆的特征。

图像采集装置可以安装于车辆后视镜(左后视镜和/或右后视镜)上,或者安装于如图3所示的A点和B点之间的车身上,例如车辆的车身框架、车窗、或车门等。A点和B点例如为前照灯和后照灯所在的位置,或者前挡风玻璃和后挡风玻璃的位置。

本申请一些实施例中,图像采集装置例如为图1所示的图像采集装置。驱动部件和摄像头集成在一起,并安装在车辆上。在另一些实施例中,图像采集装置的驱动部件可以和摄像头分开设置,例如可以是承载摄像头的车辆部件,该承载摄像头的车辆部件的空间位置(例如旋转)变化带动摄像头的拍摄角度调整。例如图3中将摄像头安装在车辆的左右后视镜上,左右后视镜可以旋转,从而可以带动安装在左右后视镜上的摄像头旋转。如此,在本申请实施例中,可以复用无法旋转的普通摄像头,从而降低实现成本、此外可以在现有车辆上实现后装,可以极大降低车辆监控的实现成本。摄像头例如包括鱼眼摄像头、线性摄像头或电子后视镜等。

以上第一角度例如在[0,30°]之间内的任一取值,例如,在一种实现中,车辆的车身侧面下边线在摄像头拍摄的图像中即为竖直方向,即第一角度为0;在另一种实现中,车辆的车身侧面下边线在摄像头拍摄的图像中与竖直方向的夹角在15°以内。该第一角度可以预设于控制系统中,取值范围如上所述;或者,该第一角度可以由用户在使用车辆过程中自行设置;或者,该第一角度可以由控制系统根据摄像头采集的图像数据进行分析,不断优化,获得最优角度最大值,作为该第一角度。

本申请实施例的数据采集方法可以应用于停车场景中,当停放好车辆,下车锁车后,控制系统可以基于监控模式的开启而启动对车辆的监控。以上方法还包括:接收第一指令,并根据第一指令,向图像采集装置发送第一控制信令,该第一控制信令用于控制摄像头的拍摄角度为第一角度,使得在摄像头所采集到的图像中,车辆的车身侧面下边线与竖直方向的夹角小于第一角度。第一指令可以基于车辆的第一模式开启而生成,该第一模式例如为哨兵模式,或智能停车监控模式等。车机系统可以为用户提供开启第一模式的选择途径,例如在用户停车时,通过语音提示,提示用户是否开启第一模式,在检测到用户语音回复开启第一模式时,开启该第一模式;再如,通过车载显示装置,通过图像提示用户是否开启第一模式,在检测到用户点击选择开启第一模式时,开启该第一模式;再如,通过方向盘或车辆其它位置(例如中控台)上的按钮,为用户提供开启第一模式的方式,在检测到用户按下该按钮时,开启该第一模式;再如通过手势识别,在检测到用户选择开启第一模式的手势时,开启该第一模式。此外,在其它实施例中,第一模式可以应停车后自动开启,例如检测到锁车信号后,自动开启第一模式。如此车辆在接收到锁车信号后则自动执行对车辆的监控。控制系统根据第一指令对图像采集装置发出控制信令,使得图像采集装置的驱动部件驱动摄像头的拍摄角度调整,使得车辆的车身侧面下边线在摄像头拍摄的图像中与竖直方向的夹角小于第一角度。由于划车等场景中外界对车辆的伤害大多是对车身侧面的伤害,因此对于车身的监控尤为重要,采用以上方法,可以使得整个车身侧面处于摄像 头拍摄范围中,对于线性摄像头可以扩大其有效的拍摄范围,而对于鱼眼环视摄像头可以减少由于拍摄范围边缘畸变而无法有效拍摄的问题。

当调整摄像头到第一角度后,即开启摄像头对车辆周围的环境进行检测,该检测可以是利用摄像头对周围的环境进行拍摄(拍照或录像)。

在一种实现中,可以设置此时摄像头的拍摄频率/检测频率为第一频率,例如设置摄像头每隔1秒钟拍摄一张照片,或者设置摄像头每隔1秒钟录制一段视频,视频的录制长度为1秒钟等。该第一频率和拍摄时间的设置可以预设在控制系统中,或者由用户根据自身需求设置,或者可以由远端服务器(例如云端)设置,本申请实施例在此不做限定。

该第一频率的可以由控制系统通过控制信令控制,控制系统可以通过以上第一控制信令控制摄像头的拍摄频率为第一频率,如此,可以在控制拍摄角度的同时控制拍摄频率,提高控制效率。或者,控制系统可以通过不同于第一控制信令的控制信令控制拍摄频率。

进一步的,控制系统可以在车辆周围第一范围内有对象(例如行人或其它车辆)进入时,控制摄像头对对象进行追踪检测,直到该对象离开第一范围;和/或,控制摄像头的拍摄频率增加,以减少关键信息遗漏,例如控制拍摄频率为第二频率,第二频率大于第一频率。第一范围可以为传感器的感测范围,或者可以为预设范围。

在一种实现中,控制系统从传感器获取传感数据,根据传感数据确定车辆周围第一范围内具有对象进入。该传感器为设置于车辆上除以上图像采集装置之外的传感器(例如其它图像传感器,雷达传感器(例如,超声波雷达,毫米波雷达,或厘米波雷达等),或震动传感器等),或者该传感器为以上图像采集装置。

例如,在车辆的第一范围内存在对象时,根据对象的位置调整图像采集装置的摄像头的拍摄角度,以便图像采集装置对对象进行跟踪检测,即控制摄像头的拍摄角度随对象调整。

检测得到的数据为车辆周围环境的图像数据(包括对周围环境拍摄的照片或者对周围环境录制的视频),图像采集装置的图像处理器可以对采集的图像进行处理,并提供给控制系统,控制系统中的处理器对图像数据进行识别,当识别到车辆周围环境中有对象靠近,且处于车辆周围的第一范围内时,则根据对象的位置调整摄像头的角度,以便摄像头对对象进行检测。此外,考虑到停车场景(如哨兵模式)下的现有监控技术中,摄像头常开,极为耗电。本申请实施例提供一种数据采集方法,用于车辆的周围的数据采集,由设置于车辆上的控制系统执行,如图5所示,包括如下步骤:

S510:向图像采集装置发送第一控制信息(也可以称为控制信令,为了与其它实施例中的控制信令区分,称为第一控制信息,该第一控制信息可以为以上实施例中的第一控制信令),该第一控制信息用于控制图像采集装置的拍摄频率为第一频率;

S520:从传感器获取传感数据,且该传感数据显示车辆周围第一范围内具有对象进入,其中,传感器的描述同以上实施例的描述;

S530:向图像采集装置发送第二控制信息(也可以称为控制信令,为了与其它实施例中的控制信令区分,又称为第三控制信令),该第二控制信息用于控制图像采集装置的拍摄频率为第二频率,该第二频率大于第一频率。

控制系统控制摄像头以较低的频率感测车辆周围环境,实现低频率低功耗上电状态,当有对象接近车辆时,控制摄像头以更高的频率感测车辆周围环境,如此减少关键信息遗 漏的可能性,如此可以平衡功耗和监控关键信息的需求,提升监控效果。本实施例可以与其它实施例结合,如此,实现监控效果提升的同时,提升监控效果。

在本申请一些实施例中,控制系统检测到车周有划车等危险情况发生的可能性时,控制系统保存一段时长内的图像数据,该时长例如为检测到有危险情况发生的可能性的时刻前后的一段时长(例如5分钟)的图像数据到存储器中,例如控制系统中的存储器,或者车机硬盘或U盘内。和/或通过通信模块将图像数据上传至远端服务器(例如,云端)或用户的其它终端设备(例如手机或电脑)。或者,在其他实施例中,为了节省车辆的存储空间或传输资源,控制系统利用图像数据,获取关键信息,例如对象的特征信息,例如人脸,车牌等,保存或上传该关键信息。以上保存或上传的图像数据或关键信息可以经过安全保护,只有当发生事故时,由有权利调取的人调取并使用。

控制系统可以利用对象与车辆距离来判断是否有危险情况发生的可能性。此时,以上方法还包括:从图像采集装置接收图像数据;当图像数据中对象与车辆的距离小于第一距离时,触发图像数据的保存和/或发送,或触发图像数据中的关键信息的保存和/或发送。

在一种实现中,为了降低对以上对危险情况发生的可能性的误判,可以根据环境因素排除干扰对象,即确定以上对象为非干扰对象,并对非干扰对象执行跟踪拍摄,即控制摄像头的拍摄角度随非干扰对象调整,确定非干扰对象与车辆的距离小于第一距离时,触发图像数据的保存和/或发送,或触发图像数据中的关键信息的保存和/或发送。环境因素为车辆所停车环境中的干扰对象的信息。

此时,以上实施例中的对象为非干扰对象。在一种实现中,根据停车位置和干扰对象类型对图像数据中的对象进行检测,确定其为非干扰对象,干扰对象类型包括树荫、树枝、影子和光斑中的一个或多个。例如,当判定停车位置为树边时,随着光照角度的改变,树荫可能逐渐靠近车辆,或者树枝随风摆动逐渐靠近车辆,但由于停车位置为树边,则树荫或树枝的运动应该是正常的,则此时可以判定树荫和树枝为干扰对象,因此不必根据树荫和树枝做出指令;而当判定停车位置为地下车库时,由于地下车库一般不会出现树荫和树枝,如果此时检测到有树荫或树枝靠近(例如有肇事者使用树枝划车等),则是异常的,则此时树荫和树枝为非干扰对象,则根据树荫和树枝做出指令。在实现过程中,可以利用图像分割算法、运动目标检测算法等技术来确定获取到的图像数据中的对象是否为非干扰对象,本申请对此不做限定。

一种可能的实现方式中,当确定图像中的对象为非干扰对象后,判断该对象是否在靠近车辆,且处于车辆周围的第一范围内,具体的判断对象的位置可以通过帧差算法、深度学习检测算法和图像分割算法中的一种或多种等实现。此外也可以结合车辆上的其它传感器(例如雷达传感器)对对象进行检测跟踪,以确定对象的位置,具体的,当对象靠近雷达传感器运动,其反射波的波长会变短;当对象远离雷达传感器运动,其反射波的波长则会变长;对象的运动速度越大,波长的变化也越大。如此,通过计算从天线发射无线电波到天线接收到反射波的延时,可以得到对象的位置;通过比较发射波与反射波的波长变化(多普勒频移),可以计算出对象的速度,由此可以判断对象是否在靠近车辆。第一范围可以为预设范围,可以在系统出厂前设置,或者也可以由用户根据自身需求设置,例如第一范围的取值范围可以为车辆周围0至3米。

一种可能的实现方式中,当确定对象为非干扰对象,且该对象进入第一范围内,根据 对象的位置调整摄像头的角度,以便摄像头对该对象进行检测。具体的,调整摄像头的角度使得该对象位于摄像头拍摄画面的接近中间位置,如此可以尽量完整的拍摄到该对象的全貌,同时当摄像头为鱼眼摄像头时,减少对象处于画面边缘而产生畸变。然后,根据对象的位置实时调整摄像头的角度以跟随该对象进行录像。如此,当有人过于靠近车辆时,则调整摄像头角度将这个人置于拍摄画面的接近中间位置,并且根据这个人的运动位置实时调整摄像头的拍摄角度,以对这个人进行跟踪拍摄,则可以记录下这个人对于车辆的行为。

另一种可能的实现方式中,在检测到第一范围内存在有对象时,可以判断该对象是否为干扰对象,或者是否为非干扰对象。对于非干扰对象,可以利用摄像头进行检测、跟踪、上报等。对于干扰对象,可以忽略,不触发跟踪、上报流程。这样可以减少由于环境中的干扰对象,对用户造成错误提醒的概率,提高危险识别的准确性。

除了摄像头之外,本申请实施例的数据采集方法还包括结合车辆的其他传感器对环境中的对象进行检测。具体的,向第一传感器发送第一控制信息,该第一控制信息用于控制第一传感器的检测频率为第一频率;从第一传感器获取传感数据,该传感数据显示车辆周围第一范围内有对象进入;向第二传感器发送第二控制信息,该第二控制信息用于控制第二传感器的检测频率为第二频率。其中,第一传感器可以与第二传感器相同、部分相同或不同,第一传感器和第二传感器包括摄像头、雷达传感器和震动传感器中的一个或多个。当根据第一传感器和/或第二传感器检测到对象进行第二范围内时,向第三传感器发送第三控制信息,该第三控制信息用于控制第三传感器的检测频率为第三频率,其中,第三传感器可以与第一传感器、第二传感器相同、部分相同或不同,其中第二范围小于第一范围,这里的第二范围为预设范围,可以在系统出厂前由研发人员设置,也可以由用户根据自身需求设置,例如第二范围的取值范围可以为车辆周围0至1米。以下结合图6和图7对上述图5的方法进行举例说明。

图6示出了本申请实施例的一种数据采集方法的示意性流程图,以下进行介绍。为了节省能源,本申请实施例的车辆保护方法可以设置为在用户开启了哨兵模式、智能停车监控模式时才使用,如图6所示,当用户停车后可以在车机界面上显示是否开启智能停车监控模式,或者语音询问用户是否开启智能停车监控模式,用户也可以设置默认开启智能停车监控模式。在用户开启智能停车监控模式的条件下,用户停车锁车后,控制系统向车辆两侧的摄像头发送第一控制信息,开启车辆两侧的摄像头,例如图3中的左侧摄像头1和右侧摄像头1或左侧摄像头2和右侧摄像头2,并且调整摄像头的角度,使得车辆的车身侧面下边线在摄像头拍摄的图像中为竖直方向,此时摄像头为低功耗模式,拍摄频率为第一频率,例如每隔1秒钟拍摄一张车辆周围环境的照片。当根据两侧摄像头获取的图像检测到有对象进入车辆周围第一范围内,例如进入车辆周围3米范围内时,控制系统再向车辆前后的摄像头发送第二控制信息,开启车辆的前后摄像头,例如图3中的车头摄像头和车尾摄像头,并实时调整两侧摄像头和前后摄像头的角度和检测频率,此时两侧摄像头和前后摄像头的检测频率都为第二频率,第二频率大于第一频率,使得两侧摄像头和前后摄像头都对该对象进行跟踪录像,如此可以保证无论对象运动到车辆的哪个方向都可以被摄像头检测到。根据两侧摄像头和前后摄像头对该对象进行检测,判断其是否进入车辆的第二范围内,第二范围小于第一范围,例如第二范围为车辆周围0.03米,如果判定对象进 入车辆的第二范围内,则根据对象的具体位置调整两侧摄像头和前后摄像头的检测频率。例如,当对象处于车辆的车身左侧0.03米范围内时,此时由于车辆右侧摄像头和前后摄像头已经无法检测到该对象,则可以向车辆右侧摄像头和前后摄像头发送第三控制信息,降低车辆右侧摄像头和前后摄像头的检测频率使得车辆右侧摄像头和前后摄像头不再对该对象进行跟踪录像,而是调整为继续以每隔1秒钟拍摄一张照片的频率对周围环境进行检测,而车辆左侧的摄像头可以拍摄到该对象,则对该对象继续进行跟踪录像。当对象进入车辆的第二范围内,还可以开启震动传感器,如果对象触碰车辆被震动传感器检测到,则触发报警器进行报警。

图7示出了本申请实施例的另一种数据采集方法的示意性流程图,以下进行介绍。在用户开启智能停车监控模式的条件下,用户停车锁车后,控制系统向车辆两侧的摄像头和雷达传感器发送第一控制信息,开启车辆两侧的摄像头和车辆的雷达传感器,车辆上的雷达传感器可以是一个或多个,当车辆上只有一个雷达传感器时,则开启该一个雷达传感器,当车辆上有多个雷达传感器时,则开启靠近车辆两侧的雷达传感器。此时车辆两侧的摄像头和雷达传感器为低功耗模式,检测频率为第一频率,例如摄像头每隔1秒钟拍摄一张车辆周围环境的照片,雷达传感器发射无线电波的频率为5赫兹(hertz,Hz)。当摄像头检测到车辆周围有非干扰对象靠近,且雷达传感器检测到该对象进入车辆周围第一范围内(例如车辆周围3米)时,控制系统向车辆两侧的摄像头和雷达传感器发送第二控制信息,调整车辆两侧摄像头和雷达的检测频率,具体来说提高车辆两侧摄像头和雷达的检测频率,例如调整两侧摄像头的角度以对该对象进行跟踪录像,提高雷达传感器发射无线电波的频率为60Hz。当雷达传感器判定对象进入车辆周围的第二范围内(例如车辆周围0.03米)时,并进一步获取对象的位置,控制系统向两侧摄像头、前后摄像头和雷达传感器发送第三控制信息,根据对象的位置实时调整两侧摄像头、前后摄像头和雷达传感器的检测频率,例如,当对象处于车辆的车尾0.03米范围内时,则开启车尾摄像头并调整车尾摄像头的角度以对该对象进行跟踪录像,此时由于车辆两侧摄像头和车头摄像头已经无法检测到该对象,则可以降低车辆两侧摄像头和车头摄像头的功耗使得车辆两侧摄像头和车头摄像头不再对该对象进行跟踪录像,而是调整为继续以每隔1秒钟拍摄一张照片的频率对周围环境进行检测。此外还可以进一步提高雷达传感器发射无线电波的频率,并实时确定对象的位置,以便根据该对象的位置实时调整车辆两侧摄像头和前后摄像头的检测频率。当对象进入车辆的第二范围内,控制系统还可以向震动传感器发送第三控制信息,开启震动传感器,如果对象触碰车辆被震动传感器检测到,则触发报警器进行报警。

根据图6和图7所示的方法,在最开始只开启车辆两侧的摄像头或雷达传感器对环境进行检测,且检测频率较低,可以节省能源。然后根据检测到的对象的位置及时开启其他传感器或提高已开启的传感器的检测频率,以保证对可能具有危险的对象的全面检测,同时降低不必要的传感器的功耗,以节省能源。

应理解,图6和图7只是对根据可旋转摄像头和第一传感器对车辆周围环境中的对象检测的举例,而不应构成对本申请实施例的限定,在实际应用中,还可以根据图6和图7中列举的多个传感器进行组合以对车辆周围环境中的对象检测,或者是根据可旋转摄像头和其他传感器对车辆周围环境中的对象检测。

在根据摄像头对环境中的对象进行跟踪录像后,本申请实施例的方法还包括,对录像 获取的视频进行筛选,选取其中的有效视频进行保存,其中有效视频为清晰拍摄到该对象的视频片段,例如在能清晰检测到对象时,则将该段视频进行保存,直至该对象超过一定时间不再视频中出现,例如超过一分钟不再视频中出现;又或者,当有效视频片段过长时,可以选取预设时长的视频片段进行保存,例如保存有效视频片段中的十分钟的视频片段。进一步的,还可以对获取的有效视频进行筛选,筛选出包括该对象的多帧清晰图像,然后对该多帧清晰图像进行处理,以得到多帧处理后的图像,最后将该多帧处理后的图像发送给用户,具体可以发送到用户关联的手机或邮箱等。如此可以及时通知用户车辆情况,并方便用户查看和保存。之后删除获取的视频,如此可以减少内存占用。其中,对多帧清晰图像的处理包括图像超分辨率处理,以进一步提高多帧清晰图像的清晰度,图像超分辨率处理是指利用数字图像处理、计算机视觉等领域的相关知识,借由特定的算法和处理流程,从给定的低分辨率图像中重建出高分辨率图像的过程,可以克服或补偿由于图像采集系统或采集环境本身的限制而导致的图像模糊、质量低下、感兴趣区域不显著等问题。

使用本申请实施例的数据采集方法对车辆周围环境进行监控,可以复用现有的线性相机和非线性相机(例如鱼眼环视摄像头)等,无需进行新型相机的开发,降低成本,同时可以有效拍摄到对象的全貌,减小盲区,避免畸变等问题,拍摄质量高。本申请实施例的数据采集方法对环境中的对象进行检测,排除干扰对象,减少误报。本申请实施例的数据采集方法根据对象的位置实时调整传感器的功耗,避免不必要的能源浪费。此外,本申请实施例的数据采集方法对获取的视频及时处理后删除视频,减少内存占用。

上文结合附图对本申请实施例的数据采集方法进行了详细的描述,下面对本申请实施例的控制装置进行描述,应理解,本申请实施例的控制装置能够执行本申请的数据采集方法的各个步骤,下面在介绍本申请实施例的控制装置时适当省略重复的描述。

本申请实施例还提供应用实现以上任一种方法的装置,例如,提供一种装置包括用以实现以上任一种方法中数据采集系统所执行的各步骤的单元。例如,请参考图8,图8为本申请实施例的控制装置的示意性框图,该控制装置可以是终端,例如车辆的车载系统,车载系统例如可以是车载装置(例如车机、车载电脑、或具有数据处理功能的传感器等),例如由图2所示的控制系统200,也可以是终端内部的芯片,例如车载芯片等。如图8所示,该控制装置包括第一获取单元801,处理单元802,以下进行简要介绍。

处理单元802,用于向图像采集装置发送第一控制信令,第一控制信令用于控制图像采集装置的拍摄角度,使得在图像采集装置所采集到的图像中,车辆的车身侧面下边线与竖直方向的夹角小于第一角度。

第一获取单元801,用于从图像采集装置获取图像数据。

第一获取单元801具体可以是控制装置的数据接口,用于将该控制装置与车辆上的传感器连接,并从车辆上的传感器获取相应的数据。或者在某些情况下,第一获取单元801本身即可以为车辆上的传感器,例如这里的图像采集装置,直接获取车辆周围环境的检测数据,而车辆的车身侧面下边线在图像采集装置拍摄的图像中与竖直方向的夹角小于第一角度,即为车辆的车身侧面下边线在第一获取单元801拍摄的图像中与竖直方向的夹角小于第一角度。

第一角度处理单元802可以是该控制装置中的处理器,例如图2中的控制系统200,控制系统200通过接口与一个或多个存储器、驱动芯片以及摄像头相连,以控制车辆上的 传感器执行相应的指令,例如控制车辆上的图像采集装置调整角度对对象进行跟踪检测等。

在某些实现方式中,控制装置800还包括第二获取单元,用于获取第一指令,第一指令应车辆的第一模式开启而生成;处理单元802,用于根据第一指令,向图像采集装置发送第一控制信令,第一控制指令用于控制图像采集装置的拍摄角度为第一角度,使得在图像采集装置所采集到的图像中,车辆的车身侧面下边线与竖直方向的夹角小于第一角度。。

在某些实现方式中,第一获取单元801,还用于从传感器获取传感数据,传感器为设置与车辆上除图像采集装置之外的传感器或为图像采集装置;处理单元802,还用于根据传感数据确定车辆周围第一范围内具有对象进入。

在某些实现方式中,处理单元802,还用于向图像采集装置发送第三控制信令,第三控制指令用于控制图像采集装置的拍摄频率为第二频率,第二频率大于第一频率。

在某些实现方式中,处理单元802,还用于控制图像采集装置的拍摄角度随对象调整。

在某些实现方式中,第一获取单元801,还用于从图像采集装置接收图像数据;处理单元802,还用于当图像数据中对象与车辆的距离小于第一距离时,触发图像数据的保存和/或发送,或触发图像数据中的关键信息的保存和/或发送。

在某些实现方式中,处理单元802,还用于根据环境因素,对图像数据采用图像分割的方式确定对象与车辆的距离小于第一距离。

应理解,图8所示的控制装置可以用于实现上述图4所示的数据采集方法,其中第一获取单元801用于实现步骤402,处理单元802用于实现步骤401,具体步骤可以参照上述对于图4的描述,为了简洁,本申请在此不再赘述。

还应理解的是,本申请实施例中的控制装置可以由软件实现,例如,具有上述功能的计算机程序或指令来实现,相应计算机程序或指令可以存储在终端内部的存储器中,通过处理器读取该存储器内部的相应计算机程序或指令来实现上述功能。或者,本申请实施例中的控制装置还可以由硬件来实现。其中处理单元802为处理器(如NPU、GPU、系统芯片中的处理器),第一获取单元801为数据接口。或者,本申请实施例中的控制装置还可以由处理器和软件模块的结合实现。具体地,获取单元801可以为处理器的接口电路,或者,终端的摄像头或雷达传感器等。例如,终端的摄像头或雷达传感器将获取的车辆周围的环境信息,发送给处理器接口电路。

图8所示的控制装置800还可以用于实现上述图5所示的方法,具体的:

处理单元802,用于向图像采集装置发送第一控制信息,第一控制信息用于控制图像采集装置的拍摄频率为第一频率。

第一获取单元801,用于从传感器获取传感数据,且该传感数据显示车辆周围第一范围内具有对象进入,其中,传感器为设置于车辆上除图像采集装置之外的传感器或为图像采集装置。

处理单元802还用于向图像采集装置发送第二控制信息,第二控制信息用于控制图像采集装置的拍摄频率为第二频率,第二频率大于第一频率。

在某些实现方式中,第一控制信息还用于控制图像采集装置的拍摄角度,使得在图像采集装置所采集到的图像中,车辆的车身侧面下边线与竖直方向的夹角小于第一角度。

在某些实现方式中,处理单元802还用于向图像采集装置发送第三控制信息,第三控制信息用于控制图像采集装置的拍摄角度随对象调整。

应理解,图8所示的控制装置可以用于实现上述图5所示的数据采集方法,其中第一获取单元801用于实现步骤502,处理单元802用于实现步骤501和503,图8所示的控制装置还可以用于实现上述图6、图7所示的数据采集方法,具体步骤可以参照上述对于图6和图7的描述,为了简洁,本申请在此不再赘述。

图9是本申请实施例的车辆900的功能框图示意图,车辆900可以使用本申请实施例的数据采集方法对车辆停泊后可能发生的碰撞、刮划等事件进行监控,提升监控效果。

车辆900可以包括感知系统920、显示装置930和计算平台950,其中,感知系统920可以包括感测关于车辆900周边的环境的信息的若干种传感器。例如,感知系统920可以包括定位系统,定位系统可以是全球定位系统(global positioning system,GPS),也可以是北斗系统或者其他定位系统,以及图像采集装置、惯性测量单元(inertial measurement unit,IMU)、激光雷达、毫米波雷达、超声雷达、震动传感器中的一种或者多种。感知系统920可以用于实现本申请实施例中对车辆900周围的数据采集。

车辆900的部分或所有功能可以由计算平台950控制。计算平台950可包括处理器951至95n(n为正整数),处理器是一种具有信号的处理能力的电路,在一种实现中,处理器可以是具有指令读取与运行能力的电路,例如CPU、微处理器、GPU或DSP等;在另一种实现中,处理器可以通过硬件电路的逻辑关系实现一定功能,该硬件电路的逻辑关系是固定的或可以重构的,例如处理器为ASIC或PLD实现的硬件电路,例如FPGA。在可重构的硬件电路中,处理器加载配置文档,实现硬件电路配置的过程,可以理解为处理器加载指令,以实现以上部分或全部单元的功能的过程。此外,还可以是针对人工智能设计的硬件电路,其可以理解为一种ASIC,例如NPU、TPU、DPU等。此外,计算平台950还可以包括存储器,存储器用于存储指令,处理器951至95n中的部分或全部处理器可以调用存储器中的指令,执行质量,以实现相应的功能。例如,处理器向感知系统920发送控制信息用于控制感知系统920进行数据采集,并将获取的数据存储在存储器中。

应理解以上装置中各单元的划分仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。此外,装置中的单元可以以处理器调用软件的形式实现;例如装置包括处理器,处理器与存储器连接,存储器中存储有指令,处理器调用存储器中存储的指令,以实现以上任一种方法或实现该装置各单元的功能,其中处理器例如为通用处理器,例如CPU或微处理器,存储器为装置内的存储器或装置外的存储器。或者,装置中的单元可以以硬件电路的形式实现,可以通过对硬件电路的设计实现部分或全部单元的功能,该硬件电路可以理解为一个或多个处理器;例如,在一种实现中,该硬件电路为专用集成电路ASIC,通过对电路内元件逻辑关系的设计,实现以上部分或全部单元的功能;再如,在另一种实现中,该硬件电路为可以通过PLD实现,以FPGA为例,其可以包括大量逻辑门电路,通过配置文件来配置逻辑门电路之间的连接关系,从而实现以上部分或全部单元的功能。以上装置的所有单元可以全部通过处理器调用软件的形式实现,或全部通过硬件电路的形式实现,或部分通过处理器调用软件的形式实现,剩余部分通过硬件电路的形式实现。

在本申请实施例中,处理器是一种具有信号的处理能力的电路,在一种实现中,处理器可以是具有指令读取与运行能力的电路,例如CPU、微处理器、GPU、或DSP等;在另一种实现中,处理器可以通过硬件电路的逻辑关系实现一定功能,该硬件电路的逻辑关 系是固定的或可以重构的,例如处理器为ASIC或PLD实现的硬件电路,例如FPGA。在可重构的硬件电路中,处理器加载配置文档,实现硬件电路配置的过程,可以理解为处理器加载指令,以实现以上部分或全部单元的功能的过程。此外,还可以是针对人工智能设计的硬件电路,其可以理解为一种ASIC,例如NPU、TPU、DPU等。

可见,以上装置中的各单元可以是被配置成实施以上方法的一个或多个处理器(或处理电路),例如:CPU、GPU、NPU、TPU、DPU、微处理器、DSP、ASIC、FPGA,或这些处理器形式中至少两种的组合。

此外,以上装置中的各单元可以全部或部分可以集成在一起,或者可以独立实现。在一种实现中,这些单元集成在一起,以SOC的形式实现。该SOC中可以包括至少一个处理器,用于实现以上任一种方法或实现该装置各单元的功能,该至少一个处理器的种类可以不同,例如包括CPU和FPGA,CPU和人工智能处理器,CPU和GPU等。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖 在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

相关技术
  • 一种数据采集系统定位方法、装置和计算机可读存储介质
  • 一种用于教育系统的数据采集方法及装置
  • 数据采集方法、数据采集装置及存储介质
  • 数据采集方法、数据采集装置及数据采集系统
  • 一种数据采集装置、数据采集系统以及数据采集方法
技术分类

06120116513558