掌桥专利:专业的专利平台
掌桥专利
首页

一种车载图像处理方法、装置、电子设备及介质

文献发布时间:2023-06-19 18:32:25


一种车载图像处理方法、装置、电子设备及介质

技术领域

本申请涉及图像处理技术领域,具体而言,涉及一种车载图像处理方法、装置、电子设备及介质。

背景技术

随着汽车,交通的快速发展,用户对于驾车出游的需求越来越多。在旅途中,用户都会不同程度的存在拍照、录视频等需求用于记录旅途过程。例如:当行车途中路过一处美景时,用户会将此处美景拍摄记录下来。

当前用户只能在车内通过行车记录仪或车载摄像头进行手动操作或手势识别等主动触发方式控制拍照或录像,一定程度上会影响行车安全,存在安全隐患,而且通过行车记录仪或车载摄像头拍摄的照片质量不一定能满足用户需求。

发明内容

有鉴于此,本申请的目的在于提供一种车载图像处理方法、装置、电子设备及介质,能够自动根据行车记录仪或车载摄像头记录的图像,生成高质量的美景视频或美景图像,无需用户在驾车过程中进行特殊操作。

本申请提供一种车载图像处理方法,所述方法包括以下步骤:

在满足视频合成条件时,获取第一预设时间段内的车载视频的每一帧图像;其中,图像中携带有视频时间戳;

通过训练好的场景分类模型对所述每一帧图像进行分类,得到每一帧图像的场景类别和场景匹配度;

针对目标场景类别中场景匹配度满足预设匹配度条件的目标图像,按照视频时间戳对所述目标图像进行排序;

通过训练好的美观度评估模型获取每一帧目标图像的评分,并将满足预设评分条件的连续帧目标图像合成目标美景视频。

在一些实施例中,所述的车载图像处理方法中,在将满足连续帧条件和预设评分条件的多帧目标图像合成目标美景视频后,所述方法还包括:

将所述目标美景视频推送至车载显示屏,以使车载显示屏展示所述目标美景视频。

在一些实施例中,所述的车载图像处理方法中,在针对目标场景类别中场景匹配度满足预设匹配度条件的目标图像,按照所述视频时间戳对所述目标图像进行排序之前,所述方法还包括:

根据每一帧图像的视频时间戳将第一预设时间段划分为多个第二预设时间段,确定第二预设时间段内场景匹配度大于或等于预设匹配度阈值的图像的帧数;

若确定出的帧数大于第一帧数阈值,则保留第二预设时间段内的全部图像作为场景匹配度满足预设匹配度条件的图像;

根据保留的图像的场景类别,从保留的图像中确定出目标场景类别的目标图像。

在一些实施例中,所述的车载图像处理方法中,通过训练好的美观度评估模型获取每一帧目标图像的评分后,所述方法还包括:

分别计算多组连续帧目标图像的评分均值,根据评分均值确定出满足预设评分条件的连续帧目标图像。

在一些实施例中,所述的车载图像处理方法中,所述训练好的美观度评估模型,是根据图像指标训练得到;所述图像指标为以下至少之一:清晰度、色彩、色调、景深、美观度、构图。

在一些实施例中,所述的车载图像处理方法中还包括:

在满足美景图像获取条件时,通过训练好的美观度评估模型获取每一帧目标图像的评分后,还通过所述美观度评估模型获取目标场景类别中其他图像的评分;

确定目标场景中评分排序在先的预设数目个图像为目标美景图像。

在一些实施例中,所述的车载图像处理方法中,将满足预设评分条件的连续帧目标图像合成目标美景视频后,所述方法还包括:

响应满足音乐添加条件,根据目标美景视频的目标场景类别和预先配置的标签匹配关系,从背景音乐库中获取标签匹配的目标背景音乐;其中,所述标签匹配关系表征背景音乐的标签和场景类别的匹配关系;

将获取的目标背景音乐添加至目标美景视频,得到携带有背景音乐的目标美景视频。

在一些实施例中,还提供一种车载图像处理装置,所述装置包括:

获取模块,用于在满足视频合成条件时,获取第一预设时间段内的车载视频的每一帧图像;其中,图像中携带有视频时间戳;

分类模块,用于通过训练好的场景分类模型对所述每一帧图像进行分类,得到每一帧图像的场景类别和场景匹配度;

排序模块,用于针对目标场景类别中场景匹配度满足预设匹配度条件的目标图像,按照视频时间戳对所述目标图像进行排序;

合成模块,用于通过训练好的美观度评估模型获取每一帧目标图像的评分,并将满足预设评分条件的连续帧目标图像合成目标美景视频。

在一些实施例中,还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行所述的车载图像处理方法的步骤。

在一些实施例中,还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行所述的车载图像处理方法的步骤。

本申请实施例提供一种车载图像处理方法、装置、电子设备及介质,在获取车载拍摄装备拍摄的图像后,首先通过训练好的场景分类模型对所述每一帧图像进行分类,筛选出属于美景的图像,并确定出图像的场景类别;然后利用美观度评估模型对每个场景类别中的目标图像进行评分,通过评分二次筛选出高质量的、连续的目标图像,并自动合成目标美景视频,从而无需用户在驾驶过程中针对看到的美景进行单独的拍摄操作,避免了安全隐患;也不存在拍摄时机滞后的问题,还通过美观度评估模型筛选出了高评分的图像,从而使得图像以及美景视频的质量满足用户需求。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所述车载图像处理方法的方法流程图;

图2示出了本申请实施例所述确定目标场景类别中场景匹配度满足预设匹配度条件的目标图像的方法流程图;

图3示出了本申请实施例所述获取目标美景图像的方法流程图;

图4示出了本申请实施例所述获取携带有背景音乐的目标美景视频的方法流程图;

图5示出了本申请实施例所述车载图像处理装置的结构示意图;

图6示出了本申请实施例所述电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。 应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。 此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。

另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。

需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。

随着汽车,交通的快速发展,用户对于驾车出游的需求越来越多。在旅途中,用户都会不同程度的存在拍照、录视频等需求用于记录旅途过程。例如:当行车途中路过一处美景时,用户会将此处美景拍摄记录下来。

当前用户只能在车内通过行车记录仪或车载摄像头进行手动操作或手势识别等主动触发方式控制拍照或录像。在驾驶过程中分心进行拍摄操作,一定程度上会影响行车安全,存在安全隐患;而且通过行车记录仪或车载摄像头拍摄的照片无法挑选拍摄时机和角度,比如当用户看到美景后再进行操作,可能已经错过了拍摄该景观的时间,而且容易存在曝光、模糊等问题,质量往往不能满足用户需求。

基于此,本申请实施例提供一种车载图像处理方法,在获取车载拍摄装备拍摄的图像后,首先通过训练好的场景分类模型对所述每一帧图像进行分类,筛选出属于美景的图像,并确定出图像的场景类别;然后利用美观度评估模型对每个场景类别中的目标图像进行评分,通过评分二次筛选出高质量的、连续的目标图像,并自动合成目标美景视频,从而无需用户在驾驶过程中针对看到的美景进行单独的拍摄操作,避免了安全隐患;也不存在拍摄时机滞后的问题,还通过美观度评估模型筛选出了高评分的图像,从而使得图像以及美景视频的质量满足用户需求。

请参照图1,图1示出了本申请实施例所述车载图像处理方法的方法流程图,具体的,所述车载图像处理方法包括以下步骤S101-S104:

S101、在满足视频合成条件时,获取第一预设时间段内的车载视频的每一帧图像;其中,图像中携带有视频时间戳;

S102、通过训练好的场景分类模型对所述每一帧图像进行分类,得到每一帧图像的场景类别和场景匹配度;

S103、针对目标场景类别中场景匹配度满足预设匹配度条件的目标图像,按照视频时间戳对所述目标图像进行排序;

S104、通过训练好的美观度评估模型获取每一帧目标图像的评分,并将满足预设评分条件的连续帧目标图像合成目标美景视频。

本申请实施例所述车载图像处理方法可以运行于终端设备或者是服务器;其中,终端设备可以为车机设备,当实体定位方法运行于服务器时,该实体定位方法则可以基于云交互系统来实现与执行,其中,云交互系统至少包括服务器和终端设备(也即车机设备)。

具体的,以应用于车机设备为例,当车载图像处理方法运行于车机设备上时,实体定位方法用于处理车载拍摄装备拍摄的图像,得到目标美景视频。

这里,车载拍摄装备用于表征安装于车辆上的拍摄装置(如行车记录仪、车载摄像头等),其中,考虑到车辆型号不同,配置不同,因此,车载拍摄装备的具体安装位置和具体数量不同,因此,本申请实施例对于车载拍摄装备的具体数量和具体安装位置不进行具体限定。

在所述步骤S101中,所述满足视频合成条件为:接收到所述车载拍摄装备的开启信号且接收到视频合成信号。

具体的,所述视频合成信号,是根据用户针对车机设备的即时操作或者预设配置生成的。

示例性的,当用户打开车机设备,且车机设备接收到所述车载拍摄装备开启信号,自动在车机设备的人机交互界面展示视频合成控件,当接收到针对视频合成控件的确定操作时,所述车机设备生成视频合成信号。

或者,所述车机设备在历史操作(比如开机设置)中的预设配置为视频合成模式,当车机设备接收到所述车载拍摄装备的开启信号,自动生成一视频合成信号,无需用户进行针对视频合成控件的确定操作,以简化操作。

所述预设配置,是根据用户的历史操作确定的。例如,根据上次针对车机设备的人机交互界面展示的视频合成控件的确定操作,确定本次的预设配置。

所述针对视频合成控件的确定操作,可以为点击、触控、拖动、重击、长按等。

用户在驾驶车辆时,可以在途径自己想要拍摄的景观时,例如在驾驶途中看到风车、田野时,呼出视频合成控件,并进行针对视频合成控件的确定操作,以开始自动合成美景视频,在经过普通道路时,则进行针对视频合成控件的关闭操作,停止自动合成美景视频,不再消耗车机设备的消耗资源。

当用户外出旅游时,例如在草原、青海等旅游胜地进行自驾游时,则可以长期保持自动合成美景视频的功能。

所述图像中携带的视频时间戳,是所述车载拍摄装备拍摄的每帧图像的对应的车机设备CPU内核时间。也就是说,所述图像中携带的视频时间戳,是根据车机设备CPU内核时间生成的,从而使得不同时间段获取的车载视频的每一帧图像具有统一的时间戳。

在所述步骤S102中,所述通过训练好的场景分类模型对所述每一帧图像进行分类,得到每一帧图像的场景类别和场景匹配度,具体包括:

将每一帧图像输入训练好的场景分类模型中,所述场景分类模型输出每个场景分类模型的场景类别和场景匹配度;其中,所述场景类别表征了美景的类别,示例性的,包括湖泊,草地,桥梁,城市,沙漠,山,古迹,霞光;所述场景匹配度表征了图像和场景类别的相似度。

这里,对于场景分类模型,每种场景类别为一个标签。

所述场景分类模型计算图像和每个标签的相似度,并将最高相似度对应的标签作为场景类别,该最高相似度作为场景匹配度。

本申请实施例中,所述场景分类模型,所采用的场景分类模型为mobilenetV2。mobilenetV2模型精度高且计算量小,在分类任务上具有很好的表现。mobilenetv2利用倒残差结构和Linear Bottlenecks(结构的最后一层采用线性层)对场景图像数据很好的进行特征提取。

所述采用mobilenetV2的场景分类模型中的LOSS采用sparse categoricalcrossentropy(稀疏分类交叉熵)。稀疏分类交叉熵是用来评估当前训练得到的概率分布与真实分布的差异情况。它刻画的是实际输出(概率)与期望输出(概率)的距离,也就是交叉熵的值越小,两个概率分布就越接近。

所述场景分类模型的训练过程如下:基于行车记录仪采集的图像数据,确定样本数据;将样本数据分批次送入网络,经过mobilenetv2进行特征提取后得到预测值。将预测值和真实值进行LOSS计算,根据每次训练得到的LOSS值对网络各层权重进行调整,直至LOSS下降至第一预设训练阈值时,停止训练。

所述训练完成的场景分类模型,能够对所述每一帧图像进行分类,得到每一帧图像的场景类别和场景匹配度;所述场景匹配度,实际上就是mobilenetV2输出的、该图像属于改场景的概率。

在所述步骤S103中,所述目标场景类别为步骤S102中的任一个场景类别。也就是说,针对每一个场景类别中的图像,分别执行步骤S103和步骤S104,以得到每个场景类别下的至少一个目标美景视频。

请参照图2,图2示出了本申请实施例所述确定目标场景类别中场景匹配度满足预设匹配度条件的目标图像的方法流程图;具体的,在执行步骤S103所述在针对目标场景类别中场景匹配度满足预设匹配度条件的目标图像,按照所述视频时间戳对所述目标图像进行排序之前,所述方法还包括S201-S203:

S201、根据每一帧图像的视频时间戳将第一预设时间段划分为多个第二预设时间段,确定第二预设时间段内场景匹配度大于或等于预设匹配度阈值的图像的帧数;其中,不同第二预设时间段内的预设匹配度阈值不同。

S202、若确定出的帧数大于第一帧数阈值,则保留第二预设时间段内的全部图像作为场景匹配度满足预设匹配度条件的图像;

S203、根据保留的图像的场景类别,从保留的图像中确定出目标场景类别的目标图像。

反之,若确定出的帧数小于第一帧数阈值,则舍弃第二预设时间段内的全部图像。

本申请实施例中,第二预设时间段内的预设匹配度阈值是根据该第二预设时间段中所有图像的场景匹配度动态确定的。

具体的,每个第二预设时间段内的预设匹配度阈值是根据该第二预设时间段中所有图像的场景匹配度均值确定的。

这里,预设匹配度阈值用于区分是否为美景图像,若图像的场景匹配度小于预设匹配度阈值的图像,则说明该图像为非美景图像;若图像的场景匹配度大于或等于预设匹配度阈值的图像,则说明该图像为美景图像。

但是,由于车载拍摄设备会持续拍摄沿途景观,而最后合成的目标美景视频必须保持其连续性,若出现缺帧,则会出现画面的跳跃,影响目标美景视频的观赏效果;此外,以一座桥梁来说,当车辆在行驶过程中,会首先拍摄到桥梁的首端,然后拍摄到桥身,最后拍摄到尾端;若针对单张图像进行筛选,则仅拍摄到桥梁首端或桥梁尾端的图像,与“桥梁”这一场景的相似度较低,小于预设匹配度阈值;但是本申请实施例中的最终目的是合成美景视频,对于美景视频来说,依次展示桥梁首端-桥身-桥梁尾端是很合理的,这样,场景匹配度低于预设匹配度阈值的图像,也应该作为场景匹配度满足预设匹配度条件的目标图像。

因此,本申请实施例中,不仅仅针对单张图像进行保留或舍弃,而是针对第二预设时间段内的多张图像进行整体保留或舍弃,从而保证保留的图像都是连续帧,最后合成的目标美景视频是基于连续帧图像合成的,视频流畅不缺帧,不会出现画面的突然跳跃,且能够更加完整的展示该场景类别下的美景图像。

在所述步骤S203中,由于保留的图像可能属于多个场景类别,例如一部分属于草地,一部分属于桥梁,则确定目标场景类别为两个,分别根据每张保留的图像的场景类别,确定每个目标场景类别下的目标图像,例如确定出属于草地的图像和确定出属于桥梁的图像。

在所述步骤S104中,通过训练好的美观度评估模型获取每一帧目标图像的评分,所述训练好的美观度评估模型,是根据图像指标训练得到;所述图像指标为以下至少之一:清晰度、色彩、色调、景深、美观度、构图。

也就是说,所述美观度评估模型从清晰度,色彩,色调,景深,美观度和构图这几个方面判断每一帧目标图像是否美观,并给出一个表征图像美观度的评分,评分越高则图像越美观,评分越低则图像越不美观。

本申请实施例中,得分的数值范围为:[0, 10]。0分为最低,10分为最高。

具体的,本申请实施例中,所述美观度评估模型采用谷歌提出的NIMA图像质量评估模型。NIMA基于最新的深度物体识别(object detection)神经网络,能够从直接观感(技术角度)和吸引程度(美学角度)预测人类对图像的评估意见的分布。神经网络的打分具有与人类主观打分很相近的优点,因此可以用于图像质量评估工作。

NIMA算法对任意图像都生成评分直方图–即对图像进行1-10分的打分,并直接比较同一主题的图像。 这种设计跟人类评分系统产生的直方图在形式上吻合,且评估效果更接近人类评估的结果。

所述美观度评估模型的训练过程如下:构建美观度样本数据集,工作人员基于清晰度,色彩,色调,景深,美观度和构图等指标对每张图像进行打分标注,得到图像的真实评分;

基于NIMA图像质量评估模型构建美观度评估模型,所述美观度评估模型包括baseline网络、FC层和softmax;baseline网络用ImageNet预训练权重,训练时图像首先被缩放到256x256,然后随机裁剪224x224; FC层的10个unit分别输出该图片获得1~10分的概率,从而预测美观度评分的分布;然后计算该图像美观度评分的平均值和标准差;通过 CNN预测图像美观度得分的分布,将分数的分布作为直方图后,同时根据标注的打分对图像的评价概率分布,计算出EMD-based loss,进行反向传播。EMD-based loss在有序分类上有很好的表现,因此将其作为损失函数。

具体的,EMD-based loss为以下公式:

其中,

其中,所述N表征N张图像数据;k表征N张图像数据中第k个数据;r表征常量,本申请实施例中,r取值为2,以惩罚CDF之间的欧几里德距离。当使用梯度下降时,r=2允许更容易的优化。

基于所述美观度样本数据训练构建美观度评估模型,得到训练好的美观度评估模型;具体的,将所述美观度样本数据集中的图像数据输入到构建好的美观度评估模型,并根据训练结果更新美观度评估模型的参数,直至损失函数下降至第二预设训练阈值,停止训练,得到训练好的美观度评估模型。

也就是说,所述美观度评估模型通过卷积神经网络来预测人类的意见分数分布,检查图像的特定像素和整体美学,从而预测该图像的某一个评级有多大可能被一个人选择,预测一个人喜欢这张图像的程度,从而可靠地给图像打分,而且与人类的感知高度相关。

在通过训练好的美观度评估模型获取每一帧目标图像的评分后,所述方法还包括:

分别计算多组连续帧目标图像的评分均值,根据评分均值确定出满足预设评分条件的连续帧目标图像。

最后,将满足预设评分条件的连续帧目标图像合成目标美景视频。

所述多组连续帧目标图像的评分均值,可以按照时间窗口法对排序后的目标图像进行划分;例如目标场景类别中共有500帧目标图像,则1-50帧为一组连续帧,21-70帧为一组连续帧……451-500帧为一组连续帧;分别计算出每一组连续帧的评分均值。

根据评分均值确定出满足预设评分条件的连续帧目标图像,可以为:评分均值最高的预设数目组连续帧目标图像;例如,评分均值最高的一组连续帧目标图像;

或者,评分均值大于预设评分阈值的连续帧目标图像组。

本申请实施中,选择评分均值最高的一组连续帧目标图像,并将满足预设评分条件的连续帧目标图像合成目标美景视频,也就是将连续帧目标图像拼接起来,合成目标美景视频。

这里,每一组连续帧的帧数大于等于第二帧数阈值。

在将满足连续帧条件和预设评分条件的多帧目标图像合成目标美景视频后,所述方法还包括:

将所述目标美景视频推送至车载显示屏,以使车载显示屏展示所述目标美景视频。

本申请实施例中,还可以将所述目标美景视频推送至其他终端设备,以在其他终端设备上查看目标美景视频。

所述其他终端设备可以为手机、平板等等。

当第一预设时间段内的车载视频的图像属于多个场景类别时,将每个场景类别分别作为目标场景类别,得到每个目标场景类别的目标美景视频;

将每个目标场景类别的目标美景视频分别推送至车载显示屏,以独立展示每个目标场景类别的目标美景视频;

或者,将多个目标场景类别的目标美景视频合成为一个综合美景视频,并将所述综合美景视频推送至车载显示屏,以在一个美景视频中展示包括多种场景类别的美景。

请参照图3,图3示出了本申请实施例所述获取目标美景图像的方法流程图;具体的,本申请实施例中,所述的车载图像处理方法还包括:

S301、在满足美景图像获取条件时,通过训练好的美观度评估模型获取每一帧目标图像的评分后,还通过所述美观度评估模型获取目标场景类别中其他图像的评分;

S302、确定目标场景中评分排序在先的预设数目个图像为目标美景图像。

所述满足美景图像获取条件为:接收到所述车载拍摄装备的开启信号且接收到美景图像获取信号。

具体的,所述美景图像获取信号,是根据用户针对车机设备的即时操作或者预设配置生成的。

示例性的,当用户打开车机设备,且车机设备接收到所述车载拍摄装备开启信号,自动在车机设备的人机交互界面展示美景图像获取控件,当接收到针对美景图像获取控件的确定操作时,所述车机设备生成美景图像获取信号。

或者,所述车机设备在历史操作(比如开机设置)中的预设配置为美景图像获取模式,当车机设备接收到所述车载拍摄装备的开启信号,自动生成一美景图像获取信号,无需用户进行针对美景图像获取控件的确定操作,以简化操作。

所述预设配置,是根据用户的历史操作确定的。例如,根据上次针对车机设备的人机交互界面展示的美景图像获取控件的确定操作,确定本次的预设配置。

所述针对美景图像获取控件的确定操作,可以为点击、触控、拖动、重击、长按等。

本申请实施例中,所述美景图像获取控件和视频合成控件可以展示在一个区域,或分开进行展示。

用户除了需要美景视频外,还希望可以得到美景图像,用来发朋友圈、留纪念等,对于美景图像,则不需要保证连续帧,因此,通过训练好的美观度评估模型获取每一帧目标图像的评分后,还通过所述美观度评估模型获取目标场景类别中其他图像的评分,实际上就是针对目标场景类别下的每帧图像进行评分,得到评分最高的几张该目标场景类别下的美景图像。

当第一预设时间段中的图像属于多个场景类别时,则得到每个场景类别的多张目标美景图像。

得到美景图像后,推送至将所述目标美景视频推送至车载显示屏,以使车载显示屏展示所述目标美景图像,并在检测到车辆处于停车状态时,响应用户针对所述目标美景图像的保存操作或删除操作,保存或删除所述目标美景图像。

由于本申请实施例所述的目标美景图像是在用户驾驶过程中得到的,因此,当检测到用户处于停车状态时,展示一图像操作控件,使用户针对所述目标美景图像的保存操作或删除操作,保障行车安全。

请参照图4,图4示出了本申请实施例所述获取携带有背景音乐的目标美景视频的方法流程图;具体的,本申请实施例中,将满足预设评分条件的连续帧目标图像合成目标美景视频后,所述方法还包括以下步骤S401-S402:

S401、响应满足音乐添加条件,根据目标美景视频的目标场景类别和预先配置的标签匹配关系,从背景音乐库中获取标签匹配的目标背景音乐;其中,所述标签匹配关系表征背景音乐的标签和场景类别的匹配关系;

S402、将获取的目标背景音乐添加至目标美景视频,得到携带有背景音乐的目标美景视频。

在目标美景视频中添加背景音乐能让视频更具感染力,因此,本申请实施例中在获取目标美景视频,还自动为所述目标美景视频添加合适的背景音乐。

所述响应满足音乐添加条件,包括以下之一:

响应预先配置为自动添加音乐,或者响应用户针对车机设备人机交互界面的添加音乐操作。

所述背景音乐库,可以为本地音乐库,也可以为背景音乐服务器。

针对背景音乐的标签,一个背景音乐可以有多个标签,例如流行、摇滚等;或者一个标签下有多个背景音乐,例如用户建立摇滚合集、舒缓音乐合集,每个合集中有多个背景音乐。

从背景音乐库中获取标签匹配的目标背景音乐,示例性的,当所述目标美景视频的目标场景类别为草原时,则获取草原、马头琴、呼麦等标签下的背景音乐。

在本申请实施例中,还提供一种车载图像处理装置,请参照图5,图5示出了本申请实施例所述车载图像处理装置的结构示意图;具体的,所述装置包括:

获取模块501,用于在满足视频合成条件时,获取第一预设时间段内的车载视频的每一帧图像;其中,图像中携带有视频时间戳;

分类模块502,用于通过训练好的场景分类模型对所述每一帧图像进行分类,得到每一帧图像的场景类别和场景匹配度;

排序模块503,用于针对目标场景类别中场景匹配度满足预设匹配度条件的目标图像,按照视频时间戳对所述目标图像进行排序;

合成模块504,用于通过训练好的美观度评估模型获取每一帧目标图像的评分,并将满足预设评分条件的连续帧目标图像合成目标美景视频。

本申请实施例提供一种车载图像处理装置,在获取车载拍摄装备拍摄的图像后,首先通过训练好的场景分类模型对所述每一帧图像进行分类,筛选出属于美景的图像,并确定出图像的场景类别;然后利用美观度评估模型对每个场景类别中的目标图像进行评分,通过评分二次筛选出高质量的、连续的目标图像,并自动合成目标美景视频,从而无需用户在驾驶过程中针对看到的美景进行单独的拍摄操作,避免了安全隐患;也不存在拍摄时机滞后的问题,还通过美观度评估模型筛选出了高评分的图像,从而使得图像以及美景视频的质量满足用户需求。

本申请实施中所述的车载图像处理装置,还包括:

推送装置,用于在将满足连续帧条件和预设评分条件的多帧目标图像合成目标美景视频后,将所述目标美景视频推送至车载显示屏,以使车载显示屏展示所述目标美景视频。

本申请实施中所述的车载图像处理装置,还包括:

第一确定模块,用于在针对目标场景类别中场景匹配度满足预设匹配度条件的目标图像,按照所述视频时间戳对所述目标图像进行排序之前,根据每一帧图像的视频时间戳将第一预设时间段划分为多个第二预设时间段,确定第二预设时间段内场景匹配度大于或等于预设匹配度阈值的图像的帧数;

若确定出的帧数大于第一帧数阈值,则保留第二预设时间段内的全部图像作为场景匹配度满足预设匹配度条件的图像;

根据保留的图像的场景类别,从保留的图像中确定出目标场景类别的目标图像。

本申请实施中所述的车载图像处理装置,还包括:

计算模块,用于通过训练好的美观度评估模型获取每一帧目标图像的评分后,分别计算多组连续帧目标图像的评分均值,根据评分均值确定出满足预设评分条件的连续帧目标图像。

本申请实施中所述的车载图像处理装置中,所述训练好的美观度评估模型,所述训练好的美观度评估模型,是根据图像指标训练得到;所述图像指标为以下至少之一:清晰度、色彩、色调、景深、美观度、构图。

本申请实施中所述的车载图像处理装置,还包括:

第二确定模块,用于在满足美景图像获取条件时,通过训练好的美观度评估模型获取每一帧目标图像的评分后,还通过所述美观度评估模型获取目标场景类别中其他图像的评分;

确定目标场景中评分排序在先的预设数目个图像为目标美景图像。

本申请实施中所述的车载图像处理装置,还包括:

音乐添加模块,用于将满足预设评分条件的连续帧目标图像合成目标美景视频后,响应满足音乐添加条件,根据目标美景视频的目标场景类别和预先配置的标签匹配关系,从背景音乐库中获取标签匹配的目标背景音乐;其中,所述标签匹配关系表征背景音乐的标签和场景类别的匹配关系;

将获取的目标背景音乐添加至目标美景视频,得到携带有背景音乐的目标美景视频。

在本申请实施例中,还提供一种电子设备,请参照图6,图6示出了本申请实施例所述车载图像处理装置的结构示意图;具体的,所述电子设备600包括:处理器602、存储器601和总线,所述存储器601存储有所述处理器602可执行的机器可读指令,当电子设备600运行时,所述处理器602与所述存储器601之间通过总线通信,所述机器可读指令被所述处理器602执行时执行所述的车载图像处理方法的步骤。

在本申请实施例中,还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行所述的车载图像处理方法的步骤。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,平台服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

相关技术
  • 图像处理方法、装置、电子设备及存储介质
  • 图像处理方法、装置、计算机可读存储介质和电子设备
  • 图像处理方法、装置、计算机可读存储介质和电子设备
  • 图像处理方法和装置、电子设备、计算机可读存储介质
  • 图像处理方法和装置、电子设备、计算机可读存储介质
  • 车载图像处理方法和装置、电子设备、介质、程序产品
  • 车载图像处理方法和装置、电子设备、介质、程序产品
技术分类

06120115600011