掌桥专利:专业的专利平台
掌桥专利
首页

一种数据处理方法、装置及电子设备

文献发布时间:2023-06-19 18:35:48


一种数据处理方法、装置及电子设备

技术领域

本申请涉及数据处理领域中的数据处理技术,尤其涉及一种数据处理方法、装置及电子设备。

背景技术

随着多媒体技术的广泛应用,多媒体数据的处理显得尤为重要;其中,在对多媒体数据进行处理时,通常是由采集模组采用固定的内置处理算法对多媒体数据进行单一处理,并将处理后的多媒体数据进行输出;但是,采用这种方式处理多媒体数据时,灵活性低且处理后的多媒体数据的质量较差。

发明内容

本申请的技术方案是这样实现的:

一种数据处理方法,应用于一电子设备,所述方法包括:

获得至少一多媒体数据采集模组采集的至少一路多媒体数据;

对所述至少一路多媒体数据进行第一处理,得到至少一路候选多媒体数据;

对所述至少一路候选多媒体数据进行第二处理,得到能够输出的目标多媒体数据;

其中,所述多媒体数据采集模组不属于所述电子设备,所述电子设备执行所述第一处理和所述第二处理所使用的处理算法至少部分不同。

上述方案中,所述获得至少一多媒体数据采集模组采集的至少一路多媒体数据,包括以下至少之一:

响应于确定目标使用对象与所述电子设备具有第一相对位置关系,获得电子设备的多媒体数据采集部件采集的至少一路多媒体数据和至少一多媒体数据采集模组采集到的至少一路多媒体数据;

响应于确定目标使用对象与所述电子设备具有第二相对位置关系,获得至少一多媒体数据采集模组采集到的至少一路多媒体数据,其中,在所述第二相对位置关系下,至少之一多媒体数据采集模组与所述目标使用对象之间的间距小于电子设备与所述目标使用对象之间的间距;

获得目标使用对象与所述至少一多媒体数据采集模组之间的相对位置信息,获得基于所述相对位置信息确定的目标多媒体数据采集模组采集的至少一路多媒体数据。

上述方案中,在获得一路多媒体数据的情况下,

所述对所述至少一路多媒体数据进行第一处理,得到至少一路候选多媒体数据,包括以下至少之一:

获得该路多媒体数据的属性信息,基于所述属性信息以对应处理算法或对应处理部件对该路多媒体数据进行第一处理,得到第一候选多媒体数据,所述处理部件内配置有至少一处理算法;

获得产生该路多媒体数据的空间环境的环境信息,基于所述环境信息以对应处理算法或对应处理部件对该路多媒体数据进行第一处理,得到第一候选多媒体数据,所述处理部件内配置有至少一处理算法。

上述方案中,所述对所述至少一路候选多媒体数据进行第二处理,得到能够输出的目标多媒体数据,包括以下至少之一:

基于所述属性信息对所述第一候选多媒体数据进行第二处理,得到所述目标多媒体数据;

对所述第一候选多媒体数据进行评价,基于评价结果对所述第一候选多媒体数据进行第二处理,得到所述目标多媒体数据;

获得目标使用对象的用户画像信息,基于所述用户画像信息对所述第一候选多媒体数据进行第二处理,得到所述目标多媒体数据;

获得目标输出部件的配置信息,基于所述配置信息对所述第一候选多媒体数据进行第二处理,得到所述目标多媒体数据,其中,所述目标输出部件是用于输出所述目标多媒体数据的部件。

上述方案中,在获得至少两路多媒体数据的情况下,

所述对所述至少一路多媒体数据进行第一处理,得到至少一路候选多媒体数据,包括以下至少之一:

获得每路多媒体数据的属性信息,基于所述属性信息以确定的处理算法或处理部件对每路多媒体数据进行第一处理,得到至少两路候选多媒体数据,其中,所述处理部件内置有至少一处理算法,每路多媒体数据对应的处理算法相同或不同,每路多媒体数据对应的处理部件不同;

获得产生每路多媒体数据的空间环境的环境信息,基于所述环境信息以对应处理算法或对应处理部件对每路多媒体数据进行第一处理,得到至少两路候选多媒体数据,所述处理部件内置有至少一处理算法,每路多媒体数据对应的处理算法相同或不同,每路多媒体数据对应的处理部件不同;

获得每路多媒体数据的来源信息,基于所述来源信息以确定的处理算法或处理部件对每路多媒体数据进行第一处理,得到至少两路候选多媒体数据,其中,所述处理部件内置有至少一处理算法,每路多媒体数据对应的处理算法不同,每路多媒体数据对应的处理部件不同。

上述方案中,所述对所述至少一路候选多媒体数据进行第二处理,得到能够输出的目标多媒体数据,包括以下至少之一:

对所述至少两路候选多媒体数据进行拼接处理,得到所述目标多媒体数据;

对所述至少两路候选多媒体数据进行融合处理,得到所述目标多媒体数据;

对所述至少两路候选多媒体数据进行剪辑处理,得到所述目标多媒体数据;

基于所述属性信息对每路候选多媒体数据进行差异化处理,得到所述目标多媒体数据;

对每路候选多媒体数据进行评价,基于评价结果对所述每路候选多媒体数据进行差异化处理,得到所述目标多媒体数据;

获得目标使用对象的用户画像信息,基于所述用户画像信息对每路候选多媒体数据进行差异化处理,得到所述目标多媒体数据;

获得目标输出部件的配置信息,基于所述配置信息对每路候选多媒体数据进行差异化处理,得到所述目标多媒体数据,其中,所述目标输出部件是用于输出所述目标多媒体数据的部件;

获得目标需求信息,基于所述目标需求信息对每路候选多媒体数据进行单一或统一处理,得到所述目标多媒体数据,其中,所述目标需求信息来自所述电子设备端或来自与所述电子设备通信连接的远端设备。

上述方案中,在获得电子设备的多媒体数据采集部件采集的至少一路多媒体数据和至少一多媒体数据采集模组采集到的至少一路多媒体数据的情况下,

所述对所述至少一路多媒体数据进行第一处理,得到至少一路候选多媒体数据,包括以下至少之一:

获得所述多媒体数据采集模组的标识信息,基于所述标识信息以对应处理算法或对应处理部件对所述多媒体数据采集模组采集的多媒体数据进行第一处理,得到至少一路第二候选多媒体数据,所述处理部件内配置有至少一处理算法;

获得所述多媒体数据采集模组的位置信息,基于所述位置信息以确定的处理算法或处理部件对所述多媒体数据采集模组采集的多媒体数据进行第一处理,得到至少一路第二候选多媒体数据,所述处理部件内配置有至少一处理算法;

对应地,所述对所述至少一路候选多媒体数据进行第二处理,得到能够输出的目标多媒体数据,包括:

对所述多媒体数据采集部件采集的至少一路多媒体数据进行第一处理,得到至少一路第三候选多媒体数据,对所述至少一路第二候选多媒体数据和所述至少一路第三候选多媒体数据进行第二处理,得到所述目标多媒体数据。

上述方案中,还包括以下至少之一:

所述电子设备通过无线射频模组获得所述多媒体数据采集模组采集的多媒体数据;

所述电子设备通过所述无线射频模组接收到的数据量大小与所述多媒体数据采集模组采集的数据量大小相同;

所述多媒体数据包括音频数据、图像数据、视频数据中的至少之一。

一种数据处理装置,所述装置包括:

获取单元,用于获得至少一多媒体数据采集模组采集的至少一路多媒体数据;

第一处理单元,用于对所述至少一路多媒体数据进行第一处理,得到至少一路候选多媒体数据;

第二处理单元,用于对所述至少一路候选多媒体数据进行第二处理,得到能够输出的目标多媒体数据;

其中,所述多媒体数据采集模组不属于电子设备,所述第一处理单元和所述第二处理单元所配置的处理算法至少部分不同。

一种电子设备,所述电子设备包括:

至少一第一处理部件,能够与所述至少一多媒体数据采集模组建立连接,以对所述多媒体数据采集模组采集的至少一路多媒体数据进行第一处理,得到至少一路候选多媒体数据;

第二处理部件,与所述至少一第一处理部件连接,用于对所述至少一路候选多媒体数据进行第二处理,以得到能够输出的目标多媒体数据;

其中,所述多媒体数据采集模组不属于所述电子设备,所述第一处理部件和所述第二处理部件配置的处理算法至少部分不同。

一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述的数据处理方法的步骤。

本申请的实施例所提供的数据处理方法、装置及电子设备,获得至少一多媒体数据采集模组采集的至少一路多媒体数据;对至少一路多媒体数据进行第一处理,得到至少一路候选多媒体数据;对至少一路候选多媒体数据进行第二处理,得到能够输出的目标多媒体数据;其中,多媒体数据采集模组不属于电子设备,电子设备执行第一处理和第二处理所使用的处理算法至少部分不同;如此,可以采用不同的处理算法,先对至少一路多媒体数据进行第一处理,之后再对进行了第一处理后得到的至少一路候选多媒体进行第二处理,得到目标多媒体数据,提高了对多媒体数据进行处理的灵活性,而且通过两次处理提高了得到的目标多媒体数据的质量,解决了相关技术中处理多媒体数据时,灵活性低且处理后的多媒体数据的质量较差的问题。

附图说明

图1为本申请实施例提供的一种数据处理方法的流程示意图;

图2为本申请实施例提供的另一种数据处理方法的流程示意图;

图3为本申请实施例提供的又一种数据处理方法的流程示意图;

图4为本申请另一实施例提供一种数据处理方法的流程示意图;

图5为本申请实施例提供的一种数据处理装置的结构示意图;

图6为本申请实施例提供的一种电子设备的结构示意图;

图7为本申请实施例提供的另一电子设备的结构示意图;

图8为本申请实施例提供的多媒体数据采集模组和电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。

应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本申请实施例提供一种数据处理方法,该方法可以应用于一电子设备中,参照图1所示,该方法包括以下步骤:

步骤101、获得至少一多媒体数据采集模组采集的至少一路多媒体数据。

其中,每一多媒体数据采集模组包括无线射频发送组件和多个多媒体数据采集部件;其中,多个多媒体数据采集部件组成数据采集阵列;每一多媒体数据采集模组采集一路多媒体数据;多媒体数据采集模组不属于电子设备。

在本申请实施例中,电子设备可以接收每一多媒体数据采集模组中的无线射频发送组件发送的一路多媒体数据;多媒体数据采集模组可以包括音频数据采集模组和/或图像数据采集模组;其中,音频数据采集模组中包括由多个麦克风组件组成的麦克风阵列和无线射频发送组件;图像数据采集模组包括由多个摄像头组成的摄像头阵列和无线射频发送组件。其中,多媒体数据采集模组的数量和多媒体数据的数量(路数)相同。

具体地,电子设备可以向至少一多媒体数据采集模组发送用于获取多媒体数据的获取指令,每一多媒体数据采集模组可以基于接收到的获取指令发送多媒体数据至电子设备;当然,还可以是每一多媒体数据采集模组接收用户的触发操作,每一多媒体数据采集模组在基于用户的触发操作处于工作状态的情况下,发送多媒体数据至电子设备。其中,电子设备可以通过电子设备上的无线射频模组接收每一多媒体数据采集模组发送的多媒体数据。其中,多媒体数据包括音频数据、图像数据、视频数据中的至少之一。

步骤102、对至少一路多媒体数据进行第一处理,得到至少一路候选多媒体数据。

在本申请实施例中,可以分别对每路多媒体数据进行第一处理,得到每一路多媒体数据对应的一路候选多媒体数据。其中,对每路多媒体数据进行第一处理所采用的算法可以相同,也可以不同。

具体地,可以确定每路多媒体数据对应的第一目标处理算法,并基于该第一目标处理算法对多媒体数据进行第一处理,得到至少一路候选多媒体数据;可以根据多媒体数据的属性信息、产生该路多媒体数据的空间环境的环境信息和该路多媒体数据的来源信息中的至少一种信息,从用于进行第一处理的多个第一处理算法中确定第一目标处理算法,所述第一目标处理算法可以包括单一处理算法,也可以包括多个处理算法形成的处理算法集合。

在一种可行的实现方式中,多媒体数据可以是音频数据,对多媒体数据进行第一处理,具体可以是对音频数据进行回声消除、降噪、定位和增强等中的至少之一处理;在另一种可行的实现方式中,多媒体数据可以是图像数据,对多媒体数据进行第一处理,具体可以是对图像数据进行去噪、图像识别、图像增强、超分、模糊(马赛克)、背景抠除和美颜等中的至少之一处理。

步骤103、对至少一路候选多媒体数据进行第二处理,得到能够输出的目标多媒体数据。

其中,多媒体数据采集模组不属于电子设备,电子设备执行第一处理和第二处理所使用的处理算法至少部分不同。其中,对多媒体数据进行第一处理所采用的算法为第一目标处理算法,对第一处理后得到的候选多媒体数据进行第二处理所采用的算法为第二目标处理算法,第二目标处理算法可以包括单一处理算法,也可以包括多个处理算法形成的处理算法集合;其中,第一目标处理算法和第二目标处理算法不同;对每路候选多媒体数据进行第二处理时所采用的第二目标处理算法可以相同,也可以不同。

在本申请实施例中,可以基于每路多媒体数据的属性信息、对第一候选多媒体数据进行评价得到的评价结果、目标使用对象的用户画像信息、目标输出部件的配置信息中的至少一种信息,从用于进行第二处理的多个第二处理算法中确定每路多媒体数据对应的第二目标处理算法;之后可以采用第二目标处理算法对对应的一路多媒体数据进行第二处理,得到目标多媒体数据。其中,第二处理包括拼接处理、融合处理、剪辑处理、差异化处理、单一处理、统一处理中的至少一种。

在一种可行的实现方式中,第二目标处理算法可以是筛选算法和/或融合算法。

本申请的实施例所提供的数据处理方法,获得至少一多媒体数据采集模组采集的至少一路多媒体数据;对至少一路多媒体数据进行第一处理,得到至少一路候选多媒体数据;对至少一路候选多媒体数据进行第二处理,得到能够输出的目标多媒体数据;其中,多媒体数据采集模组不属于电子设备,电子设备执行第一处理和第二处理所使用的处理算法至少部分不同;如此,可以采用不同的处理算法,先对至少一路多媒体数据进行第一处理,之后再对进行了第一处理后得到的至少一路候选多媒体进行第二处理,得到目标多媒体数据,提高了对多媒体数据进行处理的灵活性,而且通过两次处理提高了得到的目标多媒体数据的质量,解决了相关技术中处理多媒体数据时,灵活性低且处理后的多媒体数据的质量较差的问题。

基于前述实施例,本申请的实施例提供一种数据处理方法,参照图2所示,该方法包括以下步骤:

步骤201、获得至少一多媒体数据采集模组采集的至少一路多媒体数据。

需要说明的是,步骤201可以通过步骤a1~a3中至少一步骤来实现:

步骤a1、响应于确定目标使用对象与电子设备具有第一相对位置关系,获得电子设备的多媒体数据采集部件采集的至少一路多媒体数据和至少一多媒体数据采集模组采集到的至少一路多媒体数据。

其中,第一相对位置关系能够表征目标使用对象在电子设备的多媒体数据采集部件的采集范围内;目标使用对象可以是具有生命体征的对象。

在本申请实施例中,电子设备可以检测目标使用对象的第一位置信息,以及电子设备的第二位置信息,基于第一位置信息和第二位置信息,确定目标使用对象与电子设备之间的第一相对位置信息,在基于第一相对位置信息确定目标使用对象与电子设备之间具有第一相对位置关系时,此处不仅能够获得至少一多媒体数据采集模组采集到的针对目标使用对象的至少一路多媒体数据,还可以获得电子设备的多媒体数据采集部件采集的针对目标使用对象的至少一路多媒体数据;其中,目标使用对象在电子设备的多媒体数据采集部件的采集范围内,且目标使用对象在至少一多媒体数据采集模组的采集范围内。

其中,电子设备的多媒体数据采集部件的数量可以是至少一个,每一多媒体数据采集部件可以采集一路多媒体数据;多媒体数据采集部件可以是图像采集部件和音频采集部件。对于电子设备的图像数据采集部件和图像数据采集模组而言,采集范围可以是取景范围;对于电子设备的音频数据采集部件和音频数据采集模组而言,采集范围可以是拾音范围。

在一种可行的实现方式中,目标使用对象可以是人,电子设备上可以采用蓝牙定位技术,确定人的第一位置信息,并通过全球定位系统(Global Positioning System,GPS))定位电子设备自身的第二位置信息,以便基于第一位置信息和第二位置信息确定人与电子设备之间的第一相对位置信息。

需要说明的是,在目标使用对象与电子设备具有第一相对位置关系,且目标使用对象在至少一多媒体数据采集模组的采集范围之外的情况下,也就是说此时,目标使用对象只在电子设备自身的多媒体数据采集部件的采集范围内,则可以只获得电子设备的多媒体数据采集部件采集的至少一路多媒体数据。

步骤a2、响应于确定目标使用对象与电子设备具有第二相对位置关系,获得至少一多媒体数据采集模组采集到的至少一路多媒体数据。

其中,在第二相对位置关系下,至少之一多媒体数据采集模组与目标使用对象之间的间距小于电子设备与目标使用对象之间的间距;第二相关位置关系表征目标使用对象在电子设备的多媒体数据采集部件的采集范围之外。

在本申请实施例中,电子设备可以确定目标使用对象与电子设备之间的第一相对位置信息,在基于第一相对位置信息确定目标使用对象与电子设备之间具有第二相对位置关系时,此时电子设备不开启自身的多媒体数据采集部件,只接收至少一多媒体数据采集模组采集的至少一路多媒体数据;其中,目标使用对象在至少一多媒体数据采集模组的采集范围之内。

步骤a3、获得目标使用对象与至少一多媒体数据采集模组之间的相对位置信息,获得基于相对位置信息确定的目标多媒体数据采集模组采集的至少一路多媒体数据。

其中,多媒体数据采集模组的数量为至少一个;其中,目标使用对象与至少一多媒体数据采集模组之间的相对位置信息可以记为第二相对位置信息。

在本申请实施例中,电子设备可以确定目标使用对象的第一位置信息和每一多媒体数据采集模组的第三位置信息,基于第一位置信息和第三位置信息,确定目标使用对象与每一多媒体数据采集模组之间的第二相对位置信息;从第二相对位置信息中确定满足相对位置条件的目标相对位置信息,并确定目标相对位置信息对应的多媒体数据采集模组为目标多媒体数据采集模组。其中,目标使用对象可以是具有生命体征的对象。

在一种可行的实现方式中,目标使用对象可以是人,电子设备上可以采用蓝牙定位技术,确定人的第一位置信息,并通过GPS定位每一多媒体数据采集模组的第三位置信息,以便基于第一位置信息和第三位置信息确定目标使用对象与至少一多媒体数据采集模组之间的第二相对位置信息。其中,第二相对位置信息用于表示目标使用对象相对于多媒体数据采集模组的方向,以及目标使用对象与多媒体数据采集模组之间的距离。

在其他实施例中也可以考虑通过声源定位或图像检测的方式定位目标使用对象的位置。或者通过其他能够测距的传感器,如红外传感器、距离传感器等监测目标使用对象与电子设备或多媒体数据采集模组的相对位置信息。

在本申请实施例中,电子设备可以向目标多媒体数据采集模组发送获取指令,目标多媒体数据采集模组可以基于接收到的获取指令发送至少一路多媒体数据至电子设备。当然,还可以向用户终端发送用于提示开启目标多媒体数据采集模组的提示信息,以便用户基于用户终端接收的提示信息,开启目标多媒体数据采集模组,使得目标多媒体数据采集模组在处于工作状态的情况下,发送采集的至少一路多媒体数据至电子设备。

需要说明的是,电子设备通过无线射频模组接收到的数据量的大小与多媒体数据采集模组采集的数据量大小相同;也就是说,多媒体数据采集模组对采集的多媒体数据没有经过任何处理,便发送至电子设备的。

步骤202、在获得一路多媒体数据的情况下,对至少一路多媒体数据进行第一处理,得到至少一路候选多媒体数据。

其中,步骤202可以通过步骤b1~b2中至少一步骤来实现:

步骤b1、在获得一路多媒体数据的情况下,获得该路多媒体数据的属性信息,基于属性信息以对应处理算法或对应处理部件对该路多媒体数据进行第一处理,得到第一候选多媒体数据。

其中,处理部件内配置有至少一处理算法;其中,处理部件中配置的处理算法为用于进行第一处理的第一处理算法。

在本申请实施例中,可以对多媒体数据进行分析,得到多媒体数据的属性信息;也可以获取多媒体数据的采集来源信息,并基于采集来源信息确定多媒体数据的属性信息;其中,采集来源信息中携带有该路多媒体数据对应的多媒体数据采集模组的标识;采集来源信息用于表征该路多媒体数据来源于哪一多媒体数据采集模组或来源于电子设备的哪一多媒体数据采集部件。还可以获取该路多媒体数据对应的标签数据,并基于标签数据从多个属性信息中确定多媒体数据对应的属性信息;其中,标签数据与属性信息一一对应;其中,标签数据可以用于唯一指代采集该路多媒体数据的多媒体数据采集模组;标签数据还可以是用于唯一指代该路多媒体数据;标签数据可以是预先给多媒体数据采集模组配置的,也可以是接收到该路多媒体数据后为该路多媒体数据配置的;电子设备中存储有标签数据与属性信息之间的对应关系。

在一种可行的实现方式中,标签数据可以是每一多媒体数据采集模组的编号。

在一种可行的实现方式中,属性信息可以是信噪比、信号强度、图像分辨率、噪点数量、清晰度、色彩度、帧率和码率中的至少一种。

在本申请实施例中,可以基于该路多媒体数据的属性信息,从用于进行第一处理的多个第一处理算法中确定与属性信息对应的第一目标处理算法,并通过第一目标处理算法对该路多媒体数据进行第一处理;当然,也可以是基于该路多媒体数据的属性信息,从用于进行第一处理的多个第一处理部件中确定与属性信息对应的第一目标处理部件,并基于第一目标处理部件中存储的第一处理算法对该路多媒体数据进行第一处理。

具体地,电子设备中预先存储有第一处理算法与属性信息之间的第一对应关系,可以基于该路多媒体数据的属性信息和第一对应关系,从多个第一处理算法中确定与该路多媒体数据的属性信息对应的第一目标处理算法。电子设备中也可以预先存储有第一处理部件与属性信息之间的第二对应关系,可以基于该路多媒体数据的属性信息和第二对应关系,从多个第一处理部件中确定与该路多媒体数据的属性信息对应的第一目标处理部件。电子设备还可以采用人工智能(Artificial Intelligence,AI)算法对该路多媒体数据的属性信息和多个第一处理算法进行分析,以从多个第一处理算法中确定该路多媒体数据的属性信对应的第一目标处理算法;或,采用AI算法对该路多媒体数据的属性信息和多个第一处理部件的性能进行分析,以从多个第一处理部件中确定第一目标处理部件。

在其他实施例中,也可以基于自学习动态更新或确定每一属性信息对应的处理算法,以能够对多媒体数据进行精准处理。

其中,多个第一处理部件的种类可以是相同的,也可以是不同的;多个第一处理部件的种类包括中央处理器(Central Processing Unit,CPU)、图形处理器(GraphicsProcessing Unit,GPU)、图像信号处理器(Image Signal Processor,ISP)和数字信号处理(Digital Signal Processing,DSP)芯片中的至少一种。

在一种可行的实现方式中,该路多媒体数据可以是音频数据或图像数据,则可以根据该路多媒体数据的属性信息从用于进行第一处理的多个DSP芯片或ISP芯片中确定目标DSP芯片或目标ISP芯片,并通过目标DSP芯片或目标ISP芯片对该路多媒体数据进行第一处理;其中,DSP芯片,也称之为数字信号处理器。

步骤b2、获得产生该路多媒体数据的空间环境的环境信息,基于环境信息以对应处理算法或对应处理部件对该路多媒体数据进行第一处理,得到第一候选多媒体数据。

其中,处理部件内配置有至少一处理算法。

在本申请实施例中,产生该路多媒体数据的空间环境的环境信息可以是产生该路多媒体数据时周围的环境信息;其中,环境信息包括环境亮度、噪音、目标使用对象的数量等信息。

具体地,该环境信息可以至少包括产生该路多媒体数据的多媒体数据采集模组所处的空间环境的环境信息。电子设备可以基于环境信息从多个第一处理算法中确定该环境信息对应的第一目标处理算法,并采用第一目标处理算法对该路多媒体数据进行第一处理,得到第一候选多媒体数据;还可以基于环境信息,从多个第一处理算法中确定与环境信息对应的第一目标处理部件,并采用第一目标处理部件对该路多媒体数据进行第一处理;其中,第一目标处理部件中存储有至少一第一处理算法。

具体地,电子设备中可以预先存储有环境信息与第一处理算法之间的第三对应关系;电子设备可以基于该路多媒体数据的环境信息和第三对应关系,从多个第一处理算法中确定第一目标处理算法。电子设备中也可以预先存储有环境信息与第一处理部件之间的第四对应关系,电子设备可以基于该路多媒体数据的环境信息和第四对应关系,从多个第一处理部件中确定第一目标处理部件。还可以采用AI算法对环境信息和多个第一处理算法进行分析,以从多个第一处理算法中确定第一目标处理算法;或,采用AI算法对环境信息和多个第一处理部件的性能进行分析,以从多个第一处理部件中确定第一目标处理部件。

需要说明的是,环境信息还可以包括环境变化信息;可以基于环境变换信息自适应调整用于处理该路多媒体数据的第一目标处理算法或第一目标处理部件。当产生该路多媒体数据的空间环境的环境信息发生变化时,可以基于环境变化信息,将当前处理该路多媒体数据的第一目标处理算法或第一目标处理部件进行更换;也就是说,在不同时刻虽然拿到都是同一多媒体数据采集模组或同一电子设备的多媒体数据采集部件采集到的多媒体数据,但是进行第一处理所采用的第一目标处理部件是不同的,提高了对多媒体数据进行第一处理的灵活性。

需要说明的是,在步骤202之后可以执行步骤203~206中至少一步骤。图2中只示意了在步骤202之后执行步骤203~206中的任一步骤。

步骤203、基于属性信息对第一候选多媒体数据进行第二处理,得到目标多媒体数据。

在本申请实施例中,可以基于该路多媒体数据的属性信息,从用于进行第二处理的第二处理算法中确定第二目标处理算法,并采用第二目标处理算法对第一候选多媒体数据进行第二处理,得到目标多媒体数据;还可以是采用AI智能算法基于属性信息,对第一候选多媒体数据进行第二处理,得到目标多媒体数据;其中,第二处理也可以理解为是对该路第一候选多媒体数据的优化处理。

具体地,电子设备中可以预先存储有属性信息与第二处理算法之间的第五对应关系,可以基于多媒体数据的属性信息和第五对应关系,从多个第二处理算法中确定与属性信息对应的第二目标处理算法。

在一种可行的实现方式中,第一候选多媒体数据为音频数据,则基于属性信息确定的第二目标处理算法可以是智能降噪算法和/或智能增强算法;虽然第一目标处理算法和第二目标处理算法不同,但是第一目标处理算法和第二目标处理算法的类型可以相同,也可以不同。

步骤204、对第一候选多媒体数据进行评价,基于评价结果对第一候选多媒体数据进行第二处理,得到目标多媒体数据。

在本申请实施例中,可以从第一候选多媒体数据中提取子候选多媒体数据,并采用每个第二处理算法分别对该子候选多媒体数据进行第二处理,得到处理后的子候选多媒体数据,之后可以对处理后的子候选多媒体数据的质量进行评价,得到处理后的子候选多媒体数据的质量评分,从多个质量评分中确定最高质量评分,并将最高质量评分对应的第二处理算法作为第二目标处理算法;采用第二目标处理算法对第一候选多媒体数据进行第二处理,得到目标多媒体数据。

在本申请实施例中,还可以基于预设评价项,对第一候选多媒体数据的质量进行评价,得到每一预设评价项对应的质量评分,在预设评价项对应的质量评分小于该预设评价项对应的质量阈值评分的情况下,确定该预设评价项对应的第二处理算法为第二目标处理算法。其中,预设评价项包括噪音和信号强度等评价项,若第一候选多媒体数据为图像数据,预设评价项还可以包括图像质量。

在一种可行的实现方式中,预设评价项可以是噪音和信号强度,可以考虑噪音对第一候选多媒体数据的质量进行评价,得到噪音质量评分,并考虑信号强度,对第一候选多媒体数据的质量进行评价,得到信号强度质量评分;当噪音质量评分小于噪音对应的目标噪音质量阈值评分时,确定噪音(预设评价项)对应的降噪算法为第二目标处理算法;当信号强度质量评分小于信号强度对应的目标信号强度质量阈值评分,确定信号强度对应的信号增强算法为第二目标处理算法;当噪音质量评分小于目标噪音质量阈值评分,且信号强度质量评分小于目标信号强度质量阈值评分时,确定噪音对应的降噪算法和信号强度对应的信号增强算法均为第二目标处理算法。

步骤205、获得目标使用对象的用户画像信息,基于用户画像信息对第一候选多媒体数据进行第二处理,得到目标多媒体数据。

在本申请实施例中,用户画像信息可以是目标使用对象输入至电子设备的;还可以是电子设备获取针对目标使用对象的历史多媒体数据,对历史多媒体数据进行分析后得到的;其中,用户画像信息包括目标使用对象在不同模式下习惯的显示参数或声音输出参数。模式包括但不限于会议模式或娱乐模式。

在本申请实施例中,电子设备可以确定目标使用对象当前所处的目标模式,并基于目标模式从存储的目标使用对象的用户画像信息中确定该目标模式下的显示参数或声音输出参数,并基于显示参数或声音输出参数,对第一候选多媒体数据进行第二处理,得到目标多媒体数据。其中,目标模式可以是目标使用对象通过终端发送至电子设备的,还可以是电子设备基于接收到的多媒体数据确定的。

在一种可行的实现方式中,电子设备根据获取的音频数据确定目标使用对象所处的目标模式为会议模式,则可以从目标对象的用户画像信息中确定会议模式下的声音输出参数,并采用声音输出参数对该音频数据对应的第一候选音频数据进行第二处理,得到目标音频数据。其中,第一候选音频数据是对音频数据进行第一处理后得到的。

需要说明的是,考虑了用户在不同场景(即模式)对声音输出或图像输出的预期,来基于用户画像信息对第一候选多媒体数据进行第二处理,提高了对第一候选多媒体数据进行第二处理的灵活性。

步骤206、获得目标输出部件的配置信息,基于配置信息对第一候选多媒体数据进行第二处理,得到目标多媒体数据。

其中,目标输出部件是用于输出目标多媒体数据的部件。

在本申请实施例中,目标输出部件可以是电子设备上的部件,还可以是电子设备之外其它设备上的部件。在一种可行的实现方式中,当多媒体数据为图像数据时,目标输出部件可以是显示屏;当多媒体数据为音频数据时,目标输出部件可以是扬声器。

在本申请实施例中,当目标输出部件为电子设备上的部件,电子设备可以从自身的配置信息中获取目标输出部件的配置信息;当目标输出部件为其它设备上的部件,电子设备可以向其它设备发送用于获取目标输出部件的配置信息的获取指令,并接收其它设备基于获取指令发送的目标输出部件的配置信息;当目标输出部件为电子设备外接的部件时,电子设备可以对目标输出部件进行检测,以获得目标输出部件的配置信息。可以根据配置信息对第一候选多媒体数据进行第二处理,使得得到的目标多媒体数据能够适配于目标输出部件,以便提高目标多媒体数据的输出效果。其中,其它设备可以是远端设备。

本申请的实施例所提供的数据处理方法,可以采用不同的处理算法,先对至少一路多媒体数据进行第一处理,之后再对进行了第一处理后得到的至少一路候选多媒体进行第二处理,得到目标多媒体数据,提高了对多媒体数据进行处理的灵活性,而且通过两次处理提高了得到的目标多媒体数据的质量,解决了相关技术中处理多媒体数据时,灵活性低且处理后的多媒体数据的质量较差的问题。

基于前述实施例,本申请的实施例提供一种数据处理方法,参照图3所示,该方法包括以下步骤:

步骤301、获得至少一多媒体数据采集模组采集的至少一路多媒体数据。

需要说明的是,步骤301的具体实现过程可以参照步骤a1~a3中的至少一步骤来实现,此处不再赘述。

步骤302、在获得至少两路多媒体数据的情况下,对至少一路多媒体数据进行第一处理,得到至少一路候选多媒体数据。

需要说明的是,步骤302可以通过步骤c1~c3中的至少一步骤来实现。

步骤c1、在获得至少两路多媒体数据的情况下,获得每路多媒体数据的属性信息,基于属性信息以确定的处理算法或处理部件对每路多媒体数据进行第一处理,得到至少两路候选多媒体数据。

其中,处理部件内置有至少一处理算法;每路多媒体数据对应的处理算法相同或不同,每路多媒体数据对应的处理部件不同。其中,每路多媒体数据对应的处理算法为用于进行第一处理的第一目标处理算法;每路多媒体数据对应的处理部件为用于进行第一处理的第一目标处理部件。

需要说明的是,获得每路多媒体数据的属性信息的具体过程可以参照对步骤b1中获取该路多媒体数据的说明,本申请实施例在此不再赘述。

在本申请实施例中,可以基于至少两路多媒体数据中的第N路多媒体数据的第N属性信息,从用于进行第一处理的多个第一处理算法中确定第N路多媒体数据对应的第一目标处理算法,并采用第一目标处理算法对第N路多媒体数据进行第一处理,得到第N路多媒体数据对应的第N路候选多媒体数据。也可以基于第N属性信息,从用于进行第一处理的多个第一处理部件中确定第一目标处理部件,并采用第一目标处理部件对第N路多媒体数据进行第一处理,得到第N路多媒体数据对应的第N路候选多媒体数据。如此,按照这种方式对每一路多媒体数据进行处理,得到每一路多媒体数据对应的一路候选多媒体数据。其中,N为大于或等于2的正整数。

需要说明的是,基于第N属性信息确定第N路多媒体数据对应的第一目标处理算法或第一目标处理部件的具体过程可以参照对步骤b1中基于该路多媒体数据的属性信息确定该路多媒体数据对应的第一目标处理算法或第一目标处理部件的说明,本申请实施例在此不再赘述。

步骤c2、在获得至少两路多媒体数据的情况下,获得产生每路多媒体数据的空间环境的环境信息,基于环境信息以对应处理算法或对应处理部件对每路多媒体数据进行第一处理,得到至少两路候选多媒体数据。

其中,处理部件内置有至少一处理算法,每路多媒体数据对应的处理算法相同或不同,每路多媒体数据对应的处理部件不同。其中,每路多媒体数据对应的

需要说明的是,步骤c2中获得产生每路多媒体数据的空间环境的环境信息的具体过程可以参照对步骤b2中获得产生该路多媒体数据的空间环境的环境信息的说明,本申请实施例在此不再赘述。

在本申请实施例中,可以获得产生第N路多媒体数据的空间环境的第N环境信息,基于第N环境信息确定第N路多媒体数据对应的第一目标处理算法或第一目标处理部件,并采用第一目标处理算法或第一目标处理部件对第N路多媒体数据进行第一处理,得到第N路多媒体数据对应的一路候选多媒体数据;如此,按照这种方式,对每一路多媒体数据均进行处理,得到每路多媒体数据对应的一路候选多媒体数据。

需要说明的是,基于第N环境信息确定第N路多媒体数据对应的第一目标处理算法或第一目标处理部件,可以参照步骤b2中对基于环境信息,确定该路多媒体数据对应的第一目标处理算法或第一目标处理部件的说明,本申请实施例在此不再赘述。

步骤c3、在获得至少两路多媒体数据的情况下,获得每路多媒体数据的来源信息,基于来源信息以确定的处理算法或处理部件对每路多媒体数据进行第一处理,得到至少两路候选多媒体数据。

其中,处理部件内置有至少一处理算法,每路多媒体数据对应的处理算法不同,每路多媒体数据对应的处理部件不同;来源信息表征每路多媒体数据来源于哪个目标使用对象以及目标使用对象的数量。

当多媒体数据为音频数据时,可以对每路音频数据进行声纹识别,以确定每路音频数据的来源信息;当多媒体数据为图像数据时,可以对图像数据进行人脸识别,以确定每路图像数据的来源信息。其中,每路音频数据的来源信息可以表征每路音频数据来源于哪几个人;每路图像数据的来源信息可以表征每路图像数据来源于哪几个人。

在本申请实施例中,可以基于来源信息确定与来源信息对应的第一目标处理算法或第一目标处理部件,并采用第一目标处理算法或第一目标处理部件对该来源信息对应的一路多媒体数据进行第一处理,得到该多媒体数据对应的候选多媒体数据。其中,电子设备中预先设置有来源信息与第一处理算法之间的对应关系,以及来源信息与第一处理部件之间的对应关系。

当然,还可以采用AI算法对来源信息和多个第一处理算法进行分析,以从多个第一处理算法中确定第一目标处理算法;或采用AI算法对来源信息和多个第一处理部件的性能进行分析,以从多个第一处理部件中确定第一目标处理部件。

需要说明的是,在步骤302之后可以执行步骤303~310中至少一步骤。图3中只示意了在步骤302之后执行步骤303~310中的任一步骤。

步骤303、对至少两路候选多媒体数据进行拼接处理,得到目标多媒体数据。

在本申请实施例中,可以基于至少两路多媒体数据的声压级或图像清晰度,从至少两路多媒体数据中选择不同时刻的子候选多媒体数据,并对获得的子候选多媒体数据进行拼接处理,得到目标多媒体数据。

在一种可行的实现方式中,目标使用对象的数量为1个,在目标使用对象移动的过程中至少两个多媒体数据采集模组都会开启,在对至少两个多媒体数据采集模组采集的至少两路多媒体数据进行第一处理后得到至少两路候选多媒体数据,确定每路候选多媒体数据中不同时刻的子候选多媒体数据的声压级,对于T1时刻,可以将多路候选多媒体数据中T1时刻的子候选多媒体数据的声压级进行比较,从中确定最大声压级对应的子候选多媒体数据作为T1时刻的目标子候选多媒体数据,按照这种方式,可以确定多个不同时刻对应的目标子候选多媒体数据,并对多个目标子候选多媒体数据进行拼接处理,得到目标多媒体数据。其中,候选多媒体数据为音频数据。

需要说明的是,需要根据多个目标子候选多媒体数据对应的声压级,计算目标声压级,以目标声压级对拼接后得到的候选多媒体数据进行声压级调整,得到目标多媒体数据,提升目标多媒体数据的输出效果,避免输出的目标多媒体数据由于声压级突变,降低目标多媒体数据输出的听觉效果。

在另一种可行的实现方式中,目标使用对象的数量可以为至少一个,可以确定每路候选多媒体数据中不同时刻的子候选多媒体数据的清晰度,对于T1时刻,可以将多路候选多媒体数据中T1时刻的子候选多媒体数据的清晰度进行比较,从中确定最大清晰度对应的子候选多媒体数据作为T1时刻的目标子候选多媒体数据,按照这种方式,可以确定多个不同时刻对应的目标子候选多媒体数据,并对多个目标子候选多媒体数据进行拼接,得到目标多媒体数据。其中,候选多媒体数据为图像数据。其中,对多个目标子候选多媒体数据进行拼接得到目标多媒体数据,可以理解为基于每一时刻和目标子候选多媒体数据之间的对应关系,对多个目标子候选多媒体数据进行合成,生成目标视频。

此外,当至少两路候选多媒体数据为图像数据时,还可以从至少两路多媒体数据中提取不同的目标使用对象的图像,并对多个不同的目标使用对象的图像进行拼接,得到目标图像并输出;其中,多媒体数据包括目标图像。

步骤304、对至少两路候选多媒体数据进行融合处理,得到目标多媒体数据。

在本申请实施例中,可以从至少两路候选多媒体数据中提取每个目标使用对象的候选子多媒体数据,并对多个目标使用对象的候选子多媒体数据进行筛选,得到目标候选子多媒体数据,并对多个目标候选子多媒体数据进行融合,得到目标多媒体数据。

具体地,可以从至少两路候选多媒体数据中获取每个目标使用对象的候选子多媒体数据,并对候选子多媒体数据进行质量评价,得到候选子多媒体数据的质量评分,并从每个目标使用对象的候选子多媒体数据中确定最高质量评分对应的候选子多媒体数据,得到每个目标使用对象的目标候选子多媒体数据,之后可以对多个目标候选子多媒体数据进行融合处理,得到目标多媒体数据。

在一种可行的实现方式中,候选多媒体数据为6路,在多人对话场景中讲话对象的数量可以为4,可以从6路候选多媒体数据中确定每一讲话对象对应的子候选多媒体数据,对每一子候选多媒体数据进行质量评价,得到每一子候选多媒体数据的质量评分,之后可以基于每一讲话对象对应的子候选多媒体数据的质量评分,从每一讲话对象对应的子候选多媒体数据中确定最高质量评分对应的子候选多媒体数据,得到每一讲话对象的目标子候选多媒体数据;其中,6路多媒体数据是同时采集的;目标使用对象为讲话对象。

需要说明的是,在多人讲话场景,多人讲话的声音可以被每个多媒体数据采集模组采集,也就是说,一路多媒体数据中可能存在多个讲话对象的子多媒体数据,对于多个多媒体数据采集模组而言,采集的多媒体数据可能会出现重复,在对多个多媒体数据采集模组采集的多媒体数据进行第一处理后,得到每路多媒体数据对应的一路候选多媒体数据,之后可以从多路候选多媒体数据中提取每个讲话对象的目标子候选多媒体数据,对多个讲话对象的目标子候选多媒体数据进行融合处理,得到目标多媒体数据;可以保证每个人的讲话声音都被保存下来并输出,避免丢失某个人的讲话信息。

步骤305、对至少两路候选多媒体数据进行剪辑处理,得到目标多媒体数据。

在本申请实施例中,可以基于用户的选择操作,对至少两路候选多媒体数据进行剪辑处理,得到目标多媒体数据;当然,还可以确定至少两路候选多媒体数据的质量,基于质量从每路候选多媒体数据中剪除质量比较差的数据,得到目标多媒体数据。其中,剪辑处理包括剪切处理或剪除处理。

在一种可行的实现方式中,可以基于用户的选择操作,确定剪除对象,并从至少两路候选多媒体数据中剪除掉剪除对象的候选子多媒体数据,得到目标多媒体数据。

步骤306、基于属性信息对每路候选多媒体数据进行差异化处理,得到目标多媒体数据。

其中,差异化处理指的是对每路候选多媒体数据进行不同的处理。

在本申请实施例中,每路多媒体数据对应的属性信息是不同的;电子设备可以基于第N路多媒体数据对应的属性信息,对第N路候选多媒体数据进行差异化处理,得到目标多媒体数据;比如,第N路多媒体数据对应的属性信息中表征第N路多媒体数据的噪声严重,在对第N路多媒体数据进行第一处理后,得到第N路候选多媒体数据,可以仅考虑噪声对第N路候选多媒体数据进行降噪处理,得到降噪处理后的候选多媒体数据;在第N+1路对应的属性信息中表征第N+1路多媒体数据的信号强度比较差时,可以仅考虑信号强度对第N+1路候选多媒体数据进行增强处理,得到增强处理后的候选多媒体数据;电子设备可以将增强处理后的候选多媒体数据和降噪处理后的候选多媒体数据作为目标多媒体数据;当然,还可以对增强处理后的候选多媒体数据和降噪处理后的候选多媒体数据进行进一步优化,得到目标多媒体数据。

步骤307、对每路候选多媒体数据进行评价,基于评价结果对每路候选多媒体数据进行差异化处理,得到目标多媒体数据。

需要说明的是,步骤307中对每路候选多媒体数据进行评价的具体实现过程,具体可以参照步骤204中对第一候选多媒体数据进行评价的具体实现过程,本申请实施例此处不再赘述。

其中,差异化处理,指的是对每路候选多媒体数据进行不同的处理。

在本申请实施例中,每一路候选多媒体数据对应的评价结果不同,那么对每一路候选度媒体数据进行第二处理的过程也不同。

需要说明的是,基于评价结果对每一路候选多媒体数据进行第二处理的过程可以参照步骤204中对第一候选多媒体数据进行第二处理的具体实现过程,本申请实施例此处不再赘述。

步骤308、获得目标使用对象的用户画像信息,基于用户画像信息对每路候选多媒体数据进行差异化处理,得到目标多媒体数据。

其中,对每路候选多媒体数据进行差异化处理指的是对每路候选多媒体数据进行不同的第二处理,也可以理解为对每路候选多媒体数据进行第二处理的过程不同。

在本申请实施例中,可以基于每路候选多媒体数据中的目标使用对象和目标使用对象的用户画像信息,对该路候选多媒体数据进行差异化处理,得到目标多媒体数据。其中,每路候选多媒体数据中的目标用户对象不同,那么对每路候选对媒体数据进行第二处理的过程也不同。

需要说明的是,步骤308中获得目标使用对象的用户画像信息,以及基于用户画像信息对每路候选多媒体数据进行第二处理得到目标多媒体数据的具体实现过程,可以参照步骤205中获得目标使用对象的用户画像信息,基于用户画像信息对第一候选多媒体数据进行第二处理得到目标多媒体数据的具体实现过程,本申请实施例再此不再赘述。

步骤309、获得目标输出部件的配置信息,基于配置信息对每路候选多媒体数据进行差异化处理,得到目标多媒体数据。

其中,目标输出部件是用于输出目标多媒体数据的部件。

在本申请实施例中,基于目标输出部件的配置信息,对每路候选多媒体数据进行不同的处理,以适配不同的目标输出部件。

步骤310、获得目标需求信息,基于目标需求信息对每路候选多媒体数据进行单一或统一处理,得到目标多媒体数据。

其中,目标需求信息来自电子设备端或来自与电子设备通信连接的远端设备。

在本申请实施例中,可以基于目标需求信息,对每路候选多媒体数据进行智能降噪、回声消除、噪点去除等单一处理,得到目标多媒体数据;还可以是基于目标需求信息,对每路候选多媒体数据进行拼接、融合等统一处理,得到目标多媒体数据。

需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。

本申请的实施例所提供的数据处理方法,可以采用不同的处理算法,先对至少一路多媒体数据进行第一处理,之后再对进行了第一处理后得到的至少一路候选多媒体进行第二处理,得到目标多媒体数据,提高了对多媒体数据进行处理的灵活性,而且通过两次处理提高了得到的目标多媒体数据的质量,解决了相关技术中处理多媒体数据时,灵活性低且处理后的多媒体数据的质量较差的问题。

基于前述实施例,本申请的实施例提供一种数据处理方法,参照图4所示,该方法包括以下步骤:

步骤401、获得至少一多媒体数据采集模组采集的至少一路多媒体数据。

需要说明的是,步骤401的具体实现过程可以参照步骤a1~a3中的至少一步骤来实现,此处不再赘述。

步骤402、在获得电子设备的多媒体数据采集部件采集的至少一路多媒体数据和至少一多媒体数据采集模组采集到的至少一路多媒体数据的情况下,对至少一路多媒体数据进行第一处理,得到至少一路候选多媒体数据。

需要说明的是,步骤402可以通过步骤d1和d2中至少一步骤来实现:

步骤d1、在获得电子设备的多媒体数据采集部件采集的至少一路多媒体数据和至少一多媒体数据采集模组采集到的至少一路多媒体数据的情况下,获得多媒体数据采集模组的标识信息,基于标识信息以对应处理算法或对应处理部件对多媒体数据采集模组采集的多媒体数据进行第一处理,得到至少一路第二候选多媒体数据,处理部件内配置有至少一处理算法。

其中,标识信息用于唯一指代多媒体数据采集模组,且标识信息表征多媒体数据采集模组的属性;其中,该属性包括型号、配置和功能中的至少一个。

在本申请实施例中,基于每一多媒体数据采集模组的标识信息,从用于进行第一处理的第一处理算法中确定第一目标处理算法,并采用第一目标处理算法对该多媒体数据采集模组采集的一路多媒体数据进行第一处理,得到第一候选多媒体数据;还可以基于每一多媒体数据采集模组的标识信息,从用于进行第一处理的多个第一处理部件中确定第一目标处理部件,并采用第一目标处理部件对该多媒体数据采集模组采集的一路多媒体数据进行第一处理,得到第一候选多媒体数据。

具体地,电子设备中可以预先存储有标识信息与第一处理算法之间的第六对应关系,可以基于多媒体数据采集模组的标识信息和第六对应关系,从多个第一处理算法中确定与标识信息对应的第一处理算法,得到第一目标处理算法。其中,标识信息可以是多媒体数据中携带的信息。

步骤d1、在获得电子设备的多媒体数据采集部件采集的至少一路多媒体数据和至少一多媒体数据采集模组采集到的至少一路多媒体数据的情况下,获得多媒体数据采集模组的位置信息,基于位置信息以确定的处理算法或处理部件对多媒体数据采集模组采集的多媒体数据进行第一处理,得到至少一路第二候选多媒体数据,处理部件内配置有至少一处理算法。

在本申请实施例中,可以对每一多媒体数据采集模组进行检测,得到每一多媒体数据采集模组的第三位置信息,并基于第三位置信息确定距离多媒体数据采集模组目标范围内的目标环境信息,并基于每一多媒体数据采集模组对应的目标环境信息从多个第一处理算法中确定第一目标处理算法;还可以是电子设备采用AI算法对多个第一处理算法和目标环境信息进行分析,从多个第一处理算法中确定第一目标处理算法。

步骤403、对多媒体数据采集部件采集的至少一路多媒体数据进行第一处理,得到至少一路第三候选多媒体数据,对至少一路第二候选多媒体数据和至少一路第三候选多媒体数据进行第二处理,得到目标多媒体数据。

在本申请实施例中,可以是获取多媒体数据采集部件采集的每一路多媒体数据的属性信息,并基于每一路多媒体数据的属性信息确定的第一目标处理算法,对该路多媒体数据进行第一处理,得到第三候选多媒体数据;还可以是基于多媒体数据采集部件当前所处的空间环境的环境信息确定的第一目标处理算法,对每路多媒体数据进行第一处理,得到第三候选多媒体数据;还可以是确定多媒体数据采集部件采集的每路多媒体数据的来源信息,并基于来源信息对该路多媒体数据进行第一处理,得到第三候选多媒体数据。

需要说明的是,对多媒体数据采集部件采集的至少一路多媒体数据进行第一处理所采用的处理部件,与对至少一路第二候选多媒体数据和至少一路第三候选多媒体数据进行第二处理所采用的处理部件是同一处理部件。

其中,对至少一路第二候选多媒体数据和至少一路第三候选多媒体数据进行第二处理,具体可以是对第二候选多媒体数据和第三候选多媒体数据进行评价,基于评价结果对第二候选多媒体数据和第三候选多媒体数据进行第二处理;还可以是获得目标使用对象的用户画像信息,基于用户画像信息对第二候选多媒体数据和第三候选多媒体数据进行第二处理;还可以是基于目标输出部件的配置信息,对第二候选多媒体数据和第三候选多媒体数据进行第二处理;还可以是对第二候选多媒体数据和第三候选多媒体数据进行拼接处理,得到目标多媒体数据;还可以是对第二候选多媒体数据和第三候选多媒体数据进行融合处理,得到目标多媒体数据;还可以是对第二候选多媒体数据和第三候选多媒体数据进行剪辑处理,得到目标多媒体数据。还可以是对第二候选多媒体数据进行评价,得到第一评价结果,对基于第一评价结果对第二候选多媒体数据进行处理,得到处理后的第二候选多媒体数据,并对第三候选多媒体数据进行评价,得到第二评价结果,对基于第二评价结果对第三候选多媒体数据进行处理,得到处理后的第三候选多媒体数据,并将处理后的第二候选多媒体数据和处理后的第三候选多媒体数据作为目标多媒体数据;也可以对处理后的第二候选多媒体数据和处理后的第三候选多媒体数据进一步优化,得到目标多媒体数据。

基于前述实施例,下述结合应用场景和相关技术中的方案,对本申请实施例提供的数据处理方法进行详细的解释说明。

相关技术中,无论是单人对话场景,还是多人对话场景,采集模组每次只能处理一路音频数据,且将音频数据进行单一处理后输出;也就是说,当同时获取到多路音频数据时,只会从其中选择一路音频数据,并将该路音频数据进行单一处理,得到目标音频数据并输出;如此,会导致目标音频数据缺失数据,使得目标音频数据的输出效果极差。

在本申请实施例中,在获取到多路音频数据时,可以将每路音频数据分别由对应的子DSP芯片进行第一处理,之后采用一主DSP芯片对所有子DSP芯片进行第一处理后的音频数据进行第二处理,得到目标音频数据;如此,实现了同时处理多路音频数据,并未丢弃任一路音频数据,提高了得到的目标音频数据的完整性,进一步提高了目标音频数据的质量和输出效果。

需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。

本申请实施例所提供的数据处理方法,可以采用不同的处理算法,先对至少一路多媒体数据进行第一处理,之后再对进行了第一处理后得到的至少一路候选多媒体进行第二处理,得到目标多媒体数据,提高了对多媒体数据进行处理的灵活性,而且通过两次处理提高了得到的目标多媒体数据的质量,解决了相关技术中处理多媒体数据时,灵活性低且处理后的多媒体数据的质量较差的问题。

基于前述实施例,本申请的实施例提供一种数据处理装置,该数据处理装置可以应用图1~4对应的实施例提供的数据处理方法中,参照图5所示,该数据处理装置5可以包括:

获取单元51,用于获得至少一多媒体数据采集模组采集的至少一路多媒体数据;

第一处理单元52,用于对至少一路多媒体数据进行第一处理,得到至少一路候选多媒体数据;

第二处理单元53,用于对至少一路候选多媒体数据进行第二处理,得到能够输出的目标多媒体数据;其中,多媒体数据采集模组不属于电子设备,所述第一处理单元和所述第二处理单元配置的处理算法至少部分不同。

在本申请实施例中,获取单元51,还用于执行以下步骤:

响应于确定目标使用对象与电子设备具有第一相对位置关系,获得电子设备的多媒体数据采集部件采集的至少一路多媒体数据和至少一多媒体数据采集模组采集到的至少一路多媒体数据;

响应于确定目标使用对象与电子设备具有第二相对位置关系,获得至少一多媒体数据采集模组采集到的至少一路多媒体数据,其中,在第二相对位置关系下,至少之一多媒体数据采集模组与目标使用对象之间的间距小于电子设备与目标使用对象之间的间距;

获得目标使用对象与至少一多媒体数据采集模组之间的相对位置信息,获得基于相对位置信息确定的目标多媒体数据采集模组采集的至少一路多媒体数据。

在本申请实施例中,第一处理单元52,还用于执行以下步骤:

在获得一路多媒体数据的情况下,获得该路多媒体数据的属性信息,基于属性信息以对应处理算法或对应处理部件对该路多媒体数据进行第一处理,得到第一候选多媒体数据,处理部件内配置有至少一处理算法;

在获得一路多媒体数据的情况下,获得产生该路多媒体数据的空间环境的环境信息,基于环境信息以对应处理算法或对应处理部件对该路多媒体数据进行第一处理,得到第一候选多媒体数据,处理部件内配置有至少一处理算法。

在本申请实施例中,第二处理单元53,还用于执行以下步骤:

基于属性信息对第一候选多媒体数据进行第二处理,得到目标多媒体数据;

对第一候选多媒体数据进行评价,基于评价结果对第一候选多媒体数据进行第二处理,得到目标多媒体数据;

获得目标使用对象的用户画像信息,基于用户画像信息对第一候选多媒体数据进行第二处理,得到目标多媒体数据;

获得目标输出部件的配置信息,基于配置信息对第一候选多媒体数据进行第二处理,得到目标多媒体数据,其中,目标输出部件是用于输出目标多媒体数据的部件。

在本申请实施例中,第一处理单元52,还用于执行以下步骤:

在获得至少两路多媒体数据的情况下,获得每路多媒体数据的属性信息,基于属性信息以确定的处理算法或处理部件对每路多媒体数据进行第一处理,得到至少两路候选多媒体数据,其中,处理部件内置有至少一处理算法,每路多媒体数据对应的处理算法相同或不同,每路多媒体数据对应的处理部件不同;

在获得至少两路多媒体数据的情况下,获得产生每路多媒体数据的空间环境的环境信息,基于环境信息以对应处理算法或对应处理部件对每路多媒体数据进行第一处理,得到至少两路候选多媒体数据,处理部件内置有至少一处理算法,每路多媒体数据对应的处理算法相同或不同,每路多媒体数据对应的处理部件不同;

在获得至少两路多媒体数据的情况下,获得每路多媒体数据的来源信息,基于来源信息以确定的处理算法或处理部件对每路多媒体数据进行第一处理,得到至少两路候选多媒体数据,其中,处理部件内置有至少一处理算法,每路多媒体数据对应的处理算法不同,每路多媒体数据对应的处理部件不同。

在本申请实施例中,第二处理单元53,还用于执行以下步骤:

对至少两路候选多媒体数据进行拼接处理,得到目标多媒体数据;

对至少两路候选多媒体数据进行融合处理,得到目标多媒体数据;

对至少两路候选多媒体数据进行剪辑处理,得到目标多媒体数据;

基于属性信息对每路候选多媒体数据进行差异化处理,得到目标多媒体数据;

对每路候选多媒体数据进行评价,基于评价结果对每路候选多媒体数据进行差异化处理,得到目标多媒体数据;

获得目标使用对象的用户画像信息,基于用户画像信息对每路候选多媒体数据进行差异化处理,得到目标多媒体数据;

获得目标输出部件的配置信息,基于配置信息对每路候选多媒体数据进行差异化处理,得到目标多媒体数据,其中,目标输出部件是用于输出目标多媒体数据的部件;

获得目标需求信息,基于目标需求信息对每路候选多媒体数据进行单一或统一处理,得到目标多媒体数据,其中,目标需求信息来自电子设备端或来自与电子设备通信连接的远端设备。

在本申请实施例中,第一处理单元52,还用于执行以下步骤:

在获得电子设备的多媒体数据采集部件采集的至少一路多媒体数据和至少一多媒体数据采集模组采集到的至少一路多媒体数据的情况下,获得多媒体数据采集模组的标识信息,基于标识信息以对应处理算法或对应处理部件对多媒体数据采集模组采集的多媒体数据进行第一处理,得到至少一路第二候选多媒体数据,处理部件内配置有至少一处理算法;

在获得电子设备的多媒体数据采集部件采集的至少一路多媒体数据和至少一多媒体数据采集模组采集到的至少一路多媒体数据的情况下,获得多媒体数据采集模组的位置信息,基于位置信息以确定的处理算法或处理部件对多媒体数据采集模组采集的多媒体数据进行第一处理,得到至少一路第二候选多媒体数据,处理部件内配置有至少一处理算法;

对应地,第二处理单元53,还用于执行以下步骤:

对多媒体数据采集部件采集的至少一路多媒体数据进行第一处理,得到至少一路第三候选多媒体数据,对至少一路第二候选多媒体数据和至少一路第三候选多媒体数据进行第二处理,得到目标多媒体数据。

在本申请实施例中,第二处理单元53,还用于执行以下步骤:

通过电子设备的无线射频模组获得多媒体数据采集模组采集的多媒体数据;通过电子设备的无线射频模组接收到的数据量大小与多媒体数据采集模组采集的数据量大小相同;多媒体数据包括音频数据、图像数据、视频数据中的至少之一。

需要说明的是,本申请实施例中各单元之间的交互过程,可以参照图1~4对应的实施例提供的数据处理方法的实现过程,此处不再赘述。

本申请实施例所提供的数据处理装置,可以采用不同的处理算法,先对至少一路多媒体数据进行第一处理,之后再对进行了第一处理后得到的至少一路候选多媒体进行第二处理,得到目标多媒体数据,提高了对多媒体数据进行处理的灵活性,而且通过两次处理提高了得到的目标多媒体数据的质量,解决了相关技术中处理多媒体数据时,灵活性低且处理后的多媒体数据的质量较差的问题。

基于前述实施例,本申请的实施例提供一种电子设备,该电子设备可以应用于图1~4对应的实施例提供的数据处理方法中,参照图6所示,该电子设备6可以包括:

至少一第一处理部件61,能够与至少一多媒体数据采集模组建立连接,以对多媒体数据采集模组的至少一路多媒体数据进行第一处理,得到至少一路候选多媒体数据;

第二处理部件62,与至少一第一处理部件61连接,用于对至少一路候选多媒体数据进行第二处理,以得到能够输出的目标多媒体数据;

其中,多媒体数据采集模组不属于电子设备6,第一处理部件61和第二处理部件62配置的处理算法至少部分不同。

在本申请实施例中,图6是以第一处理部件为两个示出的;第一处理部件还可以是一个,或两个以上;当第一处理部件为多个时,多个第一处理部件并联;多个第一处理部件的类型相同,当然多个第一处理部件的类型也可以不同。第一处理部件的类型与第二处理部件的类型可以相同也可以不同。第二处理部件的性能优于第一处理部件的性能。

在一种可行的实现方式中,两个第一处理部件的类型可以相同,如两个第一处理部件均为DSP芯片,第一处理部件的类型和第二处理部件的类型也可以相同,如第二处理部件也可以为DSP芯片。

在本申请实施例中,每一第一处理部件可以对一多媒体数据采集模组采集的多媒体数据进行处理,得到一路候选多媒体数据,并将该路候选多媒体数据发送至第二处理部件,第二处理部件可以接收多个第一处理部件发送的候选多媒体数据,并对多路候选多媒体数据进行第二处理,得到目标多媒体数据,并输出目标多媒体数据。也就是说,接收的每一路多媒体数据是需要由对应的第一处理部件进行处理的。如此,降低了第二处理部件的工作负荷,提高了确定目标多媒体数据的效率。

本申请的实施例所提供的电子设备,包括至少一第一处理部件,能够与所述至少一多媒体数据采集模组建立连接,以对所述多媒体数据采集模组采集的至少一路多媒体数据进行第一处理,得到至少一路候选多媒体数据;第二处理部件,与所述至少一第一处理部件连接,用于对所述至少一路候选多媒体数据进行第二处理,以得到能够输出的目标多媒体数据;其中,所述多媒体数据采集模组不属于所述电子设备,所述第一处理部件和所述第二处理部件配置的处理算法至少部分不同可以采用不同的处理算法,先对至少一路多媒体数据进行第一处理,之后再对进行了第一处理后得到的至少一路候选多媒体进行第二处理,得到目标多媒体数据,提高了对多媒体数据进行处理的灵活性,而且通过两次处理提高了得到的目标多媒体数据的质量,解决了相关技术中处理多媒体数据时,灵活性低且处理后的多媒体数据的质量较差的问题。降低了第二处理部件的工作负荷,提高了确定目标多媒体数据的效率。

在本申请的其它实施例中,如图7所示,该电子设备6还包括无线射频模组63,其中,无线射频模组63与至少一多媒体数据采集模组建立连接,无线射频模组63与至少一第一处理部件62连接,用于接收至少一多媒体数据采集模组采集的至少一路多媒体数据,并将每一路多媒体数据发送至对应的第一处理部件61,并由对应的第一处理部件61对该路多媒体数据进行第一处理,以得到该路多媒体数据对应的一路候选多媒体数据。

在本申请的其它实施例中,如图7所示,该电子设备还包括多媒体数据采集部件64,多媒体数据采集部件64与第二处理部件62连接,用于将采集的多媒体数据发送至第二处理部件62,由第二处理部件62对多媒体数据采集部件64采集的多媒体数据进行处理,得到第二候选多媒体数据,并将第二候选多媒体数据和第一处理部件61发送的第一候选多媒体数据进行第二处理,得到目标多媒体数据。

也就是说,对电子设备的多媒体数据采集部件采集的多媒体数据进行第一处理是在第二处理部件上执行的,之后第二处理部件会将进行了第一处理后的所有多媒体数据进行第二处理。如此,通过第一处理部件和第二处理部件之间相互配合,提高了确定目标多媒体数据的效率。

在本申请的其它实施例中,如图7所示,该电子设备还包括目标输出部件65,其中,目标输出部件与第二处理部件连接,以接收第二处理部件发送的目标多媒体数据并输出。

需要说明的是,第二处理部件还可以与远端设备连接,用于将目标多媒体数据发送至远端设备,以使得远端设置输出目标多媒体数据。

在一种可行的实现方式中,如图8所示,多媒体数据采集模组可以是音频数据采集模组;该音频数据采集模组包括多个麦克风(Microphone,MIC)和无线射频发送组件(RFTX);其中,无线射频模组可以简称为RF RX;第一处理部件可以为DSP芯片,也可以称之为子DSP芯片;第二处理部件可以为DSP芯片,也可以称之为主DSP芯片;多媒体数据采集部件可以为MIC;目标输出部件可以为是扬声器。其中,RF TX可以通过串行外设接口(SerialPeripheral Interface,SPI)与第一处理部件进行通信;第一处理部件与第二处理部件之间通过集成电路内置音频总线((Inter—IC Sound,I2S)进行通信。多媒体数据采集模组上的多个MIC组成MIC阵列,用于采集音频数据,并将音频数据发送至电子设备,由电子设备的RF RX进行接收每一路音频数据,并将每一路音频数据发送至对应的子DSP进行智能降噪、增强等任务的处理,并将处理后得到的数据发送至主DSP,由主DSP对接收的多个子DSP发送的处理后的数据进行AI处理,将AI处理后的数据通过麦克风进行输出,或者通过通用串行总线(Universal Serial Bus,USB)接口传输至个人计算机(Personal Computer,PC)或其他控制台。其中,麦克风可以是卫星麦克风。

需要说明的是,当多媒体数据为图像时,通过电子设备上多个第一处理部件进行图像进行处理,之后再由第二处理部件对进行了第一处理后的图像数据进行再次处理,得到目标图像;如此,与通过软件的方式来处理图像相比,不需要强大的系统平台,通过硬件便可完成,处理成本低廉,部署方便;在用户使用过程中,以开会为例,用户不需要一个强大的会控主机来处理多路视频流,而是直接将电子设备与个人电脑连接,不需要安装软件,便可以实现处理多路视频流。

基于前述实施例,本申请的实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现图1~4对应的实施例提供的数据处理方法的步骤。

需要说明的是,上述计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种电子设备,如移动电话、计算机、平板设备、个人数字助理等。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所描述的方法。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

相关技术
  • 一种样本数据处理方法、样本数据处理装置及电子设备
  • 一种方控数据处理方法、装置、电子设备及存储介质
  • 一种数据处理方法、装置和电子设备
  • 一种数据处理方法、装置、介质及电子设备
  • 一种数据处理方法、装置及电子设备
  • 数据处理方法、医学文本数据处理方法、装置及电子设备
  • 数据加密处理方法、数据解密处理方法、装置、电子设备及可读存储介质
技术分类

06120115628697