掌桥专利:专业的专利平台
掌桥专利
首页

一种处理方法、装置和电子设备

文献发布时间:2023-06-19 18:49:33


一种处理方法、装置和电子设备

技术领域

本申请涉及数据处理技术领域,涉及但不限于一种处理方法、装置和电子设备。

背景技术

相关技术中,音频采集模组或摄像头采集模组采集数据后,直接由音频采集模组中的数字信号处理器或摄像头采集模组中的图像信号处理器对全部数据进行固定类型的处理。

发明内容

有鉴于此,本申请实施例提供一种处理方法、装置和电子设备。

第一方面,本申请实施例提供一种处理方法,所述方法包括:对采集到的电子设备所处空间环境的多媒体数据进行评价;基于评价结果确定目标处理策略,利用所述目标处理策略对所述多媒体数据进行处理;其中,对所述多媒体数据进行评价的策略包括所述目标处理策略,所述多媒体数据中用于评价的数据量小于在所述目标处理策略下被处理的数据量。

第二方面,本申请实施例提供一种处理装置,包括:

评价模块,用于对采集到的电子设备所处空间环境的多媒体数据进行评价;第一处理模块,用于基于评价结果确定目标处理策略,利用所述目标处理策略对所述多媒体数据进行处理;其中,对所述多媒体数据进行评价的策略包括所述目标处理策略,所述多媒体数据中用于评价的数据量小于在所述目标处理策略下被处理的数据量。

第三方面,本申请实施例提供一种电子设备,包括:

多媒体数据采集部件,用于采集电子设备所处空间环境内的多媒体数据;

第一处理器,与所述多媒体数据采集部件接口连接,用于对所述多媒体数据采集部件采集到的多媒体数据进行评价,并基于评价结果确定目标处理策略;

第二处理器,与所述第一处理器通信连接,响应所述目标处理策略对所述多媒体数据进行处理;

其中,所述第一处理器对所述多媒体数据进行评价的策略包括所述目标处理策略,所述第一处理器处理的所述多媒体数据的数据量小于所述第二处理器处理的所述多媒体数据的数据量。

第四方面,本申请实施例提供一种电子设备,包括第一处理器、第二处理器和存储器,其中:所述存储器存储有可在所述第二处理器上运行的目标处理策略;所述第一处理器,用于对采集到的电子设备所处空间环境的多媒体数据进行评价;所述第一处理器,还用于基于评价结果确定目标处理策略,所述第二处理器,用于响应于所述目标处理策略对所述多媒体数据进行处理;其中,对所述多媒体数据进行评价的策略包括所述目标处理策略,所述多媒体数据中用于评价的数据量小于在所述目标处理策略下被处理的数据量。

本申请实施例中,通过多媒体数据的评价结果确定对多媒体数据进行处理的目标处理策略,从而可以及时根据对多媒体数据的评价结果调整处理多媒体数据的目标处理策略,从而可以更好地对多媒体数据进行处理,得到更高质量的多媒体数据;另外,通过用较小的数据量评价多媒体数据,可以提高多媒体数据的评价速度,进而提高多媒体数据的处理效率。

附图说明

图1为本申请实施例一种处理方法的流程示意图;

图2为本申请实施例一种处理策略的示意图;

图3为本申请实施例另一种处理策略的示意图;

图4为本申请实施例又一种处理策略的示意图;

图5为本申请实施例再一种处理策略的示意图;

图6为本申请实施例还一种处理策略的示意图;

图7为本申请实施例另一种处理方法的流程示意图;

图8为本申请实施例一种处理装置的组成结构示意图;

图9为本申请实施例电子设备的一种硬件实体示意图。

具体实施方式

下面结合附图和实施例对本申请的技术方案进一步详细阐述。

图1为本申请实施例一种处理方法的流程示意图,如图1所示,所述方法包括以下步骤:

步骤102:对采集到的电子设备所处空间环境的多媒体数据进行评价;

其中,所述空间环境可以包括会议环境、聊天环境、工作环境、娱乐环境、教学环境和驾驶环境等;不同的空间环境中的环境参数的值可以不同,所述环境参数可以包括环境中的噪声的声级、亮度和环境中对象的数量等。所述多媒体数据可以包括图像数据、音频数据、视频数据等,所述音频数据可以是音频采集设备的数据,例如可以是来自麦克风的数据,所述图像数据可以是来自图像采集设备的数据,例如可以是来自摄像头的数据。

步骤104:基于评价结果确定目标处理策略,利用所述目标处理策略对所述多媒体数据进行处理;

其中,对所述多媒体数据进行评价的策略包括所述目标处理策略,所述多媒体数据中用于评价的数据量小于在所述目标处理策略下被处理的数据量。

其中,所述评价结果可以表征所述多媒体数据的质量,如多媒体数据的信噪比、有效信号的强度、多媒体数据中噪声的多少,所述评价结果越高,可以表征所述图像数据或所述音频数据中的噪声含量越少,图像数据或音频数据的质量越高;图像数据中的噪声含量越少,画面越干净;所述多媒体数据中用于评价的数据量可以是第一数据量,所述多媒体数据中在所述目标处理策略下被处理的数据量可以是第二数据量,所述第一数据量可以小于所述第二数据量;所述评价结果还可以表征所述多媒体数据中包含对象的大小、数量等;所述目标处理策略可以包括图像处理策略和音频处理策略等;所述图像处理策略包括图像数字化、图像增强和复原、图像数据编码、图像分割、图像识别和图像去噪等;所述音频处理策略可以包括音频降噪、回声消除、添加标签和调整音频参数等。

本申请实施例中,通过多媒体数据的评价结果确定对多媒体数据进行处理的目标处理策略,从而可以及时根据对多媒体数据的评价结果调整处理多媒体数据的目标处理策略,从而可以更好地对多媒体数据进行处理,得到更高质量的多媒体数据;另外,通过用较小的数据量评价多媒体数据,可以提高多媒体数据的评价速度,进而提高多媒体数据的处理效率。

在一些实施例中,步骤102“对采集到的电子设备所处空间环境的多媒体数据进行评价”可以包括:步骤121a:响应于确定所述多媒体数据存在预设时长的空白段,对所述空白段之后的多媒体数据进行评价。

其中,所述空白段可以是所述多媒体数据不包含关键数据的片段,如果对空白段的多媒体数据进行评价,则可能会由于空白段不包含关键数据,而造成评价结果不准确、目标处理策略不匹配、多媒体数据的最终处理后的质量不佳的情况出现;在所述多媒体数据为音频数据的情况下,所述空白段可以是音频间隔;在所述多媒体数据为图像数据的情况下,所述空白段可以是未检测到目标对象(例如人脸等)或者图像参数发生变化的的一段图像数据。

本申请实施例中,通过对每一空白段之后的多媒体数据进行重新评价,可以避开不包含关键数据的空白段,不断更新和调整目标处理策略,提高对多媒体数据评价的准确性、能够对多媒体数据进行精准处理,提高处理后的数据质量。

在一些实施例中,步骤102“对采集到的电子设备所处空间环境的多媒体数据进行评价”可以包括:步骤121b:响应于确定所述空间环境的环境参数变化量大于第一阈值,对所述多媒体数据进行评价。

其中,由于不同的环境参数可能对应不同的处理策略,因此,在所述空间环境的环境噪音、亮度、对象数量等环境参数发生较大变化后,可以重新对所述多媒体数据进行评价,进而基于评价结果重新确定目标处理策略。

本申请实施例中,可以在电子设备所处空间环境的环境参数变化较大时,重新对多媒体数据进行评价,从而可以使得得到的评价结果更准确,进而使得确定出的目标处理策略更能满足多媒体数据的需求。

在一些实施例中,步骤102“对采集到的电子设备所处空间环境的多媒体数据进行评价”可以包括:步骤121c:响应于采集到所述多媒体数据,对所述多媒体数据进行评价;

其中,可以对所有采集到的多媒体数据都进行评价。

本申请实施例中,通过对采集到的所有多媒体数据进行评价,从而可以得到更全面的多媒体数据,使得得到的评价结果更加准确。

在一些实施例中,步骤102“对采集到的电子设备所处空间环境的多媒体数据进行评价”可以包括:步骤121d:按照第一间隔时长对所述多媒体数据进行评价;

本申请实施例中,通过按照第一时间间隔对多媒体数据进行评价,一方面可以及时更新多媒体数据的评价结果,另一方面通过间隔一定时长对多媒体数据进行评价,可以降低对电子设备的运算资源的消耗。

在一些实施例中,步骤102“对采集到的电子设备所处空间环境的多媒体数据进行评价”可以包括:

步骤121e:响应于确定所述多媒体数据的属性信息发生变化,对变化之后的多媒体数据进行评价。

其中,由于不同的多媒体数据的属性信息可能对应不同的处理策略,因此,在多媒体数据的属性信息发生变化时,可以对变化之后的多媒体数据进行评价;所述多媒体数据的属性信息可以包括所述多媒体数据的种类、数量、形式等。例如可以是所述多媒体数据从第一对象产生的多媒体数据变为第一对象和第二对象共同产生的多媒体数据,也可以是所述多媒体数据从较小数据量变化为较大数据量,还可以是多媒体数据从音频数据变化为视频数据,或者所述多媒体从视频数据变化为音频数据等。

本申请实施例中,可以在多媒体数据的属性信息发生变化时,对变化之后的多媒体数据进行评价,从而可以使得得到的评价结果更准确,进而使得确定出的目标处理策略更能满足多媒体数据的需求。

在一些实施例中,步骤102“对采集到的电子设备所处空间环境的多媒体数据进行评价”可以包括:

步骤121f:响应于确定所述电子设备的运行模式发生切换,对切换后采集到的多媒体数据进行评价。

其中,由于不同的电子设备的运行模式可能对应不同的处理策略,因此,在电子设备的运行模式发生切换时,可以对切换之后的多媒体数据进行评价;所述电子设备的运行模式可以包括会议模式、影音模式、聊天模式、工作模式等,所述电子设备可以在不同的运行模式之间切换。

本申请实施例中,可以在多媒体数据的运行模式发生切换时,对切换之后的多媒体数据进行评价,从而可以使得得到的评价结果更准确,进而使得确定出的目标处理策略更能满足多媒体数据的需求。

在一些实施例中,步骤102“对采集到的电子设备所处空间环境的多媒体数据进行评价”可以包括以下步骤122和步骤123:

步骤122:利用电子设备配置的处理策略对所述多媒体数据进行处理,得到至少两种处理结果;

其中,所述电子设备可以配置至少两种处理策略;基于每一种处理策略可以得到一种处理结果。

步骤123:利用预置评价策略对每一种处理结果进行评价,得到每一处理策略的评价结果;

其中,所述电子设备配置的处理策略包括配置的硬件处理部件和/或处理算法。所述硬件处理部件可以包括数字信号处理器(Digital Signal Processor,DSP)或图像信号处理器(Image Signal Processor,ISP)等,所述ISP对应的处理算法可以包括图像数字化算法、图像增强和复原算法、图像数据编码算法、图像分割算法、图像识别算法和图像去噪算法等,所述DSP对应的处理算法可以包括音频降噪算法、回声消除算法、添加标签算法和调整音频参数算法等,所述音频降噪算法可以包括智能降噪算法(生噪分离)和传统降噪算法,所述传统降噪算法可以包括线性降噪算法和非线性降噪算法等。

使用不同的硬件处理部件中不同的处理算法对多媒体数据进行处理,可以得到所述多媒体数据不同的处理结果。使用多个硬件处理部件中不同的处理算法对多媒体数据进行处理时,处理算法的执行顺序不同,得到的处理结果不同。

其中,所述电子设备可以预先配置评价策略,对每一处理结果进行评价,所述评价策略中可以包括多个评价项,例如音频数据的信噪比、噪声声压值、人声声压值、有效信号强度,图像数据的图像分辨率和清晰度等,用于从多个不同维度评价处理策略的处理结果;所述评价结果可以包括评分或者评价等级等;所述音频数据的信噪比越高,有效信号强度越强,所述音频数据的评分或评价等级可以越高,所述图像数据的图像分辨率和清晰度越高,所述图像数据的评分或评价等级可以越高。

本申请实施例中,通过利用电子设备的处理策略对多媒体数据处理得到处理结果,并利用评价策略对处理结果进行评价,得到处理策略的评价结果,从而能够根据评价结果更准确地确定目标处理策略。

在一些实施例中,步骤104中“基于评价结果确定目标处理策略”可以包括:步骤141a:基于每一处理策略的综合评分、指定项评分、历史使用信息、历史评价信息中的至少之一确定所述目标处理策略。

其中,所述综合评分可以是利用评价策略的多个评价项对处理策略的评价结果的加权求和;所述指定项评分可以是利用评价策略的至少一个指定评价项对处理策略的评价结果;所述历史使用信息可以是历史一段时间内处理策略被用于多媒体数据处理的使用次数、使用频率等;所述历史评价信息可以是历史一段时间内对处理策略的评分。

本申请实施例中,可以通过处理策略的综合评分,指定项评分、历史使用信息以及历史评价信息中的至少之一确定目标处理策略,从而更准确地确定更符合多媒体数据处理需求的目标处理策略。

在一些实施例中,步骤104中“基于评价结果确定目标处理策略”可以包括:

步骤141b:获得电子设备的运行信息,基于所述运行信息和所述评价结果确定所述目标处理策略;

其中,所述运行信息可以包括电子设备的运行模式信息,例如会议模式、直播模式、影音模式、演讲模式、办公模式等,不同运行模式下所需的音频处理和/或图像处理的处理策略不同,所需的处理效果也不同。

所述运行信息还可以包括电子设备的运行应用信息,如会议应用、直播应用、即时通讯应用、视频应用、音频应用等,不同运行应用下所需的音频处理和/或图像处理的处理策略不同,所需的处理效果也不同。

本申请实施例中,可以结合电子设备的运行信息和处理策略的评价结果综合确定目标处理策略,从而可以提高多媒体数据的处理策略确定的准确性和效率。

在一些实施例中,步骤104中“基于评价结果确定目标处理策略”可以包括:

步骤141c:获得所述多媒体数据的来源信息,基于所述来源信息和所述评价结果确定所述目标处理策略;

其中,所述来源信息可以表征所述多媒体数据来源于哪个对象或者哪几个对象等,所述对象可以是不同的图像源或者不同的音频源,可以结合所述来源信息和所述评价信息确定目标处理策略。

本申请实施例中,可以结合多媒体数据的来源信息和处理策略的评价结果综合确定目标处理策略,从而可以提高多媒体数据的处理策略确定的准确性和效率,另外,可以对不同来源信息的多媒体数据确定针对性的目标处理策略。

在一些实施例中,步骤104中“基于评价结果确定目标处理策略”可以包括:

步骤141d:获得来自目标使用对象的反馈信息,基于所述反馈信息和所述评价结果确定所述目标处理策略,所述目标使用对象包括所述电子设备的使用对象、与所述电子设备通信连接的远端设备的使用对象中的至少之一;

其中,所述反馈信息可以是目标使用对象对所述处理策略的选择信息和/或评价信息等,例如在电子设备的使用对象与所述远端设备的使用对象进行通信时,两者至少之一提供的反馈信息,所述选择信息可以用于表征所述处理策略被至少一个目标使用对象选择的次数、频率等;所述评价信息可以用于表征所述处理策略输出的处理效果的质量等。

本申请实施例中,可以结合目标使用对象的反馈信息和处理策略的评价结果综合确定目标处理策略,从而可以进一步提高多媒体数据的处理策略确定的准确性和效率。

在一些实施例中,步骤104中“利用所述目标处理策略对所述多媒体数据进行处理”,可以包括步骤142a或步骤142b:

步骤142a:将所述多媒体数据送入所述电子设备配置的第一处理部件进行第一处理后,经所述电子设备配置的第二处理部件进行第二处理;

步骤142b:将所述多媒体数据送入所述电子设备配置的第二处理部件进行第二处理后,经所述电子设备配置的第一处理部件进行第一处理;

其中,所述第一处理部件配置有第一处理算法以能够执行所述第一处理,所述第二处理部件配置有第二处理算法以能够执行所述第二处理;第一处理和第二处理的输出效果可以不同。

其中,如图2所示,每一处理部件可以配置有一种处理算法,即如图2中的执行顺序21所示,可以先将多媒体数据送入第一处理部件201,由第一处理部件201配置的第一处理算法执行第一处理,再将执行完第一处理后的多媒体数据送入第二处理部件202,由第二处理部件202配置的第二处理算法执行第二处理。

如图2中的执行顺序22所示,还可以先将多媒体数据送入第二处理部件202,由第二处理部件202配置的第二处理算法执行第二处理,再将执行完第二处理后的多媒体数据送入第一处理部件201,由第一处理部件201配置的第一处理算法执行第一处理;处理算法对多媒体数据的处理顺序不同,处理结果不同,即步骤142a和步骤142b对多媒体数据进行处理得到的处理结果不同。

其中,所述第一处理部件可以是第一数字信号处理器,可以表示为DSP1,所述第二处理部件可以是第二数字信号处理器,可以表示为DSP2,所述DSP1的第一处理算法可以是传统降噪算法,即为线性降噪算法和非线性降噪算法中至少之一,所述DSP2的第二处理算法可以是智能降噪算法,即使用降噪函数进行声噪分离,以分离所述多媒体数据中第一对象的音频信号和噪声信号。

本申请实施例中,可以通过处理部件配置的处理算法,按照不同的先后顺序对多媒体数据进行处理,处理算法的执行顺序可以根据环境等的变化发生变化,从而可以针对不同的环境输出较好的处理效果,从而可以实现更灵活地根据电子设备空间环境的变化按照与环境对应的算法执行顺序处理多媒体数据,达到更好的处理效果。

在一些实施例中,步骤104中“利用所述目标处理策略对所述多媒体数据进行处理”,可以包括步骤142c至步骤142e中至少之一:

步骤142c:将所述多媒体数据送入所述电子设备配置的第一处理部件进行第二处理后,经所述电子设备配置的第二处理部件进行第一处理;

步骤142d:将所述多媒体数据送入所述电子设备配置的第二处理部件进行第一处理后,经所述电子设备配置的第一处理部件进行第二处理;

步骤142e:将所述多媒体数据送入所述电子设备配置的第一处理部件进行第三处理后,经所述电子设备配置的第二处理部件进行第四处理;

其中,每一处理部件可以配置多种处理算法,所述第一处理部件配置有第一处理算法、第二处理算法、第三处理算法中的至少之一,所述第二处理部件配置有第一处理算法、第二处理算法、第三处理算法中的至少之一。所述第一处理部件和所述第二处理部件还可以配置有第四处理算法。

其中,如图3中的执行顺序31所示,可以先将多媒体数据送入第一处理部件301,由第一处理部件301配置的第二处理算法执行第二处理,再将执行完第二处理后的多媒体数据送入第二处理部件202,由第二处理部件202配置的第一处理算法执行第一处理。

如图3中的执行顺序32所示,可以先将多媒体数据送入第二处理部件302,由第二处理部件302配置的第一处理算法执行第一处理,再将执行完第一处理后的多媒体数据送入第一处理部件301,由第一处理部件301配置的第二处理算法执行第二处理。

如图3中的执行顺序33所示,可以先将多媒体数据送入第一处理部件301,由第一处理部件301配置的第三处理算法执行第三处理,再将执行完第三处理后的多媒体数据送入第二处理部件302,由第二处理部件302配置的第四处理算法执行第四处理。

在一些实施例中,如图4中的执行顺序41所示,可以先将多媒体数据送入第一处理部件401,由第一处理部件401配置的第一处理算法执行第一处理,再将执行完第一处理后的多媒体数据送入第二处理部件402,由第二处理部件402配置的第二处理算法执行第二处理。

如图4中的执行顺序42所示,可以先将多媒体数据送入第二处理部件402,由第二处理部件402配置的第四处理算法执行第四处理,再将执行完第四处理后的多媒体数据送入第一处理部件401,由第一处理部件401配置的第三处理算法执行第三处理。

如图4中的执行顺序43所示,可以先将多媒体数据送入第一处理部件401,由第一处理部件401配置的第四处理算法执行第四处理,再将执行完第四处理后的多媒体数据送入第二处理部件402,由第二处理部件402配置的第三处理算法执行第三处理。

在其他实施例中,所述电子设备还可以包括多个硬件处理部件,每个硬件处理部件可以配置有多种处理算法。不同目标处理策略对应不同的处理算法的执行顺序,从而可以控制多个处理部件按照所述执行顺序分别执行不同的处理算法。

本申请实施例中,每一种处理部件可以配置多种处理算法,可以通过处理部件配置的处理算法,按照不同的先后顺序对多媒体数据进行处理,处理算法的执行顺序可以根据环境等的变化发生变化,从而可以针对不同的环境输出较好的处理效果,从而可以实现更灵活地根据电子设备空间环境的变化按照与环境对应的算法执行顺序处理多媒体数据,达到更好的处理效果。

在一些实施例中,步骤104中“利用所述目标处理策略对所述多媒体数据进行处理”可以包括以下步骤142f和步骤142g中至少之一:

步骤142f:将所述多媒体数据中的第一多媒体数据送入所述电子设备配置的第一处理部件进行第一处理后、经所述电子设备配置的第二处理部件进行第二处理,将所述多媒体数据中的第二多媒体数据送入所述电子设备配置的第二处理部件进行第二处理后、经所述电子设备配置的第一处理部件进行第一处理;

步骤142g:将所述多媒体数据中的第一多媒体数据送入所述电子设备配置的第二处理部件进行第一处理或第三处理后、经所述电子设备配置的第一处理部件进行第二处理或第四处理,将所述多媒体数据中的第二多媒体数据送入所述电子设备配置的第一处理部件进行第二处理或第四处理后、经所述电子设备配置的第二处理部件进行第一处理或第三处理;

其中,所述第一多媒体数据由第一对象产生、所述第二多媒体数据由第二对象产生,所述第一处理部件配置有第一处理算法、第二处理算法、第三处理算法中的至少之一,所述第二处理部件配置有第一处理算法、第二处理算法、第三处理算法中的至少之一。所述第一处理部件和所述第二处理部件还可以配置第四处理算法。

其中,对于不同对象产生的多媒体数据可以有不同的处理顺序,如图5中的执行顺序51所示,由第一对象产生的第一多媒体数据可以先经过第一处理部件501的第一算法执行第一处理后,再经过第二处理部件502的第二处理算法执行第二处理;如图5中的执行顺序52所示,第二对象产生的第二多媒体数据可以先经过第二处理部件502的第二算法执行第二处理后,再经过第一处理部件501的第一算法执行第一处理。

如图6中的执行顺序61所示,由第一对象产生的第一多媒体数据可以先经过第二处理部件602的第一处理算法执行第一处理或第三处理算法执行第三处理后,再经过第一处理部件601的第二处理算法执行第二处理或第四处理算法执行第四处理;如图6中的执行顺序62所示,第二对象产生的第二多媒体数据可以先经过第一处理部件601的第二处理算法执行第二处理或第四处理算法执行第四处理后,由第二处理部件602经过第一处理算法执行第一处理或第三处理算法执行第三处理。

在一些实施例中,由第一对象产生的第一多媒体数据可以先经过第一处理部件的第一处理算法执行第一处理或第三处理算法执行第三处理后,再经过第二处理部件的第二处理算法执行第二处理或第四处理算法执行第四处理;第二对象产生的第二多媒体数据可以先经过第一处理部件的第二处理算法执行第二处理或第四处理算法执行第四处理后,由第二处理部件经过第一处理算法执行第一处理或第三处理算法执行第三处理。

本申请实施例中,每一种处理部件可以配置多种处理算法,可以通过处理部件配置的处理算法,按照不同的先后顺序对多媒体数据进行处理,处理算法的执行顺序可以根据环境等的变化发生变化,从而可以针对不同的环境输出较好的处理效果,从而可以实现更灵活地根据电子设备空间环境的变化按照与环境对应的算法执行顺序处理多媒体数据,达到更好的处理效果。

在一些实施例中,在步骤104中“利用所述目标处理策略对所述多媒体数据进行处理”后,所述方法还包括以下步骤106a和步骤106b中至少一种:

步骤106a:利用电子设备配置的第三处理部件对经过所述目标处理策略进行处理后的多媒体数据进行第五处理,所述第三处理部件与所述电子设备配置的第一处理部件和第二处理部件相同或不同;

步骤106b:利用电子设备配置的第四处理部件对经过所述目标处理策略进行处理后的多媒体数据进行编码处理,以将编码后的多媒体数据给到目标应用,所述目标应用运行在所述电子设备或与所述电子设备通信连接的远端设备。

其中,所述第五处理可以包括音频降噪、回声消除、图像增强、图像识别,图像融合处理等处理;所述第三处理部件可以是数字信号处理器或者图像信号处理器,所述第三处理部件和所述第一处理部件以及第二处理部件相比,可以是相同的硬件处理部件以及硬件处理部件配置的处理算法也不同,也可以是不同的硬件处理部件,还可以是相同的硬件处理部件且硬件处理部件中配置的处理算法不同,对多媒体数据评价前的处理可以认为是预处理,用于确定出对多媒体数据进行第五处理时所用的目标处理策略;其中,所述第四处理部件可以是编码译码器,例如可以是Codec。

所述电子设备可以包括多媒体数据采集部件、第一处理器和第二处理器,所述多媒体数据采集部件可以是双/立体声数字麦克风接口,所述第一处理器可以是中央处理器(Central Processing Unit,CPU)/微控制单元(Micro Controller Unit,MCU),所述第二处理器可以是数字信号处理器;如图7所示,所述电子设备可以包括双/立体声数字麦克风接口72、处理器73、第四处理部件74、多端口转发器(HUB)75、目标应用76和网路单晶片77,所述处理器73包括第一处理部件731、第二处理部件732、CPU/MCU 733、麦克风接口734、音频输入部件735、音频输出部件736和控制器737;所述第一处理器部件731和所述第二处理部件732可以是数字信号处理器;所述控制器737可以控制I2C、GPIO(General-purposeinput/output,通用输入输出接口)和LED(Light Emitting Diode,发光二极管)。

电子设备的DMIC 72可以获取对象71的音频数据,作为多媒体数据,利用电子设备配置的数字信号处理器对多媒体数据进行预处理,得到处理结果,可以使用两种处理策略分别对多媒体数据进行处理,得到每一种处理策略对应的处理结果。

在一种处理策略中,所述多媒体数据可以先经过DSP1 731的传统降噪算法进行处理,再经过DSP2 732的智能降噪算法进行处理,得到一种处理结果;在另一种处理策略中,所述多媒体数据可以先经过DSP1 731的智能降噪算法进行处理,再经过DSP2 732的传统降噪算法进行处理,得到另一种处理结果。

可以将两种处理结果输入至所述电子设备的MCU或CPU中,用于进行降噪处理评价,例如可以通过处理结果中的噪声声压值和人声声压值得到每一处理结果的评价结果,可以将噪声声压值小、人声声压值大的处理结果对应的处理策略确定为目标处理策略,基于所述目标处理策略对多媒体数据进行处理,可以利用Codec 74对经过所述目标处理策略进行处理后的多媒体数据进行编码处理,以将编码后的多媒体数据给到目标应用76,所述目标应用76运行在所述电子设备或与所述电子设备通信连接的远端设备。

本申请实施例中,通过对经过目标处理策略进行处理后的多媒体数据进行编码处理,并将编码后的多媒体数据给到目标应用,从而可以为目标应用质量提供更好的多媒体数据;通过提供一种实时的评价体系,通过实时评价中的因素进行实时分析,并进行处理算法的切换,可以通过双数字信号处理器的方式实现传统降噪方式和智能降噪方式的降噪兼容。

需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的处理方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备(可以是手机、平板电脑、台式机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。

图8为本申请实施例一种处理装置的组成结构示意图,如图8所示,所述装置800包括:评价模块801和第一处理模块802,其中:

评价模块801,用于对采集到的电子设备所处空间环境的多媒体数据进行评价;

第一处理模块802,用于基于评价结果确定目标处理策略,利用所述目标处理策略对所述多媒体数据进行处理;

其中,对所述多媒体数据进行评价的策略包括所述目标处理策略,所述多媒体数据中用于评价的数据量小于在所述目标处理策略下被处理的数据量。

在一些实施例中,所述评价模块801包括以下至少之一:第一评价子模块,用于响应于确定所述多媒体数据存在预设时长的空白段,对所述空白段之后的多媒体数据进行评价;第二评价子模块,用于响应于确定所述空间环境的环境参数变化量大于第一阈值,对所述多媒体数据进行评价;第三评价子模块,用于响应于采集到所述多媒体数据,对所述多媒体数据进行评价;第四评价子模块,用于按照第一间隔时长对所述多媒体数据进行评价;第五评价子模块,用于响应于确定所述多媒体数据的属性信息发生变化,对变化之后的多媒体数据进行评价;第六评价子模块,用于响应于确定所述电子设备的运行模式发生切换,对切换后采集到的多媒体数据进行评价。

在一些实施例中,所述评价模块801还包括:第一处理子模块,用于利用电子设备配置的处理策略对所述多媒体数据进行处理,得到至少两种处理结果;第七评价子模块,用于利用预置评价策略对每一种处理结果进行评价,得到每一处理策略的评价结果;其中,所述电子设备配置的处理策略包括配置的硬件处理部件和/或处理算法。

在一些实施例中,所述第一处理模块802,包括以下至少之一:第一确定子模块,用于基于每一处理策略的综合评分、指定项评分、历史使用信息、历史评价信息中的至少之一确定所述目标处理策略;第二确定子模块,用于获得电子设备的运行信息,基于所述运行信息和所述评价结果确定所述目标处理策略;第三确定子模块,用于获得所述多媒体数据的来源信息,基于所述来源信息和所述评价结果确定所述目标处理策略;第四确定子模块,用于获得来自目标使用对象的反馈信息,基于所述反馈信息和所述评价结果确定所述目标处理策略,所述目标使用对象包括所述电子设备的使用对象、与所述电子设备通信连接的远端设备的使用对象中的至少之一。

在一些实施例中,所述第一处理模块802,包括以下至少之一:第二处理子模块,用于将所述多媒体数据送入所述电子设备配置的第一处理部件进行第一处理后,经所述电子设备配置的第二处理部件进行第二处理;第三处理子模块,用于将所述多媒体数据送入所述电子设备配置的第二处理部件进行第二处理后,经所述电子设备配置的第一处理部件进行第一处理;其中,所述第一处理部件配置有第一处理算法以能够执行所述第一处理,所述第二处理部件配置有第二处理算法以能够执行所述第二处理。

在一些实施例中,所述第一处理模块802包括以下至少之一:第四处理子模块,用于将所述多媒体数据送入所述电子设备配置的第一处理部件进行第二处理后,经所述电子设备配置的第二处理部件进行第一处理;第五处理子模块,用于将所述多媒体数据送入所述电子设备配置的第二处理部件进行第一处理后,经所述电子设备配置的第一处理部件进行第二处理;第六处理子模块,用于将所述多媒体数据送入所述电子设备配置的第一处理部件进行第三处理后,经所述电子设备配置的第二处理部件进行第四处理;其中,所述第一处理部件配置有第一处理算法、第二处理算法、第三处理算法中的至少之一,所述第二处理部件配置有第一处理算法、第二处理算法、第三处理算法中的至少之一。

在一些实施例中,所述第一处理模块802包括以下至少之一:第七处理子模块,用于将所述多媒体数据中的第一多媒体数据送入所述电子设备配置的第一处理部件进行第一处理后、经所述电子设备配置的第二处理部件进行第二处理,将所述多媒体数据中的第二多媒体数据送入所述电子设备配置的第二处理部件进行第二处理后、经所述电子设备配置的第一处理部件进行第一处理;第八处理子模块,用于将所述多媒体数据中的第一多媒体数据送入所述电子设备配置的第二处理部件进行第一处理或第三处理后、经所述电子设备配置的第一处理部件进行第二处理或第四处理,将所述多媒体数据中的第二多媒体数据送入所述电子设备配置的第一处理部件进行第二处理或第四处理后、经所述电子设备配置的第二处理部件进行第一处理或第三处理;其中,所述第一多媒体数据由第一对象产生、所述第二多媒体数据由第二对象产生,所述第一处理部件配置有第一处理算法、第二处理算法、第三处理算法中的至少之一,所述第二处理部件配置有第一处理算法、第二处理算法、第三处理算法中的至少之一。

在一些实施例中,所述装置还包括以下至少之一:第二处理子模块,用于利用电子设备配置的第三处理部件对经过所述目标处理策略进行处理后的多媒体数据进行第五处理,所述第三处理部件与所述电子设备配置的第一处理部件和第二处理部件相同或不同;编码模块,用于利用电子设备配置的第四处理部件对经过所述目标处理策略进行处理后的多媒体数据进行编码处理,以将编码后的多媒体数据给到目标应用,所述目标应用运行在所述电子设备或与所述电子设备通信连接的远端设备。

对应地,本申请实施例提供一种电子设备,图9为本申请实施例电子设备的一种硬件实体示意图,如图9所示,该电子设备900的硬件实体包括:多媒体数据采集部件901,用于采集电子设备900所处空间环境内的多媒体数据;

第一处理器902,与所述多媒体数据采集部件901接口连接,用于对所述多媒体数据采集部件901采集到的多媒体数据进行评价,并基于评价结果确定目标处理策略;

第二处理器903,与所述第一处理器902通信连接,响应所述目标处理策略对所述多媒体数据进行处理;

其中,所述第一处理器902对所述多媒体数据进行评价的策略包括所述目标处理策略,所述第一处理器902处理的所述多媒体数据的数据量小于所述第二处理器903处理的所述多媒体数据的数据量。

本申请实施例提供另一种电子设备,包括第一处理器、第二处理器和存储器,其中:所述存储器存储有可在所述第二处理器上运行的目标处理策略;所述第一处理器,用于对采集到的电子设备所处空间环境的多媒体数据进行评价;所述第一处理器,还用于基于评价结果确定目标处理策略,所述第二处理器,用于响应于所述目标处理策略对所述多媒体数据进行处理;其中,对所述多媒体数据进行评价的策略包括所述目标处理策略,所述多媒体数据中用于评价的数据量小于在所述目标处理策略下被处理的数据量。

对应地,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中提供的处理方法中的步骤。

这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同设备实施例相似的有益效果。对于本申请存储介质和方法实施例中未披露的技术细节,请参照本申请设备实施例的描述而理解。

应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机设备(可以是手机、平板电脑、台式机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。

以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

相关技术
  • 一种模型轻量化处理方法、装置及电子设备
  • 一种样本数据处理方法、样本数据处理装置及电子设备
  • 一种消息处理方法、装置、电子设备及存储介质
  • 一种应用程序处理方法、装置、电子设备及可读存储介质
  • 一种网页处理方法、装置、电子设备及存储介质
  • 一种电子设备的信息处理方法、装置以及电子设备
  • 一种电子设备重启后的处理方法、电子设备和存储装置
技术分类

06120115707330