掌桥专利:专业的专利平台
掌桥专利
首页

数据传输方法、装置、电子设备和计算机可读存储介质

文献发布时间:2024-04-18 19:52:40


数据传输方法、装置、电子设备和计算机可读存储介质

技术领域

本发明涉及通信技术领域,具体涉及一种数据传输方法、装置、电子设备和计算机可读存储介质。

背景技术

近年来,随着互联网技术的飞速发展,终端之间可以通过串口通信来实现数据的快速传输。但是串口线异常或者线缆出现故障之后,就会导致数据无法传输。针对串口通信的问题,现有的数据传输方法可以将待传输的数据通过声波的方式发送至接收终端。

在对现有技术的研究和实践过程中,本发明的发明人发现采用声波的方式传输数据比较容易受到外部环境噪声的干扰,使得接收终端在采集的音频中获取的传输数据不准确或者无法解析出传输数据,进而出现数据传输失败,因此,导致数据传输成功率较低。

发明内容

本发明实施例提供一种数据传输方法、装置、电子设备和计算机可读存储介质,可以提升数据传输成功率。

一种数据传输方法,包括:

获取待传输数据和当前环境噪声,所述当前环境噪声为实时采集的当前传输环境下的声音;

对所述当前环境噪声进行特征提取,得到所述当前环境噪声的音频特征;

基于所述音频特征,确定所述当前环境噪声的环境噪声类型;

将所述环境噪声类型添加至所述待传输数据,得到目标传输数据;

将所述目标传输数据转换为音频数据,并播放所述音频数据,以便接收终端根据所述环境噪声类型在所述音频数据中获取所述待传输数据。

相应的,本发明实施例提供一种数据传输装置,包括:

获取单元,用于获取待传输数据和当前环境噪声,所述当前环境噪声为实时采集的当前传输环境下的声音;

提取单元,用于对所述当前环境噪声进行特征提取,得到所述当前环境噪声的音频特征;

确定单元,用于基于所述音频特征,确定所述当前环境噪声的环境噪声类型;

添加单元,用于将所述环境噪声类型添加至所述待传输数据,得到目标传输数据;

播放单元,用于将所述目标传输数据转换为音频数据,并播放所述音频数据,以便接收终端根据所述环境噪声类型在所述音频数据中获取所述待传输数据。

可选的,在一实施例中,所述数据传输装置还包括识别单元,所述识别单元,具体可以用于当检测到音频数据播放时,对播放的目标音频数据进行录音,得到录音数据;对所述录音数据进行解析,得到当前环境噪声类型和初始音频数据;根据所述当前环境噪声类型,在所述初始音频数据中识别出传输数据。

可选的,在一些实施例中,所述识别单元,具体可以用于根据所述当前环境噪声类型,对所述目标音频数据的网络传输质量进行评估,得到评估信息;基于所述评估信息,确定针对所述目标音频数据的处理方式;当所述处理方式为接收所述目标音频数据时,在所述初始音频数据中识别出传输数据。

可选的,在一些实施例中,所述识别单元,具体可以用于在所述初始音频数据中提取出基频数据,并根据所述基频数据中的数据块标识,对所述基频数据进行报文头检测;当所述基频数据中存在报文头时,在所述初始音频数据中提取出声波基频数据;在所述声波基频数据中提取出至少一个数据块标识,并对提取出的数据块标识进行纠错,得到数据块标识集合;获取所述数据块标识集合中每一数据块标识对应的目标数据块,并将所述目标数据块进行融合,得到传输数据。

可选的,在一些实施例中,所述识别单元,具体可以用于当所述处理方式为不接收所述目标音频数据时,将所述初始音频数据丢弃,并生成提示信息;将所述提示信息发送至发送终端,以便所述发送终端基于所述提示信息重新播放所述目标音频数据。

可选的,在一些实施例中,所述提取单元,具体可以用于对所述当前环境噪声的声道进行转换,得到目标声道的当前环境噪声;将所述目标声道的当前环境噪声进行分块,得到多个音频数据块;对所述音频数据块进行特征提取,得到音频数据块对应的音频特征。

可选的,在一些实施例中,所述提取单元,具体可以用于在所述音频数据块中提取出频谱图像信息,并在所述频谱图像信息中识别出所述音频数据块对应的频谱图像值;获取每一音频特征维度对应的数据采样量,并根据所述数据采样量,在所述频谱图像信息中提取出每一音频特征维度对应的初始音频特征;将所述初始音频特征与频谱图像值进行拼接,得到每一所述音频数据块对应的音频特征。

可选的,在一些实施例中,所述确定单元,具体可以用于采用训练后噪声识别模型在所述音频特征中识别出对应的音频数据块的候选环境噪声类型;在所述候选环境噪声类型中统计出每一环境噪声类型对应的类型数量;基于所述类型数量,在所述候选环境噪声类型中筛选出所述当前环境噪声的环境噪声类型。

可选的,在一些实施例中,所述确定单元,具体可以用于采用训练后噪声类型识别模型在每一所述音频数据块的音频特征提取出噪声音频特征,得到所述当前环境噪声的噪声音频特征集合;对所述噪声音频特征集合中的噪声音频特征进行批归一化处理,得到基础噪声音频特征集合;在所述基础噪声音频特征集合中识别出每一基础噪声音频特征对应的环境噪声类型,得到所述音频数据块的候选环境噪声类型。

可选的,在一些实施例中,所述确定单元,具体可以用于获取所述音频数据块在所述当前环境噪声中的时间信息,并基于所述时间信息,对所述基础噪声音频特征集合中的基础噪声音频特征进行排序;基于排序信息,分别将所述基础噪声音频特征集合中的基础噪声音频特征转换为噪声类型特征;在预设环境噪声类型集合中筛选出所述噪声类型特征对应的环境噪声类型,得到所述音频数据块的候选环境噪声类型。

可选的,在一些实施例中,所述确定单元,具体可以用于在所述基础噪声音频特征集合中确定出当前需要转换的基础噪声音频特征,得到当前基础噪声音频特征;基于排序信息,在所述基础噪声音频特征集合中查询排在所述当前基础噪声音频特征前一位的目标基础噪声音频特征;根据所述目标基础噪声音频特征的查询结果,分别将所述基础噪声音频特征集合中的基础噪声音频特征转换为噪声类型特征。

可选的,在一些实施例中,所述确定单元,具体可以用于当存在所述目标基础噪声音频特征时,根据所述目标基础噪声音频特征,将所述当前基础噪声音频特征转换为噪声类型特征;当不存在所述目标基础噪声音频特征时,将所述目标基础噪声音频特征作为噪声类型特征;返回执行所述在在所述基础噪声音频特征集合中确定出当前需要转换的基础噪声音频特征的步骤,直至所述基础噪声音频特征集合中的基础噪声音频特征全部转换为噪声类型特征时为止,得到每一基础噪声音频特征对应的噪声类型特征。

可选的,在一些实施例中,所述确定单元,具体可以用于获取所述目标基础噪声音频特征对应的隐状态特征,所述隐状态特征用于指示所述目标基础噪声音频特征转换为噪声类型特征的过程中传递的隐状态;计算所述当前基础噪声音频特征和隐状态特征的特征比值,并基于所述特征比值,确定所述当前基础噪声音频特征对应的目标隐状态特征;对所述目标隐状态特征进行维度变换,得到所述当前基础噪声音频特征对应的噪声类型特征。

可选的,在一些实施例中,所述数据传输装置还可以包括训练单元,所述训练单元,具体可以用于获取音频数据样本,所述音频数据样本包括标注环境噪声类型的音频数据;采用预设噪声类型识别模型预测所述音频数据样本的环境噪声类型,得到预测环境噪声类型;根据所述标注环境噪声类型和预测环境噪声类型对所述预设噪声类型识别模型进行收敛,得到训练后噪声类型识别模型。

可选的,在一些实施例中,所述播放单元,具体可以用于对所述目标传输数据进行加密,并基于加密后传输数据,生成频率映射表;基于所述频率映射表,对所述目标传输数据进行音频编码,以得到所述目标传输数据对应的音频频点;在所述频率映射表中映射出每一音频频点的频率值,并基于该频率值生成音频波形,将所述音频波形作为音频数据。

可选的,在一些实施例中,所述播放单元,具体可以用于将所述目标传输数据切分为多个数据块,得到第一数据块,并将基于当前时间生成的所述目标传输数据的数据标识码切分为多个数据块,得到第二数据块;在预设报文头集合中筛选出至少一个报文头,并将所述报文头作为第三数据块;对所述第一数据块、第二数据块和第三数据块进行纠错编码,并将所述纠错码切分为多个数据块,得到第四数据块;在第一数据块、第二数据块、第三数据块和第四数据块中提取出音频频点,得到所述目标传输数据对应的音频频点。

此外,本发明实施例还提供一种电子设备,包括处理器和存储器,所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的数据传输方法。

此外,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种数据传输方法中的步骤。

本发明实施例在获取待传输数据和当前环境噪声后,对当前环境噪声进行特征提取,得到当前环境噪声的音频特征,然后,基于音频特征,确定当前环境噪声的环境噪声类型,并将环境噪声类型添加至待传输数据,得到目标传输数据,将目标传输数据转换为音频数据,并播放音频数据,以便接收终端根据环境噪声类型在所述音频数据中获取待传输数据;由于该方案可以获取当前环境噪声,并确定当前环境噪声的环境噪声类型,将环境噪声类型添加至待传输数据,从而使得接收终端可以在接收到的音频数据中提取出环境噪声类型,从而根据环境噪声类型确定待传输数据的当前网络传输质量(Qos),基于该当前网络传输质量来获取待传输数据,因此,可以提升数据传输的传输成功率。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的数据传输方法的场景示意图;

图2是本发明实施例提供的数据传输方法的流程示意图;

图3是本发明实施例提供的在当前环境噪声中提取音频特征的流程示意图;

图4是本发明实施例提供的当前环境噪声的格式示意图;

图5是本发明实施例提供的训练后噪声类型识别模型的网络结构示意图;

图6是本发明实施例提供的双向BGRU网络的结构示意图;

图7是本发明实施例提供的确定当前环境噪声的环境噪声类型的流程示意图;

图8是本发明实施例提供的采用训练后噪声类型识别模型的识别候选环境噪声类型的流程示意图;

图9是本发明实施例提供的报文头的格式的示意图;

图10是本发明实施例提供的数据传输过程中的整体流程示意图;

图11是本发明实施例提供的数据传输方法的另一流程示意图;

图12是本发明实施例提供的数据传输装置的结构示意图;

图13是本发明实施例提供的数据传输装置的另一结构示意图;

图14是本发明实施例提供的数据传输装置的另一结构示意图;

图15是本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供一种数据传输方法、装置和计算机可读存储介质。其中,该数据传输装置可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备。

其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。

例如,参见图1,以数据传输装置集成在电子设备中为例,电子设备在获取待传输数据和当前环境噪声后,对当前环境噪声进行特征提取,得到当前环境噪声的音频特征,然后,基于音频特征,确定当前环境噪声的环境噪声类型,并将环境噪声类型添加至待传输数据,得到目标传输数据,将目标传输数据转换为音频数据,并播放音频数据,以便接收终端根据环境噪声类型在所述音频数据中获取待传输数据,进而提升数据传输的传输成功率。

以下分别进行详细说明。需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。

本实施例将从数据传输装置的角度进行描述,该数据传输装置具体可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备;其中,该终端可以包括平板电脑、笔记本电脑、以及个人计算机(PC,Personal Computer)、可穿戴设备、虚拟现实设备或其他可以进行数据传输的智能设备等设备。

一种数据传输方法,包括:

获取待传输数据和当前环境噪声,该当前环境噪声为实时采集的当前传输环境下的声音,对当前环境噪声进行特征提取,得到当前环境噪声的音频特征,基于音频特征,确定当前环境噪声的环境噪声类型,将环境噪声类型添加至待传输数据,得到目标传输数据,将目标传输数据转换为音频数据,并播放音频数据,以便接收终端根据环境噪声类型在音频数据中获取待传输数据。

如图2所示,该数据传输方法的具体流程如下:

101、获取待传输数据和当前环境噪声。

其中,当前环境噪声为实时采集的当前传输环境下的声音。比如,以当前传输环境为地铁为例,则当前环境噪声就可以为实时采集的地铁上的预设时间段的声音,等等。

其中,待传输数据的类型也可以有多种,比如,可以为刷脸设备和桌面收银设备在交易中的产生的交易数据,或者,还可以为其他需要传输的数据。

其中,获取待传输数据和当前环境噪声的方式可以有多种,具体可以如下:

例如,针对待传输数据来说,可以直接获取用户输入的数据作为待传输数据,或者,还可以接收业务服务器或者其他终端返回的业务数据,将该业务数据作为待传输数据。针对当前环境噪声来说,可以在获取到待传输数据之后,通过数据传输装置的声音采集设备采集预设时间的当前环境下的声音,得到当前环境噪声,或者,还可以实时采集当前环境下的环境声音,当获取到待传输数据时,在采集到的环境声音中提取出当前时刻的采集到的预设时间的环境声音,得到当前环境噪声。

102、对当前环境噪声进行特征提取,得到当前环境噪声的音频特征。

其中,音频特征可以为指示当前环境噪声中的音频信息的特征,

其中,对当前环境噪声进行特征提取的方式可以有多种,具体可以如下:

例如,可以对当前环境噪声的声道进行转换,得到目标声道的当前环境噪声,将目标声道的当前环境噪声进行分块,得到多个音频数据块,对音频数据块进行特征提取,得到音频数据块对应的音频特征,具体可以如图3所示。

其中,当前环境噪声的格式可以有多种,比如,可以为双声道、16bit和48k,或者,可以为双声道、16bit和32k,或者,还可以为双声道、16bit和16k,具体可以如图4所示。对当前环境噪声的声道进行转换的方式可以有多种,比如,对当前环境噪声的声道进行检测,当当前环境噪声的声道为双声道时,将当前环境噪声转换为单声道的当前环境噪声。

在对当前环境噪声的声道转换之后,便可以对目标声道的当前环境噪声进行分块,分块的方式可以有多种,比如,可以按照预设时间窗口将目标声道的当前环境噪声进行分块,从而得到多个音频数据块,预设时间窗口为任意时间,比如,可以为30s或者,其他时间,预设时间窗口可以根据实际应用进行调整。

在对目标声道的当前环境噪声进行分块之后,便可以对音频数据块进行特征提取,从而得到音频数据块对应的音频特征,对音频数据块进行特征提取的方式可以有多种,比如,在音频数据块中提取出频谱图像信息,并在频谱图像信息中识别出音频数据块对应的频谱图像值,获取每一音频特征维度对应的数据采样量,并根据数据采样量,在频谱图像信息中提取出每一音频特征维度对应的初始音频特征,将初始音频特征与频谱图像至进行拼接,得到每一音频数据块对应的音频特征。

其中,频谱图像信息可以理解为音频数据块的频谱图像,音频特征维度可以理解为音频特征类型,数据采样量可以为对音频数据块进行傅里叶变换时采集的数据数量,每一音频特征维度对应的数据采样量就可以为每一类音频特征在傅里叶变换中需要采集的音频数据块中的数据数量。根据数据采样量,在频谱图像信息中提取出每一音频特征维度对应的初始音频特征的方式的可以有多种,比如,根据数量采样量,在音频数据块的频谱图中采用傅里叶变换提取出每一音频特征维度的基础音频特征,根据基础音频特征的类型,对基础音频特征进行标准化,得到初始音频特征,具体可以如下:

例如,以数据采样量(fft size)为4096,提取128维的梅尔语谱特征(mel128),并进行标准化,得到第一标准化后音频特征,以fft size为4096,提取梅尔倒频谱特征(mfcc),并进行标准化,得到第二标准化后音频特征,以fft size为1024时,就可以提取过零率特征,并对过零率特征进行二元编码,得到编码后音频特征,还可以提取出频谱平坦度特征(flatness)和频谱质心特征,并分别进行标准化,从而得到第三标准化后音频特征和第四标准化后音频特征,将第一标准化后音频特征、第二标准化后音频特征、第三标准化后音频特征、第四标准化后音频特征和码后音频特征作为初始音频特征。

103、基于音频特征,确定当前环境噪声的环境噪声类型。

其中,环境噪声类型可以理解为当前传输环境对应的场景类型,比如,可以包括正常环境、地铁、超市、学校和工地等各种生活常见场景。

其中,基于音频特征,确定当前环境噪声的环境噪声类型的方式可以有多种,具体可以如下:

例如,采用训练后噪声识别模型在音频特征中识别出对应的音频数据块的候选环境噪声类型,在候选环境噪声类型中统计出每一环境噪声类型对应的类型数量,基于类型数量,在候选环境噪声类型中筛选出当前环境噪声的环境噪声类型。

其中,采用训练后噪声识别模型在音频特征中识别出对应的音频数据块的候选环境噪声类型的方式可以有多种,比如,可以采用训练后噪声类型识别模型在每一音频数据块的音频特征中提取出噪声音频特征,得到当前环境噪声的噪声音频特征集合,对噪声音频特征集合中的噪声音频特征进行批归一化处理,得到基础噪声音频特征集合,在基础噪声音频特征集合中识别出每一基础噪声音频特征对应的环境噪声类型,得到音频数据块的候选环境噪声类型。

其中,采用训练后噪声类型识别模型在每一音频数据块的音频特征中提取出噪声声音音频特征的方式可以有多种,比如,将音频特征进行融合,并将融合后音频特征转换为声谱图(Spectrogram),采用训练后噪声类型识别模型的噪声特征提取网络对声谱图进行特征提取,从而得到当前环境噪声的噪声音频特征集合,该噪声音频特征集合可以包括每一音频数据块对应的噪声音频特征。

其中,训练后噪声类型识别模型的网络结构可以有多种,比如,可以为包含残差网络子结构和批归一层(Batch Normalization,BN)的残差网络模型,如图5所示,或者,还可以为其他包含这两个的其他网络结构。训练后噪声类型识别模型的噪声特征提取网络的网络结构可以有多种个网络层组成,比如,除了输入层以外的第二层可以为64个卷积核,卷积核大小为3x3,stride(步长)为1,padding(填充像素值)为1,第三层为Maxpolling(最大池化)层,windows(窗口)为2*2,stride为2,第四层使用128个卷积核,卷积核大小为3x3,stride为1,padding为1,第五层为Maxpolling层,windows为2*2,stride为2,第六层使用256个卷积核,卷积核大小为3x3,stride为1,padding为1,第七层为Maxpolling层,windows为2*2,stride为2。

在提取出噪声音频特征之后,便可以对噪声音频特征集合中的噪声音频特征进行批归一化处理,批归一化处理的方式可以有多种,比如,可以采用BN层对噪声音频特征集合中的噪声音频特征进行批归一化处理,并采用Maxpolling层对批归一化处理的噪声音频特征进行池化处理,从而得到每一音频数据块对应的从基础噪声音频特征,将基础噪声音频特征进行组合,得到基础噪声音频特征集合。

在对噪声音频特征集合中的噪声音频特征批归一化处理之后,便可以在基础噪声音频特征集合中识别出每一基础噪声音频特征对应的环境噪声类型,识别环境噪声类型的方式可以有多种,比如,获取音频数据块在当前环境噪声中的时间信息,并基于时间信息,对基础噪声音频特征集合中的基础噪声音频特征进行排序,基于排序信息,分别将基础噪声音频特征集合中的基础噪声音频特征转换为噪声类型特征,在预设环境噪声类型集合中筛选出噪声类型特征对应的环境噪声类型,得到音频数据块的候选环境噪声类型。

其中,时间信息可以理解为音频数据块在当前环境噪声中所出的时间位置的信息,比如,可以为5-6s,或者一个特定的时间区间。基于时间信息,对基础噪声音频特征集合中的基础噪声音频特征进行排序的方式可以有多种,比如,基于该时间信息,对当前环境噪声中的音频数据块按照时间顺序,从前往后进行排序,得到排序信息,然后,根据该排序信息,对音频数据块对应的基础噪声音频特征进行排序,得到基础噪声音频特征的排序信息。

在对基础噪声音频特征进行排序之后,便可以基于该排序信息,分别将基础噪声音频特征集合中的基础音频特征转换为噪声类型特征,转换的方式可以有多种,比如,可以在基础噪声音频特征集合中确定出当前需要转换的基础噪声音频特征,得到当前基础噪声音频特征,基于排序信息,在基础噪声音频特征集合中查询排在当前基础噪声音频特征前一位的目标基础噪声音频特征,根据目标基础噪声音频特征的查询结果,分别将基础噪声音频特征集合中的基础噪声音频特征转换为噪声类型特征。

其中,噪声类型特征可以为指示音频数据块的环境噪声类型的特征信息,根据目标基础噪声音频特征,分别将基础噪声音频特征集合中的基础噪声音频特征转换为噪声类型特征的方式可以有多种,比如,当存在目标基础噪声音频特征时,根据目标基础噪声音频特征,将当前基础噪声音频特征转换为噪声类型特征,当不存在目标基础噪声音频特征时,将目标基础噪声特征作为噪声类型特征,返回执行在基础噪声音频特征集合中确定出当前需要转换的基础噪声音频特征的步骤,直至基础噪声音频特征集合中的基础噪声音频特征全部转换为噪声类型特征为止,得到每一基础噪声音频特征对应的噪声类型特征。

其中,由于对基础噪声音频特征集合中的基础噪声音频特征需要依赖历史基础噪声音频特征在处理过程中产生的隐状态特征来转换,所谓隐状态特征可以理解为噪声类型特征转换网络在对目标基础噪声音频特征进行转换时产生的中间特征,该中间特征用于指示目标基础噪声特征转换为噪声类型的过程中传递的隐状态,因此,当存在目标基础噪声音频特征时,就表明在当前基础噪声音频特征之前,就存在已经转换后的目标基础噪声音频特征,根据目标基础噪声音频特征,将当前基础噪声转换为噪声类型特征的方式可以有多种,比如,可以获取目标基础噪声音频特征的隐状态特征,通过噪声类型特征转换网络根据目标基础噪声音频特征的隐状态特征,将当前基础噪声转换为噪声类型特征。

其中,噪声类型特征转换网络可以为双向BGRU(门控循环网络),隐藏单元可以为256,具体可以如图6所示,采用噪声类型特征转换网络将当前基础噪声转换为噪声类型特征的方式可以有多种,比如,计算当前基础噪声音频特征和隐状态特征的特征比值,并基于特征比值,确定当前基础噪声音频特征对应的目标隐状态特征,对目标隐状态特征进行维度转换,得到基础噪声音频特征对应的噪声类型特征。

其中,对目标隐状态特征进行完维度转换可以理解为将噪声类型特征转换网络基于隐状态特征对当前基础噪声音频特征进行处理后的得到中间特征转换为可以输出的特征,从而就可以得到输出的噪声类型特征,维度转换的方式可以有多种,比如,可以获取转换参数,将转换参数与目标隐状态特征进行融合,得到基础噪声音频特征对应的噪声类型特征。

在将基础噪声音频特征转换为噪声类型特征之后,就可以在预设环境噪声类型集合中筛选出噪声类型特征对应的环境噪声类型,筛选出环境噪声类型的方式可以有多种,比如,可以通过softmax网络将噪声环境类型映射出每一环境类型噪声对应的分类概率,基于该分类概率,在噪声环境类型中筛选出噪声类型特征对应的环境噪声类型,从而得到音频数据块的候选环境噪声类型。

在识别出音频数据块的候选环境噪声类型之后,便可以在候选环境噪声类型中统计出每一环境噪声类型对应的类型数量,然后,基于类型数量,在候选环境噪声类型中筛选出当前环境噪声的环境噪声类型,筛选的方式可以有多种,比如,在候选环境噪声类型中数量最大的环境噪声类型作为当前环境噪声的环境噪声类型,或者,还可以获取每一类型的环境噪声类型的加权参数,基于该加权参数,对每一环境噪声类型的类型数量进行加权,然后,在候选环境噪声类型中筛选出加权后类型数量最多的环境噪声类型,从而得到当前环境噪声的环境噪声类型。

其中,在对当前环境噪声进行特征提取,并确定当前环境噪声的环境噪声类型的过程就可以如图7所示,通过将当前环境噪声的双声道转换为单声道,然后,对当前环境噪声进行分帧或分块,得到音频数据块,对音频数据块预测候选环境噪声类型,对预测结果进行统计,并筛选出当前环境噪声的环境噪声类型。

其中,该训练后噪声识别模型可以根据实际应用的需求进行设置,另外,需要说明的是,该训练后噪声识别模型可以由维护人员预先进行设置,也可以由数据传输装置自行进行训练,即步骤“采用训练后噪声类型识别模型在每一音频数据块的音频特征提取出噪声音频特征”之前,该数据传输方法还可以包括:

获取音频数据样本,该音频数据样本包括已标注环境噪声类型的音频数据,采用预设噪声类型识别模型预测音频数据样本的环境噪声类型,得到预测环境噪声类型,根据标注环境噪声类型和预测环境噪声类型对预设噪声类型识别模型进行收敛,得到训练后噪声类型识别模型。

其中,获取音频数据样本的方式可以有多种,比如,确定各个场景下环境噪声音频波形,然后,在可以这些场景下采集不同时间段的音频数据,并将这些音频数据中标注对象场景下的环境噪声类型作为正样本,并确定负样本音频种类,采集与正样本数量相同的负样本的音频数据,并标注场景下的环境噪声类型,得到负样本音频数据。将正样本音频数据样本和负样本音频数据进行数据清洗,从而得到音频数据样本。

在获取到音频数据样本之后,便可以采用预设噪声类型识别模型预测音频数据样本的环境噪声类型,得到预测环境噪声类型,预测的方式可以有多种,比如,采用预设噪声类型识别模型对音频数据样本进行特征提取,得到音频数据样本的样本音频特征,在样本音频特征中识别出音频数据样本的数据块的样本环境噪声类型,在样本环境噪声类型中统计出每一环境噪声类型对应的样本类型数量,基于该样本类型数量,在样本环境噪声类型中筛选出音频数据样本的环境噪声类型,得到预测环境噪声类型。

在得到预测环境噪声类型之后,便可以根据标注环境噪声类型和预测环境噪声类型对预设噪声类型识别模型进行收敛,收敛的方式可以有多种,比如,可以将标注环境噪声类型和预测环境噪声类型进行对比,从而得到音频数据样本的损失信息,基于该损失信息,采用梯度下降算法对预设噪声类型识别模型的网络参数进行更新,以收敛该预设噪声类型识别模型,从而得到训练后噪声类型识别模型。

其中,采用训练后噪声类型识别模型对音频数据块的音频特征识别候选环境噪声类型的过程可以如图8所示,收集音频数据样本,然后,通过音频特征工程对收集到的音频数据样本进行特征提取,然后,对预设噪声类型识别模型进行模型设计,然后,通过提取的样本音频特征对预设噪声类型识别模型进行训练,然后,采用训练后噪声类型识别模型在音频特征中识别出音频数据块的候选环境噪声类型。

104、将环境噪声类型添加至待传输数据,得到目标传输数据。

例如,可以直接将环境噪声类型添加至待传输数据,从而得到目标传输数据,或者,可以在预设数据标签集合中筛选出环境噪声类型对应的数据标签,将该数据标签添加至待传输数据,从而得到目标传输数据,或者,还可以将环境噪声类型转换为环境噪声类型数据,将环境噪声类型数据添加至待传输数据,得到目标传输数据。

105、将目标传输数据转换为音频数据,并播放音频数据,以便接收终端根据环境噪声类型在音频数据中获取待传输数据。

其中,将目标传输数据转换为音频数据的方式可以有多种,具体可以如下:

例如,可以对目标传输数据进行加密,并基于加密后传输数据,生成频率映射表,基于频率映射表,对目标传输数据进行音频编码,以得到目标传输数据对应的音频频点,在频率映射表中映射出每一音频频点的频率值,并基于该频率值生成音频波形,将音频波形作为音频数据。

其中,对目标传输数据进行加密的方式可以有多种,比如,可以采用SE安全芯片进行加密,或者,可以采用哈希算法或MD5值对目标传输数据进行加密。

在对目标传输数据加密后,便可以基于加密后传输数据,生成频率映射表,所谓频率映射表可以理解为每一个数据块的数据块标识对应一个特定的频率,输入一个特定的数据块,就可以映射出对应的频率。基于加密后传输数据生成频率的方式可以有多种,比如,可以对加密后传输数据进行分帧,并将每一帧数据分解为多块元数据,根据元数据的有效位数对应的数值,生成元数据与频率间的映射表,将该映射表作为频率映射表。

其中,对加密后传输数据进行分帧,每一帧数据中可以包括预设数据的字节,帧的长度可以根据实际应用进行设置,比如,可以为14个字节或者其他数量的字节。将每一帧数据分解为多块元数据的方式可以有多种,比如,以每一帧数据为14个字节为例,按顺序从14个字节中的每个字节分别取5位数据作为一个元数据,不够5位数据的,从后面相邻的字节补上或者替补0,这里其实要做的就是把一个8个位的字节分解为一个5个位的元数据来表示,最大值可以为最大值为2^5,最小值为0,一帧所需的元数据为:(N*8+4/5),N为帧中字节个数。这里的元数据就可以理解为一个数据块。

在分解出元数据之后,便可以根据元数据的有效位数对应的数值,生成元数据与频率间的映射表,生成映射表的方式可以有多种,比如,可以采用等差数列或者等比数列来生成元数据与频率间的映射表,具体可以公式(1)所示:

Freq

其中,Freq

表1

在生成频率映射表之后,便可以对目标传输数据进行音频编码,从而得到目标传输数据对应的音频频点,对目标传输数据音频编码的方式可以有多种,比如,将目标传输数据切分为多个数据块,得到第一数据块,并将基于当前时间生成的目标传输数据的数据标识码切分为多个数据块,得到第二数据块,在预设报文头集合中筛选出至少一个报文头,并将该报文头作为第三数据块,对第一数据块、第二数据块和第三数据块进行纠错编码,并将纠错码切分为多个数据块,得到第四数据块,在第一数据块、第二数据块、第三数据块和第四数据块中提取出音频频点,得到所述目标传输数据对应的音频频点。

其中,这里的数据块可以为一些连续或者非连续的块(chunk),报文头可以为将目标传输数据作为数据包进行传输时添加在目标传输数据的头部结构,该报文头的格式可以如图9所示。

其中目标传输数据的数据标识码可以为数据的通用唯一识别码(UniversallyUnique Identifier,uuid),生成目标传输数据的数据标识码的方式可以有多种,比如,可以获取当前时间,对将当前时间和目标传输数据的属性信息进行融合,采用uuid算法对融合后数据生成uuid,然后,将uuid切分为多个chunk。

在切分出第一数据块、第二数据块和第三数据块之后,便可以对第一数据块、第二数据块和第三数据块进行纠错编码,纠错编码的方式可以有多种,比如,可以采用reed-solomon(一种纠错编码算法)进行编码,从而得到纠错(RS)码,并将RS码切分为多个chunk,从而得到第四数据块。

在得到第一数据块、第二数据块、第三数据块和第四数据块之后,便可以在第一数据块、第二数据块、第三数据块和第四数据中提取出音频频点,提取音频频点的方式可以有多种,比如,可以获取第一数据块、第二数据块、第三数据块和第四数据块的数据块信息,在该数据块信息中识别出数据块标识,将该数据库标识作为目标传输数据的音频频点。

在对目标传输数据进行音频编码后,便可以生成目标传输数据对应的音频波形,生成音频波形的方式可以有多种,比如,可以在频率映射表中每一音频频点的频率值,基于该频率值生成每一音频频点的单频点音频波形,将单频点音频波形进行融合,得到目标传输数据对应的音频波形,将音频波形作为目标传输数据的音频数据。

其中,基于频率值生成每一音频频点的单频点音频波形的方式可以有多种,比如,可以采用sin函数对该频率值进行处理,从而得到音频频点的单频点音频波形。

在将目标传输数据转换为音频数据之后,便可以播放该音频数据,播放该音频的方式可以有多种,比如,可以基于目标传输数据的音频波形生成对应的音频信号,然后,播放该音频信号,从而实现音频数据的播放。当接收终端检测到该音频信号时,就可以获取该音频数据,然后,在音频数据中提取出目标传输数据,并在目标传输数据中识别出环境噪声类型,基于该环境噪声类型在目标传输数据中识别出待传输数据。

可选的,当检测到音频数据播放时,还可以在音频数据中获取传输数据,获取的方式可以有多种,比如,对播放的目标音频数据进行录音,得到录音数据,对录音数据进行解析,得到当前环境噪声类型和初始音频数据,根据当前环境噪声类型,在初始音频数据中识别出传输数据。

其中,对录音数据进行解析的方式可以有多种,比如,可以对录音数据(PCM)的进行滤波,过滤掉不必要的信号,得到滤波后音频数据,在滤波后音频数据中识别出当前环境噪声类型和初始音频数据。

在解析出环境噪声类型和初始音频数据之后,便可以在初始音频数据中识别出传输数据,识别传输数据的方式可以有多种,比如,根据当前环境噪声类型,对目标音频数据的网络传输质量进行评估,得到评估信息,基于评估信息,确定目标音频数据的处理方式,当处理方式为接收目标音频数据时,在初始音频数据中识别出传输数据。

其中,网络传输质量(Qos)可以为一个网络能够利用各种基础技术,为指定的网络通信提供更好的服务能力,是网络的一种安全机制,对网络传输质量进行评估主要就是基于当前环境噪声类型,确定该Qos的值,评估的主要方式可以有多种,比如,可以在预设Qos值集合中筛选出当前环境噪声类型对应的Qos值,将该Qos值作为评估信息。对于当前环境噪声类型来评估网络传输质量的话,这里需要解释一下,比如,当前环境噪声类型可以为地铁噪声或者室内噪声,在地铁噪声情况下时,播放音频数据时,对音频数据进行录音就会获得相对于市内噪声下更多的环境噪声,从而到至录音数据不准确,当录音数据不准确时,在录音数据中解析出的传输数据的准确率也会降低,从而导致数据传输失败,因此,通过获取到当前传输环境下的环境噪声类型,就可以确定接收到的音频数据是否准确,进而就可以提升数据传输的准确率。

在对目标音频数据的网络传输指令进行评估后,便可以基于该评估信息,确定针对目标音频数据的处理方法,确定针对目标音频数据的处理方式可以有多种,比如,可以将Qos值与预设评估阈值进行对比,当Qos值超过预设评估阈值时,确定针对目标音频数据的处理方式为接收该目标音频数据,当Qos值未超过预设评估阈值时,确定针对目标音频数据的处理方式为不接收目标音频数据,或者,当Qos值为预设Qos值时,确定确定针对目标音频数据的处理方式为接收该目标音频数据,当Qos值为非预设Qos值时,确定针对目标音频数据的处理方式为不接收目标音频数据。

当处理方式为接收目标音频数据时,在初始音频数据中识别出传输数据的方式可以有多种,比如,在初始音频数据中提取出基频数据,并根据基频数据中的数据块标识,对基频数据进行报文头检测,当基频数据中存在报文头时,在初始音频数据中提取出声波基频数据,在声波基频数据中提取出至少一个数据块标识,并对提取出数据块标识进行纠错,得到数据块标识集合,获取数据块标识集合中每一数据块标识对应的目标数据块,并将目标数据块进行融合,得到传输数据。

其中,根据基频数据中的数据块标识,对基频数据进行报文头检测的方式可以有多种,比如,在频率映射表中映射出基频数据中每一频率对应的数据块标识,将该数据块标识与报文头对应的预设数据块标识进行匹配,当匹配成功时,就可以确定基频数据存在报文头,当匹配失败时,就可以确定基频数据中不存在报文头时。当基频数据不存在报文头时,就说明初始音频数据不包含需要传输的数据或者传输的数据不是完整的,就停止识别出传输数据。当基频数据中存在报文头时,就说明初始音频数据中包含需要传输的数据,此时,就可以在初始音频数据中提取出声波基频数据,并在声波基频数据中提取出至少一个数据块标识,并对提取出的数据块标识采用reed-solomon纠错,从而得到数据块标识集合,这里提取数据块标识的方式与提取基频数据中的数据块标识的方式相同,在此就不再一一赘述。

在得到数据块标识集合中之后,便可以获取数据块标识集合中每一数据块标识对应的目标数据块,对目标数据块进行融合,融合的方式可以有多种,比如,可以对目标数据块进行解密,将解密后数据块进行拼接或者融合,得到融合后数据,在融合后数据中删除报文头,从而得到传输数据。

可选的,当处理方式为不接收目标音频数据时,将初始音频数据丢弃,并生成提示信息,将提示信息发送至发送终端,以便发送终端基于提示信息重新播放目标音频数据。这里就可以确定目标音频数据进行播放时,当前传输网络质量较差,需要提示发送终端重新播放该目标音频数据,以重新发送传输数据,从而可以提升数据传输的成功率。

其中,需要说明的是,在数据传输过程可以如图10所示,获取待传输数据和当前环境噪声之后,便可以通过Qos模块确定当前环境噪声的环境噪声类型,将环境噪声类型添加至待传输数据,从而得到目标传输数据。通过声波编码模块对目标传输数据进行声波编码,然后,在通过数据头生成模块添加报文头,并基于当前时间生成目标传输数据的数据标识码(UUID),通过纠错编码模块(reed-solomom)进行纠错编码,最后通过生成音频数据(PCM),将音频数据进行播放,接收终端在检测到音频数据播放时,对音频数据进行录音,并对录音数据进行PCM解析,通过Qos模块获取当前环境噪声类型,并评估网络传输质量,当网络传输质量符合要求时,进行数据头检测,当录音数据中存在报文头时,在录音数据中提取出声波基频数据,并获取声波基频数据中的数据块标识,采用reed-solomom进行纠错,得到数据块标识集合,获取数据块标识集合中每一数据块标识对应的目标数据块,将目标数据块进行数据拼包,得到待传输数据。

由以上可知,本申请实施例在获取待传输数据和当前环境噪声后,对当前环境噪声进行特征提取,得到当前环境噪声的音频特征,然后,基于音频特征,确定当前环境噪声的环境噪声类型,并将环境噪声类型添加至待传输数据,得到目标传输数据,将目标传输数据转换为音频数据,并播放音频数据,以便接收终端根据环境噪声类型在所述音频数据中获取待传输数据;由于该方案可以获取当前环境噪声,并确定当前环境噪声的环境噪声类型,将环境噪声类型添加至待传输数据,从而使得接收终端可以在接收到的音频数据中提取出环境噪声类型,从而根据环境噪声类型确定待传输数据的当前网络传输质量(Qos),基于该当前网络传输质量来获取待传输数据,因此,可以提升数据传输的传输成功率。

根据上面实施例所描述的方法,以下将举例作进一步详细说明。

在本实施例中,将以该数据传输装置具体集成在电子设备,电子设备为终端,为了区分,可以将终端分为发送终端和接收终端,发送终端可以为将待传输数据进行传输的终端,接收终端可以为接收该待传输数据的终端为例进行说明。

(一)训练噪声类型识别模型进行训练

(1)发送终端获取音频数据样本。

例如,发送终端确定各个场景下环境噪声音频波形,然后,在可以这些场景下采集不同时间段的音频数据,并将这些音频数据中标注对象场景下的环境噪声类型作为正样本,并确定负样本音频种类,采集与正样本数量相同的负样本的音频数据,并标注场景下的环境噪声类型,得到负样本音频数据。将正样本音频数据样本和负样本音频数据进行数据清洗,从而得到音频数据样本。

(2)发送终端采用预设噪声类型识别模型预测音频数据样本的环境噪声类型,得到预测环境噪声类型。

例如,发送终端采用预设噪声类型识别模型对音频数据样本进行特征提取,得到音频数据样本的样本音频特征,在样本音频特征中识别出音频数据样本的数据块的样本环境噪声类型,在样本环境噪声类型中统计出每一环境噪声类型对应的样本类型数量,基于该样本类型数量,在样本环境噪声类型中筛选出音频数据样本的环境噪声类型,得到预测环境噪声类型。

(3)发送终端根据标注环境噪声类型和预测环境噪声类型对预设噪声类型识别模型进行收敛,得到训练后噪声类型识别模型。

例如,发送终端将标注环境噪声类型和预测环境噪声类型进行对比,从而得到音频数据样本的损失信息,基于该损失信息,采用梯度下降算法对预设噪声类型识别模型的网络参数进行更新,以收敛该预设噪声类型识别模型,从而得到训练后噪声类型识别模型。

(二)终端采用训练后噪声类型识别模型确定当前环境噪声的环境噪声类型。

其中,训练后噪声识别模型包括噪声特征提取网络和噪声类型特征转换网络。

如图11所示,一种数据传输方法,具体流程如下:

201、发送终端获取待传输数据和当前环境噪声。

例如,针对待传输数据来说,发送终端可以直接获取用户输入的数据作为待传输数据,或者,还可以接收业务服务器或者其他终端返回的业务数据,将该业务数据作为待传输数据。针对当前环境噪声来说,发送终端可以在获取到待传输数据之后,通过数据传输装置的声音采集设备采集预设时间的当前环境下的声音,得到当前环境噪声,或者,还可以实时采集当前环境下的环境声音,当获取到待传输数据时,在采集到的环境声音中提取出当前时刻的采集到的预设时间的环境声音,得到当前环境噪声。

202、发送终端对当前环境噪声进行特征提取,得到当前环境噪声的音频特征。

例如,发送终端对当前环境噪声的声道进行检测,当当前环境噪声的声道为双声道时,将当前环境噪声转换为单声道的当前环境噪声。按照预设时间窗口将目标声道的当前环境噪声进行分块,从而得到多个音频数据块,预设时间窗口为任意时间,比如,可以为30s或者,其他时间,预设时间窗口可以根据实际应用进行调整。

发送终端在音频数据块中提取出频谱图像信息,并在频谱图像信息中识别出音频数据块对应的频谱图像值,获取每一音频特征维度对应的数据采样量,以数据采样量(fftsize)为4096,提取128维的梅尔语谱特征(mel128),并进行标准化,得到第一标准化后音频特征,以fft size为4096,提取梅尔倒频谱特征(mfcc),并进行标准化,得到第二标准化后音频特征,以fft size为1024时,就可以提取过零率特征,并对过零率特征进行二元编码,得到编码后音频特征,还可以提取出频谱平坦度特征(flatness)和频谱质心特征,并分别进行标准化,从而得到第三标准化后音频特征和第四标准化后音频特征,将第一标准化后音频特征、第二标准化后音频特征、第三标准化后音频特征、第四标准化后音频特征和码后音频特征作为初始音频特征。将初始音频特征与频谱图像至进行拼接,得到每一音频数据块对应的音频特征。

203、发送终端基于音频特征,确定当前环境噪声的环境噪声类型。

例如,发送终端将音频特征进行融合,并将融合后音频特征转换为声谱图(Spectrogram),采用训练后噪声类型识别模型的噪声特征提取网络对声谱图进行特征提取,从而得到当前环境噪声的噪声音频特征集合,该噪声音频特征集合可以包括每一音频数据块对应的噪声音频特征。

其中,训练后噪声类型识别模型的噪声特征提取网络的网络结构可以有多种个网络层组成,比如,除了输入层以外的第二层可以为64个卷积核,卷积核大小为3x3,stride(步长)为1,padding(填充像素值)为1,第三层为Maxpolling(最大池化)层,windows(窗口)为2*2,stride为2,第四层使用128个卷积核,卷积核大小为3x3,stride为1,padding为1,第五层为Maxpolling层,windows为2*2,stride为2,第六层使用256个卷积核,卷积核大小为3x3,stride为1,padding为1,第七层为Maxpolling层,windows为2*2,stride为2。

发送终端采用BN层对噪声音频特征集合中的噪声音频特征进行批归一化处理,并采用Maxpolling层对批归一化处理的噪声音频特征进行池化处理,从而得到每一音频数据块对应的从基础噪声音频特征,将基础噪声音频特征进行组合,得到基础噪声音频特征集合。

发送终端获取音频数据块在当前环境噪声中的时间信息,基于该时间信息,对当前环境噪声中的音频数据块按照时间顺序,从前往后进行排序,得到排序信息,然后,根据该排序信息,对音频数据块对应的基础噪声音频特征进行排序,得到基础噪声音频特征的排序信息。

在基础噪声音频特征集合中确定出当前需要转换的基础噪声音频特征,得到当前基础噪声音频特征,基于排序信息,在基础噪声音频特征集合中查询排在当前基础噪声音频特征前一位的目标基础噪声音频特征,当存在目标基础噪声音频特征时,根据目标基础噪声音频特征,将当前基础噪声音频特征转换为噪声类型特征,可以采用双向BGRU获取目标基础噪声音频特征的隐状态特征,通过噪声类型特征转换网络根据目标基础噪声音频特征的隐状态特征,将当前基础噪声转换为噪声类型特征,计算当前基础噪声音频特征和隐状态特征的特征比值,并基于特征比值,确定当前基础噪声音频特征对应的目标隐状态特征,对目标隐状态特征进行维度转换,得到基础噪声音频特征对应的噪声类型特征。当不存在目标基础噪声音频特征时,将目标基础噪声特征作为噪声类型特征,返回执行在基础噪声音频特征集合中确定出当前需要转换的基础噪声音频特征的步骤,直至基础噪声音频特征集合中的基础噪声音频特征全部转换为噪声类型特征为止,得到每一基础噪声音频特征对应的噪声类型特征。

发送终端通过softmax网络将噪声环境类型映射出每一环境类型噪声对应的分类概率,基于该分类概率,在噪声环境类型中筛选出噪声类型特征对应的环境噪声类型,从而得到音频数据块的候选环境噪声类型。在候选环境噪声类型中数量最大的环境噪声类型作为当前环境噪声的环境噪声类型,或者,还可以获取每一类型的环境噪声类型的加权参数,基于该加权参数,对每一环境噪声类型的类型数量进行加权,然后,在候选环境噪声类型中筛选出加权后类型数量最多的环境噪声类型,从而得到当前环境噪声的环境噪声类型。

204、发送终端将环境噪声类型添加至待传输数据,得到目标传输数据。

例如,发送终端直接将环境噪声类型添加至待传输数据,从而得到目标传输数据,或者,可以在预设数据标签集合中筛选出环境噪声类型对应的数据标签,将该数据标签添加至待传输数据,从而得到目标传输数据,或者,还可以将环境噪声类型转换为环境噪声类型数据,将环境噪声类型数据添加至待传输数据,得到目标传输数据。

205、发送你将目标传输数据转换为音频数据,并播放音频数据。

例如,发送终端可以采用SE安全芯片进行加密,或者,可以采用哈希算法或MD5值对目标传输数据进行加密,得到加密后传输数据。以每一帧数据为14个字节为例,按顺序从14个字节中的每个字节分别取5位数据作为一个元数据,不够5位数据的,从后面相邻的字节补上或者替补0,这里其实要做的就是把一个8个位的字节分解为一个5个位的元数据来表示,最大值可以为最大值为2^5,最小值为0,一帧所需的元数据为:(N*8+4/5),N为帧中字节个数。这里的元数据就可以理解为一个数据块。采用等差数列或者等比数列来生成元数据与频率间的映射表,具体可以公式(1)所示,将该映射表作为频率映射表。

发送终端将目标传输数据切分为多个数据块,得到第一数据块,获取当前时间,对将当前时间和目标传输数据的属性信息进行融合,采用uuid算法对融合后数据生成uuid,然后,将uuid切分为多个chunk,得到第二数据块。可以采用reed-solomon对第一数据块、第二数据块和第三数据块进行纠错编码,得到RS码,并将RS码切分为多个chunk,从而得到第四数据块。获取第一数据块、第二数据块、第三数据块和第四数据块的数据块信息,在该数据块信息中识别出数据块标识,将该数据库标识作为目标传输数据的音频频点。

发送终端在频率映射表中每一音频频点的频率值,采用sin函数对该频率值进行处理,从而得到音频频点的单频点音频波形。将单频点音频波形进行融合,得到目标传输数据对应的音频波形,将音频波形作为目标传输数据的音频数据。基于目标传输数据的音频波形生成对应的音频信号,然后,播放该音频信号,从而实现音频数据的播放。

206、当接收终端检测到音频数据播放时,接收终端对播放的音频数据进行录音,得到录音数据。

例如,当接收终端检测到音频数据播放时,接收终端启动录音设备对播放的音频数据进行录音,从而得到录音数据。

207、接收终端对录音数据进行解析,得到当前环境噪声类型和初始音频数据。

例如,接收终端可以对录音数据(PCM)的进行滤波,过滤掉不必要的信号,得到滤波后音频数据,在滤波后音频数据中识别出当前环境噪声类型和初始音频数据。

208、接收终端根据当前环境噪声类型,在初始音频数据中识别出传输数据。

例如,接收终端在预设Qos值集合中筛选出当前环境噪声类型对应的Qos值,将该Qos值作为评估信息。将Qos值与预设评估阈值进行对比,当Qos值超过预设评估阈值时,确定针对目标音频数据的处理方式为接收该目标音频数据,当Qos值未超过预设评估阈值时,确定针对目标音频数据的处理方式为不接收目标音频数据,或者,当Qos值为预设Qos值时,确定确定针对目标音频数据的处理方式为接收该目标音频数据,当Qos值为非预设Qos值时,确定针对目标音频数据的处理方式为不接收目标音频数据。

当处理方式为接收音频数据时,接收终端在初始音频数据中提取出基频数据,在频率映射表中映射出基频数据中每一频率对应的数据块标识,将该数据块标识与报文头对应的预设数据块标识进行匹配,当匹配成功时,就可以确定基频数据存在报文头,当匹配失败时,就可以确定基频数据中不存在报文头时。当基频数据不存在报文头时,就说明初始音频数据不包含需要传输的数据或者传输的数据不是完整的,就停止识别出传输数据。当基频数据中存在报文头时,就可以在初始音频数据中提取出声波基频数据,并在声波基频数据中提取出至少一个数据块标识,并对提取出的数据块标识采用reed-solomon纠错,从而得到数据块标识集合。获取数据块标识集合中每一数据块标识对应的目标数据块,对目标数据块进行解密,将解密后数据块进行拼接或者融合,得到融合后数据,在融合后数据中删除报文头,从而得到传输数据。

当处理方式为不接收目标音频数据时,接收终端将初始音频数据丢弃,并生成提示信息,将提示信息发送至发送终端,以便发送终端基于提示信息重新播放目标音频数据。这里就可以确定目标音频数据进行播放时,当前传输网络质量较差,需要提示发送终端重新播放该目标音频数据,以重新发送传输数据,从而可以提升数据传输的成功率。

由以上可知,本实施例终端在获取待传输数据和当前环境噪声后,对当前环境噪声进行特征提取,得到当前环境噪声的音频特征,然后,基于音频特征,确定当前环境噪声的环境噪声类型,并将环境噪声类型添加至待传输数据,得到目标传输数据,将目标传输数据转换为音频数据,并播放音频数据,以便接收终端根据环境噪声类型在所述音频数据中获取待传输数据;由于该方案可以获取当前环境噪声,并确定当前环境噪声的环境噪声类型,将环境噪声类型添加至待传输数据,从而使得接收终端可以在接收到的音频数据中提取出环境噪声类型,从而根据环境噪声类型确定待传输数据的当前网络传输质量(Qos),基于该当前网络传输质量来获取待传输数据,因此,可以提升数据传输的传输成功率。

为了更好地实施以上方法,本发明实施例还提供一种数据传输装置,该数据传输装置可以集成在电子设备,比如服务器或终端等设备中,该终端可以包括平板电脑、笔记本电脑和/或个人计算机等。

例如,如图12所示,该数据传输装置可以包括获取单元301、提取单元302、确定单元303、添加单元304和播放单元305,如下:

(1)获取单元301;

获取单元301,用于获取待传输数据和当前环境噪声,该当前环境噪声为实时采集的当前传输环境下的声音。

例如,获取单元301,具体可以用于直接获取用户输入的数据作为待传输数据,或者,还可以接收业务服务器或者其他终端返回的业务数据,将该业务数据作为待传输数据。在获取到待传输数据之后,通过数据传输装置的声音采集设备采集预设时间的当前环境下的声音,得到当前环境噪声,或者,还可以实时采集当前环境下的环境声音,当获取到待传输数据时,在采集到的环境声音中提取出当前时刻的采集到的预设时间的环境声音,得到当前环境噪声。

(2)提取单元302;

提取单元302,用于对当前环境噪声进行特征提取,得到当前环境噪声的音频特征。

例如,提取单元302,具体可以用于对当前环境噪声的声道进行转换,得到目标声道的当前环境噪声,将目标声道的当前环境噪声进行分块,得到多个音频数据块,对音频数据块进行特征提取,得到音频数据块对应的音频特征。

(3)确定单元303;

确定单元303,用于基于音频特征,确定当前环境噪声的环境噪声类型。

例如,确定单元303,具体可以用于,采用训练后噪声识别模型在音频特征中识别出对应的音频数据块的候选环境噪声类型,在候选环境噪声类型中统计出每一环境噪声类型对应的类型数量,基于类型数量,在候选环境噪声类型中筛选出当前环境噪声的环境噪声类型。

(4)添加单元304;

添加单元304,用于将环境噪声类型添加至待传输数据,得到目标传输数据。

例如,添加单元304,具体可以用于直接将环境噪声类型添加至待传输数据,从而得到目标传输数据,或者,可以在预设数据标签集合中筛选出环境噪声类型对应的数据标签,将该数据标签添加至待传输数据,从而得到目标传输数据,或者,还可以将环境噪声类型转换为环境噪声类型数据,将环境噪声类型数据添加至待传输数据,得到目标传输数据。

(5)播放单元305;

播放单元305,用于将目标传输数据转换为音频数据,并播放音频数据,以便接收终端根据所述环境噪声类型在音频数据中获取所述待传输数据。

例如,播放单元305,具体可以用于对目标传输数据进行加密,并基于加密后传输数据,生成频率映射表,基于频率映射表,对目标传输数据进行音频编码,以得到目标传输数据对应的音频频点,在频率映射表中映射出每一音频频点的频率值,并基于该频率值生成音频波形,将音频波形作为音频数据。播放音频数据,以便接收终端根据环境噪声类型在音频数据中获取待传输数据。

可选的,数据传输装置还可以包括识别单元306,如图13所示,具体可以让如下所示:

识别单元306,用于当检测到音频数据播放时,对播放的目标音频数据进行录音,以得到传输数据。

例如,识别单元306,具体可以用于当检测到音频数据播放时,对播放的目标音频数据进行录音,得到录音数据,对录音数据进行解析,得到当前环境噪声类型和初始音频数据,根据当前环境噪声类型,在初始音频数据中识别出传输数据。

可选的,数据传输装置还可以包括训练单元307,如图14所示,具体可可以如下所示:

训练单元307,用于对预设噪声类型识别模型进行训练,得到训练后噪声类型识别模型。

例如,训练单元307,具体可以用于获取音频数据样本,该音频数据样本包括标注环境噪声类型的音频数据,采用预设噪声类型识别模型预测音频数据样本的环境噪声类型,得到预测环境噪声类型,根据标注环境噪声类型和预测环境噪声类型对预设噪声类型识别模型进行收敛,得到训练后噪声类型识别模型。

具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。

由以上可知,本申请实施例在获取待传输数据和当前环境噪声后,对当前环境噪声进行特征提取,得到当前环境噪声的音频特征,然后,基于音频特征,确定当前环境噪声的环境噪声类型,并将环境噪声类型添加至待传输数据,得到目标传输数据,将目标传输数据转换为音频数据,并播放音频数据,以便接收终端根据环境噪声类型在所述音频数据中获取待传输数据;由于该方案可以获取当前环境噪声,并确定当前环境噪声的环境噪声类型,将环境噪声类型添加至待传输数据,从而使得接收终端可以在接收到的音频数据中提取出环境噪声类型,从而根据环境噪声类型确定待传输数据的当前网络传输质量(Qos),基于该当前网络传输质量来获取待传输数据,因此,可以提升数据传输的传输成功率。

本发明实施例还提供一种电子设备,如图15所示,其示出了本发明实施例所涉及的电子设备的结构示意图,具体来讲:

该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图15中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:

处理器401是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。

电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:

获取待传输数据和当前环境噪声,该当前环境噪声为实时采集的当前传输环境下的声音,对当前环境噪声进行特征提取,得到当前环境噪声的音频特征,基于音频特征,确定当前环境噪声的环境噪声类型,将环境噪声类型添加至待传输数据,得到目标传输数据,将目标传输数据转换为音频数据,并播放音频数据,以便接收终端根据环境噪声类型在音频数据中获取待传输数据。

例如,电子设备直接获取用户输入的数据作为待传输数据,或者,还可以接收业务服务器或者其他终端返回的业务数据,将该业务数据作为待传输数据。在获取到待传输数据之后,通过数据传输装置的声音采集设备采集预设时间的当前环境下的声音,得到当前环境噪声,或者,还可以实时采集当前环境下的环境声音,当获取到待传输数据时,在采集到的环境声音中提取出当前时刻的采集到的预设时间的环境声音,得到当前环境噪声。对当前环境噪声的声道进行转换,得到目标声道的当前环境噪声,将目标声道的当前环境噪声进行分块,得到多个音频数据块,对音频数据块进行特征提取,得到音频数据块对应的音频特征。采用训练后噪声识别模型在音频特征中识别出对应的音频数据块的候选环境噪声类型,在候选环境噪声类型中统计出每一环境噪声类型对应的类型数量,基于类型数量,在候选环境噪声类型中筛选出当前环境噪声的环境噪声类型。将环境噪声类型添加至待传输数据,从而得到目标传输数据,或者,可以在预设数据标签集合中筛选出环境噪声类型对应的数据标签,将该数据标签添加至待传输数据,从而得到目标传输数据,或者,还可以将环境噪声类型转换为环境噪声类型数据,将环境噪声类型数据添加至待传输数据,得到目标传输数据。对目标传输数据进行加密,并基于加密后传输数据,生成频率映射表,基于频率映射表,对目标传输数据进行音频编码,以得到目标传输数据对应的音频频点,在频率映射表中映射出每一音频频点的频率值,并基于该频率值生成音频波形,将音频波形作为音频数据。播放音频数据,以便接收终端根据环境噪声类型在音频数据中获取待传输数据。当检测到音频数据播放时,对播放的目标音频数据进行录音,得到录音数据,对录音数据进行解析,得到当前环境噪声类型和初始音频数据,根据当前环境噪声类型,在初始音频数据中识别出传输数据。

以上各个操作的具体实施可参见前面的实施例,在此不作赘述。

由以上可知,本发明实施例在获取待传输数据和当前环境噪声后,对当前环境噪声进行特征提取,得到当前环境噪声的音频特征,然后,基于音频特征,确定当前环境噪声的环境噪声类型,并将环境噪声类型添加至待传输数据,得到目标传输数据,将目标传输数据转换为音频数据,并播放音频数据,以便接收终端根据环境噪声类型在所述音频数据中获取待传输数据;由于该方案可以获取当前环境噪声,并确定当前环境噪声的环境噪声类型,将环境噪声类型添加至待传输数据,从而使得接收终端可以在接收到的音频数据中提取出环境噪声类型,从而根据环境噪声类型确定待传输数据的当前网络传输质量(Qos),基于该当前网络传输质量来获取待传输数据,因此,可以提升数据传输的传输成功率。

本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。

为此,本发明实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种数据传输方法中的步骤。例如,该指令可以执行如下步骤:

获取待传输数据和当前环境噪声,该当前环境噪声为实时采集的当前传输环境下的声音,对当前环境噪声进行特征提取,得到当前环境噪声的音频特征,基于音频特征,确定当前环境噪声的环境噪声类型,将环境噪声类型添加至待传输数据,得到目标传输数据,将目标传输数据转换为音频数据,并播放音频数据,以便接收终端根据环境噪声类型在音频数据中获取待传输数据。

例如,获取用户输入的数据作为待传输数据,或者,还可以接收业务服务器或者其他终端返回的业务数据,将该业务数据作为待传输数据。在获取到待传输数据之后,通过数据传输装置的声音采集设备采集预设时间的当前环境下的声音,得到当前环境噪声,或者,还可以实时采集当前环境下的环境声音,当获取到待传输数据时,在采集到的环境声音中提取出当前时刻的采集到的预设时间的环境声音,得到当前环境噪声。对当前环境噪声的声道进行转换,得到目标声道的当前环境噪声,将目标声道的当前环境噪声进行分块,得到多个音频数据块,对音频数据块进行特征提取,得到音频数据块对应的音频特征。采用训练后噪声识别模型在音频特征中识别出对应的音频数据块的候选环境噪声类型,在候选环境噪声类型中统计出每一环境噪声类型对应的类型数量,基于类型数量,在候选环境噪声类型中筛选出当前环境噪声的环境噪声类型。将环境噪声类型添加至待传输数据,从而得到目标传输数据,或者,可以在预设数据标签集合中筛选出环境噪声类型对应的数据标签,将该数据标签添加至待传输数据,从而得到目标传输数据,或者,还可以将环境噪声类型转换为环境噪声类型数据,将环境噪声类型数据添加至待传输数据,得到目标传输数据。对目标传输数据进行加密,并基于加密后传输数据,生成频率映射表,基于频率映射表,对目标传输数据进行音频编码,以得到目标传输数据对应的音频频点,在频率映射表中映射出每一音频频点的频率值,并基于该频率值生成音频波形,将音频波形作为音频数据。播放音频数据,以便接收终端根据环境噪声类型在音频数据中获取待传输数据。当检测到音频数据播放时,对播放的目标音频数据进行录音,得到录音数据,对录音数据进行解析,得到当前环境噪声类型和初始音频数据,根据当前环境噪声类型,在初始音频数据中识别出传输数据。

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令,可以执行本发明实施例所提供的任一种数据传输方法中的步骤,因此,可以实现本发明实施例所提供的任一种数据传输方法所能实现的有益效果,详见前面的实施例,在此不再赘述。

其中,根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述数据传输方面或者交易数据传输方面的各种可选实现方式中提供的方法。

以上对本发明实施例所提供的一种数据传输方法、装置、电子设备和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

技术分类

06120116332133