掌桥专利:专业的专利平台
掌桥专利
首页

技术领域

本申请属于视频直播技术领域,具体涉及一种直播赛事的声源音效调整方法、装置及电子设备。

背景技术

随着通信技术的发展,网络传输速度越来越快,通过电子设备观看直播赛事已经得到普及。目前,直播赛事的音频都是基于用户选择固定的渲染方式或者采用默认的渲染方式进行渲染的。由于在直播赛事中音频的渲染方式固定,导致直播赛事的音频播放效果较差。

发明内容

本申请实施例的目的是提供一种直播赛事的声源音效调整方法、装置及电子设备,能够解决直播赛事的音频播放效果较差的问题。

第一方面,本申请实施例提供了一种直播赛事的声源音效调整方法,所述方法包括:

获取直播赛事的弹幕数据;

根据所述弹幕数据确定第一支持率和第二支持率,其中,所述第一支持率表示所述弹幕数据中支持所述直播赛事中第一参赛方的占比值,所述第二支持率表示所述弹幕数据中支持所述直播赛事中第二参赛方的占比值;

根据所述第一支持率和所述第二支持率之间的大小关系,调整所述直播赛事的赛场中声源的音效渲染效果;

其中,在所述第一支持率大于所述第二支持率的情况下,所述第一参赛方对应的声源的音效大于与所述第二参赛方对应的声源的音效;在所述第一支持率小于所述第二支持率的情况下,所述第一支持率小于所述第二参赛方对应的声源的音效。

第二方面,本申请实施例提供了一种直播赛事的声源音效调整装置,包括:

获取模块,用于获取直播赛事的弹幕数据;

确定模块,用于根据所述弹幕数据确定第一支持率和第二支持率,其中,所述第一支持率表示所述弹幕数据中支持所述直播赛事中第一参赛方的占比值,所述第二支持率表示所述弹幕数据中支持所述直播赛事中第二参赛方的占比值;

调整模块,用于根据所述第一支持率和所述第二支持率之间的大小关系,调整所述直播赛事的赛场中声源的音效渲染效果;

其中,在所述第一支持率大于所述第二支持率的情况下,所述第一参赛方对应的声源的音效大于与所述第二参赛方对应的声源的音效;在所述第一支持率小于所述第二支持率的情况下,所述第一支持率小于所述第二参赛方对应的声源的音效。

第三方面,本申请实施例提供了一种电子设备,所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤。

本申请实施例提供获取直播赛事的弹幕数据;根据所述弹幕数据确定第一支持率和第二支持率,其中,所述第一支持率表示所述弹幕数据中支持所述直播赛事中第一参赛方的占比值,所述第二支持率表示所述弹幕数据中支持所述直播赛事中第二参赛方的占比值;根据所述第一支持率和所述第二支持率之间的大小关系,调整所述直播赛事的赛场中声源的音效渲染效果;其中,在所述第一支持率大于所述第二支持率的情况下,所述第一参赛方对应的声源的音效大于与所述第二参赛方对应的声源的音效;在所述第一支持率小于所述第二支持率的情况下,所述第一支持率小于所述第二参赛方对应的声源的音效。这样可以基于弹幕数据动态调整直播赛事的赛场中声源的音效渲染效果,从而提高了直播赛事的赛场中声源的音效渲染效果。与此同时,由于用户可以通过弹幕数据调整直播赛事的赛场中声源的音效渲染效果,从而可以增加多人互动,提高了直播的娱乐性。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的直播赛事的声源音效调整方法的流程示意图;

图2是本申请实施例提供的直播赛事的声源音效调整方法中分布区域的分布示例图;

图3是本申请实施例提供的直播赛事的声源音效调整方法中声道区域的分布示例图;

图4是本申请实施例提供的直播赛事的声源音效调整方法中基于声源区域对声道区域调整前的分布示例图;

图5是本申请实施例提供的直播赛事的声源音效调整方法中基于声源区域对声道区域调整后的分布示例图;

图6是本申请实施例提供的直播赛事的声源音效调整装置的结构示意图;

图7是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。

下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的方法进行详细地说明。

如图1所示,本申请实施例提供了一种直播赛事的声源音效调整方法,如图1所示,该直播赛事的声源音效调整方法包括:

步骤101,获取直播赛事的弹幕数据;

本申请实施例中,上述直播赛事可以为球赛或者其他竞技比赛,例如游戏竞技比赛。以下各实施例中,以直播赛事为球赛为例进行说明。用户观看直播赛事时,可以发送弹幕来表达对自己喜欢的球队或喜欢的球员的支持,例如“XX球队加油”、“XX球员好球”、“过(人)得漂亮”等。可以实时获取各用户发送弹幕得到上述弹幕数据,该弹幕数据的结构如下:{用户ID,弹幕内容,时间戳},其中,用户ID为用户在直播应用程序内的唯一标识,弹幕内容是具体弹幕文本内容,时间戳是指该弹幕发送的时间点,时间戳是递增的;可以将获取的弹幕数据存储到一个缓存队列中。

步骤102,根据所述弹幕数据确定第一支持率和第二支持率,其中,所述第一支持率表示所述弹幕数据中支持所述直播赛事中第一参赛方的占比值,所述第二支持率表示所述弹幕数据中支持所述直播赛事中第二参赛方的占比值;

本申请实施例中,可以对弹幕数据进行识别,确定每一弹幕数据对应的用户态度,用户态度可以包括支持某一参赛方,或者反对某一参赛方,其中反对某一参赛方可以理解为支持另一参赛方。当然在其他实施例中,直播赛事还可以包括三个或者三个以上的参赛方,此时可以根据支持的参赛方的弹幕数据确定每一参赛方的支持率。

步骤103,根据所述第一支持率和所述第二支持率之间的大小关系,调整所述直播赛事的赛场中声源的音效渲染效果;

其中,在所述第一支持率大于所述第二支持率的情况下,所述第一参赛方对应的声源的音效大于与所述第二参赛方对应的声源的音效;在所述第一支持率小于所述第二支持率的情况下,所述第一支持率小于所述第二参赛方对应的声源的音效。

本申请实施例中,在获得每一参赛方的支持率之后,可以根据支持率之间的大小关系对直播赛事的赛场中声源的音效渲染效果进行调整,以增加音效渲染的灵活性,提高音频播放效果。例如,可以根据最大的支持率增大对应的声源的音效(即增大对应的声源的音量),也可以根据最小的支持率减小对应的声源的音效(即减小对应的声源的音量)。可选地,增大或减小的变化量可以根据第一支持率和所述第二支持率的差值或比值确定,也可以根据其他方式确定,在此不做进一步地限定。

可选地,上述第一参赛方可以认为是球队A,第二参赛方可以理解为球队B,上述用户可以理解为球迷,球迷通常包括支持球队A的球迷,支持球队B的球迷和中立球迷。

需要说明的是,改变渲染效果后可以得到多声道的音频数据(即空间音频数据),将渲染出的空间音频数据进行双耳化的处理可以输出多声道音频数据,将该数据用binaural算法进行处理,生成双声道的空间音频渲染数据返回给用户进行播放即可。应理解,目标支持率可以表示赛事的偏向性,例如己方球迷的弹幕占据优势,则用户可以能感受到现场球迷助威声加持下的观赛氛围,同时对手球迷也将感受到同样的效果;如果对手球迷要改变现在的效果突出己方的球迷助威声,则只需在直播视频上多发送支持己方的弹幕,如果弹幕的偏向性改变则渲染的效果也发生改变;从而实现观赛用户之间的空间音频的交互。

本申请实施例提供获取直播赛事的弹幕数据;根据所述弹幕数据确定第一支持率和第二支持率,其中,所述第一支持率表示所述弹幕数据中支持所述直播赛事中第一参赛方的占比值,所述第二支持率表示所述弹幕数据中支持所述直播赛事中第二参赛方的占比值;根据目标支持率调整所述直播赛事的赛场中声源的音效渲染效果,所述目标支持率为所述第一支持率和所述第二支持率中的最大或最小的支持率。这样可以基于弹幕数据动态调整直播赛事的赛场中声源的音效渲染效果,从而提高了直播赛事的赛场中声源的音效渲染效果。与此同时,由于用户可以通过弹幕数据调整直播赛事的赛场中声源的音效渲染效果,从而可以增加多人互动,提高了直播的娱乐性。

可选地,在一些实施例中,所述根据所述弹幕数据确定第一支持率和第二支持率包括:

对所述弹幕数据进行情感信息识别,所述情感信息包括正面情感或负面情感;

根据所述情感信息确定目标弹幕数据中每一弹幕数据的态度信息,所述态度信息包括支持或反对,所述目标弹幕数据包括能够识别到感情信息的弹幕数据;

根据所述目标弹幕数据中每一弹幕数据关联的参赛方和所述态度信息确定所述第一支持率和所述第二支持率。

本申请实施例中,可以按照时间帧对弹幕数据进行识别,一个时间帧可以理解为一个时间段,可以将该时间段内的弹幕数据一起处理。例如可以使用E-Bert模型对一个时间帧内的弹幕进行情感识别,E-Bert模型是离线训练改进后的Bert模型,在Bert模型的尾部加上全链接层使其能对弹幕进行情感识别;识别出的弹幕数据有3种情感,即正面情感、负面情感和没有情感,其中,没有情感可以理解为未识别到情感,可以将没有情感或未识别到情感的弹幕数据过滤掉,不作为判断的依据,从而输出正面情感和负面情感的目标弹幕数据,如下:{用户ID,弹幕数据,时间戳,情感识别结果},其中情感识别结果为1表示正面,情感结果为-1标识负面。

在识别到情感后,可以转换为态度信息,即判断每一个时间帧内每个用户的弹幕数据所表示出的态度。即一条弹幕是支持某个球队或球员还是反对某个球队或球员。其中支持某个球队或球员可以理解为支持某个参赛方,反对某个球队或球员可以理解为反对或不支持某个参赛方。

在获得每一弹幕数据的态度信息后,即可计算上述第一支持率和第二支持率,从而确定弹幕的整体偏向性。可选地,上述正面情感对应的态度信息可以理解为支持,反面情感对应的态度信息可以理解为反对或不支持。通过情感识别可以准确获得弹幕数据的整体偏向性。

可选地,在一些实施例中,所述目标弹幕数据包括第一时间段内发送的第一弹幕数据和第二弹幕数据,所述第一弹幕数据包括关键词,所述第二弹幕数据未包含所述关键词,所述关键词用于指示所述第一弹幕数据关联的参赛方或所述第一弹幕数据关联的参赛方内的参赛成员;所述方法还包括:

根据所述关键词确定所述第一弹幕数据关联的参赛方;

在所述第一弹幕数据的数量与所述目标弹幕数据的总数量的比值大于或等于第一阈值的情况下,根据所述第一弹幕数据与所述第二弹幕数据的时间距离值确定所述第二弹幕数据关联的参赛方;

在所述第一弹幕数据的数量与所述目标弹幕数据的总数量的比值小于所述第一阈值的情况下,根据第二时间段内包含关键词的弹幕数据中发送时间最晚的弹幕数据确定所述第二弹幕数据关联的参赛方,所述第二时间段为与所述第一时间段相邻的时间段,且所述第二时间段位于所述第一时间段之前。

本申请实施例中进行态度信息识别时,例如输入的数据为{用户ID,弹幕数据,时间戳,情感识别结果}的集合,对于输入的弹幕数据,包括两类,一类为包含关键词的第一弹幕数据,一类是不包括关键词的第二弹幕数据,针对包含关键词的第一弹幕数据,可以根据关键词确定该第一弹幕数据关联的参赛方,可以将情感识别结果直接转换为态度识别结果,即正面情感表示支持、负面情感表示反对,从而确地该第一弹幕数据支持或反对的参赛方。对于第二弹幕数据,由于弹幕内容都是短文本无法反应上下文的语境,因此不能单凭情感识别结果来判明态度,很可能出现语义不明确的弹幕数据,例如“加油啊”、“快进攻啊”等。

在本申请实施例中,可以根据时间相关性计算方法来判别弹幕数据的态度信息。例如,假设输入目标弹幕数据的总数量为S_all,统计输入目标弹幕数据中包含球队A关键词信息的弹幕数量为K_a,包含球队B关键词的弹幕数量为K_b,用K_a加上K_b之和除以S_all得到包含关键词弹幕的浓度值C_value(即上述所述第一弹幕数据的数量与所述目标弹幕数据的总数量的比值),然后,判定浓度值C_value是否大于等于所设的第一阈值。第一阈值用于确定不包含关键词的弹幕数据和包含关键词弹幕数据在语义上的相关性(可以离线通过深度学习模型计算求出);如果C_value大于等于第一阈值,则说明两种弹幕数据之间的语义相关性比较强,否则说明两种弹幕数据之间的语义相关性不强。针对不同的情况可以使用不同的方式确定第二弹幕数据关联的参赛方,从而确定第二弹幕数据的态度信息。

在一些实施例中,据所述第一弹幕数据与所述第二弹幕数据的时间距离值确定所述第二弹幕数据关联的参赛方包括:

确定每一所述第一弹幕数据对应的第一向量,所述第一向量包括m个元素,所述m个元素用于表示位于所述第一弹幕数据对应的时间窗口内的m个第一弹幕数据与所述第二弹幕数据的时间距离值;

根据所述第一向量进行扩展和转置,得到每一所述第二弹幕数据对应的第二向量,所述第二向量包括n个元素,所述n个元素用于表示包含所述第二弹幕数据的发送时间的所述时间窗口对应的n个第一弹幕数据与所述第二弹幕数据的时间距离值;

基于聚类算法对所述第二向量进行聚类,获得至少一个聚簇,所述聚簇包括至少一个第一弹幕数据和至少一个第二弹幕数据;

针对每一个聚簇,将所述聚簇包含的第二弹幕数据关联的参赛者确定为所述聚簇包含的第一弹幕数据关联的参赛者的占比值最大的参赛者。

本申请实施例中,上述时间距离值是指两个弹幕数据的发送时间之间的时间间隔长度。每一第一弹幕数据可以设置一个对应的时间窗,该时间窗的起始时刻为对应的第一弹幕数据的发送时间。

应理解,在第一弹幕数据和第二弹幕数据比较强的情况下,即如果一段时间内有明确关键词的弹幕数据占比很多,那么那些没关键词的弹幕数据很可能也是与关键词的弹幕数据表达的同一种情感态度。此时,可以为每个包含关键词的弹幕数据设置一个时间窗口,该时间窗口就是时间轴上的一段,记录下与该时间窗口相交的第二弹幕数据,并计算第m个第二弹幕数据到第n个第一弹幕数据的时间距离值TD

在得到每个第二弹幕数据对应的第一向量后,可以将这些第一向量进行扩展和转置,使转置后的向量维度等于第一弹幕数据的个数,每个元素对应其到与之相交的第一弹幕数据的时间距离值,对于不相交的弹幕位置则直接补0,得到如下第二向量:

TVD

在获得上述第二弹幕数据对应的第二向量后,可以使用k-means聚类算法对其进行聚类。例如可以设置初始聚簇中心选择那些离第一弹幕数据时间距离近的第二弹幕数据;在计算完成后得到多个聚簇,针对每个聚簇找出和这些聚簇中的第一弹幕数据相交的第一弹幕数据,计算出这些第一弹幕数据中涉及球队A的比例和球队B的比例,比较这两个值,取值大的为这个聚簇所关联的球队,将这个聚簇中的第二弹幕数据设置为描述球队A的,且将对应的情感识别结果转化为态度识别结果,输出为如下格式:

{弹幕ID,弹幕数据,态度识别结果,球队ID,是否包含关键词}。

本申请实施例中,上述相交是指第二弹幕数据的发送时间位于第一弹幕数据对应的时间窗口内。

可选地,在一些实施例中,所述根据第二时间段内包含关键词的弹幕数据中发送时间最晚的弹幕数据确定所述第二弹幕数据关联的参赛方包括:

在满足预设条件的情况下,将所述第二时间段内包含关键词的弹幕数据中发送时间最晚的弹幕数据关联的参赛方确定为所述第二弹幕数据关联的参赛方;

其中,所述预设条件包括:

所述目标弹幕数据中相邻弹幕数据的时间距离值的平均值大于或等于第二阈值;

所述目标弹幕数据中相邻弹幕数据的时间距离值的分布符合正态分布。

本申请实施例中,上述第一时间段和第二时间段可以理解为相邻的两个时间帧。具体地,可以预先设置了一个缓存,用于存储每个时间帧中包含关键词的最晚弹幕数据,其存储形式如下:{球队ID,时间戳},其中,球队ID是根据包含关键词的弹幕数据获取的。然后计算出当前时间帧中在时间上相邻弹幕数据的时间距离,即前一个弹幕数据和后一个弹幕数据之间的距离,得到一个距离集合。接着求出距离集合的平均值PV(即目标弹幕数据中相邻弹幕数据的时间距离值的平均值);之后,判断距离集合的平均值是否大于等于系统设定的第二阈值,同时判断距离集合中的时间距离值的分布是否符合正态分布;如果同时满足上述条件,一方面则说明当前时间帧中的弹幕数据分布比较紧凑(弹幕数据之间的时间距离值都很小),另一方面说明弹幕数据的分布比较均匀,可以推出多个用户可能正在就同一件事发出表达,因此可以将缓存中球队ID设置给这些弹幕数据,表示这些弹幕数据是在说该球队的事。否则认为当前时间段内的弹幕数据不足以提供有效的渲染条件信息,不需要调整渲染的方式。应理解,在本申请实施例通常是基于一个时间帧内的弹幕数据确定下一时间帧是否更新音频的渲染效果,如果不满足上述预设条件,则下一个时间帧的空间音频的渲染效果还和当前时间帧一致。

本申请实施例中对包含关键词的第一弹幕数据和不包含关键词的第二弹幕数据分开识别,提高了弹幕数据的态度信息识别的准确性。

可选地,在一些实施例中,所述根据所述目标弹幕数据中每一弹幕数据关联的参赛方和所述态度信息确定所述第一支持率和所述第二支持率包括:

根据所述目标弹幕数据中每一弹幕数据关联的参赛方和所述态度信息确定支持所述第一参赛方的第一弹幕数,反对第一参数方的第二弹幕数、支持所述第二参赛方的第三弹幕数和反对第二参赛方的第四弹幕数;

将第一值与第一权重值的乘积值确定为所述第一支持率,所述第一值为所述第一弹幕数和第四弹幕数的和值除以所述目标弹幕数据的总数量得到的商,所述第一权重值基于第一和值确定,且所述第一权重与第一和值成正比例关系,所述第一和值为所述第一弹幕数对应的弹幕数据中包含关键词的弹幕数据的数量和所述第四弹幕数对应的弹幕数据中包含关键词的弹幕数据的数量之和;

将第二值与第二权重值的乘积值确定为所述第二支持率,所述第二值为所述第二弹幕数和第三弹幕数的和值除以所述目标弹幕数据的总数量得到的商,所述第二权重值基于第二和值确定,且所述第二权重与第二和值成正比例关系,所述第一和值为所述第二弹幕数对应的弹幕数据中包含关键词的弹幕数据的数量和所述第三弹幕数对应的弹幕数据中包含关键词的弹幕数据的数量之和。

本申请实施例中,假设弹幕数据的整体偏向性是一个布尔变量,其值为1时表示支持A队,值为0时表示支持B队;从输入的数据“{弹幕ID,弹幕数据,态度识别结果,球队ID,是否包含关键词}”中统计出弹幕数量总量为B

假设第一支持率为球队A的支持率Team

其中,/>

由于采用了第一权重值和第二权重值对支持率进行了修正,从而使得包含关键词的弹幕数据的数量越多则计算出的偏向性数值就越大。依靠包含关键词弹幕数据的数量来判定当前时间帧组的弹幕数据整体偏向性,对于两支球队那一队的偏向性值大则认为弹幕整体偏向那一队;之所以考虑包含关键词的弹幕数据的数量,是为了给用户设置一种发送弹幕数据的导向,即用户发送的弹幕数据包含关键词的话空间渲染效果也会更明显,这样用户可以通过发送更多包含关键词的弹幕数据来实现音频的互动。

可选地,在一些实施例中,所述直播赛事的赛场包括按照观看位置类型划分的多个分布区域以及按照声道划分的多个声道区域,所述观看位置类型的包括支持所述第一参赛方的第一类型、支持所述第二参赛方的第二类型以及态度中立的第三类型;一个所述声道区域包括至少一个分布区域;

所述根据所述第一支持率和所述第二支持率之间的大小关系,调整所述直播赛事的赛场中声源的音效渲染效果包括:

根据所述第一支持率和所述第二支持率之间的大小关系,确定目标支持率,所述目标支持率为所述第一支持率和所述第二支持率中最大的支持率;

根据所述目标支持率确定目标分布区域集合,所述目标分布区域集合包括所述目标支持率关联的参赛方对应的分布区域;

比较所述目标支持率与所述目标分布区域集合中各分布区域的声源等级值的差值,确定所述目标支持率对应的基准分布区域,所述基准分布区域为差值最小的分布区域;

基于所述基准分布区域的位置确定各声道区域对应的音量分布等级;

按照各声道区域对应的音量分布等级调整所述直播赛事的赛场中声源的音效渲染效果。

本申请实施例中,上述第一类型的对应分布区域可以理解为球迷A的分布区域,上述第二类型的对应分布区域可以理解为球迷B的分布区域,上述第三类型的对应分布区域可以理解为中立球迷的分布区域,其中中立球迷可以理解为对于支持球队A和支持球队B的态度不明确,处于中立的态度。

可选地,上述声源等级值可以为一个归一化的值,上述目标支持率为一个百分比值。所述目标支持率与分布区域的声源等级值的差值的绝对值最小,表示该分布区域的声音更能够符合当前观看用户的喜好,从而可以适配当前弹幕数据的整体偏向。

可选地,在一些实施例中,所述调整所述直播赛事的赛场中声源的音效渲染效果的调整方式包括:

对第一声道区域的声道音频按照第一声道区域对应音量分布等级进行渲染,得到所述第一声道区域的音频数据,所述第一声道区域为包括基准分布区域的声道区域;

针对每一第二声道区域,根据第二声道区域对应的音量分布等级计算所述第一声道区域的声道音频在所述第二声道区域的音频分量,并将所述音频分量与所述第二声道区域的声道音频相加后乘以第三权重,获得所述第二声道区域的音频数据,所述第三权重为所述第二声道区域中支持目标参赛方的分布区域数量与所述多个分布区域中支持所述目标参赛方的分布区域的数量的比值,所述目标参赛方为所述目标支持率对应的参赛方,所述第二声道区域为不包括所述基准分布区域的声道区域。在完成所有声道区域的渲染后可以输出多声道的音频数据。

本申请实施例中由于在第二声道区域内加入第一声道区域内的声道音频数据,使得环绕效果和临场感更好,而且采用第三权重进行音量限制,从而可以防止音量过大带来爆音问题。

可选地,在一些实施例中,所述根据所述目标支持率确定目标分布区域集合之前,所述方法还包括:

根据所述分布区域和声道区域,确定每一声道区域内各分布区域内的声音的影响程度;

根据所述影响程度确定所述分布区域的声源等级值。

例如,对球场进行区域划分;对于世界杯或者类似的足球比赛,其比赛球队的球迷座位安排都是有规律的(即两队球迷会隔开坐,会被中立球迷隔开),而对于球迷的分类有三种:A队球迷、B队球迷、中立球迷,因此可以获取每队球迷在球场的分布坐标。如图2所示,将整个球场的渲染空间作为一个同心圆(每个圆表示一层看台,球场一般有多层看台),并将其映射到一个360度的坐标系下;图2中虚线和同心圆相交而分割出的区域即是分布区域(即球迷分布区域),采用起始角度、结束角度还有距离来表示,其中距离是此区域与圆心的距离,例如右上方A队球迷的区域表示为:(20、45、0),而右上方B队球迷的区域表示为:(20、45、20);最后输出划分好的分布区域的位置坐标和距离如下:

{球队ID,分布区域1,(起始角度、结束角度、距离)};

{球队ID,分布区域2,(起始角度、结束角度、距离)};

……;

{球队ID,分布区域n,(起始角度、结束角度、距离)}。

在获得区域划分后,计算每一个区域的声源等级值,以5.1声道为例(7.1声道的处理方法相同),先将渲染空间做如图3所示的切分。此时可以得到以下5个声道区域:

正前方:{球迷区域1、球迷区域2、球迷区域5、……}

右前方:{球迷区域5、球迷区域6、球迷区域9、……}

……。

假设某一声道区域(或者说声道区域方向,如正前方或右前方等)某队球迷的分布区域的个数为P_num,设该队球迷区域与圆心的距离为P_D

其中,i表示声道区域上的球队球迷(即支持球队A的球迷或支持球队B的球迷),j表示声道区域中与球迷i关联的第j个分布区域。此时可以先求出声道区域上所有分布区域到圆心距离倒数之和,这样使得离圆心越近则影响越大,符合离得近的声音大的原则;然后再除以相交内区域个数来进行归一化,这样可以让相交数量多的球迷区域的影响程度更大;最终得出影响程度Infi,每个方向我们都可以求出与其相交的球迷类别的影响程度。因此,对于某一声道区域上某一分布区域的声源等级值AG

应理解,之所以用影响程度乘以距离的倒数是因为影响程度越大、距离越近则球迷区域的声音越明显。经过计算可以得到以下数据:

{球迷区域ID,区域坐标,距离,声源等级值}。

具体的,在系统初始化的时候可以计算得到各分布区域的声源等级值,并存储在缓存中,以供调用。另外还可以存储一张对应表,该表存储球迷的分布区域ID和球队ID之间的对应关系。

可选地,可以基于每一个时间帧内的弹幕数据,确定是否调整渲染效果,即可以根据球队ID(即目标支持率关联的参赛方)和弹幕偏向性(即目标支持率),查询该球队ID对应的分布区域,得到目标分布区域集合。接着计算弹幕偏向性和分布区域对应的声源等级值的差值,取差值最小的那个分布区域为渲染声源所在的区域(即可以称之为声源区域,或者基准分布区域),输出声源区域其结构如下:{区域坐标,距离}。

应理解,之所以取最小的差值,是因为弹幕偏向性越大声源等级越大的情况下,差值就会越小,这样在选取球迷的分布区域时就能同时兼顾赛场球迷的分布状况和当前观赛用户的喜好。

可选地,获取渲染声源的分布区域坐标后,将其投影到一个同心圆的坐标系内,如图4所示,将该分布区域表示为同心圆上的一点(即图4和图5中的实心圆点);为了增强用户的临场感,将声源的方向调整为正前方,根据声源所在区域的角度计算出在同心圆坐标系内需要调整的角度值,对于5.1声道的情况将5个方向上的5个音箱(即声道区域)的坐标分别减去角度调整值,即可完成声源方向的调整,调整后的方向如图5所示;之所以需要进行调整,是因为将声源调到观赛画面的正前方,会使解决渲染方位和视频画面的割裂感,让用户有更好的临场观赛体验。

可选地,在调整完声源角度后进行VBAP算法方向矢量的计算。首先,获取声源区域所在方向的声道音频数据,即左前方声道区域的声道音频数据;接着,设声源区域的坐标为(x

在计算过程中用同一声道区域中支持当前球队的球迷区域的影响度之和除以所有球迷区域影响度之和来表示球队的支持程度,这样可以使渲染后的效果更加突出支持的球队。

然后,可以根据最终位置向量V

如图6所示,本申请实施例还提供一种直播赛事的声源音效调整装置,该直播赛事的声源音效调整装置600包括:

获取模块601,用于获取直播赛事的弹幕数据;

确定模块602,用于根据所述弹幕数据确定第一支持率和第二支持率,其中,所述第一支持率表示所述弹幕数据中支持所述直播赛事中第一参赛方的占比值,所述第二支持率表示所述弹幕数据中支持所述直播赛事中第二参赛方的占比值;

调整模块603,用于根据所述第一支持率和所述第二支持率之间的大小关系,调整所述直播赛事的赛场中声源的音效渲染效果;

其中,在所述第一支持率大于所述第二支持率的情况下,所述第一参赛方对应的声源的音效大于与所述第二参赛方对应的声源的音效;在所述第一支持率小于所述第二支持率的情况下,所述第一支持率小于所述第二参赛方对应的声源的音效。

可选地,所述确定模块602包括:

识别单元,用于对所述弹幕数据进行情感信息识别,所述情感信息包括正面情感或负面情感;

第一确定单元,用于根据所述情感信息确定目标弹幕数据中每一弹幕数据的态度信息,所述态度信息包括支持或反对,所述目标弹幕数据包括能够识别到感情信息的弹幕数据;

第二确定单元,用于根据所述目标弹幕数据中每一弹幕数据关联的参赛方和所述态度信息确定所述第一支持率和所述第二支持率。

可选地,所述目标弹幕数据包括第一时间段内发送的第一弹幕数据和第二弹幕数据,所述第一弹幕数据包括关键词,所述第二弹幕数据未包含所述关键词,所述关键词用于指示所述第一弹幕数据关联的参赛方或所述第一弹幕数据关联的参赛方内的参赛成员;所述确定模块602还包括:

第三确定单元,用于根据所述关键词确定所述第一弹幕数据关联的参赛方;

第四确定单元,用于在所述第一弹幕数据的数量与所述目标弹幕数据的总数量的比值大于或等于第一阈值的情况下,根据所述第一弹幕数据与所述第二弹幕数据的时间距离值确定所述第二弹幕数据关联的参赛方;

第五确定单元,用于在所述第一弹幕数据的数量与所述目标弹幕数据的总数量的比值小于所述第一阈值的情况下,根据第二时间段内包含关键词的弹幕数据中发送时间最晚的弹幕数据确定所述第二弹幕数据关联的参赛方,所述第二时间段为与所述第一时间段相邻的时间段,且所述第二时间段位于所述第一时间段之前。

可选地,所述第四确定单元具体用于:

确定每一所述第一弹幕数据对应的第一向量,所述第一向量包括m个元素,所述m个元素用于表示位于所述第一弹幕数据对应的时间窗口内的m个第一弹幕数据与所述第二弹幕数据的时间距离值;

根据所述第一向量进行扩展和转置,得到每一所述第二弹幕数据对应的第二向量,所述第二向量包括n个元素,所述n个元素用于表示包含所述第二弹幕数据的发送时间的所述时间窗口对应的n个第一弹幕数据与所述第二弹幕数据的时间距离值;

基于聚类算法对所述第二向量进行聚类,获得至少一个聚簇,所述聚簇包括至少一个第一弹幕数据和至少一个第二弹幕数据;

针对每一个聚簇,将所述聚簇包含的第二弹幕数据关联的参赛者确定为所述聚簇包含的第一弹幕数据关联的参赛者的占比值最大的参赛者。

可选地,所述第五确定单元具体用于:

在满足预设条件的情况下,将所述第二时间段内包含关键词的弹幕数据中发送时间最晚的弹幕数据关联的参赛方确定为所述第二弹幕数据关联的参赛方;

其中,所述预设条件包括:

所述目标弹幕数据中相邻弹幕数据的时间距离值的平均值大于或等于第二阈值;

所述目标弹幕数据中相邻弹幕数据的时间距离值的分布符合正态分布。

可选地,所述第二确定单元具体用于:

根据所述目标弹幕数据中每一弹幕数据关联的参赛方和所述态度信息确定支持所述第一参赛方的第一弹幕数,反对第一参数方的第二弹幕数、支持所述第二参赛方的第三弹幕数和反对第二参赛方的第四弹幕数;

将第一值与第一权重值的乘积值确定为所述第一支持率,所述第一值为所述第一弹幕数和第四弹幕数的和值除以所述目标弹幕数据的总数量得到的商,所述第一权重值基于第一和值确定,且所述第一权重与第一和值成正比例关系,所述第一和值为所述第一弹幕数对应的弹幕数据中包含关键词的弹幕数据的数量和所述第四弹幕数对应的弹幕数据中包含关键词的弹幕数据的数量之和;

将第二值与第二权重值的乘积值确定为所述第二支持率,所述第二值为所述第二弹幕数和第三弹幕数的和值除以所述目标弹幕数据的总数量得到的商,所述第二权重值基于第二和值确定,且所述第二权重与第二和值成正比例关系,所述第一和值为所述第二弹幕数对应的弹幕数据中包含关键词的弹幕数据的数量和所述第三弹幕数对应的弹幕数据中包含关键词的弹幕数据的数量之和。

可选地,所述直播赛事的赛场包括按照观看位置类型划分的多个分布区域以及按照声道划分的多个声道区域,所述观看位置类型的包括支持所述第一参赛方的第一类型、支持所述第二参赛方的第二类型以及态度中立的第三类型;一个所述声道区域包括至少一个分布区域;

所述调整模块603包括:

第六确定单元,用于根据所述第一支持率和所述第二支持率之间的大小关系,确定目标支持率,所述目标支持率为所述第一支持率和所述第二支持率中最大的支持率;

第七确定单元,用于根据所述目标支持率确定目标分布区域集合,所述目标分布区域集合包括所述目标支持率关联的参赛方对应的分布区域;

第八确定单元,用于比较所述目标支持率与所述目标分布区域集合中各分布区域的声源等级值的差值的绝对值,确定所述目标支持率对应的基准分布区域,所述基准分布区域为差值最小的分布区域;

第九确定单元,用于基于所述基准分布区域的位置确定各声道区域对应的音量分布等级;

调整单元,用于按照各声道区域对应的音量分布等级调整所述直播赛事的赛场中声源的音效渲染效果。

可选地,所述调整所述直播赛事的赛场中声源的音效渲染效果的调整方式包括:

对第一声道区域的声道音频按照第一声道区域对应音量分布等级进行渲染,得到所述第一声道区域的音频数据,所述第一声道区域为包括基准分布区域的声道区域;

针对每一第二声道区域,根据第二声道区域对应的音量分布等级计算所述第一声道区域的声道音频在所述第二声道区域的音频分量,并将所述音频分量与所述第二声道区域的声道音频相加后乘以第三权重,获得所述第二声道区域的音频数据,所述第三权重为所述第二声道区域中支持目标参赛方的分布区域数量与所述多个分布区域中支持所述目标参赛方的分布区域的数量的比值,所述目标参赛方为所述目标支持率对应的参赛方,所述第二声道区域为不包括所述基准分布区域的声道区域。

可选地,所述调整单元603还包括:

第十确定单元,用于根据所述分布区域和声道区域,确定每一声道区域内各分布区域内的声音的影响程度;

第十一确定单元,用于根据所述影响程度确定所述分布区域的声源等级值。

需要说明的是,本申请实施例提供的直播赛事的声源音效调整方法能够实现如图1实施例所示的直播赛事的声源音效调整方法的全部技术过程,并达到相同的技术效果,为避免重复,在此不再赘述。

本申请实施例还提供了一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现上述图1所示方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

具体的,参见图7所示,本申请实施例还提供了一种电子设备,包括总线701、收发机702、天线703、总线接口704、处理器705和存储器706。

在该实施方式中,所述电子设备还包括:存储在存储器706上并可在处理器705上运行的计算机程序。其中,所述计算机程序被处理器705执行时可实现如图1实施例所示的直播赛事的声源音效调整方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

在图7中,总线架构(用总线701来代表),总线701可以包括任意数量的互联的总线和桥,总线701将包括由处理器705代表的一个或多个处理器和存储器706代表的存储器的各种电路链接在一起。总线701还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口704在总线701和收发机702之间提供接口。收发机702可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器705处理的数据通过天线703在无线介质上进行传输,进一步,天线703还接收数据并将数据传送给处理器705。

处理器705负责管理总线701和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器706可以被用于存储处理器705在执行操作时所使用的数据。

可选的,处理器705可以是CPU、ASIC、FPGA或CPLD。

本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述直播赛事的声源音效调整方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如ROM、RAM、磁碟或者光盘等。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

相关技术
  • 一种轧辊表面粗糙度强化及优化控制方法
  • 制动片表面粗糙度与内应力协调优化控制方法
  • 超声振动介入时间与制动片内应力协调优化控制方法及系统
技术分类

06120116520871