音频播放方法和装置
文献发布时间:2023-06-19 10:29:05
技术领域
本申请属于计算机技术领域,具体涉及一种音频播放方法和装置。
背景技术
随着虚拟现实技术的发展,虚拟设备模拟的虚拟场景带给用户越来越逼真的沉浸式体验。
目前,为了增强用户视觉上的沉浸式体验,多人虚拟场景被用户所喜爱。用户通过佩戴虚拟设备,可看到周边虚拟场景及其他用户在同一虚拟场景中所对应的虚拟人物。随着转头、走动等动作,可靠近或远离其他用户所对应的虚拟人物。并且,用户通过耳机也能听到预先设置好的虚拟声音。
在实现本申请过程中,发明人发现现有技术中至少存在如下问题:
上述方式虽然让用户在视觉上产生了沉浸式体验,然而,用户通过耳机所能听到的其它用户对应的虚拟角色的虚拟声音均是预先设置好的,即使用户在真实环境中走动,虚拟环境中的声音还是按照预先设置的方式进行播放,无法很好的实现听觉上的沉浸式体验。
发明内容
本申请实施例的目的是提供一种音频播放方法和装置,能够解决现有技术在多人虚拟场景下,耳机中所产生的音效无法跟随用户之间移动状态的变化而变化的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种音频播放方法,该方法包括:
接收耳机发送的第一用户的移动状态信息;所述耳机设置有位移传感器,所述移动状态信息由所述位移传感器测得;
根据所述移动状态信息,以及所述第一用户对应的第一虚拟角色在虚拟场景中的当前位置信息,确定所述第一虚拟角色在所述虚拟场景中的第一虚拟位置信息;
接收至少一个第二用户对应的第二虚拟角色在所述虚拟场景中的第二虚拟位置信息;
获取所述第二虚拟角色在所述虚拟场景中待发出的声音;
根据所述第二虚拟位置信息以及所述第一虚拟位置信息,调节所述声音在所述耳机中的播放方式。
第二方面,本申请实施例提供了一种音频播放装置,该装置包括:
第一接收模块,用于接收耳机发送的第一用户的移动状态信息;所述耳机设置有位移传感器,所述移动状态信息由所述位移传感器测得;
确定模块,用于根据所述移动状态信息,以及所述第一用户对应的第一虚拟角色在虚拟场景中的当前位置信息,确定所述第一虚拟角色在所述虚拟场景中的第一虚拟位置信息;
第二接收模块,用于接收至少一个第二用户对应的第二虚拟角色在所述虚拟场景中的第二虚拟位置信息;
获取模块,用于获取所述第二虚拟角色在所述虚拟场景中待发出的声音;
调节模块,用于根据所述第二虚拟位置信息以及所述第一虚拟位置信息,调节所述声音在所述耳机中的播放方式。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的音频播放方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的音频播放方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行
依据本发明的实施例,通过提供配置有位移传感器的耳机,使得在多人虚拟场景下,可利用位移传感器测得第一用户的移动状态信息,在移动终端接收到耳机发送的第一用户的移动状态信息后,就可根据移动状态信息,以及第一用户对应的第一虚拟角色在虚拟场景中的当前位置信息,确定出第一虚拟角色在虚拟场景中的第一虚拟位置信息。并且,移动终端也接收至少一个第二用户对应的第二虚拟角色在虚拟场景中的第二虚拟位置信息,获取第二虚拟角色在虚拟场景中待发出的声音后,就可根据第一虚拟位置信息以及第二虚拟位置信息,调节第二虚拟角色的声音在耳机中的播放方式。本发明中,由于用户耳机中发出的其它用户对应的虚拟角色的声音,会随着此用户的虚拟角色和各个其它用户的虚拟角色之间相对位置的变化而变化,从而使得用户可以身临其境的听到其它用户对应的虚拟角色在虚拟场景中发出的声音,增强了用户在多人虚拟场景下听觉上的沉浸式体验。
附图说明
图1是本发明一种音频播放方法的流程图;
图2是本发明的另一种音频播放方法的流程图;
图3是本发明的多人虚拟场景下的虚拟角色之间位置关系示意图;
图4是本发明的一种音频播放装置的结构框图;
图5是本发明的一种电子设备的结构框图;
图6是本发明的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的音频播放方法进行详细地说明。
参照图1,示出了本发明一种音频播放方法的流程图。该方法包括:
步骤101:接收耳机发送的第一用户的移动状态信息;所述耳机设置有位移传感器,所述移动状态信息由所述位移传感器测得;
本发明实施例所应用的场景为多人虚拟AR场景。其中,各用户在均佩戴AR眼罩和耳机后,将移动终端架设在AR眼罩上,移动终端屏幕中的光线通过AR眼罩的镜片虚拟投射进用户的眼睛,以供用户看到虚拟场景画面。将耳机连接移动终端,利用两个耳麦输出音效,以供用户听到虚拟场景声音。其中,各个用户对应的虚拟角色在同一个虚拟场景中。该虚拟场景比如游戏场景、虚拟商场场景等,该虚拟商场场景中,存在真实用户以虚拟角色在虚拟商场中交易商品对象。
本发明实施例中,为了保证用户可以身临其境的听到虚拟场景中的音效变化情况,所提供耳机的两个耳麦均设置有位移传感器,位移传感器可为陀螺仪,所述耳机可为蓝牙耳机。
需要说明的是,在用户刚佩戴上虚拟设备并进入虚拟场景时,虚拟设备会对用户在现实场景的位置和用户对应的虚拟角色在虚拟场景中的位置分别进行初始定位,在后续用户发生姿态变化时,均以提前定位好的初始定位为基准来确定用户在现实场景中的移动状态信息和对应的虚拟角色在虚拟场景中的虚拟位置信息。
其中,移动状态信息指各用户的各种姿态变化信息,可以为用户的走动信息,如用户前后左右走动,也可以为第一用户的头部转动信息,如用户进行了转头动作,也可以为用户的走动信息和头部转动信息,如用户在走动的过程中发生了转头动作。
具体地,耳机中的位移传感器实时监测第一用户的移动状态信息,用户在现实场景中发生走动、头部转动,或者走动的同时发生头部转动时,耳机均会将位移传感器测得的移动状态信息发送给移动终端。
那么,对于第一用户而言,第一用户佩戴的耳机向第一用户使用的移动终端发送第一用户的移动状态信息。
步骤102:根据所述移动状态信息,以及所述第一用户对应的第一虚拟角色在虚拟场景中的当前位置信息,确定所述第一虚拟角色在所述虚拟场景中的第一虚拟位置信息;
本发明实施例中,在构建虚拟AR场景后,若第一用户的移动状态信息首次产生,则当前位置信息为第一用户对应的第一虚拟角色在虚拟场景中的初始化位置信息。若第一用户的移动状态信息不是首次产生,则当前位置信息为第一虚拟角色在虚拟场景中前一次发生姿态变换后的虚拟位置信息。
本领域技术人员可根据实际需求预先设置现实场景中的移动状态信息与虚拟场景中的移动状态信息之间的对应关系表。例如,现实场景中用户向前走动了三步,则可设置虚拟场景中用户向前走动了三十米。现实场景中用户头部由北向东转动30°,则可设置虚拟场景中用户头部也北向东转动30°。
具体地,第一用户在现实场景中产生移动状态信息后,耳机将移动状态信息发送给移动终端,移动终端通过查询上述对应关系表,确定出第一用户对应的第一虚拟角色在虚拟场景中对应的移动状态信息,再基于第一用户对应的第一虚拟角色在虚拟场景中的当前位置信息,就可确定出第一虚拟角色在虚拟场景中的第一虚拟位置信息。其中,第一虚拟位置信息指第一虚拟角色在虚拟场景中发生姿态变化后的位置信息。
步骤103:接收至少一个第二用户对应的第二虚拟角色在所述虚拟场景中的第二虚拟位置信息;
本发明实施例中,处于同一虚拟场景下的所有用户,均可以采用上述步骤101~102的方式来确定出各自对应的虚拟角色在虚拟场景中的位置信息。比如第二用户佩戴的耳机向第二用户使用的移动终端发送第二用户的移动状态信息,第二用户的移动终端根据所述移动状态信息,以及所述第二用户对应的第二虚拟角色在虚拟场景中的当前位置信息,确定所述第二虚拟角色在所述虚拟场景中的第二虚拟位置信息。
可以理解,除第一用户之外的其它第二用户所佩戴的耳机也是实时监测各自用户在现实场景中的移动状态信息,一旦监测到姿态变换,就会采用前述步骤101~102确定出各用户对应的各虚拟角色在虚拟场景中的虚拟位置信息,并将虚拟位置信息发送给第一用户的移动终端。
步骤104:获取所述第二虚拟角色在所述虚拟场景中待发出的声音;
由于在同一个虚拟场景中,存在多个用户,各个用户之间可能存在交互,那么每个用户在移动、说话时,都可能在虚拟场景中发出声音,比如多个用户配合攻击游戏场景中的敌人时,作为队友的用户可能会相互沟通战略战术等,因此各用户会在场景中发出声音。本申请实施例中,对于某个第一用户,去获取其它用户各自对应的第二虚拟角色在虚拟场景中待发出的声音。
步骤105:根据所述第二虚拟位置信息以及所述第一虚拟位置信息,调节所述声音在所述耳机中的播放方式。
在本发明实施例中,调节声音在耳机中的播放方式可以为调节移动终端输出的音量大小,也可以为分别调节耳机的左右声道的音量大小。
为了保证第一用户可以身临其境的听到其它用户对应的虚拟角色在虚拟场景中发出的声音,其它用户的移动终端将各自所对应的第二虚拟角色在虚拟场景中的第二虚拟位置信息发送给第一用户的移动终端后,第一用户的移动终端会获取第二虚拟角色在虚拟场景中待发出的声音,以供第一用户的移动终端根据第一虚拟角色与其它的第二虚拟角色在虚拟场景中的相对位置关系,来灵活调节第二虚拟角色在第一用户的耳机中所发出声音的播放方式。
需要说明的是,在本申请实施例中,不限定哪一个用户是第一用户,也不限定哪一个用户是第二用户。对于任意一个用户而言,该用户就是第一用户,该用户之外的用户就是第二用户。
依据本发明的实施例,通过提供配置有位移传感器的耳机,使得在多人虚拟场景下,可利用位移传感器测得第一用户的移动状态信息,在移动终端接收到耳机发送的第一用户的移动状态信息后,就可根据移动状态信息,以及第一用户对应的第一虚拟角色在虚拟场景中的当前位置信息,确定出第一虚拟角色在虚拟场景中的第一虚拟位置信息。并且,移动终端也接收至少一个第二用户对应的第二虚拟角色在虚拟场景中的第二虚拟位置信息,获取第二虚拟角色在虚拟场景中待发出的声音后,就可根据第一虚拟位置信息以及第二虚拟位置信息,调节第二虚拟角色的声音在耳机中发出的播放方式。本发明中,由于用户耳机中发出的其它用户对应的虚拟角色的声音,会随着此用户的虚拟角色和各个其它用户的虚拟角色之间相对位置的变化而变化,从而使得用户可以身临其境的听到其它用户对应的虚拟角色在虚拟场景中发出的声音,增强了用户在多人虚拟场景下听觉上的沉浸式体验。
参照图2,示出了本发明另一种音频播放方法的流程图。该方法包括:
步骤201:接收耳机发送的第一用户的第一偏转角度信息和第一位置坐标信息;所述耳机设置有位移传感器,所述移动状态信息由所述位移传感器测得;
具体地,第一偏转角度信息包括:左右耳各自的第一偏转角度大小信息和第一偏转角度方向信息。
在用户头部发生转动的情况时,耳机的左右耳麦中内置的位移传感器会分别测得用户的左右耳朵的偏转角度大小和偏转角度方向。例如,用户的头部从北向东转动90°时,用户右耳耳麦的位移传感器测得用户右耳的偏转角度大小信息为90°,偏转角度方向信息为由东向南转动。而用户左耳耳麦的位移传感器测得用户左耳的偏转角度大小信息为90°,偏转角度方向信息为由西向北转动。此时,左耳和右耳的偏转角度方向信息、偏转角度大小信息均属于第一偏转角度信息。并且,由于用户并未走动,第一位置坐标信息为用户在现实场景中的初始站立位置信息或前一次发生移动后的站立位置信息,具体取决于用户所处的情况。
在用户发生移动的情况时,耳机的左右耳麦内置的位移传感器均会测得用户的位移移动信息。由于用户在移动过程中头部并未发生转动,使得左耳测得的位移移动信息和右耳测得的位移移动信息相同。此时,在发送第一位置坐标信息时,选择其中任一耳朵测得的位移移动信息即可。而用户的第一偏转角度信息也就为用户在现实场景中两耳的初始偏转角度信息,或前一次发生头部转动后的两耳的偏转角度信息。
在用户移动过程中也发生头部转动的情况时,耳机的左右耳麦均会测得两个耳朵各自的偏转角度信息及位置坐标信息。此时,第一位置坐标信息选择其中任一位移传感器测得的位移移动信息,第一偏转角度信息包括:左耳偏转角度大小信息和左耳偏转角度方向信息、右耳偏转角度大小信息和右耳偏转角度方向信息。
本发明实施例中,为了提高测得的第一用户的第一偏转角度信息和第一位置坐标信息的精确度,可结合AR眼罩中的陀螺仪进行检测。具体采用如下方式:根据耳机内置的位移传感器获取第一用户的第一偏转角度信息和第一位置信息,再根据AR眼罩内置的陀螺仪对所述第一偏转角度信息和所述第一位置信息进行校准,得到校准后的第一偏转角度信息和第一位置坐标信息。此时,耳机将校准后的第一偏转角度信息和第一位置坐标信息发送给第一用户的移动终端。
需要说明的是,该步骤201可以为步骤101的进一步限定的步骤。
步骤202:根据所述第一偏转角度信息、所述第一位置坐标信息,以及所述第一用户对应的第一虚拟角色在虚拟场景中的当前位置信息,确定所述第一虚拟角色在所述虚拟场景中的第一虚拟位置坐标信息和第一虚拟偏转角度信息;
本发明实施例中,当前位置信息包括:当前偏转角度信息和当前位置坐标信息。其中,当前偏转角度信息也就是第一虚拟角色的左右耳在虚拟场景中各自的当前偏转角度大小信息和当前偏转角度方向信息。同样地,第一虚拟偏转角度信息包括:左右耳各自的第一虚拟偏转角度大小信息和第一虚拟偏转角度方向信息。
具体地,参照前述现实场景与虚拟场景之间的移动状态信息对应关系表,根据左右耳各自的第一偏转角度大小信息和左右耳在虚拟场景中各自的当前偏转角度大小信息,确定出左右耳各自的第一虚拟偏转角度大小信息;根据左右耳各自的第一偏转角度方向信息和左右耳在虚拟场景中各自的当前偏转角度方向信息,确定出左右耳各自的第一虚拟偏转角度方向信息;根据第一用户的第一位置坐标信息和第一虚拟角色的当前位置坐标信息,确定出第一虚拟角色的第一虚拟位置坐标信息。简言之,通过步骤402,就可确定出第一用户的第一虚拟角色在虚拟场景中相应进行姿态变化后,第一虚拟角色在虚拟场景中所处的位置和两个耳朵各自的朝向。
需要说明的是,该步骤202可以为步骤102的进一步限定的步骤。
步骤203:接收至少一个第二用户对应的第二虚拟角色在所述虚拟场景中的第二虚拟位置信息;
第二虚拟位置信息为第二虚拟角色在虚拟场景中的虚拟位置坐标信息。除第一用户外的其他第二用户的移动终端均会将各自对应的第二虚拟角色在虚拟场景中所处的虚拟位置坐标信息发送给第一用户的移动终端。
该第二用户的第二虚拟位置信息的由第二用户使用的移动终端发送,其第二虚拟位置信息的获取原理参照步骤202和步骤203。
步骤204:获取所述第二虚拟角色在所述虚拟场景中待发出的声音;
在多人虚拟VR场景中进行游戏作战时,经常需要各用户通过语音交流来沟通游戏战术,第二虚拟角色的行走时也会产生声音,则用户的说话声音和虚拟角色的行走声音、或者虚拟角色在虚拟场景中触碰物体、操作设备发出的声音均可属于第二虚拟角色在虚拟场景中发出的声音。
可选地,所述步骤204可以包括,获取第二电子设备发送的说话声音;所述说话声音由所述第二电子设备的麦克风采集;将所述说话声音作为所述第二虚拟角色在所述虚拟场景中待发出的声音。
为了保证第一用户可以身临其境的听到其它用户在虚拟场景中的说话声音,各用户移动终端的麦克风就会采集各自用户的说话声音,并将采集的说话声音作为对应的第二虚拟角色在虚拟场景中待发出的声音来发送给第一用户的移动终端,进而使得第一用户的移动终端后续就可根据第一虚拟角色与其它的第二虚拟角色在虚拟场景中的相对位置关系,调节其它用户的说话声音在第一用户的耳机中所发出的音量大小。如此,可以使其他用户在现实中发出的声音,在虚拟场景中以其所在的位置的情况播放给第一用户,使第一用户能更身临其境的听到其他用户现实的说话声。本发明实施例中,还可以在第二电子设备的麦克风采集第二用户的说话声音后,由第二电子设备获取第二用户对应的第二虚拟角色的人物类型,根据人物类型将采集的说话声音调整为与第二虚拟角色的人物类型对应的虚拟人物声音,之后,再由第二电子设备将虚拟人物声音发送给第一用户的第一电子设备。例如,第二用户对应的人物类型为女性,则将采集的说话声音调整为女性音色。
可选地,所述步骤204可以包括,获取所述第二虚拟角色的衣着信息;根据所述衣着信息,从预置的声音数据库中获取所述第二虚拟角色对应的待发出的行走声音;
在移动终端中会预先设置声音数据库,声音数据库中存储有衣着信息与行走声音的对应关系表。例如,虚拟角色穿高跟鞋时对应“哒哒哒”的行走声音,穿运动鞋时没有行走声音。本领域技术人员也可根据实际需求,设置行走声音与虚拟角色所踩的路面材料之间的对应关系,例如,可设置高跟鞋踩在木质底面和石材地面的声音不同。本发明对此不加以限制。如此,可以使虚拟角色发出的声音更符合角色的衣着情况。
步骤205:根据所述第一虚拟位置坐标信息、所述第一虚拟偏转角度信息和所述第二虚拟位置信息,确定所述第二虚拟角色相对所述第一虚拟角色的虚拟方向和虚拟位置;
本发明实施例中,第二虚拟角色相对第一虚拟角色的虚拟方向表征为第二虚拟角色相对第一虚拟角色的方位,例如:前方、后方、左方、右方。第二虚拟角色相对第一虚拟角色的虚拟位置表征为第二虚拟角色距离第一虚拟角色的远近程度。
具体地,第一虚拟位置坐标信息能够表征第一用户对应的第一虚拟角色在虚拟场景中所处的位置坐标,则根据第一虚拟位置坐标信息和第二虚拟位置坐标信息就可确定出第二虚拟角色相对第一虚拟角色的远近程度。而第一虚拟偏转角度信息能够表征左耳的偏转角度大小和方向、右耳的偏转角度大小和方向,即根据第一虚拟偏转角度信息可以获知第一虚拟角色的面部朝向信息,则根据第一虚拟角色的面部朝向信息和第二虚拟角色所处的位置,就可确定出第二虚拟角色相对第一虚拟角色的方位。
步骤206:根据所述虚拟方向和所述虚拟位置,调节所述声音在所述耳机中的播放方式。
例如,若第二虚拟角色位于第一虚拟角色面部的前方,则可将第二虚拟角色发出的声音的音量调大。若第二虚拟角色位于第一虚拟角色面部的后方,则将第二虚拟角色发出的声音的音量调小。若第二虚拟角色距离第一虚拟角色很近,则将第二虚拟角色发出的声音的音量调大。若第二虚拟角色距离第一虚拟角色很远,则将第二虚拟角色发出的声音的音量调小。
在实际应用中,可以根据预先构建的两个对象之间的预设距离、两个对象之间相对的虚拟方向与音量大小之间的对应关系,确定该虚拟方向和虚拟位置对应的音量大小,然后调节移动终端输出的音量大小。当然在实际应用中,对于耳机而言,有左右两声道,可以预先构建的两个对象之间的预设距离、两个对象之间相对的虚拟方向分别与左声道的音量大小、右声道的音量大小之间的对应关系,确定该虚拟方向和虚拟位置对应的左声道的音量大小、右声道的音量大小,然后分别调整输出给左声道的音量大小和右声道的音量大小。
本发明实施例中,对于虚拟场景中的各个虚拟物体,如火苗燃烧、河流流淌等各类虚拟物体所发出的虚拟声音,可采用前述类似方式进行调节。即,在步骤202之后,还包括:获取各个虚拟物体在虚拟场景中的第三虚拟位置信息;根据第一虚拟位置坐标信息、第一虚拟偏转角度信息和第三虚拟位置信息,确定各个虚拟物体相对第一虚拟角色的虚拟方向和虚拟位置;根据虚拟方向和虚拟位置,调节各个虚拟物体的虚拟声音在耳机中发出的音量大小。
具体地,对于虚拟场景中的各个虚拟物体所发出的音量大小,仍旧可通过判断第一用户在虚拟场景中的虚拟角色与各个虚拟物体之间的相对位置关系来决定虚拟物体的虚拟声音的调节方式。其中,第三虚拟位置信息为虚拟物体在虚拟场景中的虚拟位置坐标信息。本领域技术人员可预先设定虚拟场景中各个虚拟物体的音源类型和基准音量大小。例如,对于虚拟场景中的小火苗,可设置其音源类型为火苗燃烧声音,基准音量大小为较小的燃烧声音。在虚拟角色向小火苗走进时,再根据虚拟角色和小火苗之间的相对位置关系,调大燃烧声音。
为了更好的对本发明实施例进行理解,以下参照附图3进行示例性说明:
如图3所示,为多人虚拟场景下的虚拟角色之间位置关系示意图。其中,“甲”虚拟人为“甲”用户对应的虚拟角色,“乙”虚拟人为“乙”用户对应的虚拟角色,“丙”虚拟人为“丙”用户对应的虚拟角色,“丁”虚拟人为“丁”用户对应的虚拟角色,“小火苗”、“溪水”为虚拟场景中的虚拟物体。
在现实场景中,假设“乙”用户、“丙”用户、“丁”用户分别位于“甲”用户的前方、后方、左方。若“甲”用户向“乙”用户移动,则“甲”用户双耳的耳麦就会持续将位移传感器测得的“甲”用户的第一偏转角度信息和第一位置坐标信息发送给“甲”用户的移动终端。此时,“甲”用户的移动终端也会持续根据前述步骤202确定出“甲”虚拟人在虚拟场景中的第一虚拟位置坐标信息和第一虚拟偏转角度信息。即,“甲”虚拟人在虚拟场景中就会呈现向“乙”虚拟人的方向前进的画面。而在“甲”虚拟人向“乙”虚拟人前进的过程中,“甲”用户的移动终端也会持续接收“乙”用户移动终端、“丙”用户移动终端、“丁”用户移动终端发送的“乙”虚拟人、“丙”虚拟人、“丁”虚拟人在虚拟场景中的各自虚拟位置信息,以及“甲”用户移动终端也会在本地查询“小火苗”、“溪水”在虚拟场景中的虚拟位置信息。同时,“甲”用户移动终端也会获取其它各个用户对应的虚拟角色和虚拟物体在虚拟场景中发出的声音。之后,根据步骤205确定出“甲”虚拟人与其它用户的虚拟人、虚拟物体之间的相对位置关系,进而调整其它用户的虚拟人、虚拟物体在“甲”用户耳机中发出的音量大小。即,随着“甲”虚拟人越来越靠近“乙”虚拟人,在靠近“乙”虚拟人的途中会同时靠近“丁”虚拟人和“小火苗”,远离“丙”虚拟人和“大火苗”,则在“甲”虚拟人靠近“乙”虚拟人的途中,两个耳麦中均会听到的“乙”用户的说话声音会变得越来越大,靠近“丁”虚拟人一侧的耳朵,从对应的一侧耳麦中听到的“丁”用户说话声音也会由小变大再变小,靠近“小火苗”一侧的耳朵,从对应的一侧耳麦中听到“小火苗”的燃烧声音也会由小变大再变小,靠近“溪水”一侧的耳朵,从对应的一侧耳麦中听到“溪水”流淌的声音会越来越小,而两个耳麦中均会听到“丙”用户说话声音越来越小。若在“甲”虚拟人向“乙”虚拟人方向前进的过程中,“乙”虚拟人也朝“甲”虚拟人方向前进,此时,“甲”虚拟人的两个耳麦中听到的“乙”用户说话声音的音量会更快速的增大,并且,也会听到“乙”虚拟人的脚步声越来越大。同理,对于“乙”用户、“丙”用户和“丁”用户的各自耳麦中所听到的声音变化,也是由自己在虚拟场景中对应的虚拟人物与其他虚拟人物、虚拟物体之间的相对位置关系来实时变化的,也就使得各个用户均能身临其境的听到虚拟场景中各个虚拟角色和虚拟物体发出的声音。
依据本发明的实施例,通过提供配置有位移传感器的耳机,使得在多人虚拟场景下,可利用位移传感器可以监测第一用户的第一偏转角度信息和第一位置坐标信息,在移动终端接收到耳机发送的第一用户的第一偏转角度信息和第一位置坐标信息后,就可根据第一偏转角度信息、所述第一位置坐标信息,以及第一用户对应的第一虚拟角色在虚拟场景中的当前位置信息,确定出第一虚拟角色在虚拟场景中的第一虚拟位置坐标信息和第一虚拟偏转角度信息。并且,移动终端也接收至少一个第二用户对应的第二虚拟角色在虚拟场景中的第二虚拟位置信息,获取第二虚拟角色在虚拟场景中待发出的声音后,就可根据第一虚拟位置坐标信息、第一虚拟偏转角度信息和第二虚拟位置信息,确定第二虚拟角色相对第一虚拟角色的虚拟方向和虚拟位置,进而根据虚拟方向和虚拟位置,调节声音在耳机中的播放方式。本发明中,由于用户的耳机中发出的其它用户对应的虚拟角色的声音,会随着此用户的虚拟角色和各个其它用户的虚拟角色之间的相对位置的变化而变化,从而使得用户可以身临其境的听到其它用户对应的虚拟角色在虚拟场景中发出的声音,增强了用户在多人虚拟场景下听觉上的沉浸式体验。
需要说明的是,本申请实施例提供的音频播放方法,执行主体可以为音频播放装置,或者该音频播放装置中的用于执行音频播放方法的控制模块。本申请实施例中以音频播放装置执行音频播放方法为例,说明本申请实施例提供的音频播放装置。
参照图4,示出了本发明一种音频播放装置400的结构框图。该装置包括:
第一接收模块401,用于接收耳机发送的第一用户的移动状态信息;所述耳机设置有位移传感器,所述移动状态信息由所述位移传感器测得;
确定模块402,用于根据所述移动状态信息,以及所述第一用户对应的第一虚拟角色在虚拟场景中的当前位置信息,确定所述第一虚拟角色在所述虚拟场景中的第一虚拟位置信息;
第二接收模块403,用于接收至少一个第二用户对应的第二虚拟角色在所述虚拟场景中的第二虚拟位置信息;
获取模块404,用于获取所述第二虚拟角色在所述虚拟场景中待发出的声音;
调节模块405,用于根据所述第二虚拟位置信息以及所述第一虚拟位置信息,调节所述声音在所述耳机中的播放方式。
可选地,所述获取模块404,包括:
第一获取模块,用于获取第二电子设备发送的说话声音;所述说话声音由所述第二电子设备的麦克风采集;将所述说话声音作为所述第二虚拟角色在所述虚拟场景中待发出的声音。
可选地,所述获取模块404,包括:
第二获取模块,用于获取所述第二虚拟角色的衣着信息;根据所述衣着信息,从预置的声音数据库中获取所述第二虚拟角色对应的待发出的行走声音。
可选地,所述第一接收模块401,具体用于,接收耳机发送的第一用户的第一偏转角度信息和第一位置坐标信息。
可选地,所述确定模块402,具体用于,根据所述第一偏转角度信息、所述第一位置坐标信息,以及所述第一用户对应的第一虚拟角色在虚拟场景中的当前位置信息,确定所述第一虚拟角色在所述虚拟场景中的第一虚拟位置坐标信息和第一虚拟偏转角度信息。
可选地,所述调节模块405,包括:
确定子模块,用于根据所述第一虚拟位置坐标信息、所述第一虚拟偏转角度信息和所述第二虚拟位置信息,确定所述第二虚拟角色相对所述第一虚拟角色的虚拟方向和虚拟位置;
调节子模块,用于根据所述虚拟方向和所述虚拟位置,调节所述声音在所述耳机中的播放方式。
依据本发明的实施例,通过提供配置有位移传感器的耳机,使得在多人虚拟场景下,可利用位移传感器可以监测第一用户的移动状态信息,在移动终端接收到耳机发送的第一用户的移动状态信息后,就可根据移动状态信息,以及第一用户对应的第一虚拟角色在虚拟场景中的当前位置信息,确定出第一虚拟角色在虚拟场景中的第一虚拟位置信息。并且,移动终端也接收至少一个第二用户对应的第二虚拟角色在虚拟场景中的第二虚拟位置信息,获取第二虚拟角色在虚拟场景中待发出的声音后,就可根据第一虚拟位置信息以及第二虚拟位置信息,调节第二虚拟角色的声音在耳机中的播放方式。本发明中,由于用户的耳机中发出的其它用户对应的虚拟角色的声音,会随着此用户的虚拟角色和各个其它用户的虚拟角色之间的相对位置的变化而变化,从而使得用户可以身临其境的听到其它用户对应的虚拟角色在虚拟场景中发出的声音,增强了用户在多人虚拟场景下听觉上的沉浸式体验。
本申请实施例中的音频播放装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的音频播放装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的音频播放装置能够实现图1至图2的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选的,如图5所示,本申请实施例还提供一种电子设备M00,包括处理器M01,存储器M02,存储在存储器M02上并可在所述处理器M01上运行的程序或指令,该程序或指令被处理器M01执行时实现上述音频播放方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图6为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备600包括但不限于:射频单元6001、网络模块6002、音频输出单元6003、输入单元6004、传感器6005、显示单元6006、用户输入单元6007、接口单元6008、存储器6009、以及处理器6010等部件。
本领域技术人员可以理解,电子设备600还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器6010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,射频单元6001用于接收耳机发送的第一用户的移动状态信息;
处理器6010,用于接收射频单元6001发送所述移动状态信息;根据所述移动状态信息,以及所述第一用户对应的第一虚拟角色在虚拟场景中的当前位置信息,确定所述第一虚拟角色在所述虚拟场景中的第一虚拟位置信息;接收至少一个第二用户对应的第二虚拟角色在所述虚拟场景中的第二虚拟位置信息;获取所述第二虚拟角色在所述虚拟场景中待发出的声音;根据所述第二虚拟位置信息以及所述第一虚拟位置信息,调节所述声音在所述耳机中的播放方式。
可选地,所述处理器6010,还用于获取第二电子设备发送的说话声音;所述说话声音由所述第二电子设备的麦克风采集;将所述说话声音作为所述第二虚拟角色在所述虚拟场景中待发出的声音。
可选地,所述处理器6010,还用于获取所述第二虚拟角色的衣着信息;根据所述衣着信息,从预置的声音数据库中获取所述第二虚拟角色对应的待发出的行走声音。
可选地,所述处理器6010,还用于接收耳机发送的第一用户的第一偏转角度信息和第一位置坐标信息;根据所述第一偏转角度信息、所述第一位置坐标信息,以及所述第一用户对应的第一虚拟角色在虚拟场景中的当前位置信息,确定所述第一虚拟角色在所述虚拟场景中的第一虚拟位置坐标信息和第一虚拟偏转角度信息。
可选地,所述处理器6010,还用于根据所述第一虚拟位置坐标信息、所述第一虚拟偏转角度信息和所述第二虚拟位置信息,确定所述第二虚拟角色相对所述第一虚拟角色的虚拟方向和虚拟位置;根据所述虚拟方向和所述虚拟位置,调节所述声音在所述耳机中的播放方式。
依据本发明的实施例,通过提供配置有位移传感器的耳机,使得在多人虚拟场景下,可利用位移传感器可以监测第一用户的移动状态信息,在移动终端接收到耳机发送的第一用户的移动状态信息后,就可根据移动状态信息,以及第一用户对应的第一虚拟角色在虚拟场景中的当前位置信息,确定出第一虚拟角色在虚拟场景中的第一虚拟位置信息。并且,移动终端也接收至少一个第二用户对应的第二虚拟角色在虚拟场景中的第二虚拟位置信息,获取第二虚拟角色在虚拟场景中待发出的声音后,就可根据第一虚拟位置信息以及第二虚拟位置信息,调节第二虚拟角色的声音在耳机中的播放方式。本发明中,由于用户的耳机中发出的其它用户对应的虚拟角色的声音,会随着此用户的虚拟角色和各个其它用户的虚拟角色之间的相对位置的变化而变化,从而使得用户可以身临其境的听到其它用户对应的虚拟角色在虚拟场景中发出的声音,增强了用户在多人虚拟场景下听觉上的沉浸式体验。
应理解的是,本申请实施例中,输入单元6004可以包括图形处理器(GraphicsProcessing Unit,GPU)80041和麦克风60042,图形处理器60041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元6006可包括显示面板60061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板60061。用户输入单元6007包括触控面板60071以及其他输入设备60072。触控面板60071,也称为触摸屏。触控面板60071可包括触摸检测装置和触摸控制器两个部分。其他输入设备60072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器6009可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器6010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器6010中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述音频播放方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述音频播放方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
- 音频播放方法、音频播放装置和音频播放系统
- 音频播放装置的噪音处理方法、音频播放装置及存储介质