信号定位方法、信号定位装置、存储介质
文献发布时间:2024-04-18 20:01:30
技术领域
本公开的实施例涉及一种信号定位方法、信号定位装置和非瞬时性计算机可读存储介质。
背景技术
声源定位(Sound Source Localization,SSL)指定位声源的位置,其基于记录的多通道传声器信号来估计一个或多个声源相对于某个任意参考点的位置,该参考点通常是麦克风阵列的位置。在实际场景下,可以利用多个麦克风(麦克风阵列)在不同位置点对声源进行测量,而由于声信号到达不同麦克风的时间有不同程度的延迟,利用算法对测量得到的声信号进行处理,由此获得声源相对于麦克风的到达方向(包括方位角、俯仰角)和距离等。SSL具有许多实际应用,例如,例如声源分离、自动语音识别(ASR)、语音增强和房间声学分析等。
发明内容
本公开至少一个实施例提供一种信号定位方法,包括:对至少一个声音信号进行预处理,以生成与所述至少一个声音信号分别一一对应的至少一个语谱图;对所述至少一个语谱图进行特征提取处理,以生成与所述至少一个声音信号分别一一对应的至少一个第一特征向量矩阵,其中,每个第一特征向量矩阵包括对应的声音信号的至少一个声音特征;对所述至少一个第一特征向量矩阵进行声信号重解处理,以得到至少一个重构后的声音特征组,其中,每个重构后的声音特征组包括与同一个声源的声源声音信号对应的声音特征;对所述至少一个重构后的声音特征组进行定位处理,以得到与所述至少一个重构后的声音特征组分别一一对应的至少一个声音定位信息。
例如,在本公开至少一个实施例提供的信号定位方法中,针对每个声音信号,所述预处理包括:对所述声音信号进行预加重,以得到预加重后的声音信号;基于帧窗口参数,对所述预加重后的声音信号进行分帧处理,以生成多个声音帧信号;对所述多个声音帧信号进行频谱变换处理,以得到与所述多个声音帧信号分别一一对应的多个频谱;计算所述多个频谱的能量谱密度,以得到所述多个频谱对应的语谱图;利用第一神经网络对所述多个频谱对应的语谱图进行特征映射处理,以生成所述声音信号对应的语谱图。
例如,在本公开至少一个实施例提供的信号定位方法中,对所述多个声音帧信号进行频谱变换处理,以得到与所述多个声音帧信号分别一一对应的多个频谱,包括:对所述多个声音帧信号进行防频谱泄露处理,以生成多个处理后的声音帧信号;对所述多个处理后的声音帧信号进行所述频谱变换处理,以得到与所述多个声音帧信号分别一一对应的所述多个频谱。
例如,在本公开至少一个实施例提供的信号定位方法中,所述第一神经网络为径向基函数神经网络。
例如,在本公开至少一个实施例提供的信号定位方法中,所述至少一个声音信号分别与至少一个声音采集设备一一对应,且每个声音信号包括由对应的声音采集设备所采集的所有声源声音信号,每个声源声音信号由一个声源发出,对所述至少一个第一特征向量矩阵进行声信号重解处理,以得到至少一个重构后的声音特征组,包括:获取所述至少一个声音采集设备分别对应的至少一个设备信息;基于所述至少一个设备信息和所述至少一个第一特征向量矩阵,得到至少一个第二特征向量矩阵;对所述至少一个第二特征向量矩阵进行处理,以得到多个特征向量,其中,每个第二特征向量矩阵对应至少一个特征向量,每个特征向量对应一个声源声音信号和一个声音采集设备;对所述多个特征向量中的每个特征向量进行正交分解和小波变换,以得到所述每个特征向量对应的一个小波近似系数和多个小波细节系数;设置所述多个小波细节系数的阈值范围,得到在所述阈值范围内的小波细节系数;对所述每个特征向量对应的所述一个小波近似系数和所述阈值范围内的小波细节系数进行融合处理,得到所述每个特征向量对应的融合后的融合系数,其中,所述融合处理包括设置融合权重;基于所述多个特征向量对应的融合系数之间的相关系数,对所述多个特征向量进行声信号重解处理,以得到所述至少一个重构后的声音特征组。
例如,在本公开至少一个实施例提供的信号定位方法中,获取所述至少一个声音采集设备分别对应的至少一个设备信息,包括:针对每个声音采集设备,设置与所述声音采集设备对应的多个设备系数组;获取多个声源分别一一对应的多个声源位置信息,其中,每个设备系数组包括与所述多个声源位置信息一一对应的多个设备系数;通过融合模型对所述多个声源位置信息和所述多个设备系数组进行处理,以得到多个融合估计设备信息;基于所述声音采集设备的位置和所述多个融合估计设备信息进行拟合评估,以从所述多个融合估计设备信息中确定所述声音采集设备对应的设备信息。
例如,在本公开至少一个实施例提供的信号定位方法中,对所述至少一个语谱图进行特征提取处理,以生成与所述至少一个声音信号分别一一对应的至少一个第一特征向量矩阵,包括:对所述至少一个语谱图进行特征提取处理,以得到至少一个第三特征向量矩阵;对所述至少一个第三特征向量矩阵在时间轴上进行归一化处理,以生成所述至少一个第一特征向量矩阵,其中,所述每个第一特征向量矩阵还包括所述至少一个声音特征之间在所述时间轴上的时序关系。
例如,在本公开至少一个实施例提供的信号定位方法中,所述特征提取处理由卷积神经网络实现,所述归一化处理由循环神经网络实现。
例如,在本公开至少一个实施例提供的信号定位方法中,对所述至少一个重构后的声音特征组进行定位处理,以得到与所述至少一个重构后的声音特征组分别一一对应的至少一个声音定位信息,包括:对所述至少一个重构后的声音特征组进行自相关计算并进行特征值分解,以得到多个方向特征向量,其中,每个方向特征向量对应一个定位信息;利用方向激活函数对所述多个方向特征向量进行处理,以得到至少一个定向向量;对所述至少一个定向向量进行仿射变换,以得到至少一个变换后的定位向量;利用归一化激活函数对所述至少一个变换后的定位向量进行归一化处理,以得到所述至少一个声音定位信息,其中,所述至少一个声音定位信息分别包括产生所述至少一个声音信号的至少一个声源的位置。
本公开至少一个实施例提供一种信号定位装置,包括:特征获取模块,被配置为:对至少一个声音信号进行预处理,以生成与所述至少一个声音信号分别一一对应的至少一个语谱图;对所述至少一个语谱图进行特征提取处理,以生成与所述至少一个声音信号分别一一对应的至少一个第一特征向量矩阵,其中,每个第一特征向量矩阵包括对应的声音信号的至少一个声音特征;定位模块,被配置为:对所述至少一个第一特征向量矩阵进行声信号重解处理,以得到至少一个重构后的声音特征组,其中,每个重构后的声音特征组包括与同一个声源的声源声音信号对应的声音特征;对所述至少一个重构后的声音特征组进行定位处理,以得到与所述至少一个重构后的声音特征组分别一一对应的至少一个声音定位信息。
本公开至少一个实施例提供一种信号定位装置,包括:一个或多个存储器,非瞬时性地存储有计算机可执行指令;一个或多个处理器,配置为运行所述计算机可执行指令,其中,所述计算机可执行指令被所述一个或多个处理器运行时实现根据本公开任一实施例所述的信号定位方法。
本公开至少一个实施例提供一种非瞬时性计算机可读存储介质,其中,所述非瞬时性计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现根据本公开任一实施例所述的信号定位方法。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
图1为本公开至少一个实施例提供的一种信号定位方法的流程图;
图2为本公开至少一个实施例提供的生成声音信号对应的语谱图的过程的示意图;
图3为本公开至少一个实施例提供的一种声音采集设备和声源的示意图;
图4为本公开至少一个实施例提供的生成第一特征向量矩阵的过程的示意图;
图5为本公开至少一个实施例提供的声信号重解处理过程的示意图;
图6为本公开至少一个实施例提供的对重构后的声音特征组进行定位处理的示意图;
图7为本公开至少一个实施例提供的一种信号定位装置的示意图;
图8为本公开至少一个实施例提供的另一种信号定位装置的示意图;
图9为本公开至少一个实施例提供的一种非瞬时性计算机可读存储介质的示意图。
具体实施方式
为了使得本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另外定义,本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
为了保持本公开实施例的以下说明清楚且简明,本公开省略了部分已知功能和已知部件的详细说明。
本公开至少一个实施例提供一种信号定位方法,该信号定位方法包括:对至少一个声音信号进行预处理,以生成与至少一个声音信号分别一一对应的至少一个语谱图;对至少一个语谱图进行特征提取处理,以生成与至少一个声音信号分别一一对应的至少一个第一特征向量矩阵,其中,每个第一特征向量矩阵包括对应的声音信号的至少一个声音特征;对至少一个第一特征向量矩阵进行声信号重解处理,以得到至少一个重构后的声音特征组,其中,每个重构后的声音特征组包括与同一个声源的声源声音信号对应的声音特征;对至少一个重构后的声音特征组进行定位处理,以得到与至少一个重构后的声音特征组分别一一对应的至少一个声音定位信息。
本公开的实施例提供的信号定位方法基于对发出声音的声源在空间中的位置与方向(姿势信息等)的计算实现对微弱声信号的提取和加强,解决了多维时频谱图(即语谱图)转换的问题。例如,该信号定位方法可以应用于增强现实(AR,Augmented Reality)眼镜中,即嵌入在AR眼镜的空间方位检测算法中,从而加强三维(three-dimension)环绕立体音的效果,给用户带来更好的沉浸体验,例如可以在嘈杂的复杂环境下也让用户有更沉浸的声音体验。
本公开至少一个实施例还提供一种对应于上述信号定位方法的信号定位装置和非瞬时性计算机可读存储介质。
需要说明的是,在本公开的实施例中,“至少一个”表示一个或多个,例如,“多个”可以表示两个、三个、四个、五个、十个、十五个、二十个等等。
下面结合附图对本公开的实施例进行详细说明,但是本公开并不限于这些具体的实施例。
图1为本公开至少一个实施例提供的一种信号定位方法的流程图。
本公开至少一个实施例提供一种信号定位方法,该信号定位方法可以应用于AR眼镜中,在一些应用场景中,当佩戴该AR眼镜的用户处于驾驶交通工具(例如,机动车辆等)的过程中,AR眼镜可以通过AI(Artificial Intelligence,人工智能)模型和相关嵌入式传感器进行配合以监测行车路况及车辆等情况,还可以捕获用户想要获取的微弱声信号并对该微弱声信号进行加强并传递给用户,从而使得用户可以获取需要获取的重要信息,提高驾驶安全性。
例如,该信号定位方法可以由处理器或计算机等执行,当信号定位方法应用于AR眼镜时,该信号定位方法可以由嵌入在AR眼镜中的处理器执行。
如图1所示,在一些实施例中,信号定位方法可以包括以下步骤S100~S103。
步骤S100:对至少一个声音信号进行预处理,以生成与至少一个声音信号分别一一对应的至少一个语谱图。
步骤S101:对至少一个语谱图进行特征提取处理,以生成与至少一个声音信号分别一一对应的至少一个第一特征向量矩阵。例如,每个第一特征向量矩阵包括对应的声音信号的至少一个声音特征(例如,可以包括一个声音特征、两个声音特征、三个声音特征、四个声音特征、五个声音特征、十个声音特征等等)。
步骤S102:对至少一个第一特征向量矩阵进行声信号重解处理,以得到至少一个重构后的声音特征组。例如,在一些实施例中,每个重构后的声音特征组包括与同一个声源的声源声音信号对应的声音特征。
步骤S103:对至少一个重构后的声音特征组进行定位处理,以得到与至少一个重构后的声音特征组分别一一对应的至少一个声音定位信息。
例如,每个声音信号表示一段时间内的声音信号,在步骤S100中,一个声音信号对应一个语谱图,即针对每个声音信号对应生成一个语谱图。对声音信号的预处理表示将声音信号进行转换以生成对应的语谱图,语谱图表示随时间变化的二维图像,是一种可以直观的描述声音时频特性的图,其横轴表示时间,纵轴表示声音信号的频率成分。语谱图可以通过颜色的深浅程度判断不同时间频带能量的分布情况,颜色深表示这段频谱能量集中,色浅则相反,即表示这段频谱能量分散。语谱图能够动态显示不同时刻、不同频率分量的大小,语谱图承载的信息量远大于单时域或单频域承载的信息量,从而弥补了频谱分析中不能观察时间的缺点,也弥补了时域分析不能获取频率的缺点。多维的语谱图可以反应声音信号的多维特征。
传统的提取语音特征的方法通常是首先对信号进行傅里叶变换,然后使用滤波器提取特征,其会导致频域信息的损失,特别是高频区域的语音信息损失更为严重,为了避免频域信息的损失,在本公开的实施例中,将声音信号直接生成为多维的语谱图(即时频谱图),保留声音信号的频域信息,减少信息损失也可以清楚直观地获取声音信号的特征。
例如,在步骤S100中,至少一个声音信号分别与至少一个声音采集设备一一对应,且每个声音信号包括由对应的声音采集设备所能够采集到的所有声源发出的声源声音信号,每个声源声音信号由一个声源发出。即在本公开中,声音信号的定义是:一个声音采集设备会采集到一个声音信号(但一个声音信号可以包括来自一个或多个声源的声源声音信号,从而其可以包括来自一个或多个声源的声音特征),一个声音信号可以对应一个第一特征向量矩阵,每个第一特征向量矩阵包括一个或多个特征向量(例如,多个特征向量的数量可以为2、3、4、5、10、15、20、25等等),第一特征向量矩阵中的每个特征向量对应一个声源声音信号(即对应一个声源)和一个声音采集设备。
例如,声音采集设备可以为麦克风等可以采集声音信号的设备。
需要说明的是,每个声音信号为一个声音采集设备采集到的所有信号,从而其可能是由一个或多个声源发出或产生的声音信号融合而得到的声音信号。例如,每个声音信号可以包括至少一个声源发出的声源声音信号,在一个示例中,存在2个声源和4个声音采集设备,那么对于单个声音采集设备来说,该声音采集设备采集到的声音信号就可能会包括该2个声源发出的声源声音信号。声源可以包括扬声器、动物(例如,人类、狗、猫等)、机器等可以发出声音的物体。
例如,在步骤S100中,至少一个声音信号可以包括一个声音信号、两个声音信号、三个声音信号、四个声音信号、五个声音信号、十个声音信号等等,相应地,至少一个语谱图可以包括一个语谱图、两个语谱图、三个语谱图、四个语谱图、五个语谱图、十个语谱图等等,至少一个声音采集设备可以包括一个声音采集设备、两个声音采集设备、三个声音采集设备、四个声音采集设备、五个声音采集设备、十个声音采集设备等等。如后面将要描述的图3所示,示出了k个声音采集设备,例如,k可以为1、2、3、4、5、10等等。
例如,至少一个声源可以包括一个声源、两个声源、三个声源、四个声源、五个声源、十个声源等等。如图3所示,示出了四个声源。
例如,在步骤S100中,针对每个声音信号,预处理可以包括:对声音信号进行预加重,以得到预加重后的声音信号;基于帧窗口参数,对预加重后的声音信号进行分帧处理,以生成多个声音帧信号;对多个声音帧信号进行频谱变换处理,以得到与多个声音帧信号分别一一对应的多个频谱;计算多个频谱的能量谱密度,以得到多个频谱对应的语谱图;利用第一神经网络对多个频谱对应的语谱图进行特征映射处理,以生成声音信号对应的语谱图。
例如,在一些实施例中,对多个声音帧信号进行频谱变换处理,以得到与多个声音帧信号分别一一对应的多个频谱,可以包括:对多个声音帧信号进行防频谱泄露处理,以生成多个处理后的声音帧信号;对多个处理后的声音帧信号进行频谱变换处理,以得到与多个声音帧信号分别一一对应的多个频谱。例如,每个声音帧信号对应一个频谱。
例如,频谱变换处理可以包括快速傅里叶变换(FFT,Fast Fourier Transform)等。
例如,实现防频谱泄露处理的方法可以包括增加采样的长度、加窗函数、线性插值、调节采样频率等方法。增加采样的长度的方法可以通过适当增加截取长度,增加采样点的数量,从而减轻或防止频谱泄露;加窗函数的方法可以采用适当形状的窗函数来截短采集的信号,从而减轻或防止频谱泄露,窗函数可以包括汉宁窗(Hanning)、三角窗(Bartlett窗)、汉明窗(Hamming)、布莱克曼窗(Blackman)、升余弦窗和高斯窗等,窗函数可以基于被分析的信号的性质和处理要求而进行选择;线性插值的方法可以通过对采集的声音信号进行线性插值,以增加样点的数量,从而减轻或防止频谱泄露。
图2为本公开至少一个实施例提供的生成声音信号对应的语谱图的过程的示意图。
如图2所示,首先,针对采集得到的一段声音信号x0(t)进行预加重,以得到预加重后的声音信号x1(t)。预加重处理用于加强声音信号x0(t)中的弱信号(例如,信号幅度低于某一幅度阈值的信号),将弱信号转换为强信号。预加重的目的是提升高频部分的强度,让信号的高频部分和低频部分的强度不至于相差太多,从而使信号的频谱变得平坦,此外,预加重还可以提高信噪比SNR。
然后,确定帧窗口参数,基于帧窗口参数,对预加重后的声音信号x1(t)进行分帧处理,以将声音信号x1(t)按时间分成多个帧,即生成多个声音帧信号x1(m,n),其中,m为正整数且表示声音帧信号的个数,n为每个声音帧信号的帧长,例如,帧长可以为20~40毫秒(ms),例如,25毫秒。分帧处理的具体过程如下:每次按照帧移进行移动,并每次移动之后就对声音信号x1(t)截取短时音频片段,从而取出一个声音帧信号,由此,可以得到多个声音帧信号x1(m,n)。
需要说明的是,本公开的实施例对帧移的大小不作具体公开,其可以根据实际情况设置,通常,帧移的大小可以为5~10毫秒(ms)。另外,若声音信号x1(t)的长度不足以得到m个声音帧信号,可以通过补0的方式以增加声音信号x1(t)的长度,以使得其正好能划分成整数帧。
然后,对该多个声音帧信号x1(m,n)基于加窗函数的方式进行防频谱泄露处理,例如,可以对该多个声音帧信号x1(m,n)进行加窗处理以实现防止或减轻频谱泄露,从而生成多个处理后的声音帧信号x2(m,n)。频谱泄露意味着信号的频谱能量会波动到相邻频率上,使得频域分析结果变得不准确,导致不同频率成分之间的重叠和相互干扰。加窗处理的目的是让一个声音帧信号经过合适的窗函数、选择合适的窗长进行处理后,在后续的傅里叶变换时,可以让傅里叶变换得到的频谱上的各个峰的位置更准确,避免多个峰重叠在一起,有助于更准确地分析信号的频域特性和提取准确的频谱信息,从而防止或减轻频谱泄漏。接着,对多个处理后的声音帧信号x2(m,n)进行傅里叶变换以将信号从时域转换到频域,从而得到与多个处理后的声音帧信号x2(m,n)一一对应的多个频谱X(m,n),每个频谱X(m,n)可以表示频率与能量之间的关系。例如,傅里叶变换包括快速傅里叶变换(FFT)、稀疏傅里叶变换、短时傅里叶变换等。
然后,对多个频谱X(m,n)进行能量谱密度的计算以得到多个功率谱Y(m,n),然后对多个功率谱Y(m,n)按照时间的先后顺序进行拼接,以得到多个频谱X(m,n)对应的语谱图Ys1,例如,在执行能量谱密度的计算时,首先计算Y(m,n)=|X(m,n)|^2/T,|*|表示取模运算,T为频谱X(m,n)对应的FFT点数,然后,取10*log10(Y(m,n)),把m根据时间变换一下刻度M,n根据频率变化一下刻度N;最后基于(M,N,10*log10(Y(m,n)))绘制二维图,从而得到语谱图Ys1。声音信号x0(t)是在混沌背景下采集得到的,从而在采集声音信号x0(t)时,同时会采集到干扰信号,从而语谱图Ys1也包括干扰信号的信息,即该语谱图Ys1可以为低维特征及无用特征很多的混沌语谱图。例如,能量谱密度用于描述信号或时间序列的能量如何随频率分布,其用于表示单位频带内的信号能量,能量谱是信号的傅立叶变换的平方。
最后,利用第一神经网络对多个频谱对应的语谱图Ys1进行特征映射处理,以生成声音信号对应的语谱图Ys2。
例如,如图2所示,第一神经网络为径向基函数神经网络(Radial Basis FunctionNeural Network,RBF神经网络),RBF神经网络具有非线性建模能力强、计算量小、训练预测效率高、可解释性强、鲁棒性好等优点。RBF神经网络可以将语谱图Ys1中的特征向量从低维(对于信号定位处理有用信号的边缘信号等)映射到高维,从而提取混沌背景中的有用特征,过滤无用特征,增加声音信号对应的语谱图Ys2中的有用的声音特征的数量,从而可以增加信号定位的准确度。
例如,在一些实施例中,步骤S101可以包括:对至少一个语谱图进行特征提取处理,以得到至少一个第三特征向量矩阵;对至少一个第三特征向量矩阵在时间轴上进行归一化处理,以生成至少一个第一特征向量矩阵。例如,每个第一特征向量矩阵还包括至少一个声音特征之间在时间轴上的时序关系。例如,每个第一特征向量矩阵可以包括其包括的每个声音特征的时刻信息。
例如,对应于第一特征向量矩阵的数量,至少一个第三特征向量矩阵可以包括一个第三特征向量矩阵、两个第三特征向量矩阵、三个第三特征向量矩阵、四个第三特征向量矩阵、五个第三特征向量矩阵、十个第三特征向量矩阵等等。
例如,在步骤S101中,特征提取处理由神经网络实现,即将该语谱图输入到神经网络进行处理,从中提取出声音信号的个性特征向量用于后续处理。神经网络可以为卷积神经网络(Convolutional Neural Network,CNN),卷积神经网络的输入为声音信号对应的语谱图(例如,图2所示的语谱图Ys2),卷积神经网络的输出为声音信号对应的语谱图对应的第三特征向量矩阵。
卷积神经网络擅长于处理图像,而语谱图实际上就是一张二维RGB(红绿蓝)图像,图像的各种属性反映了声音信号的各种特征信息。因此,将二维的语谱图作为卷积神经网络的输入,由卷积神经网络自动从输入的二维的语谱图中提取出声音信号的个性特征。例如,卷积神经网络可以包括多个卷积层和池化层,卷积层能够提取声音信号的不同特征,池化层则可以对输入的二维的语谱图进行平移、缩放或其他变形操作后,仍然产生相同池化后特征,从而减少频谱变化导致的影响。
例如,归一化处理由循环神经网络(Recurrent Neural Network,RNN)实现,RNN可以对不同帧的声音信号进行定位。例如,循环神经网络可以包括深度循环神经网络(DeepRNN,DRNN)、长短期记忆(Long Short Term Memory,LSTM)递归神经网络等,DRNN主要是将每个时刻上的循环体重复多次,每一层循环体中参数是共享的,但不同层之间的参数可以不同,DRNN可以处理长序列数据,具有很强的时序建模能力,可以通过多层结构提高模型的表现能力,可以通过反向传播算法进行端到端的训练,而且,DRNN可以处理不同长度的输入序列,并且可以学习到长期依赖关系。LSTM递归神经网络具有长期记忆能力,能够有效地捕捉和保留长期依赖关系,适用于处理序列数据,能够自动学习序列中的关键特征,并进行预测、分类或生成,具有可配置的门控机制,可以根据任务需求选择性地记忆、遗忘或输出信息,计算过程可以并行化,适合在图形处理器(Graphic Processing Unit,GPU)等硬件上进行高效的计算,加速训练和推理过程,对长序列的处理更加高效。循环神经网络的输入为至少一个第三特征向量矩阵,循环神经网络的输出为带时序信息的至少一个第一特征向量矩阵。
在本公开中,可以采用CNN-RNN模型对声音信号进行特征提取,CNN特征提取,RNN可以更好处理前后时间不同的特征,让声音信号更具有关联性。
图3为本公开至少一个实施例提供的一种声音采集设备和声源的示意图,图4为本公开至少一个实施例提供的生成第一特征向量矩阵的过程的示意图,图5为本公开至少一个实施例提供的声信号重解处理过程的示意图。
例如,如图3所示,该信号定位方法所应用的设备可以包括k个声音采集设备,即声音采集设备1、声音采集设备2、声音采集设备3、…、声音采集设备k,k为正整数。每个声音采集设备可以采集一个或多个声源的声音,例如,在图3所示的示例中,k个声音采集设备所能采集的所有声源包括声源a、声源b、声源c和声源d。
例如,基于声音采集设备与声源的位置关系,每个声音采集设备并不一定能采集到所有声源发出的声音,例如,在图3所示的示例中,声音采集设备1可以采集声源a、声源b和声源d发出的声音,声音采集设备2可以采集声源a、声源b、声源c和声源d发出的声音,声音采集设备3可以采集声源a、声源b和声源c发出的声音,声音采集设备k可以采集声源b和声源c发出的声音。
例如,如图4所示,基于声音采集设备1采集到的声音信号可以得到语谱图1,基于声音采集设备2采集到的声音信号可以得到语谱图2,以此类推,基于声音采集设备k采集到的声音信号可以得到语谱图k。例如,每个语谱图可以包括来自一个或多个声源的声源声音信号。CNN可以对各个语谱图进行特征提取处理,以得到第三特征向量矩阵M1,第三特征向量矩阵M2,依次类推,以及第三特征向量矩阵Mk。然后,RNN可以对第三特征向量矩阵M1~Mk进行归一化处理,以得到第一特征向量矩阵1~k。
需要说明的是,虽然图4示出了多个CNN和多个RNN,但是在实际应用中,该信号定位方法所应用的设备可以仅包括一个CNN和一个RNN,多个语谱图可以被依次处理。
例如,在一些实施例中,步骤S102可以包括:获取至少一个声音采集设备分别对应的至少一个设备信息;基于至少一个设备信息和至少一个第一特征向量矩阵,得到至少一个第二特征向量矩阵;对至少一个第二特征向量矩阵进行处理,以得到多个特征向量,其中,每个第二特征向量矩阵对应至少一个特征向量,第二特征向量矩阵对应的每个特征向量对应一个声源声音信号和一个声音采集设备,且第二特征向量矩阵对应的每个特征向量包括其的声源声音信号对应的声音特征;对多个特征向量中的每个特征向量进行正交分解和小波变换,以得到每个特征向量对应的一个小波近似系数和多个小波细节系数;设置多个小波细节系数的阈值范围,得到在阈值范围内的小波细节系数;对每个特征向量对应的一个小波近似系数和阈值范围内的小波细节系数进行融合处理,得到每个特征向量对应的融合后的融合系数;基于多个特征向量对应的融合系数之间的相关系数,对多个特征向量进行声信号重解处理,以得到至少一个重构后的声音特征组。例如,融合处理可以包括设置融合权重,即针对小波近似系数和小波细节系数设置融合权重。
例如,每个第二特征向量矩阵可以对应一个特征向量、两个特征向量、三个特征向量、四个特征向量、五个特征向量或十个特征向量等等。
例如,对应于第一特征向量矩阵的数量,至少一个设备信息可以包括一个设备信息、两个设备信息、三个设备信息、四个设备信息、五个设备信息、十个设备信息等等,至少一个第二特征向量矩阵可以包括一个第二特征向量矩阵、两个第二特征向量矩阵、三个第二特征向量矩阵、四个第二特征向量矩阵、五个第二特征向量矩阵、十个第二特征向量矩阵等等。
例如,至少一个重构后的声音特征组可以包括一个重构后的声音特征组、两个重构后的声音特征组、三个重构后的声音特征组、四个重构后的声音特征组、五个重构后的声音特征组、十个重构后的声音特征组等等。
例如,每个声音采集设备对应一个设备信息。在实际应用场景中,如果具有一个声音采集设备,就获取该一个声音采集设备的设备信息,如果具有多个声音采集设备,就获取该多个声音采集设备中的每个声音采集设备的设备信息。
例如,设备信息可以包括声音采集设备的地址信息、编号信息等可以对声音采集设备进行区分的信息。如图3所示,可以对多个声音采集设备进行编号,例如,1、2、…、k等,声音采集设备1的编号可以为1,声音采集设备2的编号可以为2,以此类推,声音采集设备k的编号可以为k。例如,基于编号信息可以查询到声音采集设备的地址信息,相反,基于地址信息也可以查询到声音采集设备的编号信息。
例如,在一些实施例中,基于至少一个设备信息和至少一个第一特征向量矩阵,得到至少一个第二特征向量矩阵,可以包括:针对每个第一特征向量矩阵,将该第一特征向量矩阵中的每个特征向量和对应的设备信息按顺序依次排列成一维向量,从而得到对应的第二特征向量矩阵。每个第一特征向量矩阵可以为二维向量矩阵,而第一特征向量矩阵中的每个特征向量可以为一维向量。例如,如图3~图5所示,以声音采集设备1为例,声音采集设备1采集到声音信号1,基于声音信号1,可以得到声音信号1对应的第一特征向量矩阵1,第一特征向量矩阵1可以为二维向量矩阵,且可以包括声音信号1的(j*i)个声音特征a11~aji,从而第一特征向量矩阵1可以表示为{{a11,a12,…a1i},{a21,a22,…,a2i},…,{aj1,aj2,…,aji}},其中,一维向量{a11,a12,…a1i}可以表示第一特征向量矩阵中的一个特征向量,类似地,一维向量{a21,a22,…,a2i}可以表示第一特征向量矩阵中的一个特征向量,声音采集设备1的设备信息可以表示为b11,从而第一特征向量矩阵1对应的第二特征向量矩阵1可以表示为{{a11,a12,…a1i,b11},{a21,a22,…,a2i,b11},…,{aj1,aj2,…,aji,b11}},其中,一维向量{a11,a12,…a1i,b11}可以表示第二特征向量矩阵中的一个特征向量,类似地,一维向量{a21,a22,…,a2i,b11}可以表示第二特征向量矩阵中的一个特征向量。类似地,可以得到第一特征向量矩阵2对应的第二特征向量矩阵2、…、第一特征向量矩阵k对应的第二特征向量矩阵k。
小波变换用于将信号分解成不同尺度和不同频率的成分,从而能够更好地提取信号中的特征,小波变换采用小波函数作为基函数,通过对信号进行多尺度分解和重构,可以有效地提取出信号的局部特征,并且能够对信号的不同频率成分进行有效的分析。正交分解是一种将一个向量空间分解为一组正交基的过程,正交分解可以用于图像处理、信号处理和数据压缩等领域。通过将信号或图像分解为正交基的线性组合,可以提取出其中的特征或信息,并进行相应的处理。
例如,对基于对至少一个第二特征向量矩阵进行处理得到的每个特征向量进行正交分解和小波变换之后,可以得到每个特征向量对应的一个小波近似系数和多个小波细节系数。如图5所示,对第二特征向量矩阵1进行处理可以得到该第二特征向量矩阵1对应的至少一个特征向量1,对第二特征向量矩阵2进行处理可以得到该第二特征向量矩阵2对应的至少一个特征向量2,以此类推,对第二特征向量矩阵k进行处理可以得到该第二特征向量矩阵k对应的至少一个特征向量k。对至少一个第二特征向量矩阵进行处理所得到的多个特征向量包括上述至少一个特征向量1、至少一个特征向量2、…、至少一个特征向量k。例如,至少一个特征向量1的数量可以为1、2、3、4、5、10、20等,至少一个特征向量2的数量可以为1、2、3、4、5、10、20等,至少一个特征向量k的数量可以为1、2、3、4、5、10、20等。
例如,如图5所示,针对每个特征向量1,对该特征向量1进行正交分解和小波变换之后,得到该特征向量1对应的小波近似系数1和多个小波细节系数1;针对每个特征向量2,对该特征向量2进行正交分解和小波变换之后,得到该特征向量2对应的小波近似系数2和多个小波细节系数2,以此类推,针对每个特征向量k,对该特征向量k进行正交分解和小波变换之后,得到该特征向量k对应的小波近似系数k和多个小波细节系数k。例如,对至少一个第二特征向量矩阵进行处理所得到的多个特征向量中的每个特征向量对应的一个小波近似系数和多个小波细节系数与声音信号与声音采集设备之间的距离、方位等因素相关。
小波近似系数表示小波变换的低通滤波器(平均滤波器)的输出,小波近似系数是指小波变换中的低频部分,其包括了信号的大部分能量和信息。小波近似系数可以用来表示信号的整体趋势和平均水平。例如,在音频处理中,可以使用小波近似系数来提取音频的基频和谐波信息,从而实现音频的分析和合成。小波细节系数表示小波变换的高通滤波器(差分滤波器)的输出,小波细节系数是指小波变换中的高频部分,其包括了信号的细节和局部变化信息。小波细节系数可以用来表示信号的高频成分和细节特征。例如,在音频处理中,可以使用小波细节系数来提取音频的噪声和共振信息,从而实现音频的降噪和去除共振。
例如,多个小波细节系数的阈值范围可以是预先定义的,其可以根据实际情况设置。在本公开中,利用正交分解和小波变换将多个特征向量中的每个特征向量分解为小波近似系数与小波细节系数之后,噪声主要集中表现在小波细节系数上,但是在小波细节系数上并不完全是干扰信号,只需要对部分干扰信号进行预处理。例如,基于阈值范围,对多个特征向量中的每个特征向量对应的多个小波细节系数进行选择,将处于阈值范围之外的小波细节系数去除,从而得到多个特征向量中的每个特征向量对应的在阈值范围内的小波细节系数,例如,可以利用带通滤波器过滤掉阈值范围外的小波细节系数,其目的是为了排除干扰信号(即噪声信号)。如图5所示,基于阈值范围对多个小波细节系数1进行选择后,得到至少一个小波细节系数11,基于阈值范围对多个小波细节系数2进行选择后,得到至少一个小波细节系数21,以此类推,基于阈值范围对多个小波细节系数k进行选择后,得到至少一个小波细节系数k1。
对多个特征向量中的每个特征向量对应得到的小波近似系数和阈值范围内的小波细节系数进行融合处理,得到多个特征向量中的每个特征向量对应的融合后的融合系数。在一个示例中,融合处理包括:针对多个特征向量中的每个特征向量,首先,设置该特征向量对应的小波近似系数的近似融合权重和该特征向量对应的至少一个小波细节系数(处于阈值范围内)的至少一个细节融合权重,然后,基于近似融合权重和至少一个细节融合权重,对该特征向量对应的小波近似系数和至少一个小波细节系数进行加权求和,从而得到该特征向量对应的融合后的融合系数。例如,在一些实施例中,小波近似系数的近似融合权重可以为0.2,小波细节系数的细节融合权重可以为0.8,本公开对此不作具体限制。如图5所示,对一个特征向量1对应的小波近似系数1和至少一个小波细节系数11进行融合处理之后,得到融合系数1;对一个特征向量2对应的小波近似系数2和至少一个小波细节系数21进行融合处理之后,得到融合系数2;以此类推,对一个特征向量k对应的小波近似系数k和至少一个小波细节系数k1进行融合处理之后,得到融合系数k。
可以对多个特征向量对应的多个融合系数两两之间进行互相关计算,从而得到多个融合系数对应的多个相关系数,例如,针对多个融合系数中的任意两个融合系数,可以对该两个融合系数进行互相关计算,从而得到该两个融合系数对应的相关系数。每个相关系数可以表示对应的两个融合系数之间的相似程度。在本公开的实施例中,相关系数是指融合系数和融合系数两两之间的相关度的高低,相关系数越高,则表示用于计算该相关系数的两个融合系数之间的相关度越高,从而可以认为该两个融合系数对应的两个特征向量对应同一个声源的声源声音信号的可能性越高。
最后,基于多个特征向量对应的多个融合系数之间的相关系数,对多个特征向量对应的进行声信号重解处理,以得到至少一个重构后的声音特征组。例如,可以通过小波变换的逆过程还原得到多个声音特征,把相关程度高的声音特征放在同一个重构后的声音特征组,实现声音信号的重构。例如,这里的相关程度可以是指至少两个声音特征属于同一个声源的声源声音信号的相关程度,至少两个声音特征之间的相关程度越高,则该至少两个声音特征属于同一个声源的声音特征的可能性也越高,相反,至少两个声音特征之间的相关程度越低,则该至少两个声音特征属于同一个声源的声音特征的可能性也越低。因此,在本公开中,通过声信号重解处理,将同一个声源的声音特征放在同一重构后的声音特征组。
在一些实施例中,在本公开的声信号重解处理中,可以通过正交分解、小波变换、融合处理等一系列的处理,将不同定位信息(例如,不同方向、空间、角度等信息)的声音特征在空间上进行了重构,从而得到第一特征向量矩阵中的特征向量的定位信息,并且把相同方向(定位信息)的声音特征放在同一组,以得到重构后的声音特征组。
在另一些实施例中,在本公开的声信号重解处理中,可以通过正交分解、小波变换、融合处理等一系列的处理,根据声音信号的时间序列对声音信号的第一特征向量矩阵中的声音特征进行重组,分成不同的重构后的声音特征组(把时间相同的声音特征放在同一组),例如,相同时间可能存在多个声音信号,例如,不同声音采集设备采集的同一时间的声音信号。
通过声信号重解处理,可以将不同声音采集设备、不同帧生成的语谱图进行同时段的重组,从而可以加强声音信号的特征,解决微弱声音信号的捕获问题,减小背景无关声音信号的影响。
例如,重构后的声音特征组中的声音特征均是具有相同定位信息的特征。
例如,在一些实施例中,获取至少一个声音采集设备分别对应的至少一个设备信息,包括:针对每个声音采集设备,设置与声音采集设备对应的多个设备系数组;获取多个声源分别一一对应的多个声源位置信息,其中,每个设备系数组包括与多个声源位置信息一一对应的多个设备系数;通过融合模型对多个声源位置信息和多个设备系数组进行处理,以得到多个融合估计设备信息;基于声音采集设备的位置和多个融合估计设备信息进行拟合评估,以从多个融合估计设备信息中确定声音采集设备对应的设备信息。这里,多个声源可以表示所有声音采集设备可以采集到的所有声源。
例如,每个设备信息包括位置信息,每个声源位置信息可以为对应的声源的声源空间位置信息,每个融合估计设备信息可以为融合估计位置。
例如,在一些实施例中,具有k个声音采集设备,分别为声音采集设备1至声音采集设备k,该k个声音采集设备可以采集三个声源发出的声源声音信号。以声音采集设备1为例,获取三个声源分别对应的三个声源空间位置信息。例如,每个声源空间位置信息可以表示对应的声源在三维空间(xyz)中的位置坐标,从而三个声源空间位置信息可以分别表示为(x11,y11,z11)、(x22,y22,z22)、(x33,y33,z33)。
例如,可以设置三个设备系数组,分别为设备系数组1、设备系数组2和设备系数组3,设备系数组1包括的三个设备系数分别为k11、k12、k13,设备系数组2包括的三个设备系数分别为k21、k22、k23,设备系数组3包括的三个设备系数分别为k31、k32、k33。
例如,通过融合模型对三个声源空间位置信息和设备系数组1进行处理,以得到声音采集设备1对应的融合估计位置1,融合估计位置1表示如下:
x41=k11*x11+k12*x22+k13*x33
y41=k11*y11+k12*y22+k13*y33
z41=k11*z11+k12*z22+k13*z33
其中,融合估计位置1表示为(x41,y41,z41)。
例如,通过融合模型对三个声源空间位置信息和设备系数组2进行处理,以得到声音采集设备1对应的融合估计位置2,融合估计位置2表示如下:
x42=k21*x11+k22*x22+k23*x33
y42=k21*y11+k22*y22+k23*y33
z42=k21*z11+k22*z22+k23*z33
其中,融合估计位置2表示为(x42,y42,z42)。
例如,通过融合模型对三个声源空间位置信息和设备系数组3进行处理,以得到声音采集设备1对应的融合估计位置3,融合估计位置3表示如下:
x43=k31*x11+k32*x22+k33*x33
y43=k31*y11+k32*y22+k33*y33
z43=k31*z11+k32*z22+k33*z33
其中,融合估计位置3表示为(x43,y43,z43)。
最后,通过计算声音采集设备的位置和多个融合估计位置之间的均方误差(MSE)以进行拟合评估,确定最小MSE对应的融合估计位置作为声音采集设备对应的设备信息。
融合估计位置1对应的MSE1表示为:
MSE1=1/3*∑[(x-x41)
融合估计位置2对应的MSE2表示为:
MSE2=1/3*∑[(x-x42)
融合估计位置3对应的MSE3表示为:
MSE3=1/3*∑[(x-x43)
其中,(x,y,z)表示声音采集设备的位置,即声音采集设备在空间中的绝对位置。例如,若MSE3小于MSE1和MSE2,则融合估计位置3作为声音采集设备1对应的设备信息,其表示声音采集设备相对于声源的相对位置。
例如,每个设备系数组中的所有设备系数之和为1。例如,每个设备系数组中的设备系数与声音采集设备的设备信息以及各个声源的空间位置信息相关,每个设备系数组中的设备系数可以为超参数,且通常需要基于具体问题和数据集进行选择和调整,其可以根据领域知识(例如,了解问题领域和数据集的特点,并基于这些背景知识来选择设备系数,例如,该领域的专家经验可以提供有关合适设备系数的初始估计)、先验知识、交叉验证(例如,使用交叉验证来评估不同设备系数的性能,将数据集分成训练集和验证集,然后对于不同的设备系数,训练模型并在验证集上进行评估,选择在验证集上表现最好的设备系数作为最终的选择)、超参数搜索(例如,可以使用网格搜索或随机搜索等方法,在给定的设备系数的范围内进行搜索和评估,以找到使模型性能最优的设备系数)、经验规则(例如,根据经验规则选择设备系数)等方式确定的。多个设备系数组可以根据实际情况设置,本公开对此不作具体限制。
图6为本公开至少一个实施例提供的对重构后的声音特征组进行定位处理的示意图。
例如,在一些实施例中,步骤S103可以包括:对至少一个重构后的声音特征组进行自相关计算并进行特征值分解,以得到多个方向特征向量;利用方向激活函数对多个方向特征向量进行处理,以得到至少一个定向向量;对至少一个定向向量进行仿射变换,以得到至少一个变换后的定位向量;利用归一化激活函数对至少一个变换后的定位向量进行归一化处理,以得到至少一个声音定位信息。例如,每个方向特征向量对应一个定位信息,至少一个声音定位信息分别包括产生至少一个声音信号的至少一个声源的位置,即一个声音定位信息包括一个声源的位置。
在步骤S103中,对重构后的声音特征组进行3D-DNN处理,即通过深度神经网络(Deep Neural Network,DNN)实现对声音信号的定位。例如,如图6所示,将重构后的声音特征组输入DNN,利用DNN对重构后的声音特征组进行自相关计算Cor并进行特征值分解EVD(Eigen Value Decomposition),可以将重构后的声音特征组分解为代表多个方向的方向特征向量,每个方向特征向量代表一定角度和方位等定位信息;然后,将多个方向特征向量输入方向激活函数(其可以使得声音信号的方向特征更容易被识别)以提取至少一个定向向量;最后对至少一个定向向量进行仿射变换、基于归一化激活函数(例如,Sigmoid函数等)的归一化处理等,从而得到较为准确的位置向量并输出定位结果(即声音定位信息)。
在本公开的实施例提供的信号定位方法中,通过3D-DNN(三维-深度神经网络)对声源进行定位解析,从而可以提高定位的准确度。
例如,步骤S102和步骤S103可以实现将同一方向上的声音信号进行组合并处理,从而得到关于该方向的定位信息。
例如,在得到至少一个声源的定位信息(例如,位置、方位角度等)之后,可以根据实际需求,对某个声源产生的声音进行数据增强以及降噪等处理,从而可以对用户希望获取的重要的声音信号进行有效加强,实现在嘈杂的复杂环境下也让用户有更沉浸的声音体验。
本公开的实施例提供的信号定位方法解决了多维时频谱图转换的问题,同时利用3D-DNN对声源进行定位解析,最后通过数据融合对需要的声音信号进行加强,让用户(佩戴AR眼镜的用户)可以实时感受更具有立体感的声音效果,通过算法处理,应用本公开实施例提供的信号定位方法的AR眼镜对喧闹环境里的有用的微弱声信号的提取和加强的效果更好,可以在嘈杂的复杂环境下也让用户有更沉浸的声音体验。
本公开至少一个实施例还提供一种信号定位装置。图7为本公开至少一个实施例提供的一种信号定位装置的示意图。
如图7所示,信号定位装置700可以包括:特征获取模块701和定位模块702。图7所示的信号定位装置700的组件和结构只是示例性的,而非限制性的,根据需要,该信号定位装置700还可以包括其他组件和结构。
特征获取模块701被配置为:对至少一个声音信号进行预处理,以生成与至少一个声音信号分别一一对应的至少一个语谱图;对至少一个语谱图进行特征提取处理,以与生成至少一个声音信号分别一一对应的至少一个第一特征向量矩阵,例如,每个第一特征向量矩阵包括对应的声音信号的至少一个声音特征。特征获取模块701用于执行图1所示的步骤S100和步骤S101。
定位模块702被配置为:对至少一个第一特征向量矩阵进行声信号重解处理,以得到至少一个重构后的声音特征组,其中,每个重构后的声音特征组包括与同一个声源的声源声音信号对应的声音特征;对至少一个重构后的声音特征组进行定位处理,以得到与至少一个重构后的声音特征组分别一一对应的至少一个声音定位信息。定位模块702用于执行图1所示的步骤S102和步骤S103。
关于特征获取模块701所实现的功能的具体说明可以参考上述信号定位方法的实施例中的图1所示的步骤S100和步骤S101的相关描述,关于定位模块702所实现的功能的具体说明可以参考上述信号定位方法的实施例中的图1所示的步骤S102和步骤S103的相关描述。信号定位装置700可以实现与前述信号定位方法相似或相同的技术效果,在此不再赘述。
例如,特征获取模块701和/或定位模块702可以为硬件、软件、固件以及它们的任意可行的组合。例如,特征获取模块701和/或定位模块702可以为专用或通用的电路、芯片或装置等,也可以为处理器和存储器的结合。本公开的实施例不对上述各个模块的具体实现形式进行限制。
本公开至少一个实施例还提供一种信号定位装置。图8为本公开至少一个实施例提供的另一种信号定位装置的示意图。
例如,如图8所示,信号定位装置800可以包括:一个或多个存储器810和一个或多个处理器820。应当注意,图8所示的信号定位装置800的组件只是示例性的,而非限制性的,根据实际应用需要,该信号定位装置800还可以具有其他组件。
例如,一个或多个存储器810用于非瞬时性地存储有计算机可执行指令;一个或多个处理器820配置为运行计算机可执行指令,计算机可执行指令被一个或多个处理器820运行时执行根据上述任一实施例所述的信号定位方法中的一个或多个步骤。
例如,存储器810和处理器820之间可以直接或间接地互相通信。
例如,存储器810和处理器820等组件之间可以通过网络连接以进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。网络可以包括局域网、互联网、电信网、基于互联网和/或电信网的物联网(Internet of Things)、和/或以上网络的任意组合等。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信,无线网络例如可以采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者WiFi等通信方式。本公开对网络的类型和功能在此不作限制。
又例如,存储器810和处理器820也可以通过总线连接进行通信。总线可以是外设部件互连标准(PCI)总线或扩展工业标准结构(EISA)总线等。
例如,存储器810和处理器820可以设置在服务器端(或云端),也可以设置在客户端(例如,AR眼镜等移动设备)。
例如,处理器820可以控制信号定位装置800中的其它组件以执行期望的功能。处理器820可以是中央处理单元(CPU)、张量处理器(TPU)、者图形处理器(GPU)、微处理器等具有数据处理能力和/或程序执行能力的器件。中央处理元(CPU)可以为X86或ARM架构等。
例如,存储器810可以包括一个或多个计算机程序产品的任意组合,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在计算机可读存储介质上可以存储一个或多个计算机可读指令,处理器820可以运行该计算机可读指令,以实现信号定位装置800的各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据等。
例如,在一些实施例中,信号定位装置800可以设置在AR设备中,例如AR眼镜等。
关于信号定位装置800可以实现的技术效果可以参考上述信号定位方法的实施例中的相关描述,重复之处不再赘述。
图9为本公开至少一个实施例提供的一种非瞬时性计算机可读存储介质的示意图。例如,如图9所示,在非瞬时性计算机可读存储介质2000上可以非暂时性地存储一个或多个计算机可执行指令2001。例如,当计算机可执行指令2001由处理器执行时可以执行根据本公开任一实施例所述的信号定位方法中的一个或多个步骤。
例如,该非瞬时性计算机可读存储介质2000可以应用于上述信号定位装置800中。例如,非瞬时性计算机可读存储介质2000可以包括上述信号定位装置800中的存储器810。
例如,关于非瞬时性计算机可读存储介质2000的说明可以参考信号定位装置800的实施例中对于存储器810的描述,重复之处不再赘述。
对于本公开,还有以下几点需要说明:
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构,其他结构可参考通常设计。
(2)为了清晰起见,在用于描述本发明的实施例的附图中,层或结构的厚度和尺寸被放大。可以理解,当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时,该元件可以“直接”位于另一元件“上”或“下”,或者可以存在中间元件。
(3)在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,本公开的保护范围应以所述权利要求的保护范围为准。
- 一种快速确定高压条件下IGBT驱动电阻值的方法
- 一种高压IGBT局部放电电流时域参数的确定方法和装置