掌桥专利:专业的专利平台
掌桥专利
首页

通过音频信号的地点搜索

文献发布时间:2023-06-19 12:16:29


通过音频信号的地点搜索

背景技术

包括智能电话和智能手表的许多设备提供用于地理位置搜索并用于查询兴趣点。例如,用户可以提供地理位置作为针对该地理位置中或附近的兴趣点的搜索查询的一部分。用户可以进一步包括他们正在搜索的诸如餐馆、活动中心、音乐会场地、电影院等的兴趣点的类型作为他们的搜索查询的一部分。例如,用户可以搜索“coffee shops inSpringfield(斯普林菲尔德的咖啡店)”。响应于搜索查询,向用户提供有关在某种程度上与搜索查询匹配的兴趣点的信息。

发明内容

本公开的一个方面提供一种用于用确定的音频属性更新有关兴趣点的信息的设备。例如,该设备可以具有一个或多个存储器和与该一个或多个存储器通信的一个或多个处理器。一个或多个处理器可以被配置成从客户端设备的一个或多个麦克风接收音频输入。一个或多个处理器可以被进一步配置成基于所接收到的输入来确定一个或多个音频属性,接收与音频输入相关联的位置信息,基于所接收到的位置信息来使所确定的音频属性与特定兴趣点相关联,并且用所确定的一个或多个音频属性更新有关存储在一个或多个存储器中的特定兴趣点的信息。

一个或多个处理器可以被进一步配置成接收搜索查询,响应于搜索查询而识别一个或多个选择的兴趣点,并且连同所确定的音频属性一起提供所选择的兴趣点中的至少一个以供输出。搜索请求可以指定一个或多个音频属性中的至少一个。一个或多个音频属性可以包括音乐流派、当前播放的歌曲的标题或音量水平中的至少一个。音量水平可以指示音乐重放音量或背景噪声音量。可以实时地更新有关特定兴趣点的信息。可以从一个或多个麦克风接收音频输入而无需来自用户的提示。有关特定兴趣点的信息可以是映射数据库的一部分。

本公开的另一方面提供一种用于用确定的音频属性更新有关兴趣点的信息的方法。该方法包括使用一个或多个处理器来接收音频输入。该方法包括:由一个或多个处理器基于所接收到的音频输入来确定一个或多个音频属性;由一个或多个处理器接收与音频输入相关联的位置信息;由一个或多个处理器基于所接收到的位置信息来使所确定的音频属性与特定兴趣点相关联;以及由一个或多个处理器用所确定的一个或多个音频属性更新有关特定兴趣点的信息。

本公开的又一个方面提供一种存储指令的非暂时性计算机可读介质,该指令可由处理器执行以便执行方法,该方法包括:从一个或多个麦克风接收音频输入;由一个或多个处理器基于所接收到的音频输入来确定一个或多个音频属性;由一个或多个处理器接收与音频输入相关联的位置信息;由一个或多个处理器基于所接收到的位置信息来使所确定的音频属性与特定兴趣点相关联;以及由一个或多个处理器用所确定的一个或多个音频属性来更新有关特定兴趣点的信息。

本公开的另一方面提供一种系统,该系统包括:一个或多个存储器,该一个或多个存储器存储与一个或多个音频属性相关联的多个兴趣点;和与一个或多个存储器通信的一个或多个处理器。一个或多个处理器可以被配置成从至少一个客户端计算设备接收针对一个或多个兴趣点的搜索查询。搜索查询可以包括与一个或多个兴趣点相关联的一个或多个音频属性。一个或多个处理器可以被配置成响应于搜索查询,识别存储在一个或多个存储器中的一个或多个选择的兴趣点。与一个或多个选择的兴趣点相关联的音频属性可以与搜索查询中包括的一个或多个音频属性相对应。一个或多个处理器可以被配置成连同相对应的一个或多个音频属性一起提供选择的兴趣点中的至少一个选择的兴趣点以供输出。

本公开的又一个方面提供一种用于连同相对应的音频属性一起提供至少一个兴趣点以供输出的方法。该方法可以包括从至少一个客户端计算设备接收针对一个或多个兴趣点的搜索查询。搜索查询可以包括与兴趣点相关联的一个或多个音频属性。该方法可以包括响应于搜索查询,识别一个或多个选择的兴趣点。与一个或多个选择的兴趣点相关联的音频属性可以与搜索查询中包括的一个或多个音频属性相对应。该方法可以包括连同相对应的一个或多个音频属性一起提供选择的兴趣点中的至少一个以供输出。

本公开的另一方面提供一种存储指令的非暂时性计算机可读介质,该指令可由处理器执行以便执行方法,该方法包括:从至少一个客户端计算设备接收针对一个或多个兴趣点的搜索查询。搜索查询可以包括与一个或多个兴趣点相关联的一个或多个音频属性。该方法可以包括由一个或多个处理器响应于搜索查询,识别一个或多个选择的兴趣点。与一个或多个选择的兴趣点相关联的音频属性可以与搜索查询中包括的一个或多个音频属性相对应。该方法可以包括由一个或多个处理器连同相对应的一个或多个音频属性一起提供选择的兴趣点中的至少一个选择的兴趣点以供输出。

附图说明

图1是图示根据本公开的各方面的示例设备的框图。

图2是根据本公开的各方面的示例系统的功能图。

图3是图示根据本公开的各方面的设备的示例使用的直观图。

图4A-4C是与图3的示例使用相对应的一系列示例界面。

图5是图示根据本公开的各方面的设备的另一示例使用的直观图。

图6A-6C是与图5的示例使用相对应的一系列示例界面。

图7是图示根据本公开的各方面的使音频属性与兴趣点相关联的方法的流程图。

图8是图示根据本公开的各方面的针对特定兴趣点的查询的示例界面。

图9是图示根据本公开的各方面的有关兴趣点的信息的示例界面。

图10是图示根据本公开的各方面的有关特定兴趣点的信息的示例界面。

图11是图示根据本公开的各方面的基于音频属性来搜索兴趣点的方法的流程图。

具体实施方式

本公开涉及一种系统,该系统给用户提供与一个或多个兴趣点处的音频属性有关的信息。使用从兴趣点处的设备接收到的音频输入来构建使音频属性与兴趣点相关联的数据库。例如,此类设备包括一个或多个麦克风,这些麦克风检测背景噪声,诸如人们说话、背景中的音乐播放等。可以根据音频输入确定背景噪声的类型和/或背景噪声的音量水平,并且此类信息可以与数据库中有关兴趣点的诸如地址、营业时间等进一步的信息相关联。例如,特定兴趣点可以是映射数据库的一部分。在一些示例中,可以实时地在映射数据库中更新音频属性。因此,来自用户设备的搜索查询可以基于音频属性来识别一个或多个兴趣点。例如,用户可以提交针对播放乡村音乐的安静咖啡馆或酒吧的搜索查询并接收相关结果。

音频属性可以包括例如背景噪声的类型、音量水平或所接收到的音频的其它特性。背景噪声的类型可以将噪声分类为音乐、说话、交通、建筑或各种其它类型的噪声中的任一个。根据一些示例,在噪声是音乐的情况下,音频属性可以进一步指定音乐流派、歌曲的标题、音乐是录制的还是有现场乐队等。

图1提供图示设备的组件的示例框图。如所示,设备100包括各种组件,诸如一个或多个处理器102、存储器104和通常存在于微处理器、通用计算机等中的其它组件。设备100也包括输入110、麦克风112和诸如全球定位系统(“GPS”)传感器114的位置确定器。

一个或多个处理器102可以是任何常规的处理器,诸如可商购的微处理器。替换地,一个或多个处理器可以是诸如专用集成电路(ASIC)或其它基于硬件的处理器的专用设备。尽管图1在功能上将设备100的处理器、存储器和其它元件图示为在同一框内,但是本领域的普通技术人员应理解,处理器、计算设备或存储器可以实际上包括可以或可以不被存储在同一物理外壳内的多个处理器、计算设备或存储器。类似地,存储器可以是位于与设备100的外壳不同的外壳中的硬盘驱动器或其它存储介质。因此,对处理器或计算设备的引用将被理解成包括对可以或可以不并行操作的处理器或计算设备或存储器的合集的引用。

存储器104可以存储可由处理器102访问的信息,包括数据108和可以由处理器102执行的指令106。存储器104可以是可操作来存储可由处理器102访问的信息的存储器的类型,包括非暂时性计算机可读介质或存储可以借助于电子设备读取的数据的其它介质,诸如硬盘驱动器、存储器卡、只读存储器(“ROM”)、随机存取存储器(“RAM”)、光盘以及其它可写和只读存储器。本文公开的主题可以包括前述的不同组合,由此指令106和数据108的不同部分被存储在不同类型的介质上。

数据108可以由处理器102依照指令106来检索、存储或修改。例如,尽管本公开不受特定数据结构限制,但是数据108可以被存储在计算机寄存器中,作为具有多个不同字段和记录的表存储在关系数据库中,存储在XML文档或平面文件中。也可以以诸如但不限于二进制值、ASCII或Unicode的计算机可读格式对数据108进行格式化。仅作为另一示例,可以将数据108存储为位图,这些位图包括被以压缩或未压缩或各种图像格式(例如,JPEG)、基于矢量的格式(例如,SVG)或用于绘制图形的计算机指令存储的像素。此外,数据108可以包括足以识别相关信息的信息,诸如数字、描述性文本、专有代码、指针、对存储在其它存储器(包括其它网络位置)中的数据的引用或由函数用于计算相关数据的信息。

指令106可以是要由处理器102直接执行的任何指令集,诸如机器代码,或者是要由处理器102间接执行的任何指令集,诸如脚本。在这方面,能够在本文中互换地使用术语“指令”、“应用”、“步骤”和“程序”。能够以供由处理器直接处理的目标代码格式或者以包括脚本的任何其它计算设备语言或者被按需解释或预先编译的独立源代码模块的合集存储指令。在下面更详细地说明指令的功能、方法和例程。

设备100可以进一步包括输入110。输入110可以是例如触摸传感器、拨号盘、按钮或用于接收手动命令的其它控件。在一些示例中,输入110可以是麦克风。设备100也可以包括输出116。输出116可以是例如扬声器。

设备100可以包括至少一个麦克风112。麦克风112可以能够接收音频输入。音频输入可以包括背景噪声。可以确定背景噪声的音频属性。音频属性可以包括例如背景噪声的类型,诸如背景噪声是否是音乐、人们说话、诸如交通或建筑的街道噪声等。当背景噪声是音乐时,音频属性可以进一步确定流派、歌曲的标题、艺术家等。

设备100可以进一步包括至少一个GPS传感器114。GPS传感器114可以提供关于设备的位置的粗略指示。所确定的音频属性可以用于完善由GPS传感器指示的位置或者反之亦然。

应该理解,设备100可以包括未示出的其它组件,诸如电池、电池的充电输入、信号处理组件等。也可以在指令106的执行中利用此类组件。

图2图示可以在其中实现本文描述的特征的示例系统200。它不应该被认为限制本公开的范围或本文描述的特征的有用性。在此示例中,系统200可以包括多个设备202、212、222、232、用户204、214、224、234、服务器计算设备270、存储系统260和网络250。出于容易的目的,设备202、212、222、232的合集或单个设备将被称为设备202。此外,同样出于容易的目的,用户204、214、224、234的组和单个用户将被称为用户204。

每个设备202可以是意在供由相应用户204使用的个人计算设备并且具有如以上关于设备100所描述的通常连同个人计算设备一起使用的所有组件,包括一个或多个处理器(例如,中央处理单元(CPU))、存储数据和指令的存储器(例如,RAM和内部硬盘驱动器)、显示器(例如,具有屏幕的监视器、触摸屏、投影仪、电视、或诸如可操作来显示信息的智能手表显示器的其它设备)和用户输入设备(例如,鼠标、键盘或触摸屏)。设备也可以包括一个或多个麦克风。麦克风可以接收音频输入。例如,麦克风可以从用户接收口头命令。在一些示例中,麦克风可以接收一个或多个兴趣点处的音频输入。音频输入可以包括背景噪声,诸如背景中对话的间歇、音乐、建筑、交通等。设备202也可以包括相机、扬声器、网络接口设备以及用于将这些元件彼此连接的所有组件。设备202可以进一步包括图像传感器。图像传感器可以捕获多个兴趣点的特征和/或对象。设备202可以能够通过网络250以无线方式交换和/或获得数据。

尽管设备202可以均包括能够通过诸如互联网的网络以无线方式与服务器交换数据的移动计算设备,但是它们可以替换地包括全尺寸个人计算设备。仅作为示例,设备可以是移动电话或诸如以下各项的设备:支持无线的PDA、平板PC、可穿戴计算设备(例如,智能手表、头戴式耳机、智能眼镜、虚拟现实播放器、其它头戴式显示器等),或能够经由互联网或其它网络获得信息的上网本。

设备202可以在网络250的各种节点处并且能够直接和间接与网络250的其它节点进行通信。尽管在图2中描绘了四(4)个设备,但是应该理解,典型系统200可以包括一个或多个设备,其中每个计算设备在网络250的不同节点处。能够使用各种协议和系统来互连本文描述的网络250和中间节点,使得网络可以是互联网、万维网、具体内部网、广域网或局域网的一部分。网络250能够利用一个或多个公司专有的标准通信协议,诸如WiFi。尽管当像以上所指出的那样传送或接收信息时获得了某些优点,但是本文描述的主题的其它方面不限于任何特定传输方式。

在一个示例中,系统200可以包括具有多个计算设备的一个或多个服务器计算设备,例如,出于向和从其它技术设备接收、处理并传送数据的目的而与网络的不同节点交换信息的负载平衡服务器场。例如,一个或多个服务器计算设备270可以是能够经由网络250与一个或多个设备202进行通信的web服务器。另外,服务器计算设备270可以使用网络250来将信息传送并呈现给其它设备202中的一个的用户204。服务器计算设备270可以包括一个或多个处理器272、存储器274、指令276和数据278。这些组件以与以上相对于设备100描述的方式相同或类似的方式操作。

存储系统260可以存储各种类型的信息。例如,存储系统260可以存储关于兴趣点的信息,诸如公开可访问的等级、地图数据等。存储系统260可以存储地图数据。地图数据可以包括例如兴趣点的位置。根据一些示例,地图数据可以包括与兴趣点的位置相关联的音频属性。此信息可以由诸如一个或多个服务器计算设备270的服务计算设备检索或以其它方式访问,以便执行本文描述的特征中的一些或全部。

图3图示多个用户304、314在特定兴趣点处的示例。兴趣点可以是餐馆、活动中心、音乐会场地、零售店、地标、博物馆等。如果用户已启用此功能,则每个用户的设备302、312可以检测兴趣点的音频属性。设备可以被配置成仅在被用户授权时才接收背景噪声作为音频输入。例如,用户可以启用或禁用背景噪声检测特征。用户可以进一步调整设备上的设定以限制何时可以接收背景噪声作为音频输入。例如,背景噪声检测可以限于某些公共位置或其它条件,诸如当使用特定应用、预定数目的其它设备用户在范围内、检测到特定类型的读取器或扫描器等时。

如图3中所示,用户304、314、324可以在咖啡馆300内。设备302、312可以类似于上述设备100。出于容易的目的,设备302、312可以在本文中被统称为设备302。

在咖啡馆300内可能有背景噪声,包括音乐320。虽然音乐320被示出为通过扬声器播放,但是音乐320可以包括DJ、现场音乐、无线电广播等。背景噪声也可以包括人们说话、诸如交通和建筑的外部噪声或任何种类的其它噪声。

设备302可以诸如通过麦克风来检测背景噪声,并且确定背景噪声的音量水平。例如,设备302可以确定背景噪声音量是否超过预定阈值以被认为是大声的。设备302可以包括多个预定阈值或区间以确定背景噪声音量是否是大声的、对话的、安静的等。例如,如果背景噪声音量低于50dB,则可以将背景噪声音量确定为安静的。如果背景噪声音量介于50-70分贝(dB)之间,则可以将背景噪声音量确定为对话的或允许对话。如果背景噪声音量介于70-90dB之间,则可以将背景噪声音量确定为是嘈杂的,诸如繁忙交通或嘈杂餐馆。如果背景噪声音量水平高于90dB,则可以将背景噪声音量确定为是大声的,诸如现场体育赛事或音乐。本文描述的范围仅仅是示例。构成嘈杂的、对话的或安静的音量范围可以随着设备302从用户接收到关于噪声水平的验证或反馈而改变。例如,设备302可以询问与所接收到的音频输入有关的验证问题。验证问题可以询问背景噪声音量是否是大声的。如果用户回答是,则设备可以以分贝为单位确定背景噪声音量水平,并且使用该音量水平来创建或更新范围。此外,本文提供的分类仅仅是示例性的并且可以具有不同的标签,而且可以基于来自用户的反馈改变。

设备302可以基于音频输入确定背景噪声的类型。例如,设备302可以确定所接收到的音频输入是否是人们说话的背景闲谈、音乐播放、街道噪声等。设备302可以确定所接收到的音频输入是音乐320、背景闲谈、街道噪声等的组合。根据一些示例,设备302可以针对所确定的背景噪声的类型中的每一种确定附加音频属性。附加音频属性可以包括例如音量水平、音高、音调、频率、强度、方向等。如果设备确定所接收到的音频是音乐,则设备可以确定流派、艺术家、歌曲标题等。

在背景噪声是人们闲谈的间歇的示例中,设备可以确定与背景闲谈相关联的音量水平。在背景噪声是人们闲谈的间歇的一些示例中,设备302可以确定与闲谈相关联的音高、音调等。用户可以随时禁用接收背景噪声作为音频输入。类似于确定背景噪声音量是否是大声的,设备302可以确定闲谈的音量是否超过预定阈值以被认为是大声的。设备302可以包括多个预定阈值或区间以确定闲谈的音量是否是大声的、平均的、安静的等。安静的闲谈音量可以指示可能容易地发生会议或其它对话。在一些示例中,设备302可以确定人们是否正在越过其它背景噪声——诸如越过音乐320——大声地说话。

在背景噪声是诸如音乐320的音乐播放的示例中,设备可以确定附加音频属性,诸如音量水平、流派、歌曲的标题等。例如,设备302可以确定与音乐320相关联的音量水平。类似于确定背景噪声音量是否是大声的,设备302可以确定音乐音量是否超过预定阈值以被认为是大声的。设备302可以包括多个预定阈值或区间以确定音乐音量是否是大声的、平均的、安静的等。根据一些示例,设备302可以确定音乐320的其它音频属性。设备302可以确定音乐流派、播放歌曲的标题、音乐是否是录制的或那里的音乐320是否是现场乐队等。

音频属性可以进一步与时间戳相关联。在这方面,特定兴趣点可以与不同时间点的多个不同的音频属性相关联。例如,虽然咖啡馆可以在白天期间是用于工作的安静地点,但是它也可以是在晚上有大声民间音乐的活跃场所。

位置信息可以被接收并与音频输入相关联。例如,GPS传感器可以提供关于设备302的位置的指示。提供设备302的位置的指示的GPS数据可以用于确定与该位置相关联的兴趣点。在一些示例中,来自传感器和/或来自与诸如无线基站或无线接入点、RFID读取器等的设备的交互的信息能够由方位确定模块采用来计算或以其它方式估计设备302的物理位置。位置确定系统的其它示例可以基于诸如地标的地理对象的图像、诸如光或噪声水平的语义指示符等确定位置。虽然这些是几个示例,但是应该理解,可以使用各种位置确定技术中的任一种。

仅当被用户授权时——诸如当设备被配置成允许共享位置信息时——才提供位置信息。用户可以启用或禁用提供位置,并且可以限制此类信息的接收者和/或对位置信息的应用或使用。此外,位置数据排除任何个人信息。根据一些示例,用户可以调整设备上的设定以当设备在特定地理区域、在特定时间或条件下时,诸如当设备位于预定数目的其它用户设备的蓝牙范围内时启用提供位置信息。用户可以将设备设定成自动地禁用在诸如熟悉位置的特定位置中提供位置信息。

音频输入可以由设备接收,使得设备可以确定一个或多个音频属性。可以在服务器处接收一个或多个确定的音频属性。根据一些示例,可以在服务器处从已授权共享检测到的背景噪声信息的许多设备接收音频输入。用户能够启用或禁用接收背景噪声作为音频输入,并且设备只有在用户已启用此功能时才可以接收背景噪声作为音频输入。根据一些示例,用户可以调整设备上的设定以将共享局限于特定地理区域、特定音频属性或音频属性的子集、时间或条件,诸如当设备位于预定数目的其它用户设备的蓝牙范围内时。此外,用户可以将一个或多个麦克风设定成在特定位置中自动地禁用。根据一些示例,用户可以将设备设定成在诸如熟悉位置的特定位置中自动地禁用接收背景噪声作为音频输入。用户可以进一步将设备配置成接收音频输入而无需来自用户的进一步活动输入。

设备可以询问用户以验证或提供有关所接收到的音频输入的反馈。例如,设备可以询问有关位置信息、音量水平、背景噪声的类型等的一系列验证问题。在背景噪声包括音乐的示例中,验证问题可以是关于音乐播放的流派、艺术家、歌曲标题等的。这些问题用于在更新与兴趣点相关联的音频属性之前验证与兴趣点相关联的音频属性。

图4A-4C图示可以询问用户验证由设备接收到的音频输入的音频属性的示例。例如,设备可以向用户显示一系列提示或问题。问题可以询问用户验证位置、音乐流派、环境是嘈杂的还是安静的、是否有现场音乐或DJ、背景噪声是否是大声的、音乐是否是大声的等。设备可以基于用户与提示的接涉确定是否要询问更多的问题。在一些示例中,设备可以注意用户针对其它应用提供反馈的过去合作和/或参与,以确定是否询问验证音频属性的一系列问题。

如图4A中所示,设备402可以显示寻求反馈的第一问题430。第一问题可能询问以验证兴趣点。例如,问题430询问用户以确认兴趣点是否是咖啡馆。用户可以回答是440或否450。这可以验证要与音频输入相关联的位置信息。在一些示例中,可以存在“end(结束)”460的选项。如果用户不想回答任何验证问题,则用户可以选择结束460。

图4B图示第二问题。可以基于接收到对第一问题430的响应来问第二问题432。第二问题432可以询问关于总体背景音量水平。背景音量水平可以包括街道噪声、闲谈、音乐等。用户可以用是442、否452或结束462回答问题432。在一些示例中,回答可以是用户能够提供介于1-10之间的排名的排名标度,其中1是最安静的而10是最大声的。在一些示例中,标度可以介于1-5之间。标度可以是滑动标度,使得用户不必选择一个数字,而是替代地,沿着标度滑动标记以指示背景音量水平。如果用户不想回答附加验证问题,则用户可以选择结束462。

图4C图示可以基于第二问题432的第三问题。第二问题432可以问关于背景噪声音量水平。背景噪声可以包括音乐。在一些示例中,基于对问题432的回答,第三问题434可以询问音乐音量是否是大声的。用户可以选择是444、否454或结束464。在一些示例中,用户可以基于排名标度或滑动标度来回答以表示音乐是否是大声的。如果用户选择结束464,则将不再询问另外的问题。

基于由用户响应于验证问题而提供的回答,可以实时地更新兴趣点的音频属性。例如,有关特定兴趣点的信息可以实时地包括与背景噪声的类型有关的指示。如果背景噪声的类型是音乐,则有关特定兴趣点的信息可以包括音乐流派、在接收到音频输入时播放的歌曲的标题、艺术家、音乐的音量水平等的指示。作为一个示例,有关特定兴趣点的信息可以指示在接收到音频输入时经典摇滚正在以中等音量水平播放。

在一些示例中,可以将实时音频属性与历史音频属性进行比较,或者可以在统计模型中组合历史音频属性和实时音频属性以产生更好的估计。例如,可以使用诸如一周、一个月等的评价时段。可以提供实时音频属性以用于与给定兴趣点的历史数据有关地显示。

图5图示多个用户位于特定兴趣点中并且他们相应的设备可能正在检测背景噪声的音频属性的另一示例。例如,用户304、314、324可以位于保龄球馆500内。用户504、514、524分别可以各自具有设备502、512。设备502、512可以类似于本文描述的设备100。出于容易的目的,设备502、512将在本文中被统称为设备502。

在保龄球馆500内,可能有背景噪声。背景噪声可以包括话音的声音、对话的间歇或闲谈、保龄球击中瓶的声音、音乐520等。音乐520可能是现场音乐、DJ、无线电广播(即混合在一起使得在它们之间没有间隙的不同音乐曲目)、来自自动唱机的音乐等。

设备502可以接收包括音乐520的背景噪声作为音频输入。设备502可以确定背景噪声的一种或多种类型。例如,设备可以确定在特定兴趣点中正在发生对话、音乐正在播放并且存在与活动相关联的一些噪声。在保龄球馆500中,与活动相关联的噪声可以是保龄球击中瓶的声音。根据一些示例,设备502可以针对所确定的背景噪声的类型中的每一种确定附加音频属性。附加音频属性可以包括总体背景噪声音量水平、闲谈音量水平、音乐音量水平、音乐的流派等。

在设备502确定背景噪声包括特定兴趣点处的话音或闲谈的声音的示例中,设备502可以确定与闲谈相关联的音量水平。根据一些示例,设备502可以确定保龄球馆500中的人们正在大声地说话。保龄球馆中的人们可能必须大声地说话越过音乐520和/或球击中瓶的声音被听到。例如,在诸如星期五或星期六晚上的周末晚上,现场乐队可以在保龄球馆500演奏,同时扬声器上的音量一直调高。音乐520可能非常大声从而使人们不得不非常大声地说话以越过音乐520被听到。在一些示例中,设备502可以确定与闲谈者相关联的其它音频属性。例如,设备502可以确定与闲谈相关联的音高、音调、频率等。

在一些时间段期间,设备502可以确定保龄球馆500中的人们正在安静地说话。在这样的示例中,设备502可以确定诸如音乐520的背景噪声的其它类型也是安静的。例如,在工作日期间,音乐520可以是背景中的无线电广播电台播放,因为保龄球馆500可能不那么繁忙。

在背景噪声包括音乐520的示例中,设备可以确定与音乐520相关联的音量水平。例如,设备502可以将音乐的音量水平分类为大声的、平均的或安静的等。大声的音乐可以是以高于100dB的音量水平播放的音乐520。平均的音乐可以是以介于60dB至100dB之间的音量水平播放的音乐520。安静的音乐可以是以低于60dB的音量水平播放的音乐520。这些范围仅仅是示例并且可以取决于特定兴趣点。例如,如果用户是在音乐会,则大声的音量水平可以是以高于120dB的音量水平播放的音乐,而安静的音量水平可以是以低于80dB的音量水平播放的音乐。因此,范围和标签仅仅是示例并且可以改变或被称作不同的事物。

根据背景噪声包括音乐520的一些示例,设备502可以确定音乐流派、播放歌曲的标题、艺术家的姓名、音乐520是现场的、在无线电广播上还是正在由DJ播放等。可以将所确定的与兴趣点相关联的音频属性与服务器共享或者发送给服务器以更新与特定兴趣点有关的信息。例如,如果设备确定保龄球馆正在播放特定艺术家的流行音乐,则可以使用那些音频属性来实时地更新与保龄球馆相关联的音频属性。

音频属性可以与时间戳和特定兴趣地点相关联。例如,随着设备502确定音频属性,音频属性可以与它们被收集的时间和它们被收集的地点相关联。与在星期二下午的保龄球馆500中的背景噪声相关的音频属性可能不同于与星期五晚上的保龄球馆500中的背景噪声相关联的音频属性。例如,在星期二下午,保龄球馆500的背景噪声可以具有更安静的总体背景噪声音量水平。这可以允许在保龄球馆500内和/或在打保龄球的同时发生会议或对话。音乐520可以是以中等或平均音量水平播放的经典摇滚无线电广播电台。在星期五晚上,保龄球馆500的背景噪声可以具有大声的总体背景噪声音量水平。大声的背景噪声音量可能是由于现场乐队或DJ在保龄球馆500演奏而导致的。因此,音乐520可能非常大声。大声的音乐520可以阻止人们在星期五晚上在保龄球馆500举行会议或进行对话。

如本文先前所描述的,可以在服务器处从先前已授权共享所确定的音频属性的多个设备接收所确定的所接收到的音频输入的音频属性。用户可以启用或禁用接收背景噪声作为音频输入以及确定所接收到的音频输入的音频属性。可以聚集并使用所确定的音频属性以构建与兴趣点相关联的音频属性的模型。可以基于关联时间戳或确定音频属性的时间来对所确定的音频属性进行分组。一旦模型被构建,就可以使用随后接收到的音频属性来更新模型。因此,当接收到后续搜索查询时,作为响应可以将关于与特定兴趣点相关联的音频属性的信息提供给其它用户。

图6A-6C图示可以被询问以验证所接收到的音频输入的位置信息和/或音频属性的问题的示例。如本文所描述的,问题可以询问用户以确认特定兴趣点、音乐流派、音乐是否是现场的、背景噪声音量水平、音乐音量水平等。设备可以基于用户与提示的接涉确定是否询问更多的问题。在一些示例中,设备可以注意用户提供其它应用的反馈的过去合作和/或参与,以确定是否询问验证音频属性的一系列问题。

与可以询问有关当在咖啡馆时接收到的音频输入的验证问题的图4A-4C相比,图6A-6C可以询问有关当在保龄球馆时接收到的音频输入的验证问题。可能被询问的问题可以基于检测到的背景噪声的类型、背景噪声的音量、背景噪声是闲谈还是音乐等。

如图6A中所示,设备602可以显示寻求有关当在保龄球馆时接收到的音频输入的反馈的第一问题630。第一问题630可以询问用户以验证兴趣点。例如,问题630可以询问用户以确认兴趣点是否是保龄球馆。用户可以用是640、否650或结束660回答问题630。这可以验证要与音频输入相关联的位置信息。如果用户选择结束660,则将不再询问另外的问题。

图6B图示第二问题。如果用户回答了第一问题630,则可以询问第二问题632作为对第一问题630的跟进。

第二问题632可以询问用户以验证与所接收到的音频输入相关联的音频属性。可能询问问题632以确认或确定在兴趣点处播放的音乐的流派。例如,第二问题632可以询问用户在背景中播放的音乐是否是流行音乐。用户可以响应于问题632而选择是642、否652或结束662。如果用户选择否652,则可以询问后续问题以确定音乐的正确流派。如果用户选择结束662,则设备可能不询问附加问题。

图6C图示可以基于第二问题632的第三问题。第三问题634可以询问关于作为音频输入接收到的背景音乐的附加音频属性。例如,第三问题634可以询问音乐音量是否是大声的。用户可以在滑动标度上提供响应。例如,用户可以沿着1到10的标度调整指示器666,其中1是最安静的而10是最大声的。在一些示例中,标度可以从1到5。在其它示例中,滑动标度可以用安静的和大声的而不是数字标记。因此,1到10的标度只是示例,而不意在为限制性的。在用户沿着标度调整指示器666之后,用户可以选择“ok(确定)”664以确认回答。用户可以选择结束664以没有进一步的问题。

由用户针对问题630、632、634提供的回答可以用于实时地更新与兴趣点相关联的音频属性的模型。在一些示例中,可以将与兴趣点相关联的实时音频属性与由其它用户收集的其它或附加实时音频属性进行比较。例如,可以询问多个用户以确认当前播放的音乐的流派是否是摇滚。如果不止一个用户确认音乐的流派是摇滚,则服务器可以更新与兴趣点相关联的音频属性以示出已知在那时、天等播放了摇滚音乐。对来自多个用户的验证回答的比较可以被用作附加验证措施。例如,服务器可能接收到对验证问题的冲突答案。在这样的示例中,第一用户可以回答发现兴趣点的背景噪声水平为安静的验证问题,然而第二用户可以回答发现相同兴趣点的背景噪声水平为大声的确认问题。当服务器接收到对相同兴趣点的冲突答案时,服务器可能不更新与兴趣点相关联的音频属性。

图7图示用于用与特定兴趣点相关联的确定的音频属性更新信息的示例方法。例如,在框710中,设备可以接收音频输入。音频输入可能包括背景噪声。背景噪声可能包括对话、诸如交通或建筑的街道噪声、音乐等。

在框720中,设备可以基于所接收到的音频输入来确定一个或多个音频属性。例如,音频属性可以包括背景噪声的类型、音量水平或所接收到的音频的其它特性。背景噪声的类型可以将噪声分类为音乐、说话、交通、建筑或各种其它类型的噪声中的任一个。根据一些示例,在噪声是音乐的情况下,音频属性可以进一步指定音乐流派、歌曲的标题、音乐是录制的还是有现场乐队等。在一些示例中,在噪声是背景闲谈的情况下,音频属性可以进一步指定闲谈的音量水平。

在框730中,设备可以接收与音频输入相关联的位置信息。例如,设备可以使用GPS传感器或其它定位元件来提供关于设备的位置的指示。在一些示例中,来自传感器和/或来自从远程设备(例如,无线基站或无线接入点)接收或确定的数据的信息能够由方位确定模块采用来计算或以其它方式估计设备302的物理位置。位置确定系统的其它示例可以基于诸如地标的地理对象的图像、诸如光或噪声水平的语义指示符等确定位置。设备的位置可以用于确定特定兴趣点。

在框740中,所接收到的音频输入和所确定的音频属性可以与特定兴趣点相关联。例如,可以在特定兴趣点所位于的特定地理位置处接收音频输入。所确定的音频输入的音频属性可以与在其中接收到音频输入的兴趣点相关联。例如,可以将所确定的音频属性连同与多个兴趣点有关的其它信息一起存储在数据库中。特定兴趣点的其它信息可以包括例如企业名称、位置、营业时间、机构类型、菜单、网站等。可以响应于搜索查询而提供包括所确定的音频属性的信息。在一些示例中,所确定的音频属性可以与营业时间的某些时间间隔、繁忙指示符等相关联。

在框750中,可以更新有关特定兴趣点的信息。例如,可以用所确定的音频属性更新有关特定兴趣点的信息。可以实时地更新该信息。在一些示例中,经更新的信息可以提供关于背景噪声水平何时最大的信息。根据一些示例,经更新的信息可以提供有关每天播放什么类型的音乐的信息。例如,经更新的信息可以向用户提供如下信息:在星期一播放乡村音乐、在星期二播放流行音乐、在星期三播放经典摇滚、在星期四播放现场音乐等。经更新的信息可以允许用户基于所确定的音频属性来识别特定兴趣点。

一旦构建了与兴趣点相关联的音频属性的模型,用户就可以搜索该模型。图8图示用于基于与那些兴趣点相关联的音频属性来查找或确定多个兴趣点的搜索查询的示例界面。设备800可以包括显示器820、输出816、输入810和至少一个麦克风812。显示器820可以包括搜索栏824和地图部分822。地图部分822可以包括示出设备800的当前位置的方位标识符826。

显示器820可以进一步包括多个搜索选项,包括“explore(探索)”830、“commute(通勤)”832、“for you(为你)”834和“audio(音频)”836。“explore”830基于由设备800的方位标识符826指示的位置或任何选择的地理位置提供多个建议。例如,选择“explore”830可以提供在由设备800的方位标识符826指示的位置或由用户搜索的任何其它地理位置附近的诸如蛋糕展览、家庭餐馆、活动、高尔夫球场等的建议。“commute”832可以检查设备800的位置826与由用户设定的预设地址之间的交通。预设地址可以是用户工作位置的地址。“foryou”834可以提供有关营业的在由设备800的方位标识符826指示的位置附近的兴趣点的建议。当选择“for you”834时,建议可以包括餐馆、事件、企业等。

“audio”836可以允许用户基于与兴趣点相关联的音频属性来搜索位置。用户可以基于背景噪声的类型(诸如是否存在对话和/或音乐)、背景噪声的音量水平、对话的音量水平、音乐的音量水平、在背景中是否存在诸如建筑或交通噪声的其它噪声来搜索位置。用户可以搜索关于背景噪声的类型的特定音频属性。例如,用户可能想要查找将允许能够越过背景噪声听到的对话的位置。因此,用户可以使用“audio”836搜索来查找具有安静的背景噪声的地点。在一些示例中,用户可能想要查找具有在星期五晚上演奏的现场乐队的位置。用户可以能够完善搜索以仅查找具有指示现场乐队在星期五晚上演奏的音频属性的兴趣点。

允许用户基于关联音频属性来搜索并识别兴趣点可以帮助查找最适合于他们的需要的地点。例如,具有高频听力损失的人们可能在存在相对较高的背景噪声水平时难以进行对话,并且因此可能更喜欢识别具有低背景噪声水平的机构。附加地,不想进行对话的具有降低的听力灵敏度的人们可能更喜欢具有较高的音乐音量的机构。因此,允许用户识别具有高音乐音量的机构将使这类人受益。

图9图示可以如何显示基于音频属性的搜索结果的示例。设备900可以类似于设备800。例如,设备900可以包括显示器920、输出916、输入910和至少一个麦克风912。这些特征可以类似于在本文中相对于设备100讨论的那些特征。

设备900可以通过将信息覆盖在屏幕或显示器920上来提供搜索结果。可以以诸如列表、地图、地图的注释等的各种不同的方式提供信息。可以基于最相关的搜索结果、到用户的距离等对信息进行排序。根据其它示例,可以通过设备900的一个或多个扬声器或输出916或与设备900配对的配件将信息作为音频数据来输出。

可以将多个搜索结果作为详细列表来提供。可以在显示器920上将兴趣点中的每一个作为单独的地点卡940、942、944或按钮来提供。例如,基于音频属性的最相关的兴趣点可以是作为地点卡940示出的餐馆。地点卡940可以包括关于餐馆的信息,包括距所确定的设备900的位置的距离、音乐流派和背景噪声音量水平。在一些示例中,交互式地点卡940可以允许与兴趣点相关的快速动作。例如,系统可以与针对兴趣点的服务集成以允许快速动作。对于餐馆,快速动作可以允许用户进行预订。基于音频属性的第二最相关的兴趣点可以是作为地点卡942示出的咖啡店。地点卡942可以基于关联音频属性来指示当前正在播放的音乐流派和背景噪声的音量水平。针对地点卡942,咖啡店,的快速动作可以是下达咖啡的移动订单。例如,快速动作可以允许用户订购并且为他们的订单付款,而无需键入兴趣点。第三最相关的兴趣点可以是作为地点卡944示出的保龄球馆。针对保龄球馆的快速动作可以允许用户预订保龄球道。

兴趣地点出现的次序可以基于由用户搜索的音频属性改变。兴趣地点出现的次序可以基于距设备的位置的距离或由用户选取的预选地理位置。在一些示例中,次序也可以随着系统学习用户的选择而改变。

图10图示了示出扩展地点卡的显示器的示例。设备1000可以类似于设备900。例如,设备1000可以包括显示器1020、输出1016、输入1010和至少一个麦克风1012。这些特征可以类似于在本文中相对于设备100讨论的那些特征。

一旦用户从搜索结果中选择了兴趣点,就可以显示扩展地点卡1062。例如,用户可以从搜索结果中选择一个交互式地点卡以找出该兴趣点的更详细信息。例如,图10图示针对保龄球馆1044的扩展地点卡1062。扩展地点卡1062可以包括与保龄球馆相关联的地址1050、营业时间1052、电话号码1054和网站1056。

扩展地点卡1062可以进一步包括与保龄球馆1044相关联的音频属性。例如,可以显示有关在兴趣点处播放的音乐的类型或音乐流派1058的详细信息。可以基于星期几分解音乐流派1058。如图10中所示,保龄球馆1044可以在星期三播放乡村音乐,在星期四播放摇滚音乐,在星期五播放流行音乐,而在星期六播放现场音乐。音乐流派1058可以随着音频属性收集和由用户验证而更新。例如,音乐流派1058可以改变,使得它出在星期四晚上有DJ而不是摇滚音乐。因此,音乐流派1058不是静态的,而是替代地,基于由该兴趣点处的用户设备所确定的音频属性被实时地更新。

扩展地点卡1062可以进一步包括音量水平部分。音量水平1060可以包括背景音量水平在当前时间有多大声的指示。在此示例中,典型音量水平由无阴影条形1064指示,然而当前音量水平由阴影条形1066指示。在这方面,相对于典型或历史音量水平示出当前音量,从而提供参考系。也可以提供时间线1068以供参考,指示与图表中的每个条形相对应的时间。每个条形可以对应于一小时间隔,或者对应于任何其它时间间隔。此外,时间线1068可以对应于兴趣点营业时间的范围。虽然音量水平被示出为以条形图显示,但是应该理解,这仅仅是一个示例。可以提供音量水平以用于以诸如文本、直观图、图表、图形等的任何数目的方式显示。

扩展地点卡1062的音量水平1060部分可以帮助用户确定兴趣点,保龄球馆1044,是否适于他们的访问。例如,听力受损的人们可能想在音量水平低的时间期间访问。在一些示例中,如果用户正在寻找与一群朋友一起去的地点,则用户可能不介意音量水平是否是更大声的。

扩展地点卡的音量水平1060部分可以进一步包括关于什么对音量水平做贡献的细分。例如,音量水平1060可以由对话和音乐组成。在一些示例中,可以存在对话的音量水平的指示以及在兴趣点处发生的音乐的音量水平的指示。

图11图示用于访问具有与多个兴趣点和关联音频属性有关的信息的数据库的示例方法。例如,在框1110中设备可以接收搜索查询。如本文所描述的,搜索查询可以由作为网络250的一部分的一个或多个处理器来执行。搜索查询可以是针对一个或多个兴趣点的。搜索查询可以包括与兴趣点相关联的一个或多个音频属性。根据一些示例,搜索查询可以包括位置信息。在一些示例中,可以基于设备的位置来获得位置信息。根据一些示例,位置信息可以是由用户选择的位置。可以基于城市和州、邮政编码、地址等确定位置。搜索查询可以包括和与兴趣点相关联的音频属性有关的搜索属性。例如,搜索查询可以是针对允许对话的安静咖啡馆或播放乡村音乐的酒吧。

在框1120中,作为网络250的一部分的设备和/或一个或多个处理器可以访问多个兴趣点的数据库。数据库可以进一步包括与多个兴趣点相关联的信息。例如,数据库可以包括与兴趣点的位置、兴趣点的营业时间、兴趣点的电话号码、兴趣点的网站、诸如在兴趣点处播放的音乐流派的音乐的类型、兴趣点处的音量水平等有关的信息。根据一些示例,可以识别一个或多个选择的兴趣点。与所选择的兴趣点相关联的音频属性可以与搜索查询中包括的音频属性相对应。

在框1130中,作为网络250一部分的设备和/或一个或多个处理器可以基于位置信息和在搜索查询中提供的音频属性来过滤数据库内的多个兴趣点。例如,如果用户搜索在距设备的位置的预设距离内的安静餐馆,则作为网络250的一部分的设备和/或一个或多个处理器可以过滤数据库以仅查找安静且在预设距离内的餐馆。在一些示例中,用户可以搜索具有针对儿童的活动的地点,该地点播放适于儿童的音乐。根据一些示例,作为网络250的一部分的设备和/或一个或多个处理器可以基于作为搜索查询的一部分接收到的位置信息来过滤一个或多个兴趣点。

在框1140中,作为网络250的一部分的设备和/或一个或多个处理器可以提供指示满足在搜索查询中设定的准则的兴趣点中的一个或多个的信息。可以提供该信息以在设备上显示。在一些示例中,可以将信息作为音频输出来提供。

如将领会的,本文描述的技术可以使得能够基于与该兴趣点相关联的音频特性来搜索兴趣点。音频属性可以是例如背景噪声音量、音乐音量、对话音量、音乐流派等。具有高频听力损失的用户可以搜索具有低或安静背景噪声音量的兴趣点。在一些示例中,正在考虑听音乐的具有降低的听力的人们可以搜索具有大声的音乐音量的兴趣点。允许用户基于关联音频属性来识别多个兴趣点可以使用户在选择最适于其兴趣的特定兴趣点时受益。

除非另外陈述,否则前面的替代示例不是互相排斥的,而是可以被以各种组合实现以实现独特的优点。由于能够在不脱离由权利要求所限定的主题的情况下利用以上讨论的特征的这些及其它变化和组合,所以应该通过图示的方式而不是通过限制由权利要求所限定的主题的方式来进行实施例的前面的描述。另外,本文描述的示例的提供以及措词为“诸如”、“包括”等的从句不应该被解释为将权利要求的主题限于具体示例;相反,这些示例旨在图示许多可能的实施例中的仅一个。另外,不同附图中的相同的附图标记能够标识相同或类似的元件。

相关技术
  • 通过音频信号的地点搜索
  • 基于音频信号的搜索方法
技术分类

06120113236181