一种感知车辆周边兴趣点的方法、装置、设备及介质

技术领域

本申请属于车辆感知兴趣点的技术领域，特别是涉及一种感知车辆周边兴趣点的方法、装置、设备及介质。

背景技术

在车辆行驶的途中，用户经常会对行驶道路周边的事物产生好奇，特别是当车辆行驶在一个不认识的没有标注的建筑物附近时，车辆中的用户常会对其产生好奇，常会忍不住问“那是哪里”？如果用户想获知感兴趣的建筑物的信息，目前只能通过查看地图的方式，这种查询地图的方式对于驾驶员来说，在车辆行驶过程中是极为不安全的；对于车内其他乘客来说，这种查询方式也并不方便快捷，通常是车辆行驶过程中突发查询的情况很快就会因为地理位置的快速变化而变得不准确或者丧失兴趣。

鉴于目前在车辆行驶的途中，用户对行驶道路周边感兴趣事物及时知晓的需求，本申请提供了一种感知车辆周边兴趣点的方法、装置、设备及介质，以解决行驶车辆内用户对车辆周边兴趣点查阅的不安全和不及时的需求就显得尤其重要。

发明内容

本申请提供一种感知车辆周边兴趣点的方法、装置、设备及介质，以解决行驶车辆内用户不便对车辆周边兴趣点进行查阅的问题，提高了车辆内用户对车辆周边兴趣点感知的及时性、便捷性和安全性。

本申请的目的及解决其技术问题是采用以下技术方案来实现的。

本申请提供一种感知车辆周边兴趣点的方法，该感知车辆周边兴趣点的方法包括：

获取车辆内用户当前时刻的活动内容；触发预设的查询车辆周边兴趣点条件；

获取所述活动内容时刻的车辆位置和方位；

获取所述活动内容时刻的用户位置和状态；

调用所述活动内容和当前时刻的车辆位置和方位，基于触发的查询车辆周边兴趣点条件，解析用户查询车辆周边兴趣点的意图；

基于用户查询车辆周边兴趣点的意图、解析的所述活动内容中用户的状态，以及所述活动内容和当前时刻的车辆位置和方位，查询得到与用户查询车辆周边兴趣点的意图对应的车辆周边至少一个兴趣点；以及

向车辆内用户反馈车辆周边兴趣点的查询结果信息。

可选的，触发预设的查询车辆周边兴趣点条件包括：

根据预设的查询条件判定所述活动内容是否会触发查询车辆外兴趣点条件；所述预设的查询条件包括手指指向车辆周边或发出问询车辆周边兴趣点的语音；如果活动内容包括预设的查询条件，则触发查询车辆周边兴趣点条件；否则

不触发查询车辆周边兴趣点条件并向用户反馈未包含预设的查询条件的反馈信息。

可选的，获取所述活动内容时刻的车辆位置和方位包括：

基于车辆的运行状态信息和所述活动内容时刻，计算所述活动内容时刻车辆位置的坐标信息，以及车辆在所述位置坐标处运行的方位信息；

获取所述活动内容时刻车辆位置的坐标信息，以及车辆在该位置坐标处运行的方位信息。

可选的，获取所述活动内容时刻的用户位置和状态包括：

获取所述活动内容时刻的用户在车辆内的位置信息，以及该用户当前面部朝向的视野状态信息。

可选的，调用所述活动内容和当前时刻的车辆位置和方位，基于触发的查询车辆周边兴趣点条件，解析用户查询车辆周边兴趣点的意图包括：

基于所述活动内容时刻触发的查询车辆周边兴趣点条件的内容，结合所述活动内容时刻的车辆位置坐标信息，以及车辆在该位置坐标处运行的方位信息，解析用户查询车外兴趣点的意图，并确认用户查询车辆周边兴趣点的意图。

可选的，基于用户查询车辆周边兴趣点的意图、解析的所述活动内容中用户的状态，以及所述活动内容和当前时刻的车辆位置和方位，查询得到与用户查询车辆周边兴趣点的意图对应的车辆周边至少一个兴趣点还包括：

基于获取的所述活动内容时刻的用户在车辆内的位置信息以及该用户当前面部朝向的视野状态信息，通过车窗可视区域过滤查询的车辆周边兴趣点；

将过滤后的每个车辆周边兴趣点设置权重，并对车辆周边兴趣点基于权重进行排序。

可选的，向车辆内用户反馈车辆周边兴趣点的查询结果信息包括：

在车辆内屏幕显示车辆周边兴趣点排序的结果；

在车辆内语音播报权重排序在第一位的车辆周边兴趣点信息。

本申请还提供一种感知车辆周边兴趣点的装置，该感知车辆周边兴趣点的装置包括：

触发单元，用于获取车辆内用户当前时刻的活动内容，触发预设的查询车辆周边兴趣点条件；

定位单元，用于获取所述活动内容时刻的车辆位置和方位；

视觉识别单元，用于获取所述活动内容时刻的用户位置和状态；

意图识别单元，用于调用所述活动内容和当前时刻的车辆位置和方位，基于触发的查询车辆周边兴趣点条件，解析用户查询车辆周边兴趣点意图；

查询结果单元，用于基于用户查询车辆周边兴趣点的意图、解析的所述活动内容中用户的状态，以及所述活动内容和当前时刻的车辆位置和方位，查询得到与用户查询车辆周边兴趣点的意图对应的车辆周边至少一个兴趣点；

反馈单元，用于向车辆内用户反馈车辆周边兴趣点的查询结果信息。

本申请还提供一种电子设备，该电子设备包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述计算机可读指令被所述处理器执行时实现上述所述的方法。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当所述计算机指令在设备上运行时，使得所述设备执行上述所述的方法。

本申请与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本申请至少具有以下优点及有益效果之一：

一、本申请通过获取车辆内用户当前时刻的活动内容；触发预设的查询车辆周边兴趣点条件；获取所述活动内容时刻的车辆位置和方位；获取所述活动内容时刻的用户位置和状态；调用所述活动内容和当前时刻的车辆位置和方位，基于触发的查询车辆周边兴趣点条件，解析用户查询车辆周边兴趣点的意图；基于用户查询车辆周边兴趣点的意图、解析的所述活动内容中用户的状态，以及所述活动内容和当前时刻的车辆位置和方位，查询得到与用户查询车辆周边兴趣点的意图对应的车辆周边至少一个兴趣点；向车辆内用户反馈车辆周边兴趣点的查询结果信息。本申请通过结合当前的车辆位置和用户手势的方向判断要查询的具体位置，而无需用户告知具体的位置及方位，且通过语音的方式直接查询车辆周边兴趣点，并通过语音将结果播报给用户，无需用户手动通过地图查询。

二、本申请通过基于车辆的运行状态信息和所述活动内容时刻，计算所述活动内容时刻车辆位置的坐标信息，以及车辆在所述位置坐标处运行的方位信息；以及获取所述活动内容时刻车辆位置的坐标信息，以及车辆在该位置坐标处运行的方位信息，来准确判断要查询的具体位置，而无需用户告知具体的位置及方位，且提升了车辆内用户对车辆周边兴趣点感知的及时性。

三、本申请通过获取所述活动内容时刻的用户在车辆内的位置信息，以及该用户当前面部朝向的视野状态信息，以及基于所述活动内容时刻触发的查询车辆周边兴趣点条件的内容，结合所述活动内容时刻的车辆位置坐标信息，以及车辆在该位置坐标处运行的方位信息，解析用户查询车外兴趣点的意图，并确认用户查询车辆周边兴趣点的意图，查询得到与用户查询车辆周边兴趣点的意图对应的车辆周边至少一个兴趣点，在存在多个兴趣点时，通过基于获取的所述活动内容时刻的用户在车辆内的位置信息以及该用户当前面部朝向的视野状态信息，通过车窗可视区域过滤查询的车辆周边兴趣点；将过滤后的每个车辆周边兴趣点设置权重，并对车辆周边兴趣点基于权重进行排序。本申请通过上述方式保证了用户查询车辆周边兴趣点的意图下查询用户兴趣点的准确性，以及便利性。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1是本申请实施例的一种感知车辆周边兴趣点的方法的流程示意图；

图2是本申请一实施例的一种感知车辆周边兴趣点的场景示意图；

图3是本申请一实施例的车辆内用户实施的活动内容为一个手指指向的状态示意图。

图4是本申请实施例的车窗可视区域过滤无效兴趣点的示意图；

图5是本申请实施例的一种感知车辆周边兴趣点的装置的结构示意图；

图6是本申请一实施例的一种感知车辆周边兴趣点的步骤流程示意图；

图7是本申请实施例的电子设备结构示意图。

具体实施方式

为更进一步阐述本申请为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本申请提出的其具体实施方式、结构、特征及其功效，详细说明如下。

本申请提供一种感知车辆周边兴趣点的方法，如附图1-2所示，该感知车辆周边兴趣点的方法包括：获取车辆内用户当前时刻的活动内容；触发预设的查询车辆周边兴趣点条件；获取所述活动内容时刻的车辆位置和方位；获取所述活动内容时刻的用户位置和状态；调用所述活动内容和当前时刻的车辆位置和方位，基于触发的查询车辆周边兴趣点条件，解析用户查询车辆周边兴趣点的意图；基于用户查询车辆周边兴趣点的意图、解析的所述活动内容中用户的状态，以及所述活动内容和当前时刻的车辆位置和方位，查询得到与用户查询车辆周边兴趣点的意图对应的车辆周边至少一个兴趣点；向车辆内用户反馈车辆周边兴趣点的查询结果信息。

需要说明的是，当前时刻的活动内容包括车辆内部用户语音指令、用户手势，车辆状态等与之类似的事件信息，其中车辆内部用户包括驾驶员或者乘客等人。车辆在双向车道内的一边单向行驶，传感器获取车辆内用户当前时刻的活动内容，根据用户当前时刻的活动内容触发预设的查询车辆周边兴趣点条件，如车辆内乘客在车辆内执行如附图3中示意的手指指向时，由车内的视觉识别装置获取乘客在车辆内当前时刻的示意的手指指向状态，触发预设的查询车辆周边兴趣点条件。

可选的，在本申请的一实施例中，触发预设的查询车辆周边兴趣点条件包括：根据预设的查询条件判定所述活动内容是否会触发查询车辆外兴趣点条件；所述预设的查询条件包括手指指向车辆周边或发出问询车辆周边兴趣点的语音；如果活动内容包括预设的查询条件，则触发查询车辆周边兴趣点条件；否则不触发查询车辆周边兴趣点条件并向用户反馈未包含预设的查询条件的反馈信息。

需要说明的是，如附图3所示，附图3为车辆内用户实施的活动内容为一个手指指向的状态示意图。在车辆行驶过程中，车辆内乘客对前方施以一个示意的手指指向，大拇指指向向上，最小的三个手指并拢弯曲，由食指伸直指向一个方向，该示意的手指指向由车内视觉识别传感器拍摄采集和获取到拍摄的乘客手势，根据预设的查询条件判定示意的手指指向触发查询车辆外兴趣点条件；进而触发查询车辆周边兴趣点条件，进而通过上述示意的手指指向查询车辆周边可能的兴趣点，并向用户反馈包含乘客感兴趣的兴趣点信息。

可选的，在本申请的一实施例中，获取所述活动内容时刻的车辆位置和方位包括：基于车辆的运行状态信息和所述活动内容时刻，计算所述活动内容时刻车辆位置的坐标信息，以及车辆在所述位置坐标处运行的方位信息；获取所述活动内容时刻车辆位置的坐标信息，以及车辆在该位置坐标处运行的方位信息。

需要说明的是，上述附图3中示意的手指指向一个明确的方位，基于车辆的运行状态信息和所述示意的手指指向的时刻，计算所述示意的手指指向时刻车辆位置的坐标信息，以及车辆在所述位置坐标处运行的方位信息，如附图2中显示北偏西的方位信息；通过获取所述活动内容时刻车辆位置的坐标信息，以及车辆在该位置坐标处运行的向北的方位信息，以及所述示意的手指指向时刻车辆位置的北偏西的方位信息，可以查询到乘客所述示意的手指指向的兴趣点方位(方向和位置)。

可选的，在本申请的一实施例中，获取所述活动内容时刻的用户位置和状态包括：获取所述活动内容时刻的用户在车辆内的位置信息，以及该用户当前面部朝向的视野状态信息。

需要说明的是，本申请中在获取所述示意的手指指向时刻的用户相对于车辆内的方位信息，以及该用户当前面部朝向的视野状态信息，其中，该用户当前面部朝向的视野状态信息还包括所述示意的手指指向相对于车辆的相对方位，判断当前乘客的所述示意的手指指向基于车辆内空间位置关系实际的指向方位(方向和位置)。

可选的，在本申请的一实施例中，调用所述活动内容和当前时刻的车辆位置和方位，基于触发的查询车辆周边兴趣点条件，解析用户查询车辆周边兴趣点的意图包括：基于所述活动内容时刻触发的查询车辆周边兴趣点条件的内容，结合所述活动内容时刻的车辆位置坐标信息，以及车辆在该位置坐标处运行的方位信息，解析用户查询车外兴趣点的意图，并确认用户查询车辆周边兴趣点的意图。

需要说明的是，解析用户查询车外兴趣点的意图，并确认用户查询车辆周边兴趣点的意图包括，除了根据当前时刻的乘客所述示意的手指指向状态之外，还可以结合视觉识别传感器拍摄采集的当前时间段乘客双眼的视觉方向，以及在当前时间段内乘客的语音信息，综合乘客的上述信息和车辆的相关信息，解析用户查询车外兴趣点的意图如“那是哪里？”，并确认乘客想要查询的车辆周边兴趣点的意图是“那是哪里？”。

可选的，在本申请的一实施例中，基于用户查询车辆周边兴趣点的意图、解析的所述活动内容中用户的状态，以及所述活动内容和当前时刻的车辆位置和方位，查询得到与用户查询车辆周边兴趣点的意图对应的车辆周边至少一个兴趣点还包括：基于获取的所述活动内容时刻的用户在车辆内的位置信息以及该用户当前面部朝向的视野状态信息，通过车窗可视区域过滤查询的车辆周边兴趣点；将过滤后的每个车辆周边兴趣点设置权重，并对车辆周边兴趣点基于权重进行排序。

需要说明的是，当查询得到与用户查询车辆周边兴趣点的意图对应的车辆周边只有一个兴趣点时，直接将该查询的兴趣点通过兴趣点查询装置输出至屏幕进行显示，或者语音播报查询到的该兴趣点。如果经查询得到与用户查询车辆周边兴趣点的意图对应的车辆周边有多个兴趣点时，基于获取的当前时段的所述用户语音信息和用户示意的手指指向，以及用户示意的手指指向的当前时刻时该用户当前面部朝向的视野状态信息，结合车窗可视区域过滤查询获得的车辆周边兴趣点，并对过滤后的每个车辆周边兴趣点设置权重值，并对车辆周边兴趣点基于权重进行排序，已筛选和排序迅速自动的找出用户查询车辆周边兴趣点的意图所对应的车辆周边的多个兴趣点。如附图4所述，附图4为车辆内驾驶员在车辆内基于车辆驾驶员的位置和在车辆内的视野将车辆周边划分为驾驶员兴趣点无效区域和驾驶员兴趣点有效区域，采用驾驶员兴趣点有效区域对车辆周边可能的兴趣点进行筛选，筛选出符合驾驶员查询车辆周边兴趣点的意图的有效兴趣点，并对筛选的有效兴趣点赋予一定的权重值进行排序，如可以基于方位和离驾驶员距离的远近，以及当前天气状况的情况对靠近驾驶员正前方，距离近，在当前天气状况可视的范围内的有效兴趣点赋予比例大的权值，并对车辆周边筛选后的有效兴趣点基于权重进行排序。

可选的，在本申请的一实施例中，向车辆内用户反馈车辆周边兴趣点的查询结果信息包括：在车辆内屏幕显示车辆周边兴趣点排序的结果；在车辆内语音播报权重排序在第一位的车辆周边兴趣点信息。

需要说明的是，以通过筛选和排序的方式，迅速自动的找出用户查询车辆周边兴趣点的意图所对应的车辆周边最有可能的那个兴趣点，并采用语音播报的方式对外播报。还可以将车辆周边兴趣点排序后的结果在车辆内屏幕上显示。

本申请还提供一种感知车辆周边兴趣点的装置，如附图5所示，图5为本申请实施例的一种感知车辆周边兴趣点的装置的结构示意图。该感知车辆周边兴趣点的装置500包括如下各单元：

触发单元510，用于获取车辆内用户当前时刻的活动内容，触发预设的查询车辆周边兴趣点条件。

定位单元520，用于获取所述活动内容时刻的车辆位置和方位。

视觉识别单元530，用于获取所述活动内容时刻的用户位置和状态。

意图识别单元540，用于调用所述活动内容和当前时刻的车辆位置和方位，基于触发的查询车辆周边兴趣点条件，解析用户查询车辆周边兴趣点意图。

结果查询单元550，用于基于用户查询车辆周边兴趣点的意图、解析的所述活动内容中用户的状态，以及所述活动内容和当前时刻的车辆位置和方位，查询得到与用户查询车辆周边兴趣点的意图对应的车辆周边至少一个兴趣点。

反馈单元560，用于向车辆内用户反馈车辆周边兴趣点的查询结果信息。

需要说明的是，所述定位单元采用驾驶车辆中的定位设备对车辆的位置和行驶车辆的方位进行定位。视觉识别单元用视觉识别模块获取乘客手势，通过解析乘客手势指向判断该兴趣点有效区域。意图识别单元用于获取乘客语音指令，解析查询车辆周边兴趣点意图。本申请通过上述解析查询的车辆周边兴趣点意图和解析手势指向之一结合识别车辆位置及方位信息，在结果查询单元中查询得到与用户查询车辆周边兴趣点的意图对应的车辆周边至少一个兴趣点。反馈单元560，包括屏幕显示单元561和语音报备单元562，上述兴趣点可以通过屏幕显示单元显示所有查询到的兴趣点和/或语音报备单元播报所有兴趣点中与用户最相关的兴趣点信息。

可选的，在本申请的实施例中，如附图6所示，附图6为本申请一实施例的一种感知车辆周边兴趣点的步骤流程示意图。感知车辆周边兴趣点的装置500开始工作时，由摄像机传感器采集车辆内用户的活动内容，所述用户的活动内容包括用户语音指令和用户手势两者至少之一，获取车辆内用户当前时刻的活动内容，根据获取的用户语音指令或用户手势，或者获取的用户语音指令和用户手势与触发预设的查询车辆周边兴趣点条件比较，如果上述所述活动内容符合触发预设的查询车辆周边兴趣点条件如车辆内乘客用手指向车外的某一兴趣点，或者唤醒车内语音助手说：“这是哪？”或“这是什么？”，触发触发单元510中预设的查询车辆周边兴趣点条件，基于车辆内乘客上述活动内容判断监测是否符合预设的查询车辆周边兴趣点条件如触发兴趣点查询语音指令，如果监测符合预设的查询车辆周边兴趣点条件如触发兴趣点查询语音指令(也即检测触发兴趣点查询语音指令)，则进一步检测目标用户手势；否则返回到开始阶段，继续用摄像机传感器采集车辆内用户的活动内容。当触发单元510获取车辆内用户当前时刻的活动内容中检测的目标用户手势，如果检测到目标用户的手势，则将上述活动内容信息输至视觉识别单元530中对目标用户手势进行解析，具体解析的内容包括解析用户手势指向的方向及角度；在目标用户手势状态的时刻，由定位单元520获取所述活动内容时刻的车辆的位置和方位，以及行驶的方向信息。由上述解析出的用户手势方向及角度信息，获取车辆位置及行驶方向信息，及手势用户进行手势时刻的朝向信息及目标用户所在车窗可视区域过滤无效兴趣点信息等输至结果查询单元550，基于用户查询车辆周边兴趣点的意图、解析的所述活动内容中用户的状态，以及所述活动内容和当前时刻的车辆位置和方位，查询得到与用户查询车辆周边兴趣点的意图对应的车辆周边至少一个确定的兴趣点区域。如果未检测到目标用户的手势，就将未检测到目标用户的手势的结果输至反馈单元560向车辆内用户反馈未识别到手势的信息。

本申请还提供一种电子设备，如附图7所示，该电子设备700包括：存储器710，用于存储非暂时性计算机可读指令730；以及处理器720，用于运行所述计算机可读指令730，使得所述计算机可读指令730被所述处理器720执行时实现上述所述的方法。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当所述计算机指令在设备上运行时，使得所述设备执行上述所述的方法。

需要说明的是，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以一部分采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

以上，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制，虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请,任何熟悉本专业的技术人员，在不脱离本申请技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本申请技术方案内容，依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本申请技术方案的范围内。