提供附加图像的电子装置及其操作方法

技术领域

下面的实施例涉及向使用者提供附加图像的方法，并且更具体地涉及通过显示器向使用者提供用于增强现实的附加图像的方法。

背景技术

近年来，对电子香烟或e-香烟的需求逐渐增加。对电子香烟需求的增加加速了对与电子香烟相关的功能的连续开发。特别地，与电子香烟相关的功能可以包括根据电子香烟的类型和特点的功能。

发明内容

技术问题

一示例性实施例提供了用于向使用者提供附加图像的电子装置。

一示例性实施例提供了由电子装置执行的提供附加图像的方法。

问题的解决方案

根据一示例性实施例，电子装置包括：通信模块，该通信模块被配置成与外部装置进行通信；显示器；以及处理器，该处理器电连接至该通信模块和该显示器，其中，处理器被配置成：通过通信模块从外部装置接收与吸烟事件有关的数据；基于与吸烟事件有关的数据生成图像数据，该图像数据包括与吸烟事件相对应的至少一个图形对象；以及通过显示器输出该图像数据。

通过将图像数据输出而显示的附加图像的光学路径对应于穿过显示器的现实场景的光学路径。

与吸烟事件有关的数据包括与通过外部装置的传感器感测到的加速度变化或压力变化有关的数据。

电子装置还包括麦克风模块，该麦克风模块被配置成获得外部音频数据，其中，处理器还被配置成：当从外部装置接收到与吸烟事件有关的数据时，将麦克风模块启用；对通过启用的麦克风模块获得的外部音频数据进行接收；基于接收到的与吸烟事件有关的数据和接收到的外部音频数据，生成图像数据，该图像数据包括与吸烟事件相对应的至少一个图形对象。

电子装置还包括感测模块，该感测模块包括至少一个传感器，其中，处理器还被配置成：通过感测模块获得与外部装置是否靠近、电子装置的使用者的唇部形状的变化以及电子装置的运动中的至少一者有关的感测数据；根据与接收到的吸烟事件有关数据以及获得的感测数据，生成图像数据，该图像数据包括与吸烟事件相对应的至少一图形对象。

处理器还被配置成：基于与吸烟事件有关的数据确定图像数据的输出时间点；以及通过在输出时间点输出图像数据来控制显示器显示附加图像。

处理器还被配置成：确定第一时间点，电子装置的使用者在该第一时间点处进行第一动作；确定第二时间点，在第一时间点之后，使用者在该第二时间点处进行第二动作；基于第一时间点与第二时间点之间的间隔来确定图像数据的输出时间点。

处理器还被配置成：基于第一时间点与第二时间点之间的间隔来确定吸入持续时间；基于吸入持续时间以及第一时间点与第二时间点之间的间隔来预测开始呼出时间点；以及将开始呼出时间点确定为图像数据的输出时间点。

显示器包括光束输出装置以及半反射镜。

显示器包括出射光瞳扩展器(Exit pupil expander，EPE)装置。

外部装置包括电子香烟。

根据一示例性实施例，一种输出附加图像的方法，该方法由电子装置来执行，该方法包括：从外部装置接收与吸烟事件有关的数据；基于与接收到的吸烟事件有关的数据生成图像数据，该图像数据包括与吸烟事件相对应的至少一个图形对象；以及通过在显示器上输出图像数据来显示附加图像。

本发明的有益效果

可以提供一种在现实世界的视野上显示附加图像的电子装置。

可以提供一种由电子装置执行的提供附加图像的方法。

附图说明

图1示出了根据一示例的无烟吸入系统的示意图。

图2示出了根据一示例的电子装置和无烟吸入装置的框图。

图3示出了根据一示例的提供附加图像的方法的流程图。

图4示出了根据一示例的电子装置的显示器的第一状态。

图5示出了根据一示例的电子装置的显示器的第二状态。

图6示出了根据一示例的响应于抽吸无烟吸入装置时电子装置的显示器的状态。

图7是根据另一示例的电子装置的框图。

图8示出了根据一示例的通过显示器向使用者提供附加图像的方法。

图9示出了根据一示例的通过显示器向使用者提供附加图像的方法。

图10示出了根据一示例的基于音频数据生成图像数据的方法的流程图。

图11示出了根据一示例的基于使用者唇部形状生成图像数据的方法的流程图。

图12a示出了根据一示例的电子装置基于语音识别来搜索位置的示例。

图12b示出了图12a的电子装置的显示位置搜索结果的显示器的示例。

图13a示出了根据一示例的电子装置基于语音识别来接收与平均吸烟量有关的询问的示例。

图13b示出了图13a的电子装置显示平均吸烟量的示例。

图14a示出了根据一示例的使用者的被划分成各个间隔的吸烟动作。

图14b示出了根据一示例的确定图像数据的输出时间点并提供附加图像的方法的流程图。

图15示出了根据一示例的基于使用者与外部装置之间的距离来确定输出时间点的方法的流程图。

图16示出了根据一示例的基于外部装置的电容传感器的值来确定输出时间点的方法的流程图。

图17示出了根据一示例的基于外部装置的坐标变化传感器的值来确定输出时间点的方法的流程图。

具体实施方式

以下对结构或功能的详细描述是仅作为示例提供的，并且可以对实施例进行各种改变和修改。在此，示例不应当被解释受限于本公开，而是应当被理解为包括在本公开的理念和技术范围内的所有改变、等同物乃至替代物。

诸如第一或第二等的术语可以在本文中用于描述各种构成要素。这些术语中的每个术语并非用于限定相应的构成要素的本质、顺序或次序，而是仅用于将相应的构成要素区别于一个或更多个其他构成要素。例如，第一构成要素可以被命名为第二构成要素，并且类似地，第二构成要素同样也可以被命名为第一构成要素。

应当指出的是，如果一个构成要素被描述为与另一个构成要素“连接”、“联接”或“连结”，虽然第一构成要素可以与第二构成要素直接连接、联接或连结，但第三构成要素可以“连接”、“联接”和“连结”在第一构成要素与第二构成要素之间。

除非另有明确指示，否则单数形式“一”、“一种”和“该”旨在也包括复数形式。还应当理解的是，术语“包括/包括有”以及/或者“包含/包含有”在本文中使用时表达存在有所陈述的特征、数字、步骤、操作、元件和/或部件，但并不排除存在或者附加有一个或更多个其他特征、数字、步骤、操作、元件、部件或其组合。

除非另有限定，否则包括技术或者科学术语在内的本文所使用的全部术语都具有与本公开所属领域的普通技术人员通常所理解的含义相同的含义。还应当理解的是，除非在本文中明确限定，否则术语、比如在通常使用的词典中限定的术语应当被解释为具有与其在相关领域的背景下的含义一致的含义，而不能以理想化或过于形式化的含义来解释。

在下文中，将参照附图详细描述各个示例。在参照附图对各个示例进行描述时，类似的附图标记指代类似的部件，并省略与其有关的重复描述。

图1是根据一示例的无烟吸入系统的示意图。

参照图1，无烟吸入系统可以包括电子装置100和无烟吸入装置200。在本文中，电子装置100可以是能够由使用者佩戴(wearable)的电子装置。例如，电子装置100可以对应于呈眼镜或护目镜形式的可穿戴的头戴式显示器(head mounted display)(HMD)(例如，增强现实(AR)眼镜或虚拟现实(VR)装置)。在本文中，无烟吸入装置200可以是向使用者传输尼古丁(或烟草香味)但不产生烟雾的装置。例如，无烟吸入装置200可以是以与常规的气溶胶生成装置的外观相同或相似的外观形成的。另外，呈与常规的气溶胶生成制品的形状相同的形状的无烟烟草可以插入无烟吸入装置200(或从无烟吸入装置200中移除)。然而，对本领域普通技术人员来说明显的是，无烟吸入装置200的外观和可插入(或移除)的无烟烟草的形状不限于此，并且可以根据制造商的设计进行修改。

在一个实施例中，电子装置100可以包括面板(face plate)101和安装部分103。

在一个实施例中，电子装置100的面板101可以佩戴在使用者的前部的至少一部分上。例如，面板101可以包括能够由使用者的面部的前部的至少一部分(例如，鼻梁)来支撑的各种部件(例如，鼻托)。

在一个实施例中，电子装置100的安装部分103可以与面板101的一部分结合并且可以由使用者的身体部分(例如，耳朵)来支撑。例如，安装部分103可以包括眼镜腿(temple)、带(strap)或头盔(helmet)，使得面板101可以紧密地贴合在使用者的眼睛周围。

在一个实施例中，电子装置100可以包括处理器110、显示器120和通信模块130。电子装置100还可以包括传感器(例如，相机)。在一个实施例中，处理器110和通信模块130可以设置在电子装置100的安装部分103的至少一部分上。然而，设置有处理器110和通信模块130的部分不限于此。在另一实施例中，处理器110和通信模块130种的至少一者可以设置在电子装置100的面板101中的除显示器120外的部分上。在一个实施例中，由于显示器120可以是眼镜镜片，因此显示器120可以设置在电子装置100的面板101上。

在一个实施例中，电子装置100和无烟吸入装置200可以经由通信接口来连接和通信。例如，电子装置100的通信模块130可以经由无线通信或有线通信而连接到网络并且可以与无烟吸入装置200通信。无线通信可以包括无线保真(wireless fidelity，Wi-Fi)、蓝牙(Bluetooth，BT)、近场通信(near field communication，NFC)或蜂窝通信(例如，长期演进(LTE)、LTE-A、码分多址(CDMA)、宽带码分多址(WCDMA)和通用移动通信系统(UMTS等))。有线通信可以包括通用串行总线(universal serial bus，USB)或高清晰度多媒体接口(high definition multimedia interface，HDMI)中的至少一者。

在一个实施例中，电子装置100基于通过通信模块130而从无烟吸入装置200接收到的数据来生成图像数据，并通过显示器120输出图像数据来向使用者提供各种图像。在下文提供了对此的详细描述。

图2示出了根据一示例的电子装置和无烟吸入装置的框图。

根据一个实施例，参照图1描述的电子装置100可以包括处理器110、显示器120、通信模块130和传感器140。

根据一个实施例，参照图1描述的无烟吸入装置200可以包括传感器210、处理器220和通信模块230。

在一个实施例中，无烟吸入装置200的处理器220可以对使用者的吸烟事件进行感测。在本文中，“吸烟事件”可以指由无烟吸入装置200中所包括的传感器感测到的使用者的抽吸。也就是说，当感测到使用者通过插入到无烟吸入装置200中的无烟烟草进行吸入时，无烟吸入装置200的处理器220可以对吸烟事件的发生进行感测。

在一个实施例中，无烟吸入装置200的处理器220可以通过传感器210对吸烟事件的发生进行感测。例如，当通过传感器210感测到的压力变化(例如，压降)大于预设阈值时，处理器220可以感测到发生吸烟事件。在一个实施例中，无烟吸入装置200的处理器220可以通过通信模块230将与吸烟事件有关的数据发送到电子装置100。

在一个实施例中，电子装置100的处理器110可以通过通信模块130从无烟吸入装置200接收数据。例如，电子装置100的通信模块130可以与无烟吸入装置200的通信模块230建立通信连接，并且可以从无烟吸入装置200接收与吸烟事件有关的数据。在一个实施例中，当无烟吸入装置200的电源被开启时，电子装置100可以通过通信模块130与无烟吸入装置200的通信模块230自动(automatically)建立通信链接。例如，在建立电子装置100和无烟吸入装置200之间的通信连接之后，当通过无烟吸入装置200的传感器210感测到吸烟事件时，电子装置100可以通过通信模块130从无烟吸入装置200接收与吸烟事件有关的数据。作为另一示例，在电子装置100和无烟吸入装置200之间建立通信连接之后，当通过无烟吸入装置200的传感器210在阈值时间(例如，15秒钟)内没有感测到吸烟事件时，电子装置100可以断开与无烟吸入装置200的通信链接。当电子装置100和无烟吸入装置200之间的通信链接被断开时，无烟吸入装置200的电源可以被关闭。

在一个实施例中，电子装置100的处理器110可以生成与从无烟吸入装置200接收到的吸烟事件有关的图像数据，并且可以通过显示器120将附加图像(即，与吸烟事件有关的图像数据)提供给使用者。在这种情况下，附加图像可以包括与吸烟事件相对应的至少一个图形对象(例如，烟雾对象)。例如，处理器110可以在无烟吸入装置200中的压降结束的时间点之后向使用者提供附加图像，并且该附加图像可以包括与使用者的呼出(exhalation)相对应的烟雾对象。在这种情况下，“压降结束的时间点”可以是在与使用者的一次抽吸动作相对应的时间段内停止吸入的时间点。因此，虽然通过无烟吸入装置200吸烟的使用者实际上不能在视觉上观察到烟雾，但可以通过用烟雾对象来烟雾进行可视化的附加图像来提高使用者的吸烟满意度。

图3示出了根据一示例的提供附加图像的方法的流程图。图4示出了根据一示例的电子装置的显示器的第一状态。图5示出了根据一示例的电子装置的显示器的第二状态。

根据一个实施例，电子装置可以通过操作301、操作303和操作305来向使用者提供附加图像。

在操作301中，电子装置(例如，图2的电子装置100)的处理器(例如，图2的处理器110)通过通信模块(例如，图2的通信模块130)从外部装置(例如，图2的无烟吸入装置200)接收与吸烟事件有关的数据。外部装置可以是电子香烟。

例如，参照图4，当使用者将电子装置100佩戴在使用者的身体部分(例如，头部)上时，使用者可以通过显示器(例如，图2的显示器120)观察到与使用者的视野(FOV)相对应的现实场景400。在这种情况下，显示器120可以是不输出附加图像的透明镜片。因此，使用者通过显示器120看到的现实场景400可以是使用者通过无烟吸入装置200吸烟的实际空间的周围环境。此后，当使用者在佩戴电子装置100的同时通过无烟吸入装置200吸入无烟烟草时，电子装置100的处理器110可以从无烟吸入装置200接收与吸烟事件有关的数据。

根据一个实施例，无烟吸入装置200的处理器(例如，图2的处理器220)可以通过压力传感器(例如，图2的传感器210)对压力变化进行感测，并且可以将通过传感器210首次感测到压力变化的时间点确定为使用者开始通过无烟烟草来吸入的时间点t

根据一个实施例，当使用者结束对无烟烟草的一次吸入时，电子装置100的处理器110可以从无烟吸入装置200接收与吸烟事件结束有关的数据。例如，无烟吸入装置200的处理器220可以将通过传感器210感测到的压力变化(例如，压降)不再发生的时间点确定为使用者结束通过无烟烟草的一次吸入的时间点t

在一个实施例中，电子装置100的处理器110可以基于时间点t

如上所述，虽然提供了吸烟事件为基于无烟吸入装置200中的压力变化而检测到的吸烟事件的描述，但吸烟事件可以通过各种传感器来检测。对此，参照图15至图17描述了与吸烟事件有关的各种实施例。

在操作303中，电子装置100的处理器110可以生成包括与吸烟事件相对应的至少一个图形对象的图像数据。图像数据可以是与连续输出图形对象的视频有关的数据。当通过显示器120输出图像数据时，提供给使用者的图像可以被称为附加图像505。例如，当输出附加图像505时，图形对象510的形状可以改变。根据一个实施例，图形对象510可以是烟草烟雾的形状。

根据一个实施例，处理器110可以基于从无烟吸入装置200接收到的数据来确定附加图像505的持续时间，并且处理器110可以确定在附加图像505中输出的图形对象510形状。例如，附加图像505的持续时间可以对应于预测的(或确定的)使用者的呼出持续时间。下文参照图14描述了确定使用者的呼出持续时间的方法。

在操作305中，电子装置100的处理器110可以通过借助于显示器120输出在操作303中生成的图像数据来向使用者提供附加图像505。

如图5中所示的一示例，当使用者通过无烟烟草吸入后呼出时，使用者可以在显示器120上观察到附加图像505与现实场景500交叠的屏幕。在这种情况下，电子装置100可以通过设置在安装部分(例如，图1的安装部分103)上的独立的光束(beam)输出装置将与图像数据有关的光输出到显示器120。向使用者提供的附加图像505可以包括与在抽吸常规香烟(有烟烟草)时可能产生的烟草烟雾相对应的图形对象510。

图6示出了根据一示例的响应于抽吸无烟吸入装置时电子装置的显示器的状态。

参照图6，参照图1描述的电子装置100的处理器110可以在显示器120上向使用者提供与吸烟事件相对应的附加图像610和620。

根据一个实施例，处理器110可以基于使用者的吸入程度生成用于附加图像610和620的图像数据。例如，电子装置100从作为外部装置的图1的无烟吸入装置200接收到的与吸烟事件有关的数据可以包括与使用者吸入程度有关的数据，并且电子装置100的处理器110可以生成与使用者的吸入程度相对应的图像数据。

根据一个实施例，电子装置100可以从无烟吸入装置200接收与压力变化有关的数据作为与使用者的吸入程度有关的数据，并且可以在显示器120上输出与接收到的与压力变化有关的数据对应的图像数据。

例如，电子装置100从无烟吸入装置200接收到的与吸入程度有关的数据可以包括第一吸入压力(负值)。也就是说，当使用者通过无烟吸入装置200的烟嘴部分吸入时，设置在无烟吸入装置200的气流通道上的传感器(例如，图2中的传感器210)可以感测到所述通道中的压降。在这种情况下，第一吸入压力可以是在使用者通过无烟吸入装置200的烟嘴部分实质上轻轻吸入时检测到的压力变化值。

电子装置100可以生成与第一吸入压力相对应的图像数据。例如，电子装置100可以基于预先存储在存储器(未示出)中的数据来确定与第一吸入压力相对应的图像数据。在这种情况下，电子装置100的存储器可以预先存储与压力值相对应的图像数据。然后，当检测到第一吸入压力时，电子装置100可以通过在显示器120上输出与所确定的第一吸入压力相对应的图像数据来向使用者提供附加图像610。例如，使用者可以在显示器120上看到与所确定的第一吸入压力相对应的附加图像610和现实场景600a交叠的屏幕。

作为另一示例，电子装置100从无烟吸入装置200接收到的与吸入程度有关的数据可以包括第二吸入压力(负值)。也就是说，当使用者通过无烟吸入装置200的烟嘴部分吸入时，设置在无烟吸入装置200的气流通道中的传感器210可以感测到通道中的压降。在这种情况下，第二吸入压力可以是在使用者通过抽吸无烟吸入装置200的烟嘴部分实质上有力地吸入时检测到的压力变化值。另外，第二吸入压力的绝对值可以大于第一吸入压力的绝对值。

电子装置100可以确定与第二吸入压力相对应的图像数据。例如，电子装置100可以基于预先存储在存储器(未示出)中的数据来确定与第二吸入压力相对应的图像数据。然后，电子装置100可以通过在显示器120上输出与所确定的第二吸入压力相对应的图像数据来向使用者提供附加图像620。例如，使用者可以在显示器120上看到与所确定的第二吸入压力相对应的附加图像620和现实场景600b交叠的屏幕。

与第一吸入压力相对应的附加图像610和与第二吸入压力相对应的附加图像620可以包括不同的图形对象。例如，与第一吸入压力相对应的附加图像610和与第二吸入压力相对应的附加图像620均可以包括描绘出烟草烟雾的图形对象，但烟草烟雾的特性(例如，烟草烟雾的量和/或烟草烟雾的形状)可能彼此不同。也就是说，与使用者相对轻地吸入时的附加图像610相比，使用者通过抽吸无烟吸入装置200的烟嘴部分相对有力地吸入时的附加图像620可以包括更大且更丰富的烟草烟雾的形状。

在一个实施例中，电子装置100可以从无烟吸入装置200接收与吸入持续时间有关的数据来作为与使用者吸入程度有关数据，电子装置100可以生成与接收到的与吸入持续时间有关的数据相对应的图像数据，并且可以在显示器120上输出图像数据。

例如，电子装置100从无烟吸入装置200接收到的与吸入程度有关的数据可以包括第一吸入时间(例如，1秒钟)。也就是说，当使用者通过无烟吸入装置200的烟嘴部分吸入时，无烟吸入装置200可以通过无烟吸入装置200中所包括的压力传感器或电容传感器来感测到使用者开始吸入。然后，通过无烟吸入装置200中所包括的计时器来测量使用者的一次吸入持续时间，无烟吸入装置200可以确定第一吸入时间为1秒钟。在这种情况下，第一吸入持续时间可以是在使用者通过无烟吸入装置200的烟嘴部分吸入相对较短时间时检测到的吸入持续时间。

电子装置100可以确定与第一吸入持续时间相对应的图像数据。例如，电子装置100可以基于预先存储在存储器中的数据来生成与第一吸入持续时间相对应的图像数据。在这种情况下，可以在电子装置100的存储器中预先存储与在无烟吸入装置200中的吸入持续时间相对应的图像数据。然后，电子装置100可以通过在显示器120上输出与所确定的第一吸入持续时间相对应的图像数据来向使用者提供附加图像610。例如，使用者可以在显示器120上看到与所确定的第一吸入持续时间相对应的附加图像610和现实场景600a叠加的屏幕。

例如，电子装置100从无烟吸入装置200接收到的与抽吸程度有关的数据可以包括第二吸入时间(例如，2秒钟)。也就是说，当使用者通过抽吸无烟吸入装置200的烟嘴部分吸入时，无烟吸入装置200可以通过无烟吸入装置200中所包括的压力传感器或电容传感器来感测到使用者开始吸入。然后，通过无烟吸入装置200中所包括的计时器来测量使用者的一次吸入持续时间，无烟吸入装置200可以确定第二吸入持续时间为2秒钟。在这种情况下，第二吸入持续时间可以是在使用者通过无烟吸入装置200的烟嘴部分吸入相对较长时间时检测到的吸入持续时间。

电子装置100可以确定与第二吸入持续时间相对应的图像数据。例如，电子装置100可以基于预先存储在存储器中的数据来生成与第二吸入持续时间相对应的图像数据。然后，电子装置100可以通过在显示器120上输出与所确定的第二吸入持续时间相对应的图像数据来向使用者提供附加图像620。例如，使用者可以在显示器120上看到与所确定的第二吸入持续时间相对应的附加图像620和现实场景600b交叠的屏幕。

与第一吸入持续时间相对应的附加图像610和与第二吸入持续时间相对应的附加图像620可以包括不同的图形对象。例如，与第一吸入持续时间相对应的附加图像610和与第二吸入持续时间相对应的附加图像620均可以包括描绘出烟草烟雾的图形对象，但烟草烟雾的特性(例如，烟草烟雾的量和/或烟草烟雾的形状)可能彼此不同。也就是说，与使用者吸入相对较短时间时的附加图像610相比，在使用者通过无烟吸入装置200的烟嘴部分吸入相对较长时间时的附加图像620可以包括更大且更丰富的烟草烟雾的形状。

图7是根据另一示例的电子装置的框图。

根据一个实施例，电子装置700可以包括处理器710、显示器720、通信模块730、麦克风模块740和感测模块750。由于图7的电子装置700可以对应于图1的电子装置100，因此图7的对处理器710、显示器720和通信模块730的详细描述可以对应于图1的对处理器110、显示器120和通信模块130的详细描述。

麦克风模块740可以从外部获得音频数据。例如，麦克风模块740可以获得外部音频数据并且将所获得的音频数据转换为电信号。

根据一个实施例，当满足预设条件时，处理器710可以将麦克风模块740从禁用状态切换到启用状态。例如，当电子装置700从无烟吸入装置200接收到与吸烟事件有关的数据时，可以满足预设条件。也就是说，当电子装置700从无烟吸入装置200接收到与吸烟事件有关的数据(例如，与压力变化有关的数据、与使用者的吸入持续时间有关的数据等)时，处理器710可以将麦克风模块740从禁用状态切换到启用状态。

根据一个实施例，感测模块750可以包括至少一个传感器来对电子装置700的操作状态或外部环境状态进行感测，并生成与感测到的状态相对应的电信号或数据值。例如，感测模块750可以包括接近传感器752、图像传感器754和加速度传感器756。

根据一个实施例，处理器710可以通过接近传感器752来对外部装置(例如，无烟吸入装置200)的接近度进行感测。基于无烟吸入装置200的接近以及通过通信模块730从无烟吸入装置200接收到的与吸烟事件有关的数据，处理器710在显示器720上显示与吸烟事件相对应的图像数据。

根据一个实施例，处理器710可以通过图像传感器754对使用者的唇部形状的变化进行感测。也就是说，为了获得佩戴电子装置700的使用者的唇部形状，图像传感器754可以被布置在电子装置700的面板(例如图1中的面板101)的下部区域的一区域上。处理器710可以基于使用者的唇部形状的变化以及通过通信模块730从无烟吸入装置200接收到的与吸烟事件有关的数据来生成与吸烟事件相对应的图像数据。

根据一个实施例，处理器710可以通过加速度传感器756对电子装置700的运动进行感测。基于电子装置700的运动以及通过通信模块730从无烟吸入装置200接收到的与吸烟事件有关的数据，处理器710可以通过显示器720生成与吸烟事件相对应的图像数据。

图8示出了根据一示例的通过显示器向使用者提供附加图像的方法。

根据一个实施例，参照图7描述的电子装置700的显示器720-1可以包括玻璃810、光束输出装置820、至少一个透镜830和半反射镜840。例如，电子装置700的处理器710可以通过光束输出装置820输出图像数据。当光束输出装置820所输出的光束通过透镜830和半反射镜840而被提供给使用者的眼睛806时，可以向使用者提供附加图像804。同时，可以向使用者的眼睛806提供现实场景802。换言之，由于图像数据的输出而显示的附加图像804的光学路径和穿过显示器720-1的现实场景802的光学路径可以彼此对应。因此，使用者可以将现实场景802与附加图像804交叠来观察。

图9示出了根据一示例的通过显示器向使用者提供附加图像的方法。

根据一个实施例，参照图7描述的电子装置700的显示器720-2可以包括光波导910、光束输出装置920和至少一个透镜930。例如，显示器720-2可以包括出射光瞳扩展器(Exit pupil expander，EPE)装置。

电子装置700的处理器710可以通过光束输出装置920输出图像数据。光束输出装置920所输出的光束可以行进穿过透镜930和光波导910。当行进穿过光波导910的光束被提供给使用者的眼睛906时，可以向使用者提供附加图像904。同时，可以向使用者的眼睛906提供现实场景902。换言之，由于图像数据的输出而显示的附加图像904的光学路径和穿过显示器720-2的现实场景902的光学路径可以彼此对应。因此，使用者可以观察到与附加图像904交叠的现实场景902。

图10示出了根据一示例的基于音频数据生成图像数据的方法的流程图。

根据一个实施例，上面参照图3描述的操作303可以包括操作1001、操作1003和操作1005。操作1001、操作1003和操作1005可以由图1的电子装置100的处理器110或者图7的电子装置700的处理器710来执行。

在操作1001中，电子装置700的处理器710可以将麦克风模块(例如，图7的麦克风模块740)从禁用状态切换到启用状态。例如，当满足预设条件时，处理器710可以将麦克风模块740从禁用状态切换到启用状态。在这种情况下，当从无烟吸入装置(例如，图2的无烟吸入装置200)接收到与吸烟事件有关的数据、建立了与无烟吸入装置200的通信链接以及/或者接收到用于将麦克风模块740启用的使用者输入时，可以满足预设条件。

在操作1003中，电子装置700的处理器710可以接收通过麦克风模块740从外部获得的音频数据。例如，音频数据可以包括与使用者通过无烟吸入装置200的烟嘴部分吸入时的吸入相对应的声音信号和/或与紧随吸入之后的呼出相对应的声音信号。

根据一个实施例，麦克风模块740还可以包括将外部获得的作为模拟信号的声音信号转换为数字信号的模数转换器(analog to digital converter，ADC)。例如，麦克风模块740的ADC可以将从外部获得的与使用者的吸入和/或呼出相对应的声音信号转换为数字信号，并且电子装置700的处理器710可以将所转换的数字信号存储在存储器中。在这种情况下，ADC可以通过比如采样、量化、编码等的一系列步骤来将从外部获得的与使用者的吸入和/或呼出相对应的声音信号转换为数字信号。之后，当通过麦克风模块740接收到音频数据时，电子装置700的处理器710可以基于存储器中所存储的数字信号来确定接收到的音频数据包括与使用者的吸入相对应的声音信号还是包括与呼出相对应的声音信号。

在操作1005中，电子装置700的处理器710可以基于音频数据和接收到的与吸烟事件有关的数据来输出图像数据。

在本文中，“与吸烟事件有关的数据”可以是与当使用者通过无烟吸入装置200吸入无烟烟草时无烟吸入装置200内的压力变化有关的数据。另外，在本为中，“音频数据”可以包括与吸烟者的吸入的相对应的声音信号和/或与吸烟者的呼出相对应的声音信号。

例如，当从无烟吸入装置200接收到与大于预设阈值的压力变化有关的数据并且从麦克风模块740接收到包括与使用者的吸入相对应的声音信号的音频数据时，电子装置700的处理器710可以在显示器720上输出图像数据。在这种情况下，可以基于从无烟吸入装置200接收到的压力变化值和从麦克风模块740接收到的声音信号来确定图像数据。

例如，当从无烟吸入装置200接收到与大于预设阈值的压力变化有关的数据时，电子装置700的处理器710可以生成要在显示器720上输出的图像数据。之后，当从麦克风模块740接收到包括与使用者呼出相对应的声音信号的音频数据时，电子装置700的处理器710从接收到音频数据的时间点起在显示器720上输出图像数据。

图11示出了根据一示例的基于使用者的唇部形状的形状来生成图像数据的方法的流程图。

根据一个实施例，参照图3描述的操作303可以包括操作1101和操作1103。操作1101和操作1103可以由图1的电子装置100的处理器110或者图7的电子装置700的处理器710来执行。

在操作1101中，电子装置700的处理器710可以通过感测模块750获得与无烟吸入装置200的接近度、使用者的唇部形状的变化以及无烟吸入装置200的运动中的至少一者有关的数据。

例如，电子装置700的处理器710可以通过接近传感器(例如，图7中的接近传感器752)获得与无烟吸入装置200是否靠近电子装置700有关的数据。也就是说，如果使用者佩戴了电子装置700，则电子装置700的处理器710可以基于无烟吸入装置200靠近电子装置700来检测使用者的吸烟事件。

例如，电子装置700的处理器710可以通过图像传感器754获得与使用者的唇部形状的改变有关的数据。也就是说，当使用者佩戴了电子装置700时，电子装置700的处理器710可以基于使用者的唇部形状改变为预定形状(例如，发出“o”音时的唇部形状)来确定使用者进行了吸烟操作。

例如，电子装置700的处理器710可以通过加速度传感器756获得与电子装置700的运动有关的数据。也就是说，当使用者佩戴了电子装置700时，电子装置700的处理器710可以基于检测到的佩戴电子装置700的使用者的运动来对使用者的吸烟事件进行检测。

在操作903中，电子装置700的处理器710可以基于接收到的与吸烟事件有关的数据和所获得的感测数据来生成图像数据。

例如，当从无烟吸入装置200接收到与大于预设阈值的压力变化有关的数据并且从感测模块750接收到无烟吸入装置200的接近度、使用者的唇部形状的改变以及电子装置700的运动中的至少一个感应数据时，电子装置700的处理器710可以在显示器720上输出图像数据。在这种情况下，可以基于从无烟吸入装置200接收到的压力变化值和从感测模块750接收到的感测数据来生成图像数据。

图12A示出了根据一例的电子装置基于语音识别来搜索位置的示例。图12B示出了图12A的电子装置的显示位置搜索结果的显示器的示例。

参照图12A，电子装置700、无烟吸入装置200和使用者终端装置1200可以经由通信接口来连接和通信。例如，电子装置700的通信模块730可以经由无线通信或有线通信连接到网络，并且可以与无烟吸入装置200和/或使用者终端装置1200通信。

在一个实施例中，电子装置700可以通过麦克风模块740来执行语音识别。例如，电子装置700的处理器710可以将预定语音(例如，“好的，装置”)预设为用于将单独的语音识别处理器启用的唤醒命令1210(wake-up command)。然后，当语音“好的，装置”被输入到麦克风模块740时，处理器710可以确定接收到的语音对应于预设语音并且将语音识别处理器启用。

在一个实施例中，电子装置700的处理器710可以将预定语音(例如，“附近”、“周围”、“哪里”、“查找”和“告诉”等)预设为用于向使用者终端装置1200请求地图数据的命令。随后，当语音“寻找附近的吸烟亭”1220被输入到麦克风模块740时，电子装置700的处理器710可以确定所输入的语音是否包括预设命令。当电子装置700的处理器710确定所输入的语音包括预设命令时，电子装置700的处理器710通过通信模块730向使用者终端装置1200请求地图数据。

参照图12b，电子装置700的处理器710可以通过显示器720生成包括位置搜索结果的图像数据。例如，使用者可以在显示器720上看到从使用者终端装置1200接收到的地图数据与现实场景交叠的屏幕1230。在这种情况下，从使用者的终端装置1200接收到的地图数据可以是使用者终端装置1200通过镜像技术共享的数据。例如，从使用者终端装置1200接收到的地图数据可以是通过使用者终端装置1200的应用程序(例如，导航应用程序)获得的共享地图数据。

图13a示出了根据一示例的电子装置基于语音识别来接收查询平均吸烟量的示例。图13b是图13a的电子装置显示平均吸烟量的示例。

参照图13a，电子装置700、无烟吸入装置200和使用者终端装置1300可以经由通信接口来连接和通信。例如，电子装置700的通信模块730可以经由无线通信或有线通信连接到网络，并且可以与无烟吸入装置200和/或使用者终端装置1300通信。

在一个实施例中，电子装置700可以通过麦克风模块740来执行语音识别。例如，电子装置700的处理器710可以将预定语音(例如，“好的，装置”)预设为用于将单独的语音识别处理器启用的唤醒命令1310(wake-up command)。然后，当语音“好的，装置”被输入到麦克风模块740时，处理器710可以确定所接收到的语音对应于预设语音并且可以将音频识别处理器启用。

在一个实施例中，电子装置700的处理器710可以将预定语音(例如，“这个月”、“今天”、“平均”、“吸烟量”或者“告诉”)预设为向使用者终端装置1300请求平均吸烟量数据和当前吸烟量数据中的至少一者的命令。随后，当语音“告诉我这个月的平均吸烟量”1320被输入到麦克风模块740时，电子装置700的处理器710可以确定所输入的语音是否包括预设命令。当电子装置700的处理器710确定所输入的语音包括预设命令时，电子装置700的处理器710可以通过通信模块730向使用者终端装置1300请求平均吸烟量数据和当前吸烟量数据中的至少一者。

参照图13b，电子装置700的处理器710可以通过显示器720显示包括平均吸烟量数据的图像数据。例如，使用者可以在显示器720上看到从使用者终端装置1300接收到的平均吸烟量数据与现实场景交叠的屏幕1330。在这种情况下，从使用者终端装置1300接收到的平均吸烟量数据可以是使用者终端装置1300通过镜像技术共享的数据。例如，从使用者终端装置1300接收到的平均吸烟量数据可以是通过使用者终端装置1300的应用程序(例如，吸烟习惯监测应用程序)获得的共享的吸烟量数据。

图14a示出了根据一示例的使用者的被划分成各个间隔的吸烟动作。

根据一个实施例，使用者可以从时间点t

参照图14a，在一个实施例中，使用者可以在时间点t

根据一个实施例，在时间点t

根据一实施例，在时间点t

根据一实施例，可以基于间隔D

如果可以预测间隔D

根据一实施例，可以基于间隔D

根据一实施例，使用者可以预先在电子装置700中设定与间隔D

图14b示出了根据一示例的确定图像数据输出时间点并提供附加图像的方法的流程图。

在根据一个实施例的虚拟吸烟系统中，使用者可以通过将经由现实世界中的外部装置(例如，图2的无烟吸入装置200)的吸烟与电子装置(例如，图7的电子装置700)结合来体验吸烟的VR或AR。更具体地，在一个实施例中，通过在使用者于无烟吸入装置200上进行吸烟期间呼出的时间点在虚拟空间中实现虚拟烟雾，电子装置700可以在没有差异感的情况下实现虚拟烟雾。

在一个实施例中，使用者通过将图14a的D

参照图14b，在操作1410中，使用者可以将可抽吸物质从无烟吸入装置200吸入到他或她的口中。电子装置700可以测量使用者进行烟雾抽吸动作(即，将可抽吸物质从无烟吸入装置200吸入到口中的动作)的时间(例如，图14a中的D

在操作1420中，在完成烟雾抽吸动作之后，使用者会进行吸入并放下手的动作。电子装置700可以测量使用者进行吸入并放下手的动作的时间(例如，图14a中的D

在操作1430中，电子装置700可以基于烟雾抽吸时间来预测吸入并放下手的动作的时间以及使用者开始呼出的时间点(例如，图14a中的t

在操作1440中，当使用者开始呼出时，电子装置700可以在使用者呼出期间(例如，图14a中的D

当在开始呼出之后经过预定时间时，电子装置700可以停止1450提供附加图像。

图15示出了根据一示例的基于使用者与外部装置之间的距离来确定输出时间点的方法的流程图。

根据一个实施例，无烟吸入装置200的传感器210可以包括距离检测传感器。例如，距离检测传感器可以是红外传感器、激光雷达传感器或超声波传感器。然而，本公开的距离检测传感器不限于上述传感器。

在一个实施例中，当使用者开始吸烟时，距离检测传感器可以对使用者的身体部分(例如，唇部)与无烟吸入装置200之间的距离进行监测。由距离检测传感器生成的数据可以被发送到电子装置700。电子装置700可以基于距离检测传感器的监测结果来确定图像数据的输出时间点。电子装置700可以通过在所确定的输出时间点向使用者提供附加图像来向使用者提供AR吸烟体验。

根据一个实施例，上参照图14描述的操作1430可以包括下面的操作1510和操作1520。

在操作1510中，电子装置700可以对使用者与无烟吸入装置200之间的距离进行监测。例如，对距离进行监测的操作可以包括对无烟吸入装置200与使用者的身体部分接触时的第一时间点进行感测的操作以及对无烟吸入装置200移动远离使用者的身体部分时的第二时间点进行感测的操作。

例如，对第一时间点进行感测的操作可以包括下述操作：距离检测传感器感测到无烟吸入装置200在第一阈值的距离内接近使用者的身体部分。

例如，对第二时间点进行感测的操作可以包括下述操作：在无烟吸入装置200与使用者的身体部分接触之后，距离检测传感器感测到无烟吸入装置200与使用者的身体部分分开比第二阈值大的距离。

在操作1520中，电子装置700可以基于监测结果来确定图像数据的输出时间点。

第一时间点可以是使用者开始烟雾抽吸动作时的时间点。第一时间点与第二时间点之间的间隔可以是使用者将可抽吸物质从无烟吸入装置200吸入口中的时间，并且可以基于烟雾抽吸时间来预测使用者的第一呼吸时间。在此，第一呼吸是指吸入动作。第二时间点可以是使用者开始吸入(即，将可抽吸物质吸入肺部中的动作)的时间点。可以基于第一时间点与第二时间点之间的间隔以及第一呼吸时间来预测第二呼吸的开始时间点。在此，第二呼吸是指呼出动作。也就是说，第二呼吸的开始时间点可以是使用者开始呼出时的时间点。例如，可以将第二呼吸的开始时间点确定为图像数据的输出时间点。

根据一实施例，由于使用者的烟雾抽吸时间是第一时间点与第二时间点之间的间隔，第一呼吸时间、即使用者进行吸入的时间可以被估算成与烟雾抽吸时间相似。此外，电子装置700可以将第二呼吸的开始时间点、即使用者开始呼出的时间点预测为从第二时间点经过第一呼吸时间的时间点。

例如，当无烟吸入装置200和使用者的身体部分接触的第一时间点与无烟吸入装置200和使用者的身体部分分开的第二时间点之间的持续时间为1秒钟时，第一呼吸时间可以被估算为1秒钟。此外，使用者进行吸入的时间也可以被预测为1秒钟，与第一呼吸时间类似。因此，第二呼吸(吸入)的开始时间点可以被预测为使用者的身体部分与无烟吸入装置200分开后的1秒钟。因此，无烟吸入装置200可以将图像数据的输出时间点确定为无烟吸入装置200与使用者的身体部分分开时的时间点之后的1秒钟。

根据一个实施例，操作1520可以包括基于第一时间点与第二时间点之间的间隔来估算使用者的吸入量以及呼吸量的步骤。使用者的吸入量可以表示在无烟吸入装置200与使用者的身体部分接触时使用者通过无烟吸入装置200吸入的气溶胶的吸入量。使用者的呼吸量可以表示在无烟吸入装置200与使用者的身体部分不接触时使用者的吸入量。可以基于所估算的呼吸量和吸入量来预测图像数据的输出时间点。

在一个实施例中，操作1520可以包括确定无烟吸入装置200是否满足预定操作条件以及基于确定无烟吸入装置200满足操作条件来确定图像数据的输出时间点。例如，当使用者将无烟吸入装置200的电源开启时，或者当无烟吸入装置200中所包括的抽吸传感器或压力传感器检测到吸入时，可以满足预定操作条件。距离检测传感器所感测到的值可能由于使用者的预定的身体部分之外的身体部分(例如，手指)而改变，并且，距离检测传感器可以被配置成仅在使用者将电源开启时进行操作，或者距离检测传感器可以被配置成响应于通过抽吸传感器或压力传感器感测到使用者的吸入来进行操作。然而，本公开的吸入传感器不限于抽吸传感器或压力传感器。

图16示出了根据一示例的基于外部装置的电容传感器的值来确定图像数据的输出时间点的方法的流程图。

在一个实施例中，无烟吸入装置200的传感器210可以包括电容传感器。例如，电容传感器可以是基于电容器(Capacitor)配置的传感器。然而，本公开的电容传感器不限于上述传感器。

在一个实施例中，当使用者开始吸烟并且无烟吸入装置200与使用者的身体部分(例如，唇部)接触时，电容传感器可以对电容传感器的变化的电容进行监测。电容传感器所生成的数据可以被发送到电子装置700。电子装置700可以基于电容传感器的监测结果来确定图像数据的输出时间点。电子装置700可以通过在所确定的输出时间点向使用者提供附加图像来向使用者提供AR吸烟体验。

根据一个实施例，参照图14描述的操作1430可以包括下面的操作1610和操作1620。

在操作1610中，电子装置700可以对电容传感器的变化值进行监测。

根据一个实施例，操作1610可以包括对无烟吸入装置200与使用者的身体部分(例如，唇部)接触时的第一时间点进行感测的操作以及对使用者的身体部分与无烟吸入装置200分开时的第二时间点进行感测的操作。

例如，对第一时间点进行感测的操作可以包括在使用者的身体部分与无烟吸入装置200接触时电容传感器感测到电容达到第一阈值内的操作。当使用者的身体部分(例如，唇部)与电容传感器接触时，电容可以降低到第一阈值以下。

例如，对第二时间点进行感测的操作可以包括电容传感器感测到在使用者的身体部分与无烟吸入装置200分开时感测到的电容超过第二阈值的操作。

在操作1620中，电子装置700可以基于电容的监测结果来确定图像数据的输出时间点。

图17示出了根据一示例的基于外部装置的坐标变化传感器的值来确定图像数据的输出时间点的方法的流程图。

在一个实施例中，无烟吸入装置200可以包括坐标变化传感器。例如，坐标变化传感器可以是诸如陀螺仪传感器、加速度传感器或者3自由度(DOF)/6DOF传感器等的传感器。然而，本公开的坐标变化传感器并不限于上述传感器。

在一个实施例中，当使用者开始吸烟时，坐标变化传感器可以对无烟吸入装置200的坐标变化进行监测。坐标变化传感器所生成的数据可以被发送到电子装置700。电子装置700可以基于坐标变化传感器的监测结果来确定图像数据的输出时间点。电子装置700可以通过在所确定的输出时间点向使用者提供附加图像来向使用者提供AR吸烟体验。

根据一个实施例，参照图14描述的操作1430可以包括下面的操作1710和操作1720。

在操作1710中，电子装置700可以包括对无烟吸入装置200与使用者的身体部分接触时的第一时间点进行感测的操作以及对使用者的身体部分与无烟吸入装置200分开时的第二时间点进行感测的操作。

例如，对第一时间点进行感测的操作可以包括下述操作：当使用者将无烟吸入装置带至使用者的身体部分时，坐标变化传感器感测到无烟吸入装置200在第一阈值坐标内接近使用者的身体部分，并且感测到加速度变化。

例如，对第二时间点进行感测的操作可以包括下述操作：当使用者将无烟吸入装置200与使用者的身体部分分开时，坐标变化传感器感测到使用者的身体部分与无烟吸入装置200分开超过第二阈值坐标，并且感测到加速度变化。

根据一实施例，可以通过将无烟吸入装置200在使用者降低手时的x轴坐标、y轴坐标、z轴坐标与无烟吸入装置200在使用者使无烟吸入装置200与使用者的身体部分接触时的x轴坐标、y轴坐标、z轴坐标进行比较来测量坐标变化。当使用者移动保持有无烟吸入装置200的手时，所测得的加速度会增大，然后减小并且停止。可以通过对加速度的变化中的间隔进行测量来预测坐标变化，并且可以基于所预测的坐标变化来估算使用者的吸烟时间。

在操作1720中，电子装置700可以基于监测结果来确定图像数据的输出时间点。

根据上述示例的方法可以被记录在非暂时性计算机可读介质中，该非暂时性计算机可读介质包括程序指令，以实现上述示例的各种操作。所述介质还可以单独地或者以与程序指令组合的方式包括数据文件、数据结构等。记录在所述介质上的程序指令可以是为示例性实施例而特别设计与构建的程序指令，或者是对计算机软件领域的技术人员而言已知且可用的类型。非暂时性计算机可读介质的示例包括：诸如硬盘、软盘以及磁带等的磁性介质(magnetic media)；诸如CD-ROM盘、DVD和/或蓝光光盘等的光学介质(opticalmedia)；诸如光盘等的磁光介质(magneto-optical media)；以及专门配置成对程序指令进行存储和执行的硬件装置，比如只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪存驱动器、存储卡、记忆棒等)。程序指令的示例不仅包括诸如通过编译器生成的机器代码，还包括含有可以通过使用解释器的计算机来执行的高级代码。上述装置可以被配置成用作一个或更多个软件模块，以执行上述示例性实施例的操作，反之亦然。

软件可以包括计算机程序(computer program)、一段代码(code)、指令(instruction)或其一些组合，以单独或共同(uniformly)地将处理装置指示或配置成按照所需的方式进行操作。软件和数据可以永久或临时地以任何类型的机器、部件(component)、物理或虚拟(pseudo)设备、计算机存储介质或装置来实现，或者以能够提供指令或数据或者能够由处理装置解释的传播信号波(propagated signal wave)来实现。软件还可以分布于网络联接的计算机系统上，使得软件以分布式来存储和执行。软件及数据可以由一个或更多个非暂时性计算机可读存储介质来存储。

上文已经描述了多个示例性实施例。然而，应当理解的是，可以对这些示例性实施例进行各种修改。例如，如果所描述的技术按照不同的顺序来执行，和/或如果所描述的系统、架构、装置或电路中的部件按照不同的方式进行组合以及/或者由其他部件或其等同物来代替或补充，则也可能实现合适的结果。

因此，本公开的范围不是由详细描述来限定的，而是由权利要求及其等同方案来限定的，并且在权利要求的范围内的所有变型及其等同方案都将被解释为包括在本公开内。