一种输入的方法及相关装置

技术领域

本申请涉及输入法技术领域，尤其涉及一种输入的方法及相关装置。

背景技术

近年来，输入法作为人机交互的关键环节得到快速发展，智能终端设备中大多数输入法主要集中于键盘输入、手写输入和语音输入等。

发明人经过研究发现，目前输入法一般是接收用户预先确定的单模态的用户输入信息，上述键盘输入、手写输入和语音输入只有在安静环境下输入准确率较高，当在嘈杂、混乱场景下键盘输入、手写输入和语音输入的输入错误率会由于周围环境以及用户自身因素的影响大大降低；而且上述键盘输入、手写输入和语音输入等也不能完全反映用户与智能终端设备之间真正的人机交互，真正的人机交互不仅仅包括语言交互还包括非语言交互，比如面部表情或者手势姿态等。即，上述键盘输入、手写输入或语音输入在复杂输入环境中输入效率低、输入效果差，导致用户输入体验差。

发明内容

本申请所要解决的技术问题是，提供一种输入的方法及相关装置，获得准确性更高的用户输入信息对应的目标输入内容，该输入方式适用于复杂输入环境，使得用户输入更加高效、更加智能，从而提高用户输入体验。

第一方面，本申请实施例提供了一种输入的方法，该方法包括：

获取多模态输入信息，所述多模态输入信息包括用户输入信息和辅助输入信息；

基于所述用户输入信息、所述辅助输入信息和对应的特征提取器，获得用户输入特征和辅助输入特征；

基于所述用户输入特征、所述辅助输入特征和特征交互网络，获得所述用户输入信息对应的目标输入内容。

可选的，所述用户输入信息包括键盘输入信息、手写输入信息或语音输入信息；当所述用户输入信息包括键盘输入信息时，所述用户输入特征包括键盘输入特征；当所述用户输入信息包括手写输入信息时，所述用户输入特征包括手写特征；当所述用户输入信息包括语音输入信息时，所述用户输入特征包括语音特征。

可选的，所述辅助输入信息包括传感器输入信息和/或视觉输入信息；当所述辅助输入信息包括传感器输入信息时，所述辅助输入特征包括传感器特征；当所述辅助输入信息包括视觉输入信息时，所述辅助输入特征包括视觉特征；当所述辅助输入信息包括传感器输入信息和视觉输入信息时，所述辅助输入特征包括传感器特征和视觉特征。

可选的，所述特征提取器包括可训练特征提取器、不可训练特征提取器或混合特征提取器；其中，所述可训练特征提取器是基于输入信息样本训练浅层网络或者深层网络获得的。

可选的，所述特征交互网络是基于多模态输入特征样本训练浅层网络或者深层网络获得的。

可选的，所述方法还包括：

获得用户个性化特征；

对应地，所述基于所述用户输入特征、所述辅助输入特征和特征交互网络，获得所述用户输入信息对应的目标输入内容，具体为：

基于所述用户个性化特征、所述用户输入特征、所述辅助输入特征和特征交互网络，获得所述用户输入信息对应的目标输入内容。

可选的，所述用户个性化特征包括用户个性化生理特征和/或用户个性化行为特征。

第二方面，本申请实施例提供了一种输入的装置，该装置包括：

多模态输入信息获取单元，用于获取多模态输入信息，所述多模态输入信息包括用户输入信息和辅助输入信息；

输入特征获得单元，用于基于所述用户输入信息、所述辅助输入信息和对应的特征提取器，获得用户输入特征和辅助输入特征；

目标输入内容获得单元，用于基于所述用户输入特征、所述辅助输入特征和特征交互网络，获得所述用户输入信息对应的目标输入内容。

可选的，所述用户输入信息包括键盘输入信息、手写输入信息或语音输入信息；当所述用户输入信息包括键盘输入信息时，所述用户输入特征包括键盘输入特征；当所述用户输入信息包括手写输入信息时，所述用户输入特征包括手写特征；当所述用户输入信息包括语音输入信息时，所述用户输入特征包括语音特征。

可选的，所述辅助输入信息包括传感器输入信息和/或视觉输入信息；当所述辅助输入信息包括传感器输入信息时，所述辅助输入特征包括传感器特征；当所述辅助输入信息包括视觉输入信息时，所述辅助输入特征包括视觉特征；当所述辅助输入信息包括传感器输入信息和视觉输入信息时，所述辅助输入特征包括传感器特征和视觉特征。

可选的，所述特征提取器包括可训练特征提取器、不可训练特征提取器或混合特征提取器；其中，所述可训练特征提取器是基于输入信息样本训练浅层网络或者深层网络获得的。

可选的，所述特征交互网络是基于多模态输入特征样本训练浅层网络或者深层网络获得的。

可选的，所述装置还包括：

用户个性化特征获得单元，用于获得用户个性化特征；

对应地，所述目标输入内容获得单元具体用于：

基于所述用户个性化特征、所述用户输入特征、所述辅助输入特征和特征交互网络，获得所述用户输入信息对应的目标输入内容。

可选的，所述用户个性化特征包括用户个性化生理特征和/或用户个性化行为特征。

第三方面，本申请实施例提供了一种用于输入的装置，该装置包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

获取多模态输入信息，所述多模态输入信息包括用户输入信息和辅助输入信息；

基于所述用户输入信息、所述辅助输入信息和对应的特征提取器，获得用户输入特征和辅助输入特征；

基于所述用户输入特征、所述辅助输入特征和特征交互网络，获得所述用户输入信息对应的目标输入内容。

第四方面，本申请实施例提供了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行上述第一方面中任一项所述的输入的方法。

与现有技术相比，本申请至少具有以下优点：

采用本申请实施例的技术方案，首先，获取多模态输入信息，多模态输入信息包括用户输入信息和辅助输入信息；然后，基于用户输入信息、辅助输入信息和对应的特征提取器，获得用户输入特征和辅助输入特征；最后，基于用户输入特征、辅助输入特征和特征交互网络，获得用户输入信息对应的目标输入内容。由此可见，在用户输入信息的基础上，结合辅助输入信息实现多模态输入，输入不再依赖于单模态的用户输入信息，而是感知更多输入来源，通过用户输入特征和辅助输入特征的特征交互实现多模态交互，联合获得准确性更高的用户输入信息对应的目标输入内容，该输入方式适用于复杂输入环境，使得用户输入更加高效、更加智能，从而提高用户输入体验。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例中一种应用场景所涉及的系统框架示意图；

图2为本申请实施例提供的一种输入的方法的流程示意图；

图3为本申请实施例提供的一种多模态输入架构示意图；

图4为本申请实施例提供的一种车载环境示例下多模态输入架构示意图；

图5为本申请实施例提供的一种输入的装置的结构示意图；

图6为本申请实施例提供的一种用于输入的装置的结构示意图；

图7为本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现阶段，智能终端设备中作为人机交互的关键环节的输入法大多集中于键盘输入、手写输入和语音输入等。发明人经过研究发现，目前输入法一般是接收用户预先确定的单模态的用户输入信息，键盘输入、手写输入和语音输入只有在安静环境下输入准确率较高，当在嘈杂、混乱场景下键盘输入、手写输入和语音输入的输入错误率会由于周围环境以及用户自身因素的影响大大降低；而且键盘输入、手写输入和语音输入等也不能完全反映用户与智能终端设备之间真正的人机交互。即，上述键盘输入、手写输入或语音输入在复杂输入环境中输入效率低、输入效果差，导致用户输入体验差。

为了解决这一问题，在本申请实施例中，首先，获取多模态输入信息，多模态输入信息包括用户输入信息和辅助输入信息；然后，基于用户输入信息、辅助输入信息和对应的特征提取器，获得用户输入特征和辅助输入特征；最后，基于用户输入特征、辅助输入特征和特征交互网络，获得用户输入信息对应的目标输入内容。由此可见，在用户输入信息的基础上，结合辅助输入信息实现多模态输入，输入不再依赖于单模态的用户输入信息，而是感知更多输入来源，通过用户输入特征和辅助输入特征的特征交互实现多模态交互，联合获得准确性更高的用户输入信息对应的目标输入内容，该输入方式适用于复杂输入环境，使得用户输入更加高效、更加智能，从而提高用户输入体验。

举例来说，本申请实施例的场景之一，可以是应用到如图1所示的场景中，该场景包括智能终端设备101和服务器102，智能终端设备101安装输入法软件，智能终端设备101与服务器102进行交互。用户在智能终端设备101上通过输入法软件进行用户输入，智能终端设备101获得用户输入信息，捕捉对应的辅助输入信息，并将用户输入信息和辅助输入信息发送至服务器102；服务器102采用本申请实施例的实施方式获得用户输入信息对应的目标输入内容返回至智能终端设备101，以便智能终端设备101通过输入法软件和用户进行人机交互。

可以理解的是，在上述应用场景中，虽然将本申请实施方式的动作描述由服务器102执行，但是，本申请在执行主体方面不受限制，只要执行了本申请实施方式所公开的动作即可。

可以理解的是，上述场景仅是本申请实施例提供的一个场景示例，本申请实施例并不限于此场景。

下面结合附图，通过实施例来详细说明本申请实施例中输入的方法及相关装置的具体实现方式。

参见图2，示出了本申请实施例中一种输入的方法的流程示意图。在本实施例中，所述方法例如可以包括以下步骤：

步骤201：获取多模态输入信息，所述多模态输入信息包括用户输入信息和辅助输入信息。

需要说明的是，作为人机交互的关键环节的输入法大多集中于键盘输入、手写输入和语音输入等，嘈杂、混乱等场景下手写输入和语音输入的输入错误率会由于周围环境以及用户自身因素的影响大大降低；而且键盘输入、手写输入和语音输入等也不能完全反映用户与智能终端设备之间真正的人机交互。即，上述键盘输入、手写输入或语音输入在复杂输入环境中输入效率低、输入效果差，导致用户输入体验差。因此，在本申请实施例中，在多模态人机交互的发展趋势下，考虑在获取用户输入信息的基础上，还需要获取辅助输入信息，将用户输入信息和辅助输入信息作为多模态输入信息实现多模态输入，使得输入不再依赖于单模态的用户输入信息，而是感知更多输入来源以便后续处理更准确。

其中，用户一般通过智能终端设备上安装的输入法软件进行用户输入，输入法软件的输入方式例如可以包括键盘输入、手写输入和语音输入等。上述输入方式对应的输入信息分别为键盘输入信息、手写输入信息和语音输入信息等，因此，用户输入信息例如可以包括上述三种输入信息中任意一种。即，在本申请实施例一种可选的实施方式中，所述用户输入信息包括键盘输入信息、手写输入信息或语音输入信息。

在用户通过智能终端设备上安装的输入法软件进行用户输入时，智能终端设备还可以利用安装的传感器和/或视觉系统，捕捉获取上述用户输入信息对应的辅助输入信息。其中，传感器获取的辅助输入信息为传感器输入信息，视觉系统获取的辅助输入信息为视觉输入信息。因此，在本申请实施例一种可选的实施方式中，所述辅助输入信息包括传感器输入信息和/或视觉输入信息。

步骤202：基于所述用户输入信息、所述辅助输入信息和对应的特征提取器，获得用户输入特征和辅助输入特征。

需要说明的是，在步骤201获得用户输入信息和辅助输入信息之后，需要提取用户输入信息中的特征作为用户输入特征，并提取辅助输入信息中的特征作为辅助输入特征。具体是指针对用户输入信息和辅助输入信息，按照输入来源利用对应的特征提取器，提取获得用户输入特征和辅助输入特征。

其中，在本申请实施例一种可选的实施方式中，特征提取器既可是基于输入信息样本预先训练浅层网络或者深层网络获得的可训练特征提取器，也可以是不可训练特征提取器，还可以是基于上述可训练特征提取器和上述不可训练特征提取器混合获得的混合特征提取器。

由上述用户输入信息和辅助输入信息的说明，对应地，在本申请实施例一种可选的实施方式中，当所述用户输入信息包括键盘输入信息时，所述用户输入特征包括键盘输入特征，例如，当前输入字符串和历史输入字符串等；当所述用户输入信息包括手写输入信息时，所述用户输入特征包括手写特征，例如，手写坐标变化特征等；当所述用户输入信息包括语音输入信息时，所述用户输入特征包括语音特征，例如，梅尔频率倒谱系数(英文：Mel Frequency Cepstrum Coefficient，缩写：MFCC)特征、感知线性预测)(英文：Perceptual Linear Predict ive，缩写：PLP)特征、FBANK特征等；当所述辅助输入信息包括传感器输入信息时，所述辅助输入特征包括传感器特征，例如，手势变换特征、身体位置特征、身体姿态特征、行进速度特征等；当所述辅助输入信息包括视觉输入信息时，所述辅助输入特征包括视觉特征，例如，面部表情特征、唇型变化特征、身体特征、环境特征等；当然，当辅助输入信息包括传感器输入信息和视觉输入信息时，辅助输入特征包括传感器特征和视觉特征。

步骤203：基于所述用户输入特征、所述辅助输入特征和特征交互网络，获得所述用户输入信息对应的目标输入内容。

需要说明的是，在步骤202获得用户输入特征和辅助输入特征后，由于在用户输入特征的基础上，增加了辅助输入特征，需要将用户输入特征和辅助输入特征进行特征交互实现多模态机交互，以便获得准确性更高的用户输入信息对应的目标输入内容。具体是指针对用户输入特征和辅助输入特征，利用预先训练好的特征交互网络，对用户输入特征和辅助输入特征进行特征交互，从而获得用户输入信息对应的目标输入内容。

其中，在本申请实施例一种可选的实施方式中，特征交互网络例如可以是基于多模态输入特征样本预先训练浅层网络或者深层网络获得的，即，基于用户输入特征样本和辅助输入特征样本预先训练浅层网络或者深层网络获得的。

例如，如图3所示的一种多模态输入架构示意图，其中，用户输入信息和辅助输入信息作为多模态输入信息，分别输入对应的特征提取器获得用户输入特征和辅助输入特征，用户输入特征和辅助输入特征同时输入特征交互网络获得用户输入信息对应的目标输入内容。

作为一种示例，在用户处在嘈杂的车载环境中，假设用户输入信息为语音输入信息“我还在开车，大概还有2个小时才到”，辅助输入信息包括传感器输入信息和视觉输入信息，其中，传感器输入信息为身体姿态信息和行进速度信息，视觉输入信息为面部图像信息，如图4所示的一种车载环境示例下多模态输入架构示意图，语音输入信息、传感器输入信息和视觉输入信息作为多模态输入信息，分别输入对应的特征提取器获得语音输入信息对应的语音特征、传感器输入信息对应的包括身体姿态特征和行进速度特征的传感器特征以及视觉输入信息对应的包括面部表情特征和唇型变化特征的视觉特征，上述语音特征、传感器特征和视觉特征同时输入特征交互网络，辅助车载环境下输入，获得用户输入信息对应的目标输入内容为“我还在开车，大概还有2个小时才到”。相较于嘈杂的车载环境中仅仅单模态的语音输入信息导致语音输入识别结果不理想，该示例在嘈杂的车载环境中增加传感器输入信息和视觉输入信息，能够获得更加合理、准确的语音输入识别结果。

还需要说明的是，还可以预先确定用户输入环境是否为嘈杂、混乱场景，若是则可以相应地利用嘈杂、混乱场景对应的辅助输入信息，与用户输入信息联合获得准确性更高的用户输入信息对应的目标输入内容。

还需要说明的是，在联合用户输入特征和辅助输入特征获得准确性更高的用户输入信息对应的目标输入内容基础上，考虑到不同用户的个性化，使得上述输入的方法对不同用户具有针对性，还可以获得用户个性化特征，以便联合用户输入特征、辅助输入特征和用户个性化特征，获得准确性更高、表现用户个性化的用户输入信息对应的目标输入内容，使得输入的方法在复杂输入环境下不仅更为准确，而且更符合用户个性化特点。因此，在本申请实施例一种可选的实施方式中，例如还可以包括步骤A：获得用户个性化特征；对应地，所述步骤203例如具体可以为：基于所述用户个性化特征、所述用户输入特征、所述辅助输入特征和特征交互网络，获得所述用户输入信息对应的目标输入内容

一般情况下，可以通过用户个性化生理特征和用户个性化行为特征中一个或多个表征用户个性化特征。因此，在本申请实施例一种可选的实施方式中，所述用户个性化特征包括用户个性化生理特征和/或用户个性化行为特征。其中，用户个性化生理特征包括用户指纹特征、用户虹膜特征、用户掌纹特征、用户人脸特征和/或用户声音特征等等，用户个性化行为特征包括用户步态特征等等。

通过本实施例提供的各种实施方式，首先，获取多模态输入信息，多模态输入信息包括用户输入信息和辅助输入信息；然后，基于用户输入信息、辅助输入信息和对应的特征提取器，获得用户输入特征和辅助输入特征；最后，基于用户输入特征、辅助输入特征和特征交互网络，获得用户输入信息对应的目标输入内容。由此可见，在用户输入信息的基础上，结合辅助输入信息实现多模态输入，输入不再依赖于单模态的用户输入信息，而是感知更多输入来源，通过用户输入特征和辅助输入特征的特征交互实现多模态交互，联合获得准确性更高的用户输入信息对应的目标输入内容，该输入方式适用于复杂输入环境，使得用户输入更加高效、更加智能，从而提高用户输入体验。

参见图5，示出了本申请实施例中一种输入的装置的结构示意图。在本实施例中，所述装置例如具体可以包括：

多模态输入信息获取单元501，用于获取多模态输入信息，所述多模态输入信息包括用户输入信息和辅助输入信息；

输入特征获得单元502，用于基于所述用户输入信息、所述辅助输入信息和对应的特征提取器，获得用户输入特征和辅助输入特征；

目标输入内容获得单元503，用于基于所述用户输入特征、所述辅助输入特征和特征交互网络，获得所述用户输入信息对应的目标输入内容。

在本申请实施例一种可选的实施方式中，所述用户输入信息包括键盘输入信息、手写输入信息或语音输入信息；当所述用户输入信息包括键盘输入信息时，所述用户输入特征包括键盘输入特征；当所述用户输入信息包括手写输入信息时，所述用户输入特征包括手写特征；当所述用户输入信息包括语音输入信息时，所述用户输入特征包括语音特征。

在本申请实施例一种可选的实施方式中，所述辅助输入信息包括传感器输入信息和/或视觉输入信息；当所述辅助输入信息包括传感器输入信息时，所述辅助输入特征包括传感器特征；当所述辅助输入信息包括视觉输入信息时，所述辅助输入特征包括视觉特征；当所述辅助输入信息包括传感器输入信息和视觉输入信息时，所述辅助输入特征包括传感器特征和视觉特征。

在本申请实施例一种可选的实施方式中，所述特征提取器包括可训练特征提取器、不可训练特征提取器或混合特征提取器；其中，所述可训练特征提取器是基于输入信息样本训练浅层网络或者深层网络获得的。

在本申请实施例一种可选的实施方式中，所述特征交互网络是基于多模态输入特征样本训练浅层网络或者深层网络获得的。

在本申请实施例一种可选的实施方式中，所述装置还包括：

用户个性化特征获得单元，用于获得用户个性化特征；

对应地，所述目标输入内容获得单元503具体用于：

基于所述用户个性化特征、所述用户输入特征、所述辅助输入特征和特征交互网络，获得所述用户输入信息对应的目标输入内容

在本申请实施例一种可选的实施方式中，所述用户个性化特征包括用户个性化生理特征和/或用户个性化行为特征。

通过本实施例提供的各种实施方式，输入的装置包括多模态输入信息获取单元、输入特征获得单元和目标输入内容获得单元；其中，多模态输入信息获取单元获取多模态输入信息，多模态输入信息包括用户输入信息和辅助输入信息；输入特征获得单元基于用户输入信息、辅助输入信息和对应的特征提取器，获得用户输入特征和辅助输入特征；目标输入内容获得单元基于用户输入特征、辅助输入特征和特征交互网络，获得用户输入信息对应的目标输入内容。由此可见，在用户输入信息的基础上，结合辅助输入信息实现多模态输入，输入不再依赖于单模态的用户输入信息，而是感知更多输入来源，通过用户输入特征和辅助输入特征的特征交互实现多模态交互，联合获得准确性更高的用户输入信息对应的目标输入内容，该输入方式适用于复杂输入环境，使得用户输入更加高效、更加智能，从而提高用户输入体验。

图6是根据一示例性实施例示出的一种用于输入的装置600的框图。例如，装置600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图6，装置600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。

处理组件602通常控制装置600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理部件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为装置600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为装置600生成、管理和分配电力相关联的组件。

多媒体组件608包括在所述装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相互关联的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当装置600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为装置600提供各个方面的状态评估。例如，传感器组件614可以检测到设备600的打开/关闭状态，组件的相对定位，例如所述组件为装置600的显示器和小键盘，传感器组件614还可以检测装置600或装置600一个组件的位置改变，用户与装置600接触的存在或不存在，装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由装置600的处理器620执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种输入的方法，所述方法包括：

获取多模态输入信息，所述多模态输入信息包括用户输入信息和辅助输入信息；

基于所述用户输入信息、所述辅助输入信息和对应的特征提取器，获得用户输入特征和辅助输入特征；

基于所述用户输入特征、所述辅助输入特征和特征交互网络，获得所述用户输入信息对应的目标输入内容。

图7是本申请实施例中服务器的结构示意图。该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)722(例如，一个或一个以上处理器)和存储器732，一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器722可以设置为与存储介质730通信，在服务器700上执行存储介质730中的一系列指令操作。

服务器700还可以包括一个或一个以上电源726，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口758，一个或一个以上键盘756，和/或，一个或一个以上操作系统741，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。