一种声镊定位校准方法、系统、设备和介质

技术领域

本发明涉及声学领域，尤其涉及一种声镊定位校准方法、系统、设备和介质。

背景技术

在微纳米尺度领域，机器人操作系统在许多领域具有广泛应用，如生物医学、材料科学和微电子制造等。其中，声镊技术作为一种非接触操纵方法，因其在精确控制微粒和细胞等物体方面的优势，受到广泛关注。然而，由于声场不可见，机器人的眼-手关系难以直接确定，这给声镊操作平台的校准带来了挑战。

现有的声镊操作平台校准方法通常依赖于精确测量设备和复杂的计算过程，对于实际操作具有一定的限制。此外，这些方法在处理声场和水面上微粒视觉定位的问题时，可能无法提供足够的精度和实时性。

发明内容

鉴于以上现有技术存在的问题，本发明提出一种声镊定位校准方法、系统、设备和介质，主要解决现有定位校准方式较为复杂，处理效率低的问题。

为了实现上述目的及其他目的，本发明采用的技术方案如下。

本申请提供一种声镊定位校准方法，包括：获取声场的焦点在世界坐标系中的第一位置、所述焦点在图像坐标系中的第二位置、信号采集端在世界坐标系下不同扫描时刻的采样位置以及对应扫描时刻所述信号采集端的目标图像，其中所述信号采集端用于对超声换能器产生的所述声场进行扫描；根据所述采样位置和所述第一位置确定所述信号采集端在世界坐标系下的第一运动增量矩阵；根据所述目标图像和所述第二位置确定所述信号采集端在图像坐标系下的第二运动增量矩阵；根据所述第一运动增量矩阵和所述第二运行增量矩阵确定声场坐标与图像坐标的映射矩阵；根据所述映射矩阵进行声场定位，得到声场目标点在世界坐标系下的位置信息。

在本申请一实施例中，获取声场的焦点在世界坐标系中的第一位置和图像坐标系中的第二位置，包括：通过正对所述超声换能器的第一图像采集单元获取初始采样图像；根据所述初始采样图像确定声场区域；通过控制所述信号采集端移动对所述声场区域进行扫描，得到世界坐标系中焦点的第一位置信息；将所述信号采集端移动至焦点位置，通过所述第一图像采集单元采集所述信号采集端的目标采样图像，以将所述目标采样图像中所述信号采集终端表示的焦点位置作为所述第二位置。

在本申请一实施例中，获取信号采集端在世界坐标系下不同扫描时刻的采样位置以及对应扫描时刻所述信号采集端的目标图像，包括：通过控制所述信号采集端在所述声场区域内移动，采集多个扫描时刻所述信号采集端的位置信息作为对应的采样位置；每得到一个所述采样位置，则通过所述第一图像采集单元采集所述信号采集端的第一图像，并通过第二图像采集单元采集所述信号采集端的第二图像，其中所述第二图像采集单元设置于所述超声换能器的侧方；将所述第一图像和所述第二图像作为所述目标图像。

在本申请一实施例中，根据所述采样位置和所述第一位置确定所述信号采集端在世界坐标系下的第一运动增量矩阵，包括：将所述采样位置与所述第一位置组成数据对，得到多组第一校准数据对；根据所述多组第一校准数据对计算均方误差，得到多组第一运动增量对，以基于所述多组第一运动增量对构建所述第一运动增量矩阵，其中所述第一运动增量对表示不同坐标轴方向上的位置偏差。

在本申请一实施例中，根据所述目标图像和所述第二位置确定所述信号采集端在图像坐标系下的第二运动增量矩阵，包括：获取所述信号采集端在所述第一图像中的第三位置、焦点在所述第二图像中的第四位置以及所述信号采集端在所述第二图像中第五位置；将所述第三位置与所述第二位置组成数据对，得到多组第二校准数据对；将所述第五位置与所述第四位置组成数据对，得到多组第三校准数据对；根据所述多组第二校准数据对和所述多组第三校准数据对分别计算对应的均方误差，得到多组第二运动增量对，以基于所述多组第二运动增量对构建所述第二运动增量矩阵，其中所述第二运动增量对用于表示所述第一图像或所述第二图像中不同坐标轴的位置偏差。

在本申请一实施例中，根据所述映射矩阵进行声场定位，包括：从所述第一图像采集单元或所述第二图像采集单元中指定目标点，获取所述目标点在所述第一图像采集单元以及所述第二图像采集单元中的目标位置；根据所述目标位置与预设参考点在世界坐标系下的参考位置计算目标数据对；根据所述目标数据对、参考位置以及所述映射矩阵计算所述目标点在世界坐标系下的位置信息，以完成目标点定位。

在本申请一实施例中，获取所述目标点在所述第一图像采集单元以及所述第二图像采集单元中的目标位置之前，还包括：对所述第一图像采集单元和所述第二图像采集单元进行坐标标定，以建立所述第一图像采集单元获取图像中位置点与所述第二图像采集单元获取图像中位置点的位置对应关系，以基于所述位置对应关系确定所述目标位置。

本申请还提供一种声镊定位校准系统，包括：

信息获取模块，获取声场的焦点在世界坐标系中的第一位置、所述焦点在图像坐标系中的第二位置、信号采集端在世界坐标系下不同扫描时刻的采样位置以及对应扫描时刻所述信号采集端的目标图像，其中所述信号采集端用于对超声换能器产生的所述声场进行扫描；

第一增量计算模块，用于根据所述采样位置和所述第一位置确定所述信号采集端在世界坐标系下的第一运动增量矩阵；

第二增量计算模块，用于根据所述目标图像和所述第二位置确定所述信号采集端在图像坐标系下的第二运动增量矩阵；

映射关系确定模块，用于根据所述第一运动增量矩阵和所述第二运行增量矩阵确定声场坐标与图像坐标的映射矩阵；

定位校准模块，用于根据所述映射矩阵进行声场定位，得到声场目标点在世界坐标系下的位置信息。

本申请还提供一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的声镊定位校准方法的步骤。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的声镊定位校准方法的步骤。

如上所述，本发明提出的一种声镊定位校准方法、系统、设备和介质，具有以下有益效果。

本申请通过信号采集端扫描声场得到声场焦点的位置以及多个采样位置，并结合采集的焦点图像以及采样位置信号采集端图像，得到世界坐标系和图像坐标系中不同位置点的坐标信息，进而基于世界坐标系中的焦点的第一位置和对应采样位置构建第一运动增量矩阵，基于图像坐标系中焦点的第二位置信息与对应采样焦点在目标图像中的位置构建第二运动增量矩阵。根据得到的第一运动增量矩阵和第二运动增量矩阵建立映射矩阵，用于表征世界坐标系下位置点与图像坐标系中位置点的映射关系，基于该映射矩阵可确定采集图像中声场的任意一点在世界坐标系中的位置信息，进而完成声场定位，可辅助操作机器人定位声场中微粒，完成微粒抓取等操作，计算过程简单，操作便捷，可快速高效的完成定位。

附图说明

图1为本申请一实施例中声镊定位校准方法的流程示意图。

图2为本申请一实施例中声镊定位校准系统的模块图。

图3为本申请一实施例中设备的结构示意图。

图4为本申请另一实施例中设备的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种声镊定位校准方法，该方法包括以下步骤：

步骤S100，获取声场的焦点在世界坐标系中的第一位置、所述焦点在图像坐标系中的第二位置、信号采集端在世界坐标系下不同扫描时刻的采样位置以及对应扫描时刻所述信号采集端的目标图像，其中所述信号采集端用于对超声换能器产生的所述声场进行扫描。

在一实施例中，本申请实施例的声场通过超声换能器产生，超声换能器中包含由多个超声换能器单元组成的阵列，超声换能器单元形成的阵列设置于一个平面上，通过不同超声换能器单元发出的声波在空间叠加形成需求的声镊结构。每个超声换能器单元可在空间形成单焦点声场，可针对每个超声换能器单元产生的单焦点声场进行定位和校准。由于声场不可见，可设置超声换能器产生的声场穿过液体，以通过声场的作用在液面上形成凹凸变化，便于直观的观测声场区域。示例性地，可在超声换能器用于产生声场的平面上方设置水箱，超声换能器产生的声场穿过水箱中的液体，在液面上形成凹凸变化，进而通过正对超声换能器的图像采集单元采集液面图像，根据液面图像中凹凸形状及程度确定声场区域。进一步通过移动机构带动信号采集单元在水箱中移动对声场区域进行扫描。以平行于超声换能器产生声场的平面的方向作为水平方向，以垂直于该水平方向的方向作为竖直方向，信号采集单元可采用水听器等，以水听器为例，以水听器的尖端作为信号采集端，通过移动机构先沿水平方向扫描将声压最高的点作为水平面上焦点的位置，再沿竖直方向扫描，将竖直方向上声压最高的点作为空间中焦点的位置，进而得到焦点在世界坐标系下的第一位置信息。在对声场进行扫描的过程，可任意选择多个扫描时刻记录信号采集端的采样位置。由于信号采集端在移动机构上的位置时相对固定的，可通过预先标定的移动机构的坐标系与世界坐标系的对应关系确定信号采集端在每个扫描时刻在世界坐标系中的采样位置。其中采样位置也可通过移动信号采集端在声场区域中随机选择采样点进行位置采样得到，具体得到采样位置的方式可根据实际应用需求进行调整，这里不做限制。此外，图像采集单元可设置于水箱另一侧以正对超声换能器进行图像采集，信号采集端移动到每个采样位置时，可通过图像采集单元采集该扫描时刻的图像作为目标图像，该目标图像中包含信号采集端，可获取信号采集端在目标图像的图像坐标系下的位置信息。

在一实施例中，获取声场的焦点在世界坐标系中的第一位置和图像坐标系中的第二位置，包括：通过正对所述超声换能器的第一图像采集单元获取初始采样图像；根据所述初始采样图像确定声场区域；通过控制所述信号采集端移动对所述声场区域进行扫描，得到世界坐标系中焦点的第一位置信息；将所述信号采集端移动至焦点位置，通过所述第一图像采集单元采集所述信号采集端的目标采样图像，以将所述目标采样图像中所述信号采集终端表示的焦点位置作为所述第二位置。

具体地，可将正对超声换能器的图像采集单元作为第一图像采集单元，通过对该第一图像采集单元采集的图像进行观测，可确定采集图像中波纹的起伏程度，起伏越明显说明对应点位声压越高，因此可将起伏程度最明显的区域作为声场区域，具体声场区域大小划分可根据实际应用需求进行设置和调整，这里不做限制。将信号采集单元的信号采集端移动至声场区域进行扫描，通过扫描可确定声场焦点在世界坐标系下的第一位置信息，将信号采集端移动至焦点出，通过第一图像采集单元可获取包含信号采集端的目标采样图像，进而将读取的目标采样图像中信号采集端的位置信息作为焦点在图像坐标系下的第二位置。

在一实施例中，获取信号采集端在世界坐标系下不同扫描时刻的采样位置以及对应扫描时刻所述信号采集端的目标图像，包括：通过控制所述信号采集端在所述声场区域内移动，采集多个扫描时刻所述信号采集端的位置信息作为对应的采样位置；每得到一个所述采样位置，则通过所述第一图像采集单元采集所述信号采集端的第一图像，并通过第二图像采集单元采集所述信号采集端的第二图像，其中所述第二图像采集单元设置于所述超声换能器的侧方；将所述第一图像和所述第二图像作为所述目标图像。

具体地，也可在超声换能器的侧方设置第二图像采集单元，在信号采集端进行声场扫描过程中，可通过第二图像采集单元从竖直方向上采集包含信号采集端的第二图像。可选择仅基于第一图像进行声场定位校准，也可根据需要选择结合第一图像和第二图像这两个方向的图像进行声场定位校准。

步骤S110，根据所述采样位置和所述第一位置确定所述信号采集端在世界坐标系下的第一运动增量矩阵。

在一实施例中，根据所述采样位置和所述第一位置确定所述信号采集端在世界坐标系下的第一运动增量矩阵，包括：将所述采样位置与所述第一位置组成数据对，得到多组第一校准数据对；根据所述多组第一校准数据对计算均方误差，得到多组第一运动增量对，以基于所述多组第一运动增量对构建所述第一运动增量矩阵，其中所述第一运动增量对表示不同坐标轴方向上的位置偏差。

具体地，可将采样位置与焦点的第一位置组成数据对，由于采样位置为多个，可得到多个数据对，每个数据对作为一组第一校准数据对。进一步地，可从多组第一校准数据对中选中预设数量的第一校准数据对，进而计算选出的第一校准数据对中各采样位置与第一位置的均方误差，以此得到一组第一运动增量。重复数据筛选和均方误差计算过程，得到多组第一运动增量对，将多组第一运动增量组成第一运动增量矩阵。示例性地，可分别计算水平方向坐标和数值方向坐标相对于第一位置的坐标的最小均方误差，进而得到对应的第一运动增量对。第一运动增量矩阵用于表征世界坐标系下不同坐标轴上的位置偏移，即不同坐标轴上的最小均方误差。

步骤S120，根据所述目标图像和所述第二位置确定所述信号采集端在图像坐标系下的第二运动增量矩阵。

在一实施例中，针对仅基于第一图像采集单元采集的图像进行定位校准的情况，将第一图像采集单元采集的图像作为目标图像，目标图像中包含信号采集端，以信号采集端作为特征点，获取该特征点在目标图像对应的图像坐标系下的位置信息，基于该位置信息与之前获取的焦点的第二位置信息组成校准数据对，采用与前述第一运动增量相同的计算方式，可得到目标图像中校准数据对对应的第二运动增量，进而基于第二运动增量构建第二运动增量矩阵。

在一实施例中，根据所述目标图像和所述第二位置确定所述信号采集端在图像坐标系下的第二运动增量矩阵，包括：获取所述信号采集端在所述第一图像中的第三位置、焦点在所述第二图像中的第四位置以及所述信号采集端在所述第二图像中第五位置；将所述第三位置与所述第二位置组成数据对，得到多组第二校准数据对；将所述第五位置与所述第四位置组成数据对，得到多组第三校准数据对；根据所述多组第二校准数据对和所述多组第三校准数据对分别计算对应的均方误差，得到多组第二运动增量对，以基于所述多组第二运动增量对构建所述第二运动增量矩阵，其中所述第二运动增量对用于表示所述第一图像或所述第二图像中不同坐标轴的位置偏差。

具体地，针对结合第一图像采集单元和第二图像采集单元采集的图像进行定位校准的情况，可采将第一图像采集单元采集的第一图像以及第二图像采集单元采集的第二图像均作为目标图像。可预先采用前述同样的方式将信号采集端移动至声场焦点位置，进而通过第二图像采集单元采集包含信号采集端的图像，可获取焦点在第二图像中的第四位置。根据第一图像中焦点的第二位置与采样位置在第一图像中的位置组成第二校准数据对。通过分组计算最小均方误差的方法，可得到第一图像对应的多组第二运动增量对。根据第二图像中焦点的第四位置以及各扫描时刻信号采集端的第五位置组成第三校准数据对，基于第三校准数据对进行分组计算最小均方误差，得到第二图像对应的第二运动增量对。基于前述第一图像和第二图像对应的第二运动增量对可构建第二运动增量矩阵。

步骤S130，根据所述第一运动增量矩阵和所述第二运行增量矩阵确定声场坐标与图像坐标的映射矩阵。

在一实施例中，针对仅采用第一图像采集单元采集的图像进行定位校准的情况，可采用固定高度进行定位校准，在世界坐标系中，可以水箱液面建立笛卡尔坐标系，通过x坐标和y坐标表示液面平面，z轴垂直与超声换能器用于产生声场的平面。通过固定高度进行定位校准，则z轴上的增量为0。第一运动增量对与第二运动增量对的关系可表示为：

其中，[Δu,Δv]表示目标图像对应的第二运动增量对，Δu表示图像坐标系下横轴的运动增量，Δv表示图像坐标系下纵轴的运动增量；[Δx,Δy,0]表示世界坐标系下的第一运动增量对，Δx表示世界坐标系下横轴的运动增量，Δy表示世界坐标系下纵轴的运动增量，J

上述关系式可简化为：

由于前述步骤得到的第一运动增量矩阵和第二运动增量矩阵中均包含的运动增量对均为已知量，通过至少三个以上的运动增量对对上述关系是进行求解，可表示为：

J＝ΔUΔX

其中，J为校准图像雅可比矩阵，ΔU是由图像坐标系下的运动增量对形成的第二运动增量矩阵，ΔX是由相应的世界坐标系中的运动增量对形成的第一运动增量矩阵。

在一实施例中，当z轴上的增量不为0时，世界坐标系中的位置与图像坐标系中的位置的对应关系可表示为：

下标avg表示校准数据对的平均坐标，u

通过前述步骤求的J

在一实施例中，针对结合第一图像采集单元和第二图像采集单元采集的图像进行定位校准的情况为例，首先通过水听器扫描声场来找到声场空间的绝对位置(如焦点位置)，然后通过垂直和水平摄像机捕获图像(即第一图像和第二图像)，能够在图像中分别获得对应映射的针尖在图像中的位置(u

其中Δx,Δy,Δz为世界坐标系中相对焦点的位置变化，Δu

步骤S140，根据所述映射矩阵进行声场定位，得到声场目标点在世界坐标系下的位置信息。

在一实施例中，根据所述映射矩阵进行声场定位，包括：从所述第一图像采集单元或所述第二图像采集单元中指定目标点，获取所述目标点在所述第一图像采集单元以及所述第二图像采集单元中的目标位置；根据所述目标位置与预设参考点在世界坐标系下的参考位置计算目标数据对；根据所述目标数据对、参考位置以及所述映射矩阵计算所述目标点在世界坐标系下的位置信息，以完成目标点定位。

具体地，在得到映射矩阵后，可通过第一图像采集单元或第二图像采集单元获取新的声场区域图像，在该声场区域图像中指定一个或多个点作为目标点，进而可确定目标点在声场区域图像中的位置信息。可在声场的世界坐标系中预先设置一个点作为参考点，以便在不知道当前超声换能器产生的声场的焦点位置的情况下，可基于该参考点定位目标点在世界坐标系中的位置信息。

在一实施例中，获取所述目标点在所述第一图像采集单元以及所述第二图像采集单元中的目标位置之前，还包括：对所述第一图像采集单元和所述第二图像采集单元进行坐标标定，以建立所述第一图像采集单元获取图像中位置点与所述第二图像采集单元获取图像中位置点的位置对应关系，以基于所述位置对应关系确定所述目标位置。

在一实施例中，由于存在水平方向和竖直方向两个方向的图像采集单元，而两个图像采集单元的位置时相对固定的，可预先标定两个图像采集单元各自图像坐标系中位置的对应关系，当在其中一个图像采集单元中指定了目标点时，可基于该对应关系得到两个图像坐标系下目标点的坐标信息。

在一实施例中，在确定目标点的位置后，预设的参考点可表示为(x

其中J+即为矩阵J的伪逆，(x

通过以上定位校准方法，可找到声场空间中任一位置的坐标信息，实现任一位置的定位；通过计算运动增量对之间的关系实现校准，可适用于平面和三维空间的校准，满足不同场景的校准需求，计算简单操作便捷，可有效提高定位校准的效率。

请参阅图2，本实施例提供了声镊定位校准系统，用于执行前述方法实施例中所述的声镊定位校准方法。由于系统实施例的技术原理与前述方法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。

在一实施例中，一种声镊定位校准系统，包括信息获取模块10，获取声场的焦点在世界坐标系中的第一位置、所述焦点在图像坐标系中的第二位置、信号采集端在世界坐标系下不同扫描时刻的采样位置以及对应扫描时刻所述信号采集端的目标图像，其中所述信号采集端用于对超声换能器产生的所述声场进行扫描；第一增量计算模块11，用于根据所述采样位置和所述第一位置确定所述信号采集端在世界坐标系下的第一运动增量矩阵；第二增量计算模块12，用于根据所述目标图像和所述第二位置确定所述信号采集端在图像坐标系下的第二运动增量矩阵；映射关系确定模块13，用于根据所述第一运动增量矩阵和所述第二运行增量矩阵确定声场坐标与图像坐标的映射矩阵；定位校准模块14，用于根据所述映射矩阵进行声场定位，得到声场目标点在世界坐标系下的位置信息。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中声镊定位校准方法所包含步骤的指令(instructions)。

图3为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图4为本申请的另一个实施例提供的终端设备的硬件结构示意图。图4是对图3在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第一处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图4实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图3实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。