电子装置及该电子装置的控制方法

技术领域

本发明涉及一种包括诸如触控笔(stylus pen)之类的输入设备和用户终端的电子装置以及该电子装置的控制方法。

背景技术

用户终端(mobiledevice)是一种可携带且具备能够执行语音及视频通话的功能、能够输入或输出信息的功能及能够存储数据的功能等中的一个以上的便携式设备。

随着这种用户终端的功能多样化，从而具有了拍摄照片或视频、播放音乐文件或视频文件、游戏、接收广播、无线互联网等复杂的功能。

并且，为了用户方便，已经实现了能够利用诸如触控笔之类的输入设备来控制移动装置的操作的移动装置。

另外，在用户利用输入设备来输入指令的情况下，具体地，在用户在没有用户终端的空间中做出手势或生成轨迹的情况下，而不是在用户终端的表面(触摸屏)上直接输入指令的情况下，由于难以确定针对用户的手势或轨迹的基准位置，因此用户终端难以识别利用输入设备的输入信号。

尤其，最近利用单独的设备来实现虚拟现实或增强现实技术，但是利用与用户使用的移动设备相关的输入设备，很难在相应区域输入指令或显示轨迹。

发明内容

技术问题

本发明提供一种电子装置、该电子装置的控制方法以及用户终端，其能够在移动装置以外的区域中(或在移动装置周围的区域中)输出利用输入设备形成的轨迹，而无需执行单独的用户位置设置或确定周围空间的复杂计算。

技术方案

根据一实施例的电子装置可以包括：输入设备；以及用户终端，与所述输入设备执行通信，其中，所述用户终端可以将所述用户终端的位置或第一外部装置的位置确定为基准坐标，可以接收针对所述基准坐标的所述输入设备的相对位置信息和所述输入设备的移动信息，可以基于所述相对位置信息和所述运动信息来确定所述输入设备的运动轨迹，并可以显示所述移动轨迹或将所述移动轨迹传送到第二外部装置。

所述用户终端可以确定包括所述基准坐标的至少一个平面空间，并且可以基于所述至少一个平面空间上的所述相对位置信息和所述运动信息来确定所述输入设备的移动轨迹。

所述用户终端可以将所述第一外部装置的位置确定为所述基准坐标，可以确定包括所述基准坐标的空间坐标，并且可以显示或传送基于所述空间坐标的移动轨迹。

所述用户终端可以生成所述移动轨迹的视觉形态，并且可以将所述移动轨迹的视觉形态输出到所述第二外部装置。

所述用户终端可以确定包括所述基准坐标的三维空间坐标，可以生成所述移动轨迹的视觉形态，并且可以将在所述三维空间坐标上的所述移动轨迹的视觉形态输出到所述第二外部装置。

所述用户终端可以确定包括所述用户终端输出的内容的图像的空间坐标，并且可以确定对应于所述用户终端与所述输入设备之间的相对位置关系的所述内容的图像与所述运动轨迹之间的位置关系，并且可以将所述内容的图像和移动轨迹一起输出到所述用户终端及所述第二外部装置中的至少一个。

所述用户终端可以基于所述用户终端与所述输入设备之间的收发的信号来确定所述输入设备的相对位置信息，并且可以将所述确定的相对位置信息输出到所述用户终端。

根据一实施例的与输入设备通信的电子装置可以包括：显示器；通信部，从所述输入设备接收所述输入设备的运动信息；控制部，将所述电子装置的位置或锚定(anchor)装置的位置确定为所述基准坐标，基于所述输入设备与所述通信部收发的信号来确定针对所述基准坐标的所述输入设备的相对位置信息，基于所述相对位置信息和所述运动信息来确定所述输入设备的移动轨迹，并且在所述显示器上显示所述移动轨迹或者将所述移动轨迹发送到输出设备。

所述通信部可以从所述锚定设备接收方向信号，其中，所述方向信号指示针对所述锚定设备的所述输入设备的方向，并且所述控制部可以基于在所述锚定设备与所述通信部之间收发的方向信号和信号而将所述锚定设备的位置确定为基准坐标。

所述控制部可以控制所述显示器以显示所述移动轨迹的视觉形态。

所述控制部可以确定包括所述基准坐标的三维空间坐标，并且所述控制部可以控制所述显示器以显示所述移动轨迹的视觉形态。

所述控制部可以确定所述输入设备的相对位置信息，并且将所确定的相对位置信息输出到所述显示器。

根据一实施例的电子装置控制方法可以包括如下步骤：将用户终端的位置或第一外部装置的位置确定为基准坐标；接收针对所述基准坐标的所述输入设备的相对位置信息和所述输入设备的运动信息；基于所述相对位置信息和所述运动信息来确定所述输入设备的移动轨迹；以及显示所述移动轨迹或者向第二外部装置传送所述移动轨迹。

确定所述输入设备的移动轨迹的步骤可以包括如下步骤：确定包括所述基准坐标的至少一个平面空间；基于在所述至少平面空间上的所述相对位置信息和运动信息来确定所述输入设备的移动轨迹。

确定所述基准坐标的步骤可以包括如下步骤：将所述第一外部装置的位置确定为所述基准坐标；确定包括所述基准坐标的空间坐标，其中，显示或传送所述移动轨迹是基于所述空间坐标来执行。

将所述移动轨迹传送到第二外部装置的步骤可以包括如下步骤：生成所述移动轨迹的视觉形态；将所述移动轨迹的所述视觉形态传送到所述第二外部装置。

将所述移动轨迹传送到第二外部装置的步骤可以包括如下步骤：确定包括所述基准坐标的三维空间坐标；生成在所述三维空间坐标上的所述移动轨迹的视觉形态，并且将所述移动轨迹的视觉形态传送到所述第二外部装置。

根据一实施例的电子装置控制方法可以包括如下步骤：确定指示由所述用户终端输出的内容的图像的空间坐标；确定对应于所述用户终端与所述输入设备之间的相对位置关系的所述内容的图像与所述移动轨迹之间的位置关系；将所述内容的图像和所述移动轨迹一起输出到所述用户终端及第二外部装置中的至少一个。

根据一实施例的电子装置控制方法还可以包括如下步骤：基于所述用户终端与所述输入设备之间的收发信号来确定所述输入设备的相对位置信息；将所述相对位置信息输出到所述用户终端。

技术效果

根据一实施例的电子装置及电子装置控制方法可以在移动装置以外的区域中输出利用输入设备形成的轨迹，而无需单独的用户的位置设定或执行复杂的计算。

附图说明

图1是示意性地示出根据一实施例的输入设备和用户终端的操作的图。

图2及图3是示出根据一实施例的电子装置的框图的图。

图4a及图4b是用于说明导出根据一实施例的输入设备的运动轨迹的操作的图。

图5a、图5b及图5c是用于说明根据一实施例的在二维操作中输出输入设备的运动轨迹的操作的图。

图6是用于说明根据一实施例的在三维空间中输出输入设备的运动轨迹的操作的图。

图7是用于说明根据一实施例的用户终端输出的图像和输入设备的运动轨迹一起被输出的操作的图。

图8是用于说明根据一实施例的输入设备的位置输出到用户终端的操作的图。

图9是示出说明根据一实施例的电子装置的操作方法的流程图的图。

具体实施方式

贯穿说明书全文，相同的附图标记指代相同的结构要素。本说明书并非对实施例的所有要素进行说明，将省略所公开的发明所属的技术领域中的一般内容或在实施例之间重复的内容。在说明书中使用的称为“部、模块、部件、块”的术语可以通过软件或硬件来实现，根据实施例，多个“部、模块、部件、块”可以通过一个构成要素来实现，或者一个“部、模块、部件、块”也可以包括多个构成要素。

贯穿说明书全文，当某一部分与另一部分“连接”时，不仅包括该部分与另一部分直接地连接的情况，也包括间接地连接的情况，间接地连接包括经由无线通信网络连接的情形。

并且，当某一部分“包括”某一构成要素时，只要没有特别相反的记载，则意味着还可以包括其他构成要素，而不是排除其他构成要素。

贯穿说明书全文，当某一部件位于另一部件的“上方”时，这不仅包括某一部件与另一部件接触的情况，还包括在两个部件之间存在又一部件的情况。

“第一、第二”等术语使用于将一个构成要素区别于另一构成要素，构成要素不受前述术语的限制。

除非上下文另有明确规定，否则单数的表述包括复数的表述。

在各个步骤中，识别符号是为了便于说明而使用的，识别符号并不是用于说明各个步骤的顺序，只要在上下文中没有明确记载特定顺序，各个步骤可以以与以上所记载的顺序不同的方式而实施。

以下，将参照附图对根据本公开的实施例进行详细说明。

以下，将参照附图详细说明所公开的实施例，使得在本发明所属的技术领域中具有普通知识的人能够容易地实施。

但是，本发明可以以多种不同的形态实现，并且不限于这里说明的实施例。并且，为了明确说明本发明，在附图中省略了与说明无关的部分，在整个说明书中，对相似的部分赋予了相似的附图标记。

图1是示意性地示出根据一实施例的输入设备11和用户终端10的操作的图。参照图1，对根据一实施例的输入设备11和用户终端10的操作进行说明。

在本说明书中，输入设备11可以配备为用于控制用户终端10的作为笔形状的工具的“触控笔”。

用户可以通过在用户终端10的显示器利用输入设备11直接点击(tap)或拖动(drag)等的操作或者点击位于输入设备11的按钮等的操作来控制用户终端10。

参照图1，用户终端10可以包括触摸屏和输入设备11。并且，用户终端10可以包括用于插入输入设备11的插槽(slot)。

用户终端10可以实现为诸如便携式电话、智能电话(smart phone)、平板电脑(tablet PC)、个人数字助理(PDA：Personal Digital Assistants)、便携式多媒体播放器(PMP：Portable Multimedia Player)、数码相机等的包含触摸屏的多种电子装置，但并不限定于此。

输入设备11可以包括能够点击的按钮。用户可以通过各种方法点击输入设备11的按钮来控制用户终端10。点击按钮的方法可以包括单击、双击以及长击等的方法，但并不限定于此。

输入设备11可以接收点击按钮的输入。

输入设备11可以将与接收到的输入对应的控制信号传送到用户终端10。

输入设备11可以利用在输入设备11与用户终端10之间形成的通信频道而向用户终端10传送控制信号。

并且，输入设备11可以包括能够感测用户的动作(motion)的动作传感器。在此，动作传感器可以包括地磁传感器、位置传感器、加速度传感器、陀螺仪(gyroscope)传感器以及接近传感器中的至少一个，但并不限定于此。

在输入设备11包括动作传感器的情况下，用户可以利用输入设备11来表示预定的动作(motion)。

然后，输入设备11中的动作传感器可以感测用户的动作，并且可以基于与感测到的用户的动作对应的信号来控制用户终端10。

例如，在用户终端10中正在执行相机应用程序的情况下，可以基于利用输入设备11绘制圆圈的用户的动作来执行相机应用中的放大(Zoom-in)的操作。

在此，输入设备11可以利用包含蓝牙(Bluetooth)、红外线(infrared)等的近距离通信而向用户终端10传送控制信号。

并且，若用户终端10接收到点击(tap)或拖动(drag)触摸屏等的用户输入，则用户终端10可以生成与所接收的用户输入对应的控制信号。

输入设备11可以包括电池。若将输入设备11插入到用户终端10的插槽，则输入设备11的电池可以与用户终端10内部的电源供应电路连接，从而可以对输入设备11的电池进行充电。

参照图1，可以配备有锚定设备3，从而可以确定输入设备11的移动轨迹的平面S1。

书写面(或虚拟书写平面)可以基于锚定设备3或用户终端10而被确定。

锚定设备3可以位于一个平面(例如，借由用户操作)，并且锚定设备3所在的平面可以被确定为书写面。

并且，锚定设备3可以包括磁力计(Magnetometer)、陀螺仪传感器以及其他位置传感器。

锚定设备3可以基于这些传感器来追踪针对以锚定设备的位置为基准的输入设备的书写面的坐标。

锚定设备3可以包括方向感测传感器模块(或方向检测传感器)。

方向感测传感器模块可以获取以锚定设备3为基准的输入设备11的方向。

锚定设备3可以用于确定针对利用输入设备11执行的输入的书写面的基准位置。

具体地讲，包括用户终端10和输入设备11的电子装置可以将锚定设备3所在的位置确定为基准位置，并且将锚定设备3所在的面确定为书写面。

并且，如下所述，输入到这种空间(例如，基于书写面而被定义)的输入设备11的运动轨迹可以被发送到输出设备2(参照图2)并输出。

具体地讲，电子装置可以执行与输出设备2的通信。电子装置可以包括用户终端10和输入设备11。

对于用户终端10确定输入设备11的运动轨迹而言，用户终端10可以基于利用通信交互时间而获取的距离和收发信号的角度(到达角度(AoA)和出发角度(AoD))来确定输入设备11的运动轨迹，并且将这样确定的运动轨迹传送到输出装置。

随着接收运动轨迹，输出设备2可以输出运动轨迹的信息。

以下，针对用户终端从输入设备接收移动轨迹的操作进行详细的说明。

图2和图3是说明根据一实施例的电子装置的框图。

图2是示出根据一实施例的电子装置1与其他外部装置2、3的关系的控制框图。

参照图2，电子装置1可以包括输入设备11和用户终端10。

对于电子装置1确定书写面而言，电子装置1可以将用户终端10的位置或锚定设备3的位置确定为基准坐标。以下，对锚定设备3用于确定基准坐标的情形下的操作进行说明。

在本说明书中，锚定设备3可以是指第一外部装置。

电子装置1可以基于基准坐标来接收输入设备11的相对位置信息及输入设备11的运动信息。

相对位置信息可以是指以锚定设备3或用户终端10为基准的输入设备11的位置信息。或者，相对位置信息可以是指输入设备11相对于基于锚定设备3或用户终端10确定的基准坐标的位置。

根据一实施例，将说明基于向另一移动(或便携式)装置提供的锚定设备的操作的实施例。但是，实施例并不限定于此，并且锚定装置可以提供为移动装置10，而不是如图2所示的外部装置(即，移动装置10执行锚定设备的功能，并且确定基准坐标)。

具体地讲，锚定设备3可以包括磁力计(Magnetometer)、陀螺传感器以及其他位置传感器。

用户终端10或锚定设备3可以利用这些传感器而导出借由用户终端10或锚定设备3与输入设备11之间的通信时间获取的用户终端10或锚定设备3到输入设备11的距离以及收发信号的角度来确定输入设备11的相对位置信息。

运动信息可以包括要求输出针对由用户在用户终端10的用户界面(例如，图形用户界面)上移动的输入设备11的运动的信息的指令。

例如，在输入设备11横向移动的情况下，与此对应的运动信息可以包括将输入设备11的运动信息在用户终端10或输出设备2以指示水平移动的图像(例如，水平箭头)输出的指令。

与这些运动信息(例如，水平箭头)对应的移动轨迹可以是表示输入设备11横向移动。

移动轨迹或运动轨迹可以是指基于对应的运动信息输出的图像。

电子装置1可以基于输入设备11的相对位置信息和运动信息来确定所述输入设备11的移动轨迹。

电子装置可以包括用户终端和输入设备。

对于用户终端确定输入设备的运动轨迹而言，可以基于通过通信交互时间的距离和收发的信号的角度来确定，并且可以确定如此确定的移动轨迹。

可以以在用户终端10的显示器上显示移动轨迹或者将移动轨迹输出到输出设备2的方式发送信号。

用户终端10可以执行与输出装置2的通信。

用户终端10可以将通过上述操作确定的移动轨迹传输到输出装置2。

具体地讲，用户终端10可以基于运动信息生成移动轨迹，并且将移动轨迹输出到输出设备2。

接收到移动轨迹的输出设备2可以输出相应的内容。

在本说明书中，第二外部装置可以被配备为输出设备2。

电子装置1确定包括基准坐标的至少一个平面空间，电子装置1可以基于平面空间上的所述相对位置信息和所述运动信息来确定所述输入设备11的移动轨迹。

即，在锚定设备定义一个平面的情况下，电子装置1可以基于该平面上的输入设备11的移动来接收移动轨迹作为输入。

具体地讲，锚定设备可以将锚定设备所在的面确定为一个平面。锚定设备可以配备为使得锚定设备的至少一个表面与特定面接触。

此时，锚定设备可以将该面确定为实现书写等的一个平面。

锚定设备3可以包括方向感测传感器模块。

方向感测传感器模块可以利用加速度传感器、陀螺仪传感器和/或磁力计等构成。

方向感测传感器模块可以以用户终端10或锚定设备3为基准来追踪输入设备11的相对位置。

锚定设备3可以确定针对利用输入设备11执行的输入的书写面的基准位置。

书写面可以是指接收输入设备11的运动信息的基准面。

书写面可以确定锚定设备3或用户终端10所在的面。

并且，对于确定书写面而言，配备有锚定设备3或用户终端10的位置可以被确定为基准位置。

根据一实施例，用户终端10也可以执行锚定设备3的作用。

在图2中，锚定设备3和电子装置1被配备为单独的构成，但是根据一实施例，用户终端10也可以执行锚定设备3的作用。

输出设备2可以以配备为输出图像的装置的方式配备。

具体地讲，若输出设备2为输出图像的装置，则没有对其装置的限制，然而，输出设备2可以配备为实现增强现实(AR：Augmented Reality)、混合现实(MR：Mixed Reality)以及虚拟现实(VR：Virtual Reality)的显示装置。

根据一实施例的输出设备2可以配备为增强现实装置(Augmented RealityDevice)。

增强现实装置作为能够显示增强现实(Augmented Reality)的装置，通常是指包括佩戴在用户面部且具有眼镜形状的增强现实眼镜装置、佩戴于用户的头(即，头部)的头戴式显示装置(HMD：Head Mounted Display Apparatus)以及增强现实头盔(AugmentedReality Helmet)等的装置。

用户终端10可以将运动轨迹可视化并将其输出到显示设备。

在输出设备2配备为实现增强现实(AR：Augmented Reality)、混合现实(MR：MixedReality)以及虚拟现实(VR：Virtual Reality)的装置的情况下，输出设备2可以包括用于获取输入设备11的深度(depth)位置信息的至少一个传感器。

即，输出设备2可以包括能够获取输入设备11的三维位置信息的传感器。

具体地讲，输出设备2可以包括诸如RGB相机、深度(depth)相机和红外相机之类的图像获取装置以及诸如雷达和激光雷达之类的传感器。

在这种情况下，可以基于配备在电子装置1和输出设备中的装置来获取输入设备11的三维位置或运动信息。

即，电子装置1可以确定包括基准坐标的三维空间坐标，并且可以将三维空间坐标上的所述运动轨迹可视化，并且可以将可视化的运动轨迹输出到输出设备。

电子装置1可以配备为确定包含利用电子装置1输出的内容图像的所述空间坐标，并且可以确定对应于用户终端10与输入设备11之间的相对位置关系的内容图像与运动轨迹之间的位置关系，从而可以将内容图像和运动轨迹一起输出到用户终端10和外部装置中的至少一个。

电子装置1可以配备为确定用户终端10与输入设备11之间的相对位置信息，并且将相对位置信息输出到配备于用户终端10中的显示器。与此相关的详细说明将后述。

图3是示出一实施例的用户终端10的结构的控制框图。

如图3所示，根据所公开的一实施例的用户终端10除了可以包括感测部110、通信部120、控制部130、用户输入部140、显示器150之外，还可以包括音频/视频输入部160和存储部170。

以下，依次说明所述构成要素。针对感测部110、通信部120和控制部130，将在图3中省略与图2中说明的内容相同的内容。

感测部110可以感测用户终端10的状态或用户终端10周围的状态，并且可以将感测到的信息传输到控制部130。

感测部110可以包括动作传感器。具体地讲，感测部110可以包括磁性传感器(Magnetic sensor)111、加速度传感器(Acceleration sensor)112、温度/湿度传感器113、红外线传感器114、陀螺仪传感器115、位置传感器(例如，全球定位系统(GPS))116、气压传感器117、接近传感器118以及色彩传感器(RGB Sensor，照度传感器)119中的至少一个，但并不限定于此。每个传感器的功能可以由本领域技术人员从其名称直观地推断，因此将省略其详细说明。

感测部110可以感测用户终端10的运动、用户终端10用户的生物信号以及输入到用户终端10的触摸信号等。

通信部120可以包括用于执行用户终端10与输入设备11之间的通信或用户终端10与外部装置的通信的一个以上的构成要素。例如，通信部120可以包括近距离通信部121、移动通信部122以及广播接收部123。

近距离通信部(short-range wireless communication unit)121可以包括蓝牙(Bluetooth

移动通信部122在移动通信网络上向基站、外部终端以及服务器中的至少一个发送无线信号。在此，无线信号可以包括根据语音呼叫信号、视频通话呼叫信号或文本/多媒体消息的收发的多种形态的数据。

广播接收部123通过广播频道从外部接收广播信号和/或广播相关信息。广播频道可以包括卫星频道和地面波频道。根据实施例，移动终端100b也可以不包括广播接收部123。

通信部120可以从包括动作传感器的输入设备11接收输入设备11的运动信息。

并且，通信部120可以配备为从包括方向感测传感器的锚定设备3接收方向信号。

输出部151用于输出音频信号、视频信号或振动信号，所述输出部151可以包括显示部150、音响输出部152、振动马达153等。

显示部150显示并输出在用户终端10中处理的信息。

并且，在显示部150和触摸板形成分层结构以构成触摸屏的情况下，显示部150除了用作输出装置外，还可以用作输入设备。显示部150可以包括液晶显示器(liquidcrystal display)、薄膜晶体管-液晶显示器(thin film transistor-liquid crystaldisplay)、有机发光二极管(organic light-emitting diode)、柔性显示器(flexibledisplay)、三维显示器(三维display)、电泳显示器(electrophoretic display)中的至少一个。

音响输出部152输出从通信部120接收或存储在存储部170中的音频数据。

并且，音响输出部152输出与在用户终端10中执行的功能(例如，呼叫信号接收音、消息接收音、通知音)相关的音响信号。这种音响输出部152可以包括扬声器(speaker)、蜂鸣器(Buzzer)等。

振动马达153可以输出振动信号。例如，振动马达153可以输出与音频数据或视频数据(例如，呼叫信号接收音、消息接收音等)的输出对应的振动信号。并且，在触摸输入到触摸屏的情况下，振动马达153可以输出振动信号。

用户输入部140可以从用户接收用于控制用户终端10的数据。例如，用户输入部140可以包括键盘(key pad)、圆顶开关(dome switch)、触摸板(例如，接触式电容方式、压力式电阻方式、红外感测方式、表面超声波传导方式、积分张力测量方式、压电效应方式等)、微动轮(jog wheel)、微动开关(jog switch)等，但并不限定于此。

音频/视频(A/V：Audio/Video)输入部160用于输入音频信号或视频信号，其可以包括相机161和麦克风162等。相机161可以在视频呼叫模式或拍摄模式下通过图像传感器获取诸如静态图像或视频等的图像帧。通过图像传感器捕获的图像可以通过控制部130或单独的图像处理部(未图示)来处理。

由相机161处理的图像帧可以被存储在存储部170中，或者可以通过通信部150被传送到外部。根据用户终端10的结构形态，相机161可配备有两个以上。

麦克风162接收外部的音响信号并将接收到的音响信号处理为电语音数据。例如，麦克风162可以从外部装置或说话者接收音响信号。麦克风162可以利用用于去除在接收外部音响信号的过程中产生的噪声(noise)的各种噪声去除算法。

存储部170可以存储用于控制部130的处理及控制的程序，并且也可以存储被输入/输出的数据(例如，应用、内容、外部装置的时区信息、地址簿等)。

存储部170可以包括闪存类型(flash memory type)、硬盘类型(hard disktype)、多媒体卡微型(multimedia card micro type)、卡型存储器(例如，安全数字(SD：Secure Digital)或极限数字(XD：Extreme Digital)存储器等)、随机存储器(RAM：RandomAccess Memory)、静态随机存取存储器(SRAM：Static Random Access Memory)、只读存储器(ROM：Read-Only Memory)、电可擦除可编程只读存储器(EEPROM：ElectricallyErasable Programmable Read-Only Memory)、可编程只读存储器(PROM：ProgrammableRead-Only Memory)、磁存储器、磁盘以及光盘中的至少一种类型的存储介质。并且，用户终端10也可以运营在互联网(internet)上执行存储部170的存储功能的网络存储(webstorage)或云服务器。

存储在存储部170的程序可以根据其功能被分类为多个模块，例如，用户界面(UI：User Interface)模块171、触摸屏模块172、通知模块173等。

UI模块171可以按每个应用程序提供与用户终端10联动的特殊UI、GUI等。

触摸屏模块172可以感测用户在触摸屏上的触摸手势，并且将关于触摸手势的信息传输到控制部130。根据所公开的一实施例的触摸屏模块172可以识别和分析触摸代码。触摸屏模块172可以被构成为包括控制器(Controller)的单独的硬件。

为了感测触摸屏的触摸或接近触摸，在触摸屏的内部或附近可以配备有多种传感器。作为用于感测触摸屏的触摸的传感器的一示例有触觉传感器。触觉传感器是指以人感觉到的程度或更大程度感测特定物体的接触的传感器。触觉传感器可以感测接触表面的粗糙度、接触物体的硬度、接触点的温度等的多种信息。

并且，作为用于感测触摸屏的触摸的传感器的一示例有接近传感器。

接近传感器是指在没有机械接触的情况下通过利用电磁场的力或红外线来检测是否存在接近预定的检测面的物体存在于预定的检测面附近的物体的传感器。作为接近传感器的一示例有透射型光电传感器、直接反射型光电传感器、镜面反射型光电传感器、高频振荡型接近传感器、电容型接近传感器、磁性接近传感器、红外线接近传感器等。

用户的触摸手势可以包括点击、触摸并保持、双击、拖动、平移、轻弹、拖放、滑动等。

通知模块173可以生成用于通知用户终端10的事件发生的信号。作为在用户终端10中发生的事件的示例有呼叫信号接收、消息接收、键信号输入、日程通知等。

例如，通知模块173可以通过显示部150以视频信号的形态输出通知信号，也可以通过音响输出部152以音频信号的形态输出通知信号，也可以通过振动马达153以振动信号的形态输出通知信号。

控制部130控制用户终端10的整体操作。例如，控制部130可以通过执行存储在存储部170中的程序来控制感测部110、通信部120、输出部151、用户输入部140、A/V输入部160、存储部170等。

控制部130可以将用户终端10的位置或锚定设备的位置确定为基准坐标。

控制部130可以基于由输入设备11和通信部收发的信号来确定基准坐标与输入设备11之间的相对位置信息。

并且，控制部130可以基于相对位置信息和运动信息来确定输入设备11的移动轨迹。

控制部130可以在显示器上显示移动轨迹或者将移动轨迹发送到输出设备。

控制部130可以基于锚定设备3与通信部之间收发的信号将锚定设备的位置确定为基准坐标，从而形成空间坐标。

通信部120可以配备为与被配备为输出图像的输出设备通信。

控制部130可以配备为将移动轨迹可视化并将可视化的移动轨迹输出到显示装置。

输出设备2可以包括用于获取输入设备11的深度(depth)位置信息的至少一个传感器。

并且，控制部130可以通过利用由输出设备获取的装置的深度位置信息来确定包括有基准坐标的三维空间坐标。

并且，控制部130可以将三维空间坐标上的移动轨迹可视化(转换为可视化形态)，并且将可视化的结果发送到显示装置。

并且，控制部130可以确定用户终端10与输入设备11之间的相对位置信息，并且将相对位置信息输出到显示器。

对应于图2、图3中所示的电子装置1及用户终端10的构成要素的性能，可以添加或删除至少一个构成要素。并且，在本技术领域中具有普通知识的人员容易理解构成要素的相互位置能够对应于系统的性能或结构而改变。

图2、图3中所示的每个构成要素是指软件和/或诸如现场可编程逻辑门阵列(FPGA：Field Programmable Gate Array)及专用集成电路(ASIC：Application SpecificIntegrated Circuit)之类的硬件构成要素。

图4a及图4b是用于说明导出根据一实施例的输入设备11的运动轨迹的操作的图。

参照图4a，电子装置可以通过相对计算针对书写面和锚定设备的输入设备11位置来导出输入设备11的运动轨迹。

锚定设备可以配备为包括加速度计、陀螺仪和/或磁力计的装置，并且根据实施例，用户终端10本身可以是锚定设备。

图4a示出了用户终端10作为锚定设备实现操作的情形。

即，锚定设备可以配备为收集并处理针对根据基准坐标P4的输入设备11相对位置的运动的装置。

用户终端10可以基于包括在所述输入设备中的移动传感器和包括在输出设备或者用户终端10中的RGB相机、深度相机和雷达系统等来确定运动轨迹。

即，用户终端10可以基于基准坐标P4来确定一个平面空间S4a，并且可以将该平面和输入设备11的运动轨迹M4a作为输入而向输出设备或用户终端10输出该运动轨迹。

用户终端10可以基于利用用户终端10与输入设备11之间的通信时间而获取的距离r4和收发信号的角度a4(到达角度(AoA)和出发角度(AoD))来确定输入设备11的运动轨迹。

参照图4a和图4b，输入设备11的运动信息和位置信息可以通过不同的路径进行处理。

具体地讲，输入设备11的运动信息可以借由输入设备11的加速度计和/或陀螺仪传感器来获取(S41)，并且用户终端10可以将其识别为运动信息(S42)。

用户终端10可以确定以基准坐标为基准的输入设备11的位置(S43)。

根据一实施例，对于确定输入设备11的位置而言，除了配备于输入设备11中的传感器之外，还可以测量输入设备11与用户终端10或输出设备之间的通信信号，或者可以利用通过配备于输出设备中的RGB相机或深度相机获取的信号。

尤其，在测量通信信号时，可以基于用户终端10与输入设备11之间的通信时间(TOA)、接收信号的角度(到达角，AoA)和发送信号的角度(离开角，AoD)来测量通信信号。

用户终端10可以基于输入设备11的运动信息和输入设备11的位置信息来导出输入设备11的移动轨迹(S44)。

即，在本发明中，除了由内设在输入设备11中的传感器本身获取的运动信息之外，还可以追加利用通过确定基准坐标而获取的输入设备11的位置信息来导出移动轨迹。

通常，这种输入设备11的输入可以在预定的特定内容上输出(P41)。

因此，用户终端10可以通过将移动轨迹匹配到考虑了预定的特定内容的位置的内容上来输出移动轨迹和内容全部(S45、P42)。

即，用户终端10可以将基于上述操作确定的输入设备11的移动轨迹在诸如现有的文档或发表资料之类的内容上一起输出(S46)。

如上所述，这种移动轨迹可以输出到配备于用户终端10中的显示器，或者可以输出到输出设备。

输出设备可以配备为能够一起输出所述内容的AR/VR眼镜、TV屏幕、投影仪、平板电脑以及显示装置等。

用户终端10可以以与连接到内容的锚定设备对应的基准坐标为基准来确定输入设备11在二维或三维空间中的位置。

在图4a和图4b中说明的操作概念性地说明了本发明的操作，并且以下对上述操作的实施例将进行详细说明。

图5a和图5b是用于说明根据一实施例的在二维操作中输出输入设备11的运动轨迹的操作的图。

图5a示出锚定设备被配备为用户终端10并且输出设备被配备为投影仪的实施例。

因此，基准坐标可以被确定为用户终端10的坐标。

并且，用户终端10可以基于用户终端10的位置来确定一个平面空间S5a。

用户终端10可以确定用户终端10所在的平面，并且可以基于该平面来获取输入设备11的运动信息。

用户终端10可以通过投影仪2输出预先存储的内容C5。

图5a示出用户终端10通过投影仪2输出图表的图。

并且，用户终端10可以以二维方式将从输入设备11的位置信息及运动信息获取的输入设备11的移动轨迹I5a(例如，图5a中所示的箭头)与现有的内容C5一起输出。

现有的内容C5和输入设备的运动信息一起输出可以借由在用户终端10中执行操作的应用程序来执行。

根据一实施例，在用户终端10中实现的应用程序可以基于输入设备的运动信息来提供文档编辑。

应用程序可以执行将现有的内容C5与输入设备11的运动信息(例如，运动轨迹I5a)重叠的操作。

具体地讲，在用户终端10中实现的应用程序可以将现有的内容C5输出到一个层，并且向输出相应内容的层的上位层分配输入设备的运动信息。

通过将这样输出的图像(或运动信息)分配给单独的层，用户终端的应用程序可以同时输出内容C5和输入设备的运动信息I5a。

图5b示出了用户终端10通过AR眼镜2输出内容C6。图5b示出了输出装置2配备为AR眼镜的情形。图5b中示出的电子装置可以接收输入设备的三维运动信息。

在图5b中，基准坐标可以确定为用户终端10的坐标。

并且，用户终端10可以基于用户终端的位置来确定三维空间。用户终端10可以将用户终端10的位置确定为基准位置，并且可以基于基准位置来获取输入设备11的运动信息。

用户终端10可以通过增强现实眼镜2输出预先存储的内容C6。并且，用户终端10可以以三维方式将从输入设备11的位置信息和移动信息中获取的输入设备11的移动轨迹I5b(例如，箭头图像)与现有内容C6一起输出。

图5c示出锚定设备被配备为用户终端10并且用户终端10配备在书桌的上表面S5b上的情形。

用户终端10可以将书桌上表面S5b确定为平面S5b，并且用户可以在书桌上表面上移动输入设备11。

用户终端10可以基于这种输入设备11的位置信息及运动信息来确定输入设备11的移动轨迹I5c。

用户终端可以将由用户输入到输入设备11的移动轨迹I5c一起输出到输出设备。

根据一实施例，在图5c中，输出设备可以配备为增强现实装置，用户终端10可以向用户终端10自身及增强现实装置输出这种图像。在这种情况下，用户终端10可以通过增强现实装置将用户终端10上的图像和输入设备的移动轨迹I5c一起输出到书桌的上表面S5b。

在图5a至图5c中说明的在二维和/或三维操作中输出输入设备11的运动轨迹的操作仅是本发明的一实施例，因此，可以提供单独的锚定设备，并且输出设备的类型不受限制。

图6是用于说明根据一实施例的在三维空间中输出输入设备11的运动轨迹的操作的图。

参照图6，示出了用户终端10在显示器上输出全息图C6的操作。

在图6中，锚定设备可以被配备为用户终端10，并且输出设备可以被配备为增强现实装置(未图示)。

用户终端10可以从输出设备接收输入设备11的深度信息。

即，全息图可以形成为三维图像，输入设备的位置信息可以由用户终端形成且由作为输出设备的增强现实装置进行接收。

增强现实装置可以获取输入设备的深度(depth)信息并将其传输到用户终端。

在这种情况下，用户终端10可以获取输入设备11的三维位置及运动，并且输出三维移动轨迹I6。

具体地讲，可以基于由用户终端10和输出装置获取的输入设备的运动信息来导出移动轨迹，并且输出装置可以输出移动轨迹。

在图6中，用户利用输入设备11形成指示全息图上的特定部分的移动轨迹I6。

即，用户终端10可以将用户终端10的位置确定为基准坐标，并且可以将在用户终端10上输出的全息图C6和由用户通过输入设备11输入的运动轨迹I6一同输出到AR眼镜。

全息图C6可以对应于由现有用户终端输出的内容，并且上述已经说明了将轨迹与现有内容一起输出的详细的操作。

图6中说明的操作仅是输入设备11的三维移动轨迹操作的一实施例，并且输出输入设备11的三维移动轨迹的本发明的操作并不限于此。

图7是用于说明根据一实施例的用户终端10输出的图像和输入设备11的运动轨迹一起输出的操作的图。

参照图7，用户终端10可以确定包括由用户终端10输出的内容图像C7的空间坐标。

在图7中，与用户终端10相接的面S7被确定为接收输入设备的运动信息的基准平面。

图7示出了用户终端10配备为平板电脑，并且在用户终端10上的显示器上输出特定内容的情形。

用户终端10确定对应于用户终端10与输入设备11之间的相对位置关系的内容图像C7与运动轨迹之间的位置关系，从而可以将内容图像C7和运动轨迹(例如，图7中的j、k、l、m、n之间的箭头)输出到用户终端10和输出设备。

图7示出了用户通过输入设备11在用户终端10周围形成移动轨迹I7的情形。

在图7中，输出设备可以配备为AR眼镜(未图示)，在该AR眼镜中，可以考虑现有的用户终端10的内容C7和用户输入的移动轨迹I7的相互位置关系而一同输出。

图7中说明的操作仅是本发明的一实施例，并且对输出由用户终端10输出的内容和由用户通过输入设备11输入的输入轨迹的操作没有限制。

图8是用于说明根据一实施例的输入设备11的位置输出到用户终端10的操作的图。

参照图8，用户终端10可以确定输入设备11相对于用户终端10的相对位置信息，并且向所述用户终端10输出指示所确定的相对位置的信息(例如，罗盘图像I8)。

如上所述，用户终端10和输入设备11可以执行通信，并且可以通过利用用户终端10与输入设备11之间的通信信号的到达时间、到达角度以及出发角度来确定用户终端10的相对位置。

在图8中，输入设备位于用户终端10的右侧上端，用户终端10将这种方向信息I8输出到显示装置。

在图8中输出了以用户终端10为基准的输入设备11的方向，但是也可以计算并输出与输入设备11的距离，并且输出的形态不受限制。

图9是说明根据一实施例的电子装置的操作方法的流程图。

参照图9，用户终端10可以基于用户终端10本身或锚定设备的位置来确定基准坐标(1001)。

用户终端10可以接收以基准坐标为基准的输入设备11的位置信息和运动信息(1002)。

此后，可以基于输入设备11的位置信息和运动信息来确定输入设备11的移动轨迹(1003)。

并且，用户终端10可以将相应的移动轨迹输出到用户终端10(例如，用户终端10的显示器)或诸如AR眼镜之类的输出设备(1004)。

如上所述，在用户终端10输出移动轨迹的情况下，可以一起输出预定内容。

根据所公开的实施例可以以存储计算机可运行的指令的记录介质的形态实现。指令可以以程序代码的形态存储，并且当由控制部运行时，可以生成程序模块以执行所公开的实施例的操作。记录介质可以实现为计算机可读记录介质。

计算机可读记录介质包括存储有计算机可读指令的所有类型的记录介质。例如，可以有只读存储器(ROM：Read Only Memory)、随机存取存储器(RAM：Random AccessMemory)、磁带、磁盘、闪存、光数据存储装置等。

如上所述参照附图对公开的实施例进行了说明。本发明所属技术领域的具有普通知识的技术人员应理解为在不变更本发明的技术思想或必要特征的情况下，也能够以与所公开的实施例不同的形态实施本发明。所公开的实施例是示例性的，而不应被解释为限制性的。