电子装置及其操作方法

技术领域

本公开关于一种电子装置，特别是关于一种具有手势控制的电子装置及其操作方法。

背景技术

在已知的控制系统中，大多需要通过辅助工具(例如鼠标等)进行操作，如此可能会影响使用者的体验。因此，若是使用者能通过手部及其手势来直观地控制上述控制系统的操作，将可以增加使用者的体验。然而，在手势控制系统中，大多侧重于函数呼叫(function calling)，而不是对对象进行控制，如此仍会影响使用者的体验。因此，需要一种新的电路结构设计，其可以改善前述的问题。

发明内容

本公开实施例提供一种电子装置，包括影像获取模块与处理模块。影像获取模块用以拍摄手部，以取得第一手部影像。处理模块接收第一手部影像，并通过人工智能模型，对第一手部影像进行处理，以产生第一手部定位标记，并依据第一手部定位标记对应的第一手势，控制电子装置进入解锁模式。

本公开实施例提供一种电子装置的操作方法，包括下列步骤。通过影像获取模块，用以拍摄手部，以取得第一手部影像。通过处理模块，接收第一手部影像，并通过人工智能模型，对第一手部影像进行处理，以产生第一手部定位标记，并依据第一手部定位标记对应的第一手势，控制电子装置进入解锁模式。

附图说明

图1为依据本公开的一实施例的电子装置的示意图。

图2为依据本公开的一实施例的手部定位标记的示意图。

图3为依据本公开的一实施例的电子装置的操作方法的流程图。

图4为依据本公开的另一实施例的电子装置的操作方法的流程图。

图5为依据本公开的另一实施例的电子装置的操作方法的流程图。

图6为依据本公开的另一实施例的电子装置的操作方法的流程图。

图7为依据本公开的另一实施例的电子装置的操作方法的流程图。

【符号说明】

100:电子装置

110:影像获取模块

120:处理模块

130:深度获取模块

140:显示模块

202:点位

204:连接线

S302～S306,S402～S410,S502,S602～S610,S702:步骤

具体实施方式

为让本公开的目的、特征和优点能更明显易懂，下文特举出实施例，并配合所附附图，做详细的说明。为了使读者能容易了解及附图的简洁，本公开中的多张附图可能只绘出整个电子装置的一部分，且附图中的特定组件并非依照实际比例绘图。

本公开说明书提供不同的实施例来说明本公开不同实施方式的技术特征。其中，实施例中的各组件的配置、数量及尺寸是为说明之用，并非用以限制本公开。另外，若实施例与附图中组件标号出现重复，是为了简化说明，并非意指不同实施例之间的关联性。

再者，说明书与权利要求书中所使用的序数例如“第一”、“第二”等的用词，以修饰权利要求书的组件，其本身并不意含及代表该请求组件有任何之前的序数，也不代表某一请求组件与另一请求组件的顺序、或是制造方法上的顺序，这些序数的使用是用来使具有某命名的一请求组件得以和另一具有相同命名的请求组件能作出清楚区分。

在本公开中，各实施例间特征只要不违背发明精神或相冲突，均可任意混合搭配使用。

在本公开一些实施例中，用语「耦接」、「电性连接」除非特别定义，否则可包含任何直接及间接的电性连接手段。

于文中，「大致」、「约」的用语通常表示在一给定值的20％内，或10％内，或5％内，或3％之内，或2％之内，或1％之内，或0.5％之内的范围。在此给定的数量为大约的数量，亦即在没有特定说明「大致」、「约」的情况下，仍可隐含「大致」、「约」的含义。

在通篇说明书及权利要求书当中所提及的“包括”为一开放式用语，故应解释成“包括但不限定于”。

再者，“连接”、“耦接”在此包括任何直接及间接的连接手段。因此，当组件或膜层被称为“连接”至另一个组件或膜层时，它可以直接连接到此另一组件或膜层，或者两者之间存在有插入的组件或膜层。当组件被称为“直接连接”至另一个组件或膜层时，两者之间不存在有插入的组件或膜层。若文中描述电路上的一第一装置耦接至一第二装置，则代表第一装置可直接电连接第二装置，当第一装置直接电连接第二装置时，第一装置与第二装置之间只通过导线或被动组件(例如电阻、电容等)连接，没有其他电子组件连接于第一装置与第二装置之间。

在一实施例中，电子装置可包括显示设备、背光装置、天线装置、感测装置、拼接装置或治疗诊断装置，但不以此为限。电子装置可为可弯折或可挠式电子装置。显示设备可为非自发光型显示设备或自发光型显示设备。天线装置可为液晶型态的天线装置或非液晶型态的天线装置，感测装置可为感测电容、光线、热能或超声波的感测装置，但不以此为限。电子组件可包括被动组件与有源组件，例如电容、电阻、电感、二极管、晶体管等。二极管可包括发光二极管或光电二极管。发光二极管可例如包括有机发光二极管(organic lightemitting diode,OLED)、次毫米发光二极管(mini LED)、微发光二极管(micro LED)或量子点发光二极管(quantum dot LED)，但不以此为限。拼接装置可例如是显示器拼接装置或天线拼接装置，但不以此为限。需注意的是，电子装置可为前述的任意排列组合，但不以此为限。下文将以显示设备做为电子装置以说明本公开内容，但本公开不以此为限。

图1为依据本公开的一实施例的电子装置的示意图。本实施例的电子装置100可适用于手术支持显示系统(surgery support display system)、智能家居控制系统(smarthome control system)、汽车中的手势控制(gesture control in cars)、交互式数字布告栏(interaction with digital bulletin board)，但本公开不限于此。请参考图1，电子装置100可以至少包括影像获取模块110与处理模块120。

影像获取模块110用以拍摄手部，以取得第一手部影像。在本实施例中，影像获取模块110可以是彩色影像摄影机，但本公开不限于此。

处理模块120可以电性连接影像获取模块110。在一些实施例中，处理模块120可以包括微处理器(microprocessor)、微控制器(micro control unit,MCU)、或其他合适的处理器，但本公开不限于此。在一些实施例中，处理模块120可以包括中央处理器(centralprocessing unit,CPU)与图形处理器(graphics processing unit,GPU)，但本公开不限于此。

处理模块120可以从影像获取模块110接收第一手部影像。接着，处理模块120可以通过人工智能模型(artificial intelligence model,AI model)，对第一手部影像进行处理，以产生第一手部定位标记(hand landmark)。在一些实施例中，第一手部定位标记可以包括手部的点位202及各点位202之间的连接线204，如图2所示，但本公开不限于此。

之后，处理模块120可以依据第一手部定位标记对应的第一手势，控制电子装置100进入解锁模式。举例来说，在处理模块120取得第一手部定位标记后，处理模块120可以依据第一手部定位标记，取得对应第一手部定位标记的第一手势。接着，处理模块120可以将第一手势与一预设解锁手势进行比对，以确认第一手势是否与预设解锁手势相符。

当处理模块120确认第一手势与预设解锁手势相符时，处理模块120可以对电子装置100进行解锁并控制电子装置100进入解锁模式，以便进行后续的操作。当处理模块120确认第一手势与预设解锁手势不相符时，处理模块120不会对电子装置100进行解锁，使得电子装置100仍处于锁定模式。如此一来，可以避免电子装置100产生误操作的情况发生，以增加使用上的便利性及安全性。

在本实施例中，电子装置100还可以包括深度获取模块130。深度获取模块130可以电性连接处理模块120。深度获取模块130用以拍摄手部，以取得深度信息，且深度获取模块130可以将所取得的深度影像传送至处理模块120，以便处理模块120进行后续的处理。在本实施例中，深度获取模块130可以是深度影像摄影机，但本公开不限于此。在图1中，影像获取模块110与深度获取模块130是分离设置，但本公开不限于此。在一些实施例中，影像获取模块110与深度获取模块130可以整合为同一模块，此模块可以是大视野(filed of view,FOV)的电荷耦合组件(charge coupled device,CCD)或其他合适的大视野的摄影机，但本公开不限于此。

在一些实施例中，在电子装置100进入解锁模式中，处理模块120还可以通过影像获取模块110接收第二手部影像。接着，处理模块120可以通过人工智能模型，对第二手部影像进行处理，以产生第二手部定位标记。之后，处理模块120可以依据第二手部定位标记对应的第二手势与深度信息，产生第一操作。

在一些实施例中，第二手势可以包括至少两个手指捏合的动作，但本公开不限于此。举例来说，在一些实施例中，两个手指捏合的动作可以包括大拇指与食指的捏合(即大拇指与食指的指尖连接)、大拇指与中指的捏合(即大拇指与中指的指尖连接)、大拇指与无名指的捏合(即大拇指与无名指的指尖连接)、大拇指与小指的捏合(即大拇指与小指的指尖连接)。

在一些实施例中，三个手指捏合的动作可以包括大拇指、食指与中指的捏合(即大拇指、食指与中指的指尖连接)、大拇指、中指与无名指的捏合(即大拇指、中指与无名指的指尖连接)、大拇指、无名指与小指的捏合(即大拇指、无名指与小指的尖连接)。四个手指捏合的动作或五个手指头捏合的动作则类推。另外，上述至少两个手指捏合(例如两个手指捏合、三个手指捏合等)的动作可以仿真鼠标点击(mouse click)的“按下(press)”，而手指分开的动作可以仿真鼠标点击的“放开(release)”，但本公开不限于此。

在一些实施例中，上述第一操作可以包括缩放操作、移动操作、旋转操作等，但本公开不限于此。在本实施例中，当深度信息为零时，表示手部并未移动，则处理模块120可以判定手部没有产生移动量。当深度信息不为零时，表示手部有移动，则处理模块120可以判定手部有产生移动量。

本实施例的处理模块120可设定手势辨识放大比例(adjustable scaling)，在本实施例中，可调整放大比例例如为手部的移动距离与第一操作对应的对象的放大比例。举例来说，当手部的移动距离为1公分时，对象的放大比例或移动距离为1.5倍。当手部的移动距离为2公分时，对象的放大比例或移动距离为3倍，但本公开不限于此。如此一来，可以方便使用者于手部不能大幅度移动的环境中进行对应的操作，以增加使用上的便利性。

在一些实施例中，在电子装置100进入解锁模式中，处理模块120还可以通过影像获取模块110接收第三手部影像。之后，处理模块120可以通过人工智能模型，对第三手部影像进行处理，以产生第三手部定位标记。依据第三手部定位标记对应的第三手势与深度信息，产生第二操作。在一些实施例中，当深度信息为零时，表示手部并未移动，则处理模块120可以判定手部没有产生移动量。当深度信息不为零时，表示手部有移动，则处理模块120可以判定手部有产生移动量。

在一些实施例中，上述第三手势可以为数字，且上述第二操作可以包括视角切换操作，但本公开不限于此。举例来说，当第三手势为数字“1”时，第二操作可以为上视角；当第三手势为数字“2”时，第二操作可以为下视角；当第三手势为数字“3”时，第二操作可以为左视角；当第三手势为数字“4”时，第二操作可以为右视角；当第三手势为数字“5”时，第二操作可以为前视角；当第三手势为数字“6”时，第二操作可以为后视角，但本公开不限于此。如此一来，上述实施例可以通过不同手势的改变，产生不同的操作，以增加使用上的便利性。

在一些实施例中，在电子装置100进入解锁模式中，处理模块120还可以通过影像获取模块110接收第四手部影像。接着，处理模块120可以通过人工智能模型，对第四手部影像进行处理，以产生第四手部定位标记。之后，处理模块120可以依据第四手部定位标记对应的第四手势与深度信息，选择操作模式。

接着，在上述操作模式中，处理模块120还可以通过影像获取模块110接收第五手部影像。接着，处理模块120可以通过人工智能模型，对第五手部影像进行处理，以产生第五手部定位标记。之后，处理模块120可以依据第五手部定位标记对应的第五手势与深度信息，产生第三操作。在一些实施例中，当深度信息为零时，表示手部并未移动，则处理模块120可以判定手部没有产生移动量。当深度信息不为零时，表示手部有移动，则处理模块120可以判定手部有产生移动量。

在本实施例中，上述第四手势可以为数字，且上述操作模式可以包括缩放操作模式、移动操作模式、旋转操作模式等，但本公开不限于此。举例来说，当第四手势为数字“1”时，操作模式可以为缩放操作模式；当第四手势为数字“2”时，操作模式可以为移动操作模式；当第四手势为数字“3”时，操作模式可以为旋转操作模式，但本公开不限于此。另外，上述第三操作可以包括缩放操作、移动操作、旋转操作。

如此一来，上述实施例可以通过不同手势的改变，选取不同的操作模式，且在选取的操作模式中，依据一手势进行对应的操作，以增加使用上的便利性。

在一些实施例中，在电子装置100进入解锁模式中，处理模块120还可以通过影像获取模块110接收第六手部影像。接着，处理模块120可以通过人工智能模型，对第六手部影像进行处理，以产生第六手部定位标记。之后，处理模块120可以依据第六手部定位标记对应的第六手势，控制电子装置100进入锁定模式。举例来说，在处理模块120取得第六手部定位标记后，处理模块120可以依据第六手部定位标记，取得对应第六手部定位标记的第六手势。接着，处理模块120可以将第六手势与一预设锁定手势进行比对，以确认第六手势是否与预设锁定手势相符。

当处理模块120确认第六手势与预设锁定手势相符时，处理模块120可以对电子装置100进行锁定并控制电子装置100进入锁定模式，以便电子装置100处于闲置(idle)模式。当处理模块120确认第六手势与预设锁定手势不相符时，处理模块120不会对电子装置100进行锁定，使得电子装置100仍处于解锁模式。如此一来，可以避免电子装置100产生误操作的情况发生，以增加使用上的便利性或安全性。

在一些实施例中，在电子装置100进入解锁模式中，处理模块120可以对第一手部图像映射的手部进行追踪，以便处理模块120可以将此手部对应的手部影像(例如第二手部影像、第三手部影像、第四手部影像、第五手部影像、第六手部影像)及其对应的手势(例如第二手势、第三手势、第四手势、第五手势、第六手势)作为后续操作的依据。如此一来，可以有效地避免在同一空间中存在多个手部而使电子装置100产生误动作的情况发生，以增加使用上的便利性。

在本实施例中，处理模块120对影像获取模块110所取得的第一手部图像映射的手部进行追踪为本公开的一种实施范例，但本公开不限。在其他实施例中，影像获取模块110也可以拍摄手部外的其他肢体，以取得肢体影像，并将肢体影像传送至处理模块120。接着，处理模块120可以对上述肢体图像映射的肢体进行追踪，且可以对上述肢体影像及其对应的动作进行辨识，并据以产生对应的操作。

在本实施例中，电子装置100还可以包括显示模块140。显示模块140可以电性连接处理模块120。显示模块140可以依据处理模块120所产生的第一操作、第二操作或第三操作，显示第一操作、第二操作或第三操作。在本实施例中，显示模块140可以是显示器等，但本公开不限于此。

在本实施例中，处理模块120所产生的操作可以区分为静态活动(static action)或动态移动(dynamic motion)。在一些实施例中，静态活动可以指一部分操作为“单一指令”，例如上述第二操作所包括的视角切换操作。对于显示模块140而言，它仅需要接收到一次来自处理模块120的“切换”指令，便即刻进行对应上述“切换”指令的“切换”操作。

动态移动可以指一部分操作为“连续移动”，且此“连续移动”的移动量与使用者的手部移动距离相关，例如上述第一操作或上述第三操作所包括的缩放操作、移动操作、旋转操作。动态移动的操作并非一瞬间完成，而是一个连续性的动作，亦即动态移动的操作会包含“开始移动”、“移动过程”、“结束移动”的三个部分的指令，因此静态移动与静态活动不同。由于动态活动需要有“开始移动”与“结束移动”的指令，因此动态活动所包括的指令会包括至少两个手指捏合的动作，即鼠标点击的“按下”对应“开始移动”，而与鼠标点击的“放开”对应“结束移动”。另外，“移动过程”的操作可以包括深度信息，且在“移动过程”的操作中，处理模块120可以通过影像获取模块110所取得的手部影像的像素移动量或深度信息的变化进行判定，且处理模块120上述判定手部对应的移动量，产生对应的“移动过程”的操作。

图3为依据本公开的一实施例的电子装置的操作方法的流程图。请参考图3，在步骤S302，通过影像获取模块，用以拍摄手部，以取得第一手部影像。在步骤S304中，通过处理模块，接收第一手部影像，并通过人工智能模型，对第一手部影像进行处理，以产生第一手部定位标记。在步骤S306中，依据第一手部定位标记对应的第一手势，控制电子装置进入解锁模式。在一些实施例中，处理模块可调整手势辨识放大比例。

图4为依据本公开的另一实施例的电子装置的操作方法的流程图。在本实施例中，步骤S302～S306与图3的步骤S302～S306相同或相似，可参考图3的实施例的说明，故在此不再赘述。

在步骤S402中，通过深度获取模块，用以拍摄手部，以取得深度信息。在步骤S404中，在解锁模式中，处理模块接收第二手部影像，并通过人工智能模型，对第二手部影像进行处理，以产生第二手部定位标记。在步骤S406中，依据第二手部定位标记对应的第二手势与深度信息，产生第一操作。

在步骤S408中，在解锁模式中，处理模块接收第三手部影像，并通过人工智能模型，对第三手部影像进行处理，以产生第三手部定位标记。在步骤S410，依据第三手部定位标记对应的第三手势与深度信息，产生第二操作。在一些实施例中，第一操作可以包括缩放操作、移动操作、旋转操作。另外，第二操作可以包括视角切换操作。

图5为依据本公开的另一实施例的电子装置的操作方法的流程图。在本实施例中，步骤S302～S306、S402～S410与图4的步骤S302～S306、S402～S410相同或相似，可参考图4的实施例的说明，故在此不再赘述。在步骤S502中，在解锁模式中，处理模块对第一手部图像映射的手部进行追踪。

图6为依据本公开的另一实施例的电子装置的操作方法的流程图。在本实施例中，步骤S302～S306与图3的步骤S302～S306相同或相似，可参考图3的实施例的说明，故在此不再赘述。

在步骤S602中，通过深度获取模块，用以拍摄手部，以取得深度信息。在步骤S604中，在解锁模式中，处理模块接收第四手部影像，并通过人工智能模型，对第四手部影像进行处理，以产生第四手部定位标记。在步骤S606中，依据第四手部定位标记对应的第四手势与深度信息，选择操作模式。在步骤S608中，在操作模式中，处理模块接收第五手部影像，并通过人工智能模型，对第五手部影像进行处理，以产生第五手部定位标记。在步骤S610中，依据第五手部定位标记对应的第五手势与深度信息，产生第三操作。在一些实施例中，上述第三操作可以包括缩放操作、移动操作、旋转操作。

图7为依据本公开的另一实施例的电子装置的操作方法的流程图。在本实施例中，步骤S302～S306、S602～S610与图6的步骤S302～S306、S602～S610相同或相似，可参考图6的实施例的说明，故在此不再赘述。在步骤S702中，在解锁模式中，处理模块对第一手部图像映射的手部进行追踪。

综上所述，本公开实施例的电子装置及其操作方法，通过影像获取模块取得对应手部的第一手部影像，处理模块通过人工智能模型，对第一手部影像进行处理，以产生第一手部定位标记，且依据第一手部定位标记对应的第一手势，控制电子装置进入解锁模式。如此一来，可以避免电子装置产生误操作的情况发生，以增加使用上的便利性及安全性。另外，本公开实施例还可以通过深度获取模块取得对应手部的深度信息，且在电子装置进入解锁模式中，可以通过不同手势及其深度信息的改变，产生不同的操作，或是可以通过不同手势的改变，选取不同的操作模式，且在选取的操作模式中，依据一手势及其深度信息进行对应的操作。如此一来，可以增加使用上的便利性。此外，在电子装置进入解锁模式中，可以依据对应第六手部定位标记的第六手势，控制电子装置进入锁定模式。如此一来，可以避免电子装置产生误操作的情况发生，以增加使用上的便利性或安全性。

本公开虽以实施例公开如上，然其并非用以限定本公开的范围，任何所属技术领域中具有通常知识者，在不脱离本公开的精神和范围内，可将数个不同实施例中的特征进行替换、重组、混合或可做些许的调整、组合、更动与润饰以完成其他实施例，因此本公开的保护范围当视后附的权利要求所界定者为准。