书写装置及系统、书写轨迹识别方法、程序产品及介质

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种书写装置及系统、书写轨迹识别方法、程序产品及介质。

背景技术

随着计算机和投影仪的普及，多媒体演示越来越频繁，老师教学、产品演示、会议讨论都会采用多媒体，在演示过程中，演讲者经常需要标注重点和简单书写，以引起观众的注意和交流互动，目前多使用激光笔来实现该功能，然而现有技术中的激光笔通常要配合专门的外接设备(例如，电子白板、信号接收器)才能识别用户的书写轨迹，给用户带来很大不便。

发明内容

本申请实施例的目的在于提供一种书写装置及系统、书写轨迹识别方法、程序产品及介质，以改善上述技术问题。

为实现上述目的，本申请提供如下技术方案：

第一方面，本申请实施例提供一种书写装置，包括：本体，以及设置在所述本体上摄像头、处理单元和存储单元；所述摄像头用于采集所述书写装置进行书写时被书写物体表面的多帧物体表面图像；所述处理单元用于根据所述多帧物体表面图像确定所述书写装置进行书写时的第一书写轨迹；所述存储单元用于保存所述第一书写轨迹。

上述书写装置通过自身的摄像头采集的物体表面图像就能够实现书写轨迹的识别，并不需要配合电子白板、信号接收器等专门的外接设备，使用起来非常方便，而且降低了用户的使用成本。另外，该书写装置还包括存储单元，若该存储单元是非易失性的或者至少包括非易失性的部分，则该书写装置可以独立使用并记录书写轨迹，不必依赖任何外部设备，从而极大拓宽了书写装置的使用场景，并且也方便后续对书写内容进行查阅。

应当指出，上述书写装置的使用场景并不限于多媒体演示，例如，也可以用于课堂笔记、会议记录等用途。

在第一方面的一种实现方式中，所述书写装置还包括：设置在所述本体上的陀螺仪和加速度计；所述陀螺仪和所述加速度计用于采集所述书写装置进行书写时的运动数据；所述处理单元用于根据所述多帧物体表面图像确定所述书写装置进行书写时的第二书写轨迹，根据所述运动数据确定所述书写装置进行书写时的第三书写轨迹，并融合所述第二书写轨迹和所述第三书写轨迹，得到所述第一书写轨迹。

在上述实现方式中，分别通过摄像头采集的数据，以及陀螺仪和加速度计采集的数据得到两个书写轨迹，然后融合这两个书写轨迹来获得第一书写轨迹。其中，基于摄像头采集的数据得到的第二书写轨迹精度较高，但容易受到光照变化、画面质量等问题的影响；基于陀螺仪和加速度计采集的数据到的第三书写轨迹相对来说精度低一些，但获取方式简单，可靠性较高。轨迹融合有利于实现两种书写轨迹的优势互补，从而改善第一书写轨迹的识别效果。

在第一方面的一种实现方式中，所述处理单元用于利用人工智能算法融合所述第二书写轨迹和所述第三书写轨迹，得到所述第一书写轨迹。

在上述实现方式中，通过人工智能算法来进行轨迹融合，有利于改善第一书写轨迹的识别效果。

在第一方面的一种实现方式中，所述本体包括笔头，所述陀螺仪和所述加速度计均设置在所述笔头上。

在上述实现方式中，由于笔头的运动最符合实际的书写轨迹，因此将陀螺仪和加速度计设置在笔头上可以使获得的第三书写轨迹更加准确。

在第一方面的一种实现方式中，所述本体包括笔头，所述书写装置还包括：设置在所述本体上的接触感应单元；所述接触感应单元用于在感应到所述笔头接触所述被书写物体表面时，触发所述摄像头采集所述物体表面图像。

上述实现方式中的书写装置为接触式，即需要装置接触物体表面完成书写，接触式书写具有书写实感，更符合多数用户的书写习惯，同时便于用户进行更精确的书写。

在第一方面的一种实现方式中，所述装置还包括：设置在所述本体上的激光发射单元；所述接触感应单元还用于在感应到所述笔头接触所述被书写物体表面时，触发所述激光发射单元产生照射所述被书写物体表面的激光；所述处理单元用于根据所述多帧物体表面图像中的激光光斑相对于所述被书写物体表面的位置变化确定所述第一书写轨迹。

在上述实现方式中，通过激光光斑的位置变化来识别第一书写轨迹，由于激光光斑在图像中的位置非常明显，因此有利于提高书写轨迹的识别精度。另外，通过激光光斑来识别书写轨迹，则不需要书写装置在被书写物体表面留下字迹、脏污等，有利于保持被书写物体的完好，并且可以支持在各种物体上进行书写，免去了传统书写对于纸张的需求，符合环境保护的趋势。

在第一方面的一种实现方式中，所述书写装置还包括：设置在所述本体上的模式切换开关；所述模式切换开关用于触发所述书写装置切换工作模式，所述工作模式包括书写模式和指示模式；当所述书写装置处于所述书写模式时，所述激光发射单元用于在所述接触感应单元的触发下产生照射所述被书写物体表面的激光，所述处理单元用于根据所述多帧物体表面图像中的激光光斑相对于所述被书写物体表面的位置变化确定所述第一书写轨迹；当所述书写装置处于所述指示模式时，所述激光发射单元用于持续产生激光，且所述摄像头不采集所述物体表面图像。

在上述实现方式中，通过设置模式开关，使得书写装置及可以用于书写，也可以用于指示(例如，用激光单元发射的激光照射远处)，从而丰富了书写装置的使用场景，便于实现一些互动功能。

在第一方面的一种实现方式中，所述本体还包括：笔身以及连接部；所述笔头的直径小于所述笔身的直径，所述连接部分别与所述笔头和所述笔身连接，所述连接部从连接所述笔头的一端到连接所述笔身的一端直径逐渐增大，形成所述连接部倾斜的侧面，所述摄像头以及所述激光发射单元均设置在所述连接部的侧面。

在上述实现方式中，将摄像头以及激光发射单元设置在连接部的侧面，使得书写装置的结构更加紧凑美观(不会有组件凸出在本体表面)，便于用户握持。

在第一方面的一种实现方式中，所述处理单元用于根据所述多帧物体表面图像中的笔头相对于所述被书写物体表面的位置变化确定所述第一书写轨迹，或者，根据所述多帧物体表面图像中的所述被书写物体表面的特征的位置变化确定所述第一书写轨迹。

在上述实现方式中，通过分析物体表面图像中的笔头或者被书写物体表面的特征来识别第一书写轨迹，则无需实现激光发射单元，有利于节约书写装置的成本和功耗。另外，通过以上两种方式来识别第一书写轨迹，则不需要书写装置在被书写物体表面留下字迹、脏污等，有利于保持被书写物体的完好，并且可以支持在各种物体上进行书写，免去了传统书写对于纸张的需求，符合环境保护的趋势。

在第一方面的一种实现方式中，所述书写装置还包括：设置在所述本体上的照明单元；所述接触感应单元还用于在感应到所述笔头接触所述被书写物体表面时，触发所述照明单元产生照射所述被书写物体表面的照明光线。

在上述实现方式中，通过设置照明单元，可以起到补光的作用，增加摄像头采集到的物体表面图像的亮度，从而改善轨迹识别效果。

在第一方面的一种实现方式中，所述处理单元还用于根据所述物体表面图像的亮度控制所述照明单元产生的所述照明光线的强度。

在上述实现方式中，根据物体表面图像的亮度自适应地调整照明单元的发光强度，可以使得物体表面图像总是保持在最适合识别书写轨迹的亮度，从而改善书写轨迹的识别效果，并且还有利于降低书写装置的功耗。

在第一方面的一种实现方式中，所述摄像头设置在所述笔头的侧面。

在上述实现方式中，将摄像头设置在笔头的侧面，可以使得物体表面图像中尽量少出现书写装置自身，从而改善书写轨迹的识别效果。另外，由于此时的书写装置不使用激光发射单元，所以也不用担心摄像头阻挡激光的传播路线。

在第一方面的一种实现方式中，所述本体还包括：笔身以及连接部；所述笔头的直径小于所述笔身的直径，所述连接部分别与所述笔头和所述笔身连接，所述连接部从连接所述笔头的一端到连接所述笔身的一端直径逐渐增大，形成所述连接部倾斜的侧面，所述照明单元设置在所述连接部的侧面。

在上述实现方式中，将照明单元设置在连接部的侧面，使得书写装置的结构更加紧凑美观(不会有组件凸出在本体表面)，便于用户握持。

在第一方面的一种实现方式中，所述书写装置还包括：设置在所述本体上的激光发射单元以及工作开关；所述激光发射单元用于在所述工作开关处于开启状态时产生照射所述被书写物体表面的激光；所述处理单元用于根据所述多帧物体表面图像中的激光光斑相对于所述被书写物体表面的位置变化确定所述第一书写轨迹。

上述实现方式中的书写装置为非接触式，即无需装置接触物体表面即可完成书写(但在部分实现方式中，非接触式的书写装置也支持接触物体表面进行书写)，从而便于用户隔空进行书写，可以满足多媒体演示等特定场景下的用户需求。另外，由于激光光斑在图像中的位置非常明显，因此有利于提高书写轨迹的识别精度。另外，由于书写装置是非接触式的，因此不需要书写装置在被书写物体表面留下字迹、脏污等，有利于保持被书写物体的完好，并且可以支持在各种物体上进行书写，免去了传统书写对于纸张的需求，符合环境保护的趋势。

在第一方面的一种实现方式中，所述处理单元还用于根据所述激光发射单元发射所述激光的时间和所述摄像头接收所述激光的时间之差计算所述书写装置与所述被书写物体表面的距离，根据所述距离对所述多帧物体表面图像进行缩放，并根据缩放后的多帧物体表面图像中的激光光斑相对于所述被书写物体表面的位置变化确定所述第一书写轨迹。

在上述实现方式中，根据激光测距结果，先对物体表面图像进行缩放，然后再进行轨迹识别，有利于改善因书写装置与被书写物体表面的距离不同，而导致的字体大小识别不当的问题。

在第一方面的一种实现方式中，所述摄像头设置在所述本体的一端。

在上述实现方式中，由于书写装置是非接触式的，即书写装置通常距离被书写物体表面有一定距离，所以可将摄像头设置在本体的一端，这样在物体表面图像中将不会出现书写装置自身，有利于改善书写轨迹的识别效果。

在第一方面的一种实现方式中，所述书写装置还包括：设置在所述本体上的通信单元；所述通信单元用于将所述存储单元中保存的所述第一书写轨迹发送给终端设备。

在上述实现方式中，通过设置通信单元，可以将书写装置识别到的第一书写轨迹发送给终端设备，以实现书写轨迹的显示、投影等更加丰富的功能。

第二方面，本申请实施例提供一种书写系统，包括：第一方面或第一方面的任意一种实现方式提供的书写装置以及终端设备，所述书写装置还包括设置在所述书写装置的本体上的通信单元(只针对第一方面或第一方面的任意一种实现方式提供的书写装置未包括通信单元的情况)；所述通信单元用于将所述书写装置的存储单元中保存的第一书写轨迹发送给所述终端设备；所述终端设备用于显示所述第一书写轨迹，和/或，控制其他设备显示所述第一书写轨迹。

上述书写系统除了具有第一方面中的书写装置所具有的有益效果之外，还可以通过终端设备和/或终端设备所控制的其他设备对第一书写轨迹进行显示，从而有利于书写者以及其他用户观察书写结果，实现用户间的交流互动。

在第二方面的一种实现方式中，所述系统还包括：投影仪；所述投影仪用于在所述终端设备的控制下显示所述第一书写轨迹。

第三方面，本申请实施例提供一种书写轨迹识别方法，包括：获取所述书写装置的摄像头采集的所述书写装置进行书写时被书写物体表面的多帧物体表面图像；根据所述多帧物体表面图像确定所述书写装置进行书写时的第一书写轨迹。

上述书写轨迹识别方法利用书写装置的摄像头采集的物体表面图像就能够实现书写轨迹的识别，并不需要配合电子白板、信号接收器等专门的外接设备，从而降低了书写轨迹识别的成本。注意，该方法可以由第一方面中的书写装置执行，也可以由除该书写装置以外的其他设备(包括但不限于第二方面中的终端设备)执行。

在第三方面的一种实现方式中，所述根据所述多帧物体表面图像确定所述书写装置进行书写时的第一书写轨迹，包括：根据所述多帧物体表面图像中的激光光斑相对于所述被书写物体表面的位置变化确定所述第一书写轨迹；其中，所述激光光斑由所述书写装置的激光发射单元产生的激光照射所述被书写物体表面形成；或者，根据所述多帧物体表面图像中的所述书写装置的笔头相对于所述被书写物体表面的位置变化确定所述第一书写轨迹；或者，根据所述多帧物体表面图像中的所述被书写物体表面的特征的位置变化确定所述第一书写轨迹。

在第三方面的一种实现方式中，所述根据所述多帧物体表面图像中的激光光斑相对于所述被书写物体表面的位置变化确定所述第一书写轨迹，包括：根据所述激光发射单元发射所述激光的时间和所述摄像头接收所述激光的时间之差计算所述书写装置与所述被书写物体表面的距离；根据所述距离对所述多帧物体表面图像进行缩放，并根据缩放后的多帧物体表面图像中的激光光斑相对于所述被书写物体表面的位置变化确定所述第一书写轨迹。

在第三方面的一种实现方式中，所述根据所述多帧物体表面图像确定所述书写装置进行书写时的第一书写轨迹，包括：根据所述多帧物体表面图像确定所述书写装置进行书写时的第二书写轨迹；根据所述书写装置的陀螺仪和加速度计采集的所述书写装置进行书写时的运动数据确定所述书写装置进行书写时的第三书写轨迹；融合所述第二书写轨迹和所述第三书写轨迹，得到所述第一书写轨迹。

在第三方面的一种实现方式中，所述融合所述第二书写轨迹和所述第三书写轨迹，得到所述第一书写轨迹，包括：利用人工智能算法融合所述第二书写轨迹和所述第三书写轨迹，得到所述第一书写轨迹。

在第三方面的一种实现方式中，所述方法还包括：根据所述物体表面图像的亮度控制所述书写装置的照明单元产生的照明光线的强度；其中，所述照明单元用于在所述书写装置的接触感应单元感应到所述书写装置的笔头接触所述被书写物体表面时，产生照射所述物体表面的所述照明光线。

第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序指令，所述计算机程序指令被电子设备的主控芯片读取并运行时，执行第三方面或第三方面的任意一种可能的实现方式提供的书写轨迹识别方法。

第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第三方面或第三方面的任意一种可能的实现方式提供的书写轨迹识别方法。

第六方面，本申请实施例提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第三方面或第三方面的任意一种可能的实现方式提供的书写轨迹识别方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的书写装置的第一种结构图；

图2为书写装置采集的一帧物体表面图像的示意图；

图3为书写装置采集的多帧物体表面图像的示意图；

图4为书写装置进行书写轨迹识别的原理图；

图5为本申请实施例提供的书写装置的第二种结构图；

图6为本申请实施例提供的书写装置的第三种结构图；

图7为本申请实施例提供的书写系统的一种结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行详细描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

术语“第一”、“第二”等仅用于将一个实体或者操作与另一个实体或操作区分开来，而不能理解为指示或暗示相对重要性，也不能理解为要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

本申请实施例提供的书写装置包括接触式和非接触式两类，接触式需要书写装置接触被书写物体表面进行书写，在使用方式上类似于传统的笔，而非接触式则支持书写装置隔空进行书写。其中，接触式的书写装置又可以分为包括激光发射单元和不包括激光发射单元两类，而非接触式的书写装置基本上都会包括激光发射单元(但也有例外)，图1、图5、图6分别对应书写装置的这三类主要实现方式，后文将依次进行介绍，并将这三类实现方式简称为书写装置的第一类实现方式(接触式且包括激光发射单元)、第二类实现方式(接触式且不包括激光发射单元)以及第三类实现方式(非接触式)。

参照图1，在第一类实现方式中，书写装置10至少包括以下组件：本体100、摄像头108、处理单元118、存储单元120、接触感应单元104和激光发射单元106。其中，接触感应单元104和激光发射单元106这两个组件的组合是书写装置10的第一类实现方式所特有的，另外两类实现方式一般不会同时包含这两个组件。

本体100可以指书写装置10的壳体，书写装置10的其余组件各组件均安装在本体100上。如图1所示，在一种可选方案中，书写装置10在外观上类似于传统的笔，此时书写装置10的本体100可以包括笔头100a、笔身100c以及连接笔头100a和笔身100c的连接部100b，笔头100a的直径小于笔身100c的直径，连接部100b从连接笔头100a的一端到连接笔身100c的一端直径逐渐增大，形成连接部100b倾斜的侧面。注意，直径通常是圆形或类圆形才具有的概念，但上述结构中的直径可以作更宽泛的理解，例如，若笔身100c是一个六面体，则笔身100c的直径可以理解为该六面体的横截面(一个六边形)的外接圆的直径。

应当理解，书写装置10的本体100还可以具有和图1不同结构：例如，本体100可以只包括笔头100a和笔身100c，二者直接连接，不设置连接部100b；又例如，整个本体100呈圆柱状，并没有明显的笔头100a和笔身100c的分界线，等等。

摄像头108设置在本体100表面，其具体位置不限，但要以能够拍摄到清晰的图像为宜，比如，若将摄像头108设置在笔头100a的前端则不合适。例如，参照图1，可将摄像头108设置在连接部100b的侧面，使得书写装置10的结构更加紧凑美观(摄像头108不会凸出在本体100所形成的柱体之外)，便于用户握持。

摄像头108与处理单元118电路连接。在本申请实施例中，电路连接既可以指组件之间通过电路直接相连，也可以指组件之间通过电路以及电路上的其他组件间接相连。

摄像头108用于采集书写装置10进行书写时被书写物体表面的多帧物体表面图像。对于接触式的书写装置10而言，被书写物体可以是具有一定硬度的物体，如桌子、墙壁、黑板等，或者在支撑下具有一定硬度的物体，如纸张、布料等(本身相对柔软，但放在桌面等物体上支撑后也具有硬度)。被书写物体表面可以指被书写物体的被书写表面。接触式的书写装置10进行书写的方式和传统的笔类似，都是用笔头100a接触被书写物体表面进行移动，笔头100a接触被书写物体表面进行移动的过程也就是书写的过程，笔头100a移动的轨迹也就是书写轨迹。如果书写装置10的本体100没有明确的笔头100a(例如，本体100整体式一个圆柱体的情况)，则用书写装置10的一端接触被书写物体表面书写即可，后文不再特别说明这种情况。

被书写物体表面的图像称为物体表面图像，在书写装置10进行书写的过程中，摄像头108可以按照一定的频率(例如，每秒200帧、每秒500帧)采集物体表面图像，并将物体表面图像传输给处理单元118以进行书写轨迹的识别。可选的，提高摄像头108采集物体表面图像的频率有利于改善书写轨迹的识别精度。

若书写装置10未进行书写，摄像头108可以停止采集物体表面图像，以节约装置功耗，并避免识别到不正确的书写轨迹。此时，摄像头108可以处于断电状态，或者也可以处于休眠状态，等待在书写装置10开始书写后被唤醒。当然，在书写装置10未进行书写时，摄像头108只采集物体表面图像但不使用这些图像也是可以的。

摄像头108应当能够感应激光发射单元106产生的激光，即物体表面图像中需要有激光照射所形成的激光光斑。若激光发射单元106产生的激光是可见光，则摄像头108可以采用可见光摄像头，若激光发射单元106产生的激光不是可见光(例如，红外光)，则摄像头108不能采用可见光摄像头，而要采用能够感应红外光的摄像头。

激光发射单元106设置在本体100表面，其具体位置不限。例如，参照图1，可将激光发射单元106设置在连接部100b的侧面，使得书写装置10的结构更加紧凑美观(激光发射单元106不会凸出在本体100所形成的柱体之外)，便于用户握持。

激光发射单元106与处理单元118电路连接，从而处理单元118可以控制激光发射单元106的发光状态。

激光发射单元106用于在书写装置10进行书写时产生照射被书写物体表面的激光，激光会在被书写物体表面形成激光光斑，需要合理地设置激光发射单元106和摄像头108的位置，并合理的地选用摄像头108(如前所述，要选择可感应激光信号的摄像头108)，使得摄像头108采集的物体表面图像中包含激光光斑。例如，可以使得激光发射单元106对准笔头100a附近的某个位置(比如，笔头100a附近2cm范围内的某个位置)发射激光，从而激光光斑会出现在笔头100a附近，而摄像头108的拍摄范围也对准笔头100a，则能够保证物体表面图像中总是包含激光光斑。

若书写装置10未进行书写，激光发射单元106可以停止产生激光，以节约装置功耗，并避免识别到不正确的书写轨迹。

激光发射单元106发射的激光波长不限，例如可以是蓝光、绿光、红光、红外光等，若采用不可见光，则形成的激光光斑不易受到被书写物体表面的颜色的干扰，有利于改善书写轨迹的识别效果。可选的，激光发射单元106可以采用激光二极管、气体激光器等实现，而为了更好地识别激光光斑，摄像头108还可以加装与激光波长对应的滤光片。

接触感应单元104设置在本体100上，具体位置不限，可能位于本体100表面，也可能位于本体100内部，图1为设置在本体100内部的情况。接触感应单元104与处理单元118电路连接。

接触感应单元104用于在感应到笔头100a接触被书写物体表面时，触发摄像头108采集物体表面图像，以及触发激光发射单元106产生照射被书写物体表面的激光。其中，接触感应单元104感应到笔头100a接触被书写物体表面时，也就是书写装置10开始书写时。例如，接触感应单元104感应到笔头100a接触被书写物体表面时，可以向处理单元118发送一个触发信号，处理单元118接收到该触发信号后，控制摄像头108开始采集物体表面图像(摄像头108此前可以处于休眠状态)，并控制激光发射单元106开始发射激光。

参照图1，例如，接触感应单元104可以实现为一个压力感应单元(比如，一个压力开关)，该压力感应单元与笔头100a连接，在笔头100a接触被书写物体表面时，被书写物体表面对笔头100a产生的压力被压力感应单元所感知，压力感应单元随之向处理单元118发送一个触发信号，以触发摄像头108和激光发射单元106开始工作。应当理解，在接触感应单元104的其他实现方式中，也可以感知其他能够代表笔头100a接触被书写物体表面的信号(或信息)：例如，接触感应单元104可以是距离感应单元，用于感应笔头100a与被书写物体表面的距离，距离为0或者小于一阈值则认为是接触；又例如，接触感应单元104可以是触摸感应单元(电容式、电阻式等)，用于感应被书写物体表面接触(触摸)笔头100a的行为，等等。

接触感应单元104还可以用于在感应到笔头100a停止接触被书写物体表面时，触发摄像头108停止采集物体表面图像，以及触发激光发射单元106停止产生照射被书写物体表面的激光。这一过程和接触感应单元104感应笔头100a接触被书写物体表面的过程是类似的，不再详细阐述。

处理单元118设置在本体100上，具体位置不限，例如可以设置在本体100内部。处理单元118与存储单元120电路连接。

处理单元118用于根据摄像头108采集的多帧物体表面图像确定书写装置10进行书写时的第一书写轨迹，并将第一书写轨迹写入存储单元120。

简而言之，处理单元118的主要功能是基于物体表面图像的书写轨迹识别，下面结合图2～4简述其识别原理：

图2为书写装置10采集的一帧物体表面图像的示意图。参照图2，最外层的黑色矩形框表示被书写物体表面，灰色的圆形区域表示摄像头108的拍摄范围，黑色圆点表示笔头100a与被书写物体表面接触的位置，白色圆点表示激光光斑的位置，标有数字的网格表示被书写物体表面的特征。

其中，由于笔头100a和摄像头108的相对位置是固定的，所以黑色圆点相对于灰色圆形区域的位置总是固定的，由于激光发射单元106和笔头100a的相对位置是固定的，所以白色圆点相对于黑色圆点的位置总是固定的。另外，这里将被书写物体表面的特征用网格表示只是为了便于阐述书写轨迹的识别原理，实际中的被书写物体表面很可能并没有网格这样明显的特征，而只有诸如桌面上的木头纹理、小坑、使用痕迹等特征，但特征形态的不同并不影响书写轨迹的识别原理。

图3为书写装置10采集的多帧物体表面图像的示意图。参照图3，其中共示出了连续五帧的物体表面图像，这些物体表面图像和图2示出的比较类似。观察图3可知，从第一帧到第五帧，白色圆点的位置相对于被书写物体表面的网格是变化的，如果将网格中的数字视为坐标，在第一帧中，白色圆点左侧的横坐标大约是7.9个单位，纵坐标大约是7个单位，在第五帧中白色圆点左侧的横坐标大约是9.2个单位，纵坐标大约是7个单位，也就是说白色圆点向横坐标正向移动了1.3个单位，纵向则没有移动，又由于激光发射单元106和笔头100a的相对位置是固定的，所以白色圆点的运动轨迹可以或者至少是在一定程度上可以代表黑色圆点的运动轨迹，即可以认为黑色圆点也向横坐标正向移动了1.3个单位，纵向则没有移动，又由于黑色圆点为笔头100a和被书写物体表面的接触点，黑色圆点的运动轨迹就是书写轨迹，所以可识别出书写轨迹为长度为1.3个单位的短横(从左至右)。

图4为书写装置10进行书写轨迹识别的原理图。参照图4，可以将图3中的五帧物体表面图像进行匹配，匹配可以理解为将各帧图像中相同的部分重叠起来，匹配后得到图4左侧的图像。其中，通过对各帧物体表面图像中被书写物体表面的特征进行对齐，不难完成物体表面图像的匹配(例如，将网格对准后重叠各帧物体表面图像即可)。由于在图3的五帧物体表面图像中，白色圆点的位置(检测激光光斑容易得到该位置)相对于被书写物体表面是连续变化的，所以在进行图像匹配后，这些白色圆点连成了一条白色的短线，从匹配后的物体表面图像中将该白色的短线过滤出来，再结合短线形成的方向，得到的就是白色圆点的运动轨迹，或者说识别到的书写轨迹(短横，从左向右)，如图4右侧所示(为便于观察，给白色短线添加了一个黑色的边框)，该书写轨迹由五个点构成，每个点对应一帧物体表面图像中激光光斑的位置。

注意，在上述轨迹识别的过程中并未使用黑色圆点，绘制黑色圆点仅仅是为了便于理解笔头100a的位置，这也表明，在书写装置10的某些可选方案中，摄像头108的拍摄范围允许不包含笔头100a。

图4中书写轨迹的识别原理可以进一步概括为：根据多帧物体表面图像中的激光光斑相对于被书写物体表面的位置变化确定第一书写轨迹。

其中，多帧物体表面图像具体是多少帧不限，例如可以是50帧，100帧等等。以100帧为例，由于书写是一个连续的过程，因此从书写开始到书写结束(指写完了全部需要写的内容)产生的物体表面图像可能远超过100帧，既可以将第一书写轨迹理解为基于每100帧物体表面图像所确定的书写轨迹(确定方法参考图4的原理)，也可以将第一书写轨迹理解为多个小段书写轨迹拼接后的结果，每个小段书写轨迹可以是基于100帧物体表面图像所确定的，此时用于确定第一书写轨迹的物体表面图像的数量为100帧的整数倍。

进一步的，第一书写轨迹既可以是多个小段书写轨迹直接拼接的结果，也可以是将多个小段书写轨迹直接拼接所得到的原始书写轨迹输入人工智能算法、由人工智能算法处理后所输出的书写轨迹(直接将多个小段书写轨迹输入人工智能算法的情况也可以类似分析)。其中，人工智能算法可以是基于神经网络模型或者其他机器学习模型的算法，人工智能算法所进行的处理包括轨迹优化，书写内容识别等一项或多项处理。

例如，若摄像头108采集物体表面图像的帧率较低，则原始书写轨迹可能是比较离散的，人工智能算法可以将其处理为更加连续的书写轨迹，这就是一种轨迹优化方式；例如，若摄像头108采集的物体表面图像质量不佳，导致原始书写轨迹中出现不连续的情况，人工智能算法可以将其处理为更加连续的书写轨迹，这也是一种轨迹优化方式；又例如，人工智能算法可以根据原始书写轨迹识别出用户所写的具体是什么字(假设用户是在写字的话)，然后将用户所写的字的形态作为输出的书写轨迹，这就是一种书写内容识别，等等。

可选的，合理地设置激光发射单元106的朝向，使得激光光斑总是位于笔头100a与被书写物体表面接触的位置附近(如不超过2cm)，这样做不仅仅是为了确保物体表面图像中总是包含激光光斑，而且可使得基于激光光斑所识别出的第一书写轨迹更加接近于笔头100a真实的书写轨迹。

处理单元118可以采用微控制单元(Micro Controller Unit，简称MCU)、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuits，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等方式实现。

存储单元120用于保存第一书写轨迹，当然存储单元120还可以保存其他数据，例如，处理单元118执行的计算机程序指令、物体表面图像、未经人工智能算法处理过的原始书写轨迹等一项或多项数据，存储单元120中的数据可被处理单元118读取或写入。

存储单元120可以采用随机存取存储器(Random Access Memory，简称RAM)、只读存储器(Read Only Memory，简称ROM)、可编程只读存储器(Programmable Read-OnlyMemory，简称PROM)、可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)、电可擦除可编程只读存储器(Electric Erasable ProgrammableRead-Only Memory，简称EEPROM)等一种或多种存储器实现。

以上在介绍书写装置10的各个组件时，默认摄像头108、存储单元120、接触感应单元104和激光发射单元106均与处理单元118电路连接。然而，在一些可选方案中，书写装置10未必要采用这样的电路连接方式，例如，接触感应单元104也可以只和摄像头108以及激光发射单元106电路连接，但不和处理单元118、或者至少是不直接和处理单元118电路连接。但连接方式的改变并不影响前文描述的接触感应单元104的功能，只是此时接触感应单元104在感应到笔头100a接触被书写物体表面时，可以直接将产生的触发信号发送给摄像头108以及激光发射单元106，以促使二者开始工作。也就是说，在保证书写装置10的各个组件可以实现其功能的基础上，对本申请实施例中的电路连接关系所进行的合理改动，仍然纳入本申请的保护范围之内。

参照图1，书写装置10还包括总线122，总线122用于更好地实现书写装置10的各个组件之间的电路连接，例如，总线122可以实现为印制电路板(Printed Circuit Board，简称PCB)，书写装置10的部分组件，比如处理单元118、存储单元120等可以安装在PCB上。

简单总结图1中的书写装置10，书写装置10为接触式，能够通过接触感应单元104感应用户在被书写物体表面的书写行为，并通过摄像头108采集的物体表面图像中的激光光斑相对于被书写物体表面的位置变化来识别书写轨迹。

接触式书写具有书写实感，更符合多数用户的书写习惯，同时便于用户进行更精确的书写。另外，书写装置10并不需要配合电子白板、信号接收器等专门的外接设备使用，其自身就可以获得书写轨迹，降低了用户的使用成本。另外，书写装置10通过激光光斑的位置变化来识别第一书写轨迹，由于激光光斑在图像中的位置非常明显，因此有利于提高书写轨迹的识别精度。并且，通过激光光斑来识别书写轨迹，则不需要书写装置10在被书写物体表面留下字迹、脏污等，有利于保持被书写物体的完好，并且可以支持在各种物体上进行书写，免去了传统书写对于纸张的需求，符合环境保护的趋势。

进一步的，书写装置10还包括存储单元120，在某些实现方式中，该存储单元120可持久性存储(即断电后数据不丢失)第一书写轨迹，则此时书写装置10可以独立使用并记录书写轨迹，不必依赖任何外部设备，从而极大拓宽了书写装置10的使用场景，并且也方便后续对书写内容进行查阅。

书写装置10可用于多种场景：例如，用于多媒体演示，即将书写装置10本地存储的第一书写轨迹发送到外部的设备进行显示，以将书写内容分享给其他人(详见后文介绍)；又例如，用于课堂笔记、会议记录，直接在桌面上书写需要记录的内容(第一书写轨迹)，这些内容被记录在存储单元120，后续方便时可导出到外部的设备上查阅，等等。

下面继续介绍图1的书写装置10中可能包含的其他组件：

在以上任一实施例的基础上，可选的，书写装置10还包括陀螺仪和加速度计102，陀螺仪和加速度计102设置在本体100上，既可以位于本体100内部，也可以位于本体100表面，二者既可以设置在一起，也可以设置在本体100的不同位置，图1是将二者设置在一起的情况。陀螺仪和加速度计102均与处理单元118电路连接。在书写装置10进行书写的过程中，陀螺仪和加速度计102可以感知到书写装置10的运动，并按照一定的频率(例如，每秒30帧、每秒50帧)采集相应的数据，称为运动数据，采集到的运动数据被陀螺仪和加速度计102发送给处理单元118。其中，陀螺仪可以采集书写装置10运动的角速度，经处理单元118换算后可以得到书写装置10(在一定时间内)运动的方向，加速度计可以采集书写装置10运动的加速度，经处理单元118换算后可以得到书写装置10(在一定时间内)运动的距离。可选的，提高陀螺仪和加速度计102采集数据的频率有利于改善书写轨迹的识别精度。

若书写装置10未进行书写，陀螺仪和加速度计102可以停止采集运动数据，以节约装置功耗，并避免识别到不正确的书写轨迹。此时，陀螺仪和加速度计102可以处于断电状态，或者也可以出于休眠状态，等待在书写装置10开始书写后被唤醒。当然，在书写装置10未进行书写时，陀螺仪和加速度计102采集数据但不使用这些数据也是可以的。

之前曾提到，接触感应单元104在感应到笔头100a接触被书写物体表面时，触发摄像头108采集物体表面图像，在感应到笔头100a停止接触被书写物体表面时，触发摄像头108停止采集物体表面图像，若书写装置10还包括陀螺仪和加速度计102，则接触感应单元104还可以在感应到笔头100a接触被书写物体表面时，触发陀螺仪和加速度计102采集运动数据，在感应到笔头100a停止接触被书写物体表面时，触发陀螺仪和加速度计102停止采集运动数据。对于陀螺仪和加速度计102，其具体的触发过程和摄像头108的触发过程类似，不再重复阐述。

进一步的，在设置有陀螺仪和加速度计102的情况下，可以通过和前文不同的方式获得第一书写轨迹：

将处理单元118根据摄像头108采集的多帧物体表面图像所得到的书写轨迹称为第二书写轨迹，其获得方法前文已经阐述。

另外，处理单元118在根据陀螺仪和加速度计102采集的运动数据获得了书写装置10在一段时间内的运动方向和距离后，可以得到书写装置10在该段时间内的运动轨迹，又由于运动数据只在书写装置10的书写过程中才进行采集，所以此时的运动轨迹就是书写装置10的书写轨迹，称为第三书写轨迹。

进而，处理单元118可以通过融合第二书写轨迹和第三书写轨迹来得到第一书写轨迹。具体的融合方式不限，例如可以是加权融合，可以是有条件融合(比如在满足某个特定条件的时间段内只采用第二书写轨迹作为第一书写轨迹，在满足另一个特定条件的时间段内只采用第三书写轨迹作为第一书写轨迹)，可以是通过人工智能算法进行融合，等等。

例如，可将第二书写轨迹和第三书写轨迹输入人工智能算法、由人工智能算法处理后输出第一书写轨迹。其中，人工智能算法可以是基于神经网络模型或者其他机器学习模型的算法，人工智能算法所进行的处理至少包括轨迹融合，还可以包括轨迹优化、书写内容识别等一项或多项处理。其中，轨迹优化、书写内容识别可以针对融合前的书写轨迹或者融合后的书写轨迹进行，其具体操作可以参考前文内容。若第二书写轨迹和第三书写轨迹通过人工智能算法来融合，则在得到第二书写轨迹的过程中可以不使用人工智能算法。

基于摄像头108采集的数据得到的第二书写轨迹精度较高，但容易受到光照变化、画面质量等问题的影响；基于陀螺仪和加速度计102采集的数据到的第三书写轨迹相对来说精度低一些，但获取方式简单，可靠性较高。上述可选方案通过轨迹融合来得到第一书写轨迹有利于实现两种书写轨迹的优势互补，从而改善第一书写轨迹的识别效果。特别是采用了人工智能算法的情况，可以交由算法自主决定如何融合第二书写轨迹和第三书写轨迹，融合效果较好。

特别地，对于某些特征不明显的表面，例如纯色表面，通过物体表面图像之间的匹配来确定激光光斑的相对于被书写物体表面的位置变化可能效果不佳，因为缺乏特征的物体表面图像难以进行准确的图像匹配，也就是说此时得到的第二书写轨迹精度较低，甚至根本不可用，但在结合第三书写轨迹后，书写轨迹的可用性大幅提高，可见，采用陀螺仪和加速度计102还可以提高书写装置10的适用范围，即支持在更多的物体表面上进行书写。

进一步的，陀螺仪和加速度计102可以设置在本体100的任意位置，但将二者设置在笔头100a上(如图1所示)有利于获得更加精确的第三书写轨迹，其原因在于笔头100a的运动最符合用户实际的书写轨迹。例如，若将陀螺仪和加速度计102设置在笔身100c上，则笔头100a的小幅运动反映到笔身100c上可能是大幅运动，导致得到的第三书写轨迹精确性下降，进而影响融合产生的第一书写轨迹的质量。

在以上任一实施例的基础上，可选的，书写装置10还包括设置在本体100表面的模式切换开关112，其具体位置不限，例如，参照图1，可将模式切换开关112设置在本体100的笔身100c表面，便于用户操作。模式切换开关112与处理单元118电路连接。

模式切换开关112用于触发书写装置10切换工作模式，书写装置10的工作模式至少包括书写模式和指示模式，从而模式切换开关112至少包括两个状态，与两种工作模式对应。书写装置10的工作模式可由处理单元118负责控制，模式切换开关112切换至某种工作模式时，可以向处理单元118发送与该模式对应的触发信号，以使处理单元118控制自身以及其他组件按照该模式所指定的方式工作。

其中，当书写装置10处于书写模式时，激光发射单元106在接触感应单元104的触发下产生照射被书写物体表面的激光(若书写装置10还包括陀螺仪和加速度计102，此时陀螺仪和加速度计102也被触发采集运动数据)，摄像头108则在接触感应单元104的触发下采集物体表面图像，处理单元118则根据多帧物体表面图(可能还有运动数据)确定第一书写轨迹，此种模式前文已经阐述。

当书写装置10处于指示模式时，激光发射单元106持续产生激光，且摄像头108不采集物体表面图像(若书写装置10还包括陀螺仪和加速度计102，此时陀螺仪和加速度计102也不采集运动数据)。在指示模式下，激光可以用于照射远处的物体(例如，投影仪幕布、黑板)，以便支持和其他用户的互动等功能。

模式切换开关112的类型不限，例如可以是轻触开关，可以是拨动开关，可以是触摸屏上的虚拟开关，等等。

在以上任一实施例的基础上，可选的，书写装置10还包括设置在本体100表面的一个或多个功能按键114，其具体位置不限，例如，参照图1，可将功能按键114设置在本体100的笔身100c表面，便于用户操作。功能按键114与处理单元118电路连接，用于触发处理单元118实现不同的功能。例如，翻页功能、控制功能、删除所写文字等一项或多项功能，这其中的部分或全部的功能可以是在书写装置10与终端设备(通过后文介绍的通信单元)通信时才生效，即这些功能按键114针对的可以是终端设备上的功能而非书写装置10本地的功能。例如，翻页功能可以仅在书写装置10连接计算机进行PPT演示时才生效。

功能按键114可以是实体按键，也可以是触摸屏上的虚拟按键。

在以上任一实施例的基础上，可选的，书写装置10还包括设置在本体100表面的显示屏110，其具体位置不限，例如，参照图1，可将显示屏110设置在本体100的笔身100c表面，便于用户观察显示屏110内容。显示屏110与处理单元118电路连接，处理单元118用于控制显示屏110显示的内容，例如，显示的内容可以包括第一书写轨迹、功能按键114的操作记录(如被删除的字的数量等)、剩余电量信息、终端设备连接状态(是否连接终端设备)等一项或多项信息。在设置有显示屏110时，书写装置10可以支持在本地查阅书写内容。

显示屏110可以是普通屏幕，也可以是触摸屏，若显示屏110采用触摸屏，则可以将功能按键114、模式切换开关112等的功能也集成到显示屏110中，以虚拟按键、虚拟开关的方式呈现。

在以上任一实施例的基础上，可选的，书写装置10还包括设置在本体100上的通信单元，其具体位置不限，例如可将通信单元设置在本体100的笔身100c内部。通信单元与处理单元118电路连接，处理单元118可以从存储单元120中读取第一书写轨迹，并将其发送给通信单元，再由通信单元发送给终端设备。

其中，终端设备是指除书写装置10自身以外的设备，例如可以是PC机、笔记本电脑、平板电脑、手机、服务器等设备，终端设备可以对第一书写轨迹进行进一步处理，例如保存第一书写轨迹、对第一书写轨迹进行显示、投影，等等。应当理解，通信单元还可以用于向终端设备发送除书写轨迹以外的其他数据，以及，接收终端设备发送给书写装置10的数据，总之，利用通信单元可以实现书写装置10和终端设备之间的通信，这种通信可以是实时的，也可以是非实时的。

通信单元既可以采用无线通信模块116，例如，WiFi模块、蓝牙模块或移动通信模块等，也可以采用有线通信模块126，例如，USB模块等，当然，通信单元可以同时包括无线通信模块116和有线通信模块126，从而支持多种环境下的对外通信，如图1所示。

在以上任一实施例的基础上，可选的，书写装置10还包括设置在本体100上的电池124，其具体位置不限，例如可将电池124设置在本体100的笔身100c内部。电池124可与处理单元118、摄像头108、激光发射单元106等需要用电的组件电路连接，用于向这些组件供电。在替代方案中，书写装置10也可以不内置电池124，而是通过充电线与外部的电源连接。

应当理解，图1仅为示例，即使是只考虑书写装置的第一类实现方式，也可能包含比图1示出的更多的组件，或者与图1具有不同的配置。例如，书写装置10还可以包括投影组件，用于将用户书写的内容投影到物体表面上，方便用户及时查阅，等等。

参照图5，在第二类实现方式中，书写装置20至少包括以下组件：本体200、摄像头208、处理单元218、存储单元220和接触感应单元204。

关于本体200的结构，也分为笔头200a、连接部200b以及笔身200c，具体可参考图1的相关阐述，不再重复。

摄像头208设置在本体200表面，其具体位置不限，摄像头208与处理单元218电路连接，用于采集书写装置20进行书写时被书写物体表面的多帧物体表面图像，并将采集到的物体表面图像发送给处理单元218。由于书写装置20的第二类实现方式仍然为接触式，因此被书写物体可以选择具有一定硬度的物体，或者在支撑下具有一定硬度的物体。若书写装置20未进行书写，摄像头208可以停止采集物体表面图像，以节约装置功耗，并避免识别到不正确的书写轨迹。

在书写装置20的第二类实现方式中，由于不包含激光发射单元，因此摄像头208可以采用普通的可见光摄像头，并且此时摄像头208采集的物体表面图像中也没有激光光斑，后续也不会通过激光光斑来进行轨迹识别，例如，此时的表面图像可以如图2所示(但没有白色圆点)。

进一步的，由于不包含激光发射单元，因此摄像头208可以设置在笔头200a的侧面，不必担心摄像头208阻挡激光的传播路线，并且还可以使得摄像头208采集的物体表面图像中尽量少拍摄到书写装置20自身，从而改善书写轨迹的识别效果。可选的，由于笔头200a体积较小，因此摄像头208可以选择微型摄像头，如芯片级相机模组(Camera CubeChip，简称CCC)，这类微型摄像头不仅便于集成在笔头200a上，而且有利于降低实施成本。注意，对于前文提到的摄像头108以及后文将要提到的摄像头308，也可以选择微型摄像头。

关于接触感应单元204，可参考图1的相关阐述，不再重复。值得注意的是，由于书写装置20中不包含激光发射单元，所以接触感应单元204只需在感应到笔头200a接触被书写物体表面时，触发摄像头208采集物体表面图像即可，不需要对激光发射单元进行触发。

在书写装置20的第二类实现方式中，处理单元218至少可以采取以下两种方式之一来确定第一书写轨迹：

(1)根据多帧物体表面图像中的笔头200a相对于被书写物体表面的位置变化确定第一书写轨迹。

此种方式和基于激光光斑确定第一书写轨迹的方式类似，结合图3，可以理解为此时是根据黑色圆点而非白色圆点的运动来确定书写轨迹，其原理不再重复解释。

不过需要注意的是，方式(1)需要从物体表面图像中检测出笔头200a的位置，相对于激光光斑的位置，笔头200a的位置在图像中没有那么明显，而且容易受到外部光照等因素的影响，此问题可以通过在书写装置20中设置照明单元206来改善，详见后文阐述。

(2)根据多帧物体表面图像中的被书写物体表面的特征的位置变化确定第一书写轨迹。

由于运动是相对的，书写装置20相对于被书写物体表面在运动，被书写物体表面相对于书写装置20也在运动，从而如果能够得到被书写物体表面的特征的运动轨迹，同样可以得到书写装置20的书写轨迹。而在书写过程中，由于书写装置20的运动，导致摄像头208拍摄范围的改变，从而被书写物体表面的同一个特征在多帧物体表面图像中的位置是不同的，此种位置的变化反映的正是该特征的运动轨迹，这就是方式(2)进行书写轨迹识别的原理。

例如，桌面上有一个小坑，为简单起见，只考虑书写装置20的横向运动，在第一帧中，该小坑距离物体表面图像左边界3个单位，在第五帧中，该小坑距离物体表面图像左边界5.5个单位，说明该小坑在这五帧中向右移动了2.5个单位，即该小坑的运动轨迹为一个长度为2.5的短横(从左到右)，从而可以推断出书写装置20的书写轨迹为一个长度为2.5的短横(从右到左，方向和小坑的运动轨迹相反)。

不过需要注意的是，方式(2)非常依赖于对被书写物体表面的特征的检测，如果被书写物体表面没有明显的特征，或者受到光照等外部因素的干扰导致特征检测困难，通过方式(2)得到的第一书写轨迹质量将降低，此问题可以通过在书写装置20中设置照明单元206，或者增设陀螺仪和加速度计来改善，或者也可以有意选择一些特征比较明显的物体表面进行书写。

另外，方式(2)中的书写轨迹识别并不依赖于物体表面图像中的笔头200a，这也表明，在书写装置20的某些可选方案中，摄像头208的拍摄范围允许不包含笔头200a。

关于存储单元220，可参考图1的相关阐述，不再重复。

简单总结图5中的书写装置20，该书写装置20为接触式，能够通过接触感应单元204感应用户在被书写物体表面的书写行为，并通过摄像头208采集的物体表面图像中的笔头200a相对于被书写物体表面的位置变化，或者被书写物体表面的特征的位置变化来识别书写轨迹。

接触式书写具有书写实感，更符合多数用户的书写习惯，同时便于用户进行更精确的书写。另外，书写装置20并不需要配合电子白板、信号接收器等专门的外接设备使用，其自身就可以获得书写轨迹，降低了用户的使用成本。另外，书写装置20由于不使用激光发射单元，因此有利于节约书写装置20的成本和功耗。并且，通过图像中笔头200a的位置或者被书写物体表面的特征的位置来识别书写轨迹，则不需要书写装置20在被书写物体表面留下字迹、脏污等，有利于保持被书写物体的完好，并且可以支持在各种物体上进行书写，免去了传统书写对于纸张的需求，符合环境保护的趋势。

进一步的，书写装置20还包括存储单元220，在某些实现方式中，该存储单元220可持久性存储第一书写轨迹，则此时书写装置20可以独立使用并记录书写轨迹，不必依赖任何外部设备，从而极大拓宽了书写装置20的使用场景，并且也方便后续对书写内容进行查阅。

图5中示出的总线222、功能按键214、显示屏210、通信单元(包括无线通信单元216和有线通信单元226)、电池224均可以参照图1中的同名组件实现，不再重复阐述。

图5中的书写装置20未包含陀螺仪和加速度计，可以节约装置成本，节省装置功耗，但为了提高书写轨迹的识别精度，加装陀螺仪和加速度计也是可以的，其安装位置和用途均可以参考图1中的相关阐述，不再重复。

在以上任一实施例的基础上，可选的，书写装置20还包括设置在本体200表面的照明单元206，其具体位置不限。例如，参照图5，可将照明单元206设置在连接部200b的侧面，使得书写装置20的结构更加紧凑美观(照明单元206不会凸出在本体200所形成的柱体之外)，便于用户握持。

照明单元206与处理单元218电路连接，从而处理单元218可以控制照明单元206的发光状态。

照明单元206用于在书写装置20进行书写时产生照射被书写物体表面的照明光线，合理地设置照明单元206和摄像头208的位置，可使得照明单元206的照明范围覆盖摄像头208的拍摄范围，从而可以增加摄像头208采集的物体表面图像的亮度，使得图像中的笔头200a位置、被书写物体表面的特征位置等更加明显，从而有利于改善书写轨迹的识别效果，或者说使得书写装置20可以在一些较暗的环境中正常书写。例如，若摄像头的拍摄范围以笔头200a为中心，则照明单元206的朝向也可以对准笔头200a或笔头200a附近的位置。

若书写装置20未进行书写，照明单元206可以停止产生照明光线，以节约装置功耗。

由于图5中的书写装置20是接触式的，所以照明单元206是否发射照明光线可由接触感应单元204进行触发，触发方式和图1接触感应单元104中对于摄像头108、激光发射单元106的触发方式类似，不再重复阐述。

照明单元206发射的照明光线颜色不限，例如可以是白光、黄光等。可选的，照明单元206可以采用发光二极管等实现。

进一步的，照明单元206产生的照明光线的强度可以是恒定的，也可以是可变的。例如，在一种可选方案中，处理单元218可以根据物体表面图像的亮度控制照明单元206产生的照明光线的强度，比如，若物体表面图像的亮度较低，则控制照明单元206提高照明光线的强度，若物体表面图像的亮度较高，则控制照明单元206降低照明光线的强度，甚至直接停止发光。这样自适应地调整照明单元206的发光强度，可以使得物体表面图像总是保持在最适合识别书写轨迹的亮度，从而改善书写轨迹的识别效果，并且还有利于降低书写装置20的功耗。

在书写装置20包括照明单元206的基础上，可选的，书写装置20还包括设置在本体200表面的模式切换开关212，其具体位置不限，例如，参照图5，可将模式切换开关212设置在本体200的笔身200c表面，便于用户操作。模式切换开关212与处理单元218电路连接。

模式切换开关212用于触发书写装置20切换工作模式，书写装置20的工作模式至少包括书写模式和照明模式。书写装置20的工作模式可由处理单元218负责控制，模式切换开关212切换至某种工作模式时，可以向处理单元218发送与该模式对应的触发信号，以使处理单元218控制自身以及其他组件按照该模式所指定的方式工作。

其中，当书写装置20处于书写模式时，照明单元206在接触感应单元204的触发下产生照射被书写物体表面的照明光线，处理单元218则根据多帧物体表面图像中的笔头相对于被书写物体表面的位置变化，或者，根据多帧物体表面图像中的被书写物体表面的特征的位置变化确定第一书写轨迹，此种模式前文已经阐述。

当书写装置20处于照明模式时，照明单元206持续产生照明光线，且摄像头208不采集物体表面图像。照明模式可以在黑暗环境下使用，此时的书写装置20在功能上类似于一个手电筒。

模式切换开关212的类型不限，例如可以是轻触开关，可以是拨动开关，可以是触摸屏上的虚拟开关，等等。

应当理解，在介绍图5中书写装置20包含的组件时，为简单起见，与图1中重复的部分在细节上可能有所省略，这些省略的细节均可以参照图1中的相关内容。

还应当理解，图5仅为示例，即使是只考虑书写装置的第二类实现方式，也可能包含比图5示出的更多的组件，或者与图5具有不同的配置。

另外，虽然书写装置20的第一类和第二类实现方式都支持无字迹(指墨水痕迹)的书写，但也不排除在某些实现方式中，笔头200a是可以留下字迹的，此时的书写装置20既可以实现传统笔的书写功能，又可以将书写轨迹实时地电子化保存。进一步的，对于可留下字迹的书写装置20，也可以在处理单元218上运行光学字符识别(Optical CharacterRecognition，简称OCR)算法实现书写轨迹的识别，而不采用上面介绍的识别方法。

参照图6，在第三类实现方式中，书写装置30至少包括以下组件：本体300、摄像头308、激光发射单元306、工作开关312、处理单元318和存储单元320。

关于本体300的结构，也分为笔头300a、连接部300b以及笔身300c，具体可参考图1的相关阐述，不再重复。

摄像头308设置在本体300表面，其具体位置不限。摄像头308与处理单元318电路连接，用于采集书写装置30进行书写时被书写物体表面的多帧物体表面图像，并将采集到的物体表面图像发送给处理单元318。

对于非接触式的书写装置30而言，被书写物体可以是被激光照射后能在其表面形成激光光斑的物体，其涵盖范围比接触式的书写装置30更广泛，例如，处于垂落状态下的窗帘，通常并不适合接触式的书写装置30在其上书写，因为难以对窗帘发力，但对于非接触的书写装置30，在其上书写则不存在障碍。被书写物体表面可以指被书写物体的被书写表面。非接触式的书写装置30进行书写的方式和传统的笔不同，书写装置30无需接触被书写物体表面，只需将激光照到被书写物体表面后，按照要书写的内容凭空移动书写装置30即可，激光光斑在被书写物体表面的运动轨迹也就是书写轨迹。

若书写装置30未进行书写，摄像头308可以停止采集物体表面图像，以节约装置功耗，并避免识别到不正确的书写轨迹。

摄像头308可以采用普通的可见光摄像头，因为对于非接触式的书写装置30而言，通常有必要在被书写物体表面显示用户可见的激光光斑，这样用户才清楚目前书写装置30正在工作，因此可见采用光摄像头已经足够拍摄包含激光光斑的物体表面图像。

可选的，参照图6，可以将摄像头308设置在笔头300a的前端。由于书写装置30是非接触式的，即书写装置30通常距离被书写物体表面有一定距离，这样设置以后在摄像头308采集的物体表面图像中将不会拍摄到书写装置30自身，有利于改善书写轨迹的识别效果。

进一步的，对于非接触式的书写装置30而言，本体300很可能是不包含显著的笔头300a的(因为书写时不需要接触被书写物体表面，没有必要将本体300的一端做成尖锐的形状)，对于这些无笔头300a的实现方式而言，将摄像头308设置在本体300的一端也能起到和图6同样的效果。

当然，若书写装置30支持接触式、非接触式两用(详见后文阐述)，则不建议将摄像头308设置在本体300的一端，因为若书写装置30被接触式地使用，则摄像头308无法拍摄到清晰的画面。

关于激光发射单元306，可参考图1的相关阐述，这里只重点阐述和图1中激光发射单元306的区别：

其一，激光发射单元306发射的激光可以是蓝光、绿光、红光等可见光，之所以选择可见光，前文已经解释原因。

其二，对于接触式的书写装置30，虽然原则上不限制激光发射单元306的位置，但实际上并不建议将激光发射单元306设置在笔头300a前端，因为这样一来激光光斑就被笔头300a遮挡住了，不利于根据激光光斑识别书写轨迹。但对于非接触式的书写装置30，则没有这样的限制，如果本体300仍然采用和图1类似的结构，由于笔头300a的前端已经被摄像头308占据，因此可以参照图1，将激光发射单元306设置在连接部300b的侧面；如果本体300不采用和图1类似的结构，例如本体300为一个圆柱体，则可以将激光发射单元306和摄像头308一起设置在本体300的一端。当然，若书写装置30支持接触式、非接触式两用，则不建议将激光发射单元306设置在本体300的一端。

工作开关312设置在本体300表面，其具体位置不限，例如，参照图6，可将工作开关312设置在本体300的笔身300c表面，便于用户操作。工作开关312与处理单元318电路连接。

工作开关312至少包括两种状态，开启状态和关闭状态。工作开关312处于开启状态时，激光发射单元306持续产生照射被书写物体表面的激光，可以认为此时书写装置30在进行书写，例如，工作开关312在切换到开启状态时，可以向处理单元318发送一个触发信号，处理单元318收到该信号后控制激光发射单元306发射激光。工作开关312处于关闭状态时，激光发射单元306停止产生照射被书写物体表面的激光，可以认为此时书写装置30结束书写，例如，工作开关312切换到关闭状态时，可以向处理单元318发送另一个触发信号，处理单元318收到该信号后控制激光发射单元306停止发射激光。当然，工作开关312也可以直接和激光发射单元306电路连接，直接控制激光发射单元306的发光与否，不通过处理单元318中转。

可以看出，工作开关312的功能和图1中的接触感应单元104比较类似，只是由于此时无法感应接触，所以需要通过用户操作工作开关312来控制激光发射单元306的发光状态。

可选的，如果将激光发射单元306发射激光认为是书写装置30处于书写模式，将激光发射单元306停止发射激光认为是书写装置30处于非书写模式，则工作开关312也可以认为是一种模式切换开关。当书写装置30处于非书写模式，虽然不进行书写轨迹识别，但仍然可能执行书写轨迹查阅(通过显示屏310)等操作。

工作开关312的类型不限，例如可以是轻触开关，可以是拨动开关，可以是触摸屏上的虚拟开关，等等。

处理单元318用于根据多帧物体表面图像中的激光光斑相对于被书写物体表面的位置变化确定第一书写轨迹，即，书写装置30的第三类实现方式实现书写轨迹识别的原理和书写装置30的第一类实现方式相同，具体可参考图1的相关阐述，不再重复。

值得注意的是，基于激光光斑的书写轨迹识别原理中并没有和书写装置30是否接触被书写物体表面相关的部分，也就是说，该非接触式的书写装置30的至少部分实现方式其实可以是接触式、非接触式两用的，只是对于非接触式的书写装置30而言，即使其被接触式使用，仍然是通过工作开关312来触发是否书写的，而并非通过接触感应单元来触发。

关于存储单元320，可参考图1的相关阐述，不再重复。

简单总结图6中的书写装置30，该书写装置30为非接触式，能够通过开启工作开关312产生照射被书写物体表面的激光，并通过摄像头308采集的物体表面图像中的激光光斑相对于被书写物体表面的位置变化来识别书写轨迹。

非接触式书写比接触式更加自由，不仅被书写物体的选择更加宽泛，而且在书写距离上也没有严格限制，这无疑是拓展了书写装置30的适用场景。另外，书写装置30并不需要配合电子白板、信号接收器等专门的外接设备使用，其自身就可以获得书写轨迹，降低了用户的使用成本。另外，书写装置30通过激光光斑的位置变化来识别第一书写轨迹，由于激光光斑在图像中的位置非常明显，因此有利于提高书写轨迹的识别精度。并且，由于书写装置30是非接触式的，因此不需要书写装置30在被书写物体表面留下字迹、脏污等，有利于保持被书写物体的完好，并且可以支持在各种物体上进行书写，免去了传统书写对于纸张的需求，符合环境保护的趋势。

进一步的，书写装置30还包括存储单元320，在某些实现方式中，该存储单元320可持久性存储第一书写轨迹，则此时书写装置30可以独立使用并记录书写轨迹，不必依赖任何外部设备，从而极大拓宽了书写装置30的使用场景，并且也方便后续对书写内容进行查阅。

对于非接触式的书写装置30，如果直接根据摄像头308采集的物体表面图像识别书写轨迹，可能出现如下例子中的问题：

假设墙上有一个固定大小的框，用书写装置30在其中写一个恰好占满整个框的字，虽然字的大小是固定的(等于框的大小)，但是若用户使用书写装置30在距离墙10m和距离墙1m处分别书写该字，由于摄像头308的拍摄范围不同，所以摄像头308所采集的物体表面图像中该框的大小是不同的，从而如果直接按照原始的物体表面图像识别书写轨迹，识别出来的字的大小就不相同了(距离墙1m识别出来的字较大)，这很可能并非用户所期望的结果。

该问题是由于书写装置30与被书写物体表面的距离不同所导致的，可以通过如下方案解决：

首先，处理单元318根据激光发射单元306发射激光的时间和摄像头308接收激光的时间之差计算书写装置30与被书写物体表面的距离。其中，激光发射单元306发射激光可以是由处理单元318控制的，因此发射激光的时间处理单元318已知，而摄像头308感知到被书写物体表面反射回来的激光的时间处理单元318也可以获知，从而基于这两个时间之差以及光的传播速度，处理单元318就可以进行激光测距，得到书写装置30与被书写物体表面的距离。应当理解，书写装置30单独设置一个激光测距单元也是可以的，这里不过是复用了激光发射单元306和摄像头308作为激光测距单元。

然后，处理单元318根据书写装置30与被书写物体表面的距离对多帧物体表面图像进行缩放，并根据缩放后的多帧物体表面图像中的激光光斑相对于被书写物体表面的位置变化确定第一书写轨迹。

沿用上面的例子，比如，以距离墙1m处采集的物体表面图像为基准，称为基准图像，根据计算出的距离10m对距离墙10m处采集的物体表面图像进行放大，在放大后的物体表面图像中，墙上的框和基准图像中墙上的框大小相同，从而基于放大后的物体表面图像识别第一书写轨迹，得到的字的大小和从基准图像中识别出的字的大小相同，符合用户预期。

可选的，在进行物体表面图像的缩放时，不仅要考虑书写装置30与被书写物体表面的距离，还可以考虑摄像头308的放大倍率，特别是对于摄像头308可变焦的情况，放大倍率更是必须考虑的因素。

图6中示出的陀螺仪和加速度计302、总线322、功能按键314、显示屏310、通信单元(包括无线通信单元316和有线通信单元326)、电池324均可以参照图1中的同名组件实现，不再重复阐述。

应当理解，在介绍图6中书写装置30包含的组件时，为简单起见，与图1或图5中重复的部分在细节上可能有所省略，这些省略的细节均可以参照图1或图5中的相关内容。

还应当理解，图6仅为示例，即使是只考虑书写装置的第三类实现方式，也可能包含比图6示出的更多的组件，或者与图6具有不同的配置。

对于非接触式的书写装置30，若不使用激光发射单元306，理论上根据多帧物体表面图像中被书写物体表面的特征的位置变化也可以确定第一书写轨迹(原理参考关于图5的阐述)，但此种实现方式由于缺少激光指示，所以可能导致用户不清楚自己是否在进行书写。不过，如果用户能够实时看到书写内容(比如，通过书写装置30将第一书写轨迹实时发送给终端设备进行显示)，这样的实现方式也是可行的。

图7为本申请实施例提供的书写系统40的一种结构图。参照图7，该书写系统40包括本申请实施例提供的书写装置410以及终端设备420。

此处的书写装置410可以是之前介绍的、且包含通信单元的任意一种书写装置，例如图1、图5、图6中的书写装置。书写装置410的处理单元可以读取存储单元中保存的第一书写轨迹，并将其通过通信单元发送给终端设备420。

终端设备420在接收到第一书写轨迹后，可以对第一书写轨迹进行显示(例如，显示在终端设备420自身的显示器上)，或者，也可以控制其他设备显示第一书写轨迹(例如，控制投影仪430对其进行显示)，或者，终端设备420也可以既自己显示第一书写轨迹，又控制其他设备显示第一书写轨迹。终端设备420可以是PC机、笔记本电脑、平板电脑、手机、服务器等设备。

上述书写系统40除了具有前文提到的书写装置所具有的优点之外，还可以通过终端设备420和/或终端设备420所控制的其他设备对第一书写轨迹进行显示，从而有利于书写者以及其他用户观察书写结果，实现用户间的交流互动。

可选的，继续参照图7，书写系统40还可以包括投影仪430，投影仪430至少用于在终端设备420的控制下显示第一书写轨迹。

应当理解，图7仅为示例，书写系统40还可以包括比图7中更多的设备。

本申请实施例还提供一种书写轨迹识别方法，该方法包括：获取所述书写装置的摄像头采集的所述书写装置进行书写时被书写物体表面的多帧物体表面图像；根据所述多帧物体表面图像确定所述书写装置进行书写时的第一书写轨迹。

在书写轨迹识别方法的一种实现方式中，所述根据所述多帧物体表面图像确定所述书写装置进行书写时的第一书写轨迹，包括：根据所述多帧物体表面图像中的激光光斑相对于所述被书写物体表面的位置变化确定所述第一书写轨迹；其中，所述激光光斑由所述书写装置的激光发射单元产生的激光照射所述被书写物体表面形成；或者，根据所述多帧物体表面图像中的所述书写装置的笔头相对于所述被书写物体表面的位置变化确定所述第一书写轨迹；或者，根据所述多帧物体表面图像中的所述被书写物体表面的特征的位置变化确定所述第一书写轨迹。

在书写轨迹识别方法的一种实现方式中，所述根据所述多帧物体表面图像中的激光光斑相对于所述被书写物体表面的位置变化确定所述第一书写轨迹，包括：根据所述激光发射单元发射所述激光的时间和所述摄像头接收所述激光的时间之差计算所述书写装置与所述被书写物体表面的距离；根据所述距离对所述多帧物体表面图像进行缩放，并根据缩放后的多帧物体表面图像中的激光光斑相对于所述被书写物体表面的位置变化确定所述第一书写轨迹。

在书写轨迹识别方法的一种实现方式中，所述根据所述多帧物体表面图像确定所述书写装置进行书写时的第一书写轨迹，包括：根据所述多帧物体表面图像确定所述书写装置进行书写时的第二书写轨迹；根据所述书写装置的陀螺仪和加速度计采集的所述书写装置进行书写时的运动数据确定所述书写装置进行书写时的第三书写轨迹；融合所述第二书写轨迹和所述第三书写轨迹，得到所述第一书写轨迹。

在书写轨迹识别方法的一种实现方式中，所述融合所述第二书写轨迹和所述第三书写轨迹，得到所述第一书写轨迹，包括：利用人工智能算法融合所述第二书写轨迹和所述第三书写轨迹，得到所述第一书写轨迹。

在书写轨迹识别方法的一种实现方式中，所述方法还包括：所述物体表面图像的亮度控制所述书写装置的照明单元产生的照明光线的强度；其中，所述照明单元用于在所述书写装置的接触感应单元感应到所述书写装置的笔头接触所述被书写物体表面时，产生照射所述物体表面的所述照明光线。

上述书写轨迹识别方法可由本申请实施例提供的书写装置执行(具体可由书写装置的处理单元执行)，也可由除书写装置以外的其他电子设备执行(例如，包括但不限于本申请实施例提供的书写系统中的终端设备)，方法的实现原理及产生的技术效果在前述装置实施例中已经介绍，不再重复阐述。

不过需要注意，如果由除书写装置以外的其他电子设备执行该方法，则此时的书写装置在实现上可以和前述装置实施例中介绍的不同，因为此时书写装置本地可以不用进行书写轨迹的识别，而只需把执行该方法所必需的数据(例如，摄像头采集的多帧物体表面图像，陀螺仪和加速度计采集的运动数据)直接或间接地发送给执行该方法的电子设备，或者可以理解为前述装置实施例中处理单元的功能被转移到了执行该方法的电子设备上，现在的处理单元只需管理好数据的采集和发送即可。

本申请实施例还提供一种电子设备，包括处理器以及存储器，二者可以通过总线互连并相互通讯。

其中，处理器包括一个或多个，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、微控制单元(Micro Controller Unit，简称MCU)、网络处理器(Network Processor，简称NP)或者其他常规处理器；还可以是专用处理器，包括神经网络处理器(Neural-network Processing Unit，简称NPU)、图形处理器(Graphics Processing Unit，简称GPU)、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuits，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。

存储器包括一个或多个，其可以是，但不限于，随机存取存储器(Random AccessMemory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，简称EPROM)，电可擦除可编程只读存储器(ElectricErasable Programmable Read-Only Memory，简称EEPROM)等。处理器以及其他可能的组件可对存储器进行访问，读和/或写其中的数据。

特别地，在存储器中可以存储一个或多个计算机程序指令，处理器可以读取并运行这些计算机程序指令，以实现本申请实施例提供的书写轨迹识别方法。

可以理解的，除了处理器以及存储器之外，电子设备还可以包括更多的组件，电子设备的各个组件可以采用硬件、软件或其组合实现。电子设备可以是本申请实施例提供的书写装置(电子设备的处理器为书写装置的处理单元，电子设备的存储器为书写装置的存储单元)，但也可以是其他设备，例如PC机、笔记本电脑、平板电脑、手机、服务器等实体设备，或者虚拟机、容器等虚拟化设备。并且，电子设备也不限于单台设备，也可以是多台设备的组合或者大量设备构成的集群。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，这些计算机程序指令被处理器读取并运行时，执行本申请实施例提供的书写轨迹识别方法。例如，该计算机可读存储介质可以是本申请实施例提供的电子设备的存储器，可以是能够存储计算机程序指令的U盘、硬盘、光盘，等等。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序指令，这些计算机程序指令被处理器读取并运行时，执行本申请实施例提供的书写轨迹识别方法。例如，该计算机程序产品可以是用于安装在本申请实施例提供的书写装置中的固件，可以是用于安装在本申请实施例提供的电子设备中的应用程序，等等。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。