信息处理装置、信息处理方法和程序

相关申请的交叉引用

本申请要求于2018年6月5日提交的日本优先权专利申请JP2018-107366的权益，其全部内容通过引用合并在本文中。

技术领域

本公开涉及信息处理装置、信息处理方法和程序。

背景技术

通常，一边在诸如黑板或白板的书写对象上书写信息或从该书写对象删除信息，一边进行会议、演讲等。记录书写对象上书写的信息方便用于以后的参考。然而，持续记录可能浪费存储容量。因此，期望一种有效地记录书写对象上书写的信息的技术。

例如，下面列出的专利文献1公开了在书写者握住(例如捡起)黑板擦时使数字相机捕获黑板上书写的信息的图像的技术。这使得能够在擦除黑板上书写的信息之前记录黑板上书写的信息。

引文列表

专利文献

专利文献1：JP 2005-125628A

发明内容

技术问题

然而，当书写者握住黑板擦时，黑板上书写的信息不总是被擦除。这是因为书写者可能在握住黑板擦之后不久就放开黑板擦，或者书写者可能只是为了将黑板擦移动到另一个位置而握住黑板擦。因此，当使用在上面列出的专利文献1中描述的技术时，有时可能记录无用的信息。此外，不清楚从书写者握住黑板擦到开始擦除的时间间隔。因此，根据在上面列出的专利文献1中描述的技术，可能记录不足的信息。例如，擦除可能在记录之前开始。

因此，本公开提出了一种能够更适当地记录书写对象上书写的书写信息的机制。

问题的解决方案

根据本公开的实施例，提供了一种用于书写对象的图像存档方法，该方法包括以下步骤：接收所述书写对象的一系列捕获图像，检测相隔预定时间段的第一候选接收图像和第二候选接收图像之间的差异，其中加性差异(additive difference)指示书写，减性差异(subtractive difference)指示擦除；在检测到减性差异时，暂时保留检测之前捕获的上一个候选图像，并且检测相对于保留图像的减性差异是否超过减量(subtraction)阈值量；并且如果所述减性差异超过所述减量阈值量，则存储所述保留图像。

此外，根据本公开的实施例，提供了一种用于书写对象的图像存档方法，该方法包括以下步骤：接收所述书写对象的一系列捕获图像，检测相隔预定时间段的第一候选接收图像和第二候选接收图像之间的差异，其中加性差异指示书写，减性差异指示擦除；在检测到加性差异时，检测候选接收图像之间的加性差异是否超过第一加量(addition)阈值量；并且如果所述加性差异超过所述第一加量阈值量，则检测候选接收图像之间的加性差异是否进而落在第二加量阈值量以下；并且如果所述加性差异落在所述第二加量阈值量以下，则存储与候选接收图像之间的加性差异落在所述第二加量阈值量以下时相对应的候选接收图像。

此外，根据本公开的实施例，提供了一种用于书写对象的视频记录的回放装置，该装置具有：适于获得所述书写对象的视频序列的输入处理器；适于获得与所述视频序列内的根据如任一前述权利要求所述的方法存储候选接收图像的定时相对应的一个或多个第一时间戳的输入处理器；适于获得分别与候选接收图像的存储之前的变化开始点相对应的所存储的候选接收图像的一个或多个第二相应时间戳的输入处理器；回放处理器，能够操作来回放所述视频序列，并且在所述视频序列中的与所述第二相应时间戳相对应的时间，所述回放处理器适于在所述视频上叠加对应的所存储的相应候选接收图像。

发明的有益效果

如上所述，本公开提出了一种能够更适当地记录书写对象上书写的书写信息的机制。注意，上面描述的效果不一定是限制性的。与上述效果一起或代替上述效果，可以实现本说明书中描述的任何一种效果或者可以从本说明书中理解的其他效果。

附图说明

[图1]图1是例示说明根据本公开的实施例的系统的概述的图。

[图2]图2是例示说明根据实施例的系统的配置示例的图。

[图3]图3是例示说明根据实施例的板书图像之间的比较处理的示例的图。

[图4]图4是例示说明根据实施例的书写信息的变化率的计算示例的图。

[图5]图5是例示说明根据实施例的变化开始点的检测的示例的图形。

[图6]图6是例示说明根据实施例的变化固定点的检测的示例的图形。

[图7]图7是例示说明根据实施例的变化结束点的检测的示例的图形。

[图8]图8是例示说明根据实施例的指定变化区域的示例的图。

[图9]图9是例示说明根据实施例的记录图像的输出示例的图。

[图10]图10是例示说明根据实施例的记录图像的输出示例的图。

[图11]图11是例示说明根据实施例的记录图像的输出示例的图。

[图12]图12是例示说明根据实施例的记录图像的输出示例的图。

[图13]图13是例示说明根据实施例的由信息处理装置执行的板书图像的记录处理的流程的示例的流程图。

[图14]图14是例示说明根据本实施例的信息处理装置的硬件配置的示例的框图。

具体实施方式

在下文中，将参考附图详细描述本公开的一个或多个优选实施例。注意，在本说明书和附图中，用相同的附图标记来表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。

注意，按照以下顺序给出描述。

1.介绍

2.配置示例

3.技术特征

3.1.板书图像的缓冲

3.2.书写信息的变化的检测

3.3.板书图像的记录

3.4.变化区域的指定

3.5.记录图像的输出

3.6.处理的流程

3.7.变型

4.硬件配置示例

5.总结

<<1.介绍>>

首先，将参考图1描述根据本公开的实施例的系统的概述。

图1是例示说明根据本公开的实施例的系统的概述的图。如图1所示，系统1包括信息处理装置100和连接到该信息处理装置100的输入装置200。

书写对象2是在其上书写诸如点、线、单词、句子、数学公式、符号、绘图、几何形状或者图像这样的视觉信息(在下文中称为书写信息)的对象。书写对象2是黑板、白板、电子纸、触摸屏等。用粉笔、记号笔、手写笔(stylus)、手指等将书写信息书写在书写对象2上，并通过使用黑板擦、橡皮擦等从书写对象2擦除书写信息。有时，书写对象2也可以称为书写表面。

书写者3是对书写对象2做出动作的人。书写者3将书写信息书写在书写对象2上，并擦除书写对象2上书写的书写信息。在演讲、会议等中，书写者3通常一边通过使用他/她的手或握在他/她的手中的指示器(诸如指点杆或激光指示器)指向书写对象2上书写的书写信息一边对书写信息进行解释。

输入装置200是被配置为输入与安装有输入装置200的物理空间有关的信息的设备。例如，输入装置200包括成像装置和声音输入装置。成像装置包括透镜系统、驱动系统和固态图像传感器阵列等。透镜系统包括成像透镜、光圈、变焦透镜、聚焦透镜等。驱动系统使透镜系统执行聚焦操作和变焦操作。固态图像传感器阵列对由透镜系统获取的成像光执行光电转换以生成成像信号。声音输入装置包括被配置为收集环境声音的麦克风、被配置为对由麦克风获得的声音信号执行放大处理的麦克风放大器电路、A/D转换器以及诸如噪声消除器的信号处理电路。输入装置200将图像数据和在捕获图像时获得的声音数据作为数字信号输出。

输入装置200能够使用物理空间中的物体作为被摄体并且捕获图像。根据本实施例，输入装置200使用书写有书写信息的书写对象2作为被摄体，在物理空间中捕获图像，将捕获的图像与图像捕获时间相关联，并将该图像输出到信息处理装置100。注意，捕获的图像可以包括不同于书写对象2的事物。在这种情况下，输入装置200将基于捕获的图像获取的图像输出到信息处理装置100。这里，基于捕获的图像获取的图像例如是通过从捕获的图像中提取包括书写对象2的区域而获得的图像。书写对象2可以包括输入装置200的功能。例如，可以将输入装置200和书写对象2实现为被配置为对书写对象2的状态进行扫描、获取图像并输出图像的交互式白板。在这种情况下，输入装置200获取书写对象2的图像，将获取的图像与获取时间相关联，并将该图像输出到信息处理装置100。

由输入装置200输入的图像可以是运动图像。运动图像是包括多个静止图像(图像数据)和各个静止图像的再现时间(对应于图像捕获时间)的数据。运动图像的再现是按照再现时间的顺序的静止图像的连续再现。运动图像中包括的静止图像也称为帧。每单位时间的帧数也称为帧速率，并由每秒的帧数(FPS：frames per second，每秒帧数)表示。

由输入装置200输入的图像可以是静止图像。在这种情况下，输入装置200连续地输入图像。在本说明书中，每单位时间输入的图像数也像运动图像的情况那样称为帧速率。

接下来，书写有书写信息的书写对象2的图像也称为板书图像。书写对象2的图像由输入装置200输入。假设板书图像是静止图像。如果由输入装置200输入的图像是运动图像，则板书图像是该运动图像中包括的一个静止图像。

信息处理装置100在由输入装置200输入的板书图像中选择性地记录要记录的板书图像。在本说明书中，记录是指将信息存储在存储介质/记录介质上。信息处理装置100监视板书图像，检测到书写对象2上书写的书写信息发生改变，并且记录变化开始之前或之后获得的板书图像。如上所述，可以将基于书写信息的变化而选择性地记录的板书图像称为记录图像。

书写信息的变化可以是书写信息的删除。在这种情况下，信息处理装置100可以记录删除开始之前获得的板书图像作为记录图像。通常，最大量的书写信息被书写在书写信息的删除开始之前获得的书写对象2上。因此，通过选择性地记录删除开始之前获得的板书图像，可以减少无用的记录并且有效地记录板书图像。

书写信息的变化可以是书写信息的书写(换句话说，添加)。在这种情况下，信息处理装置100可以记录添加结束之后获得的板书图像作为记录图像。通常，最大量的书写信息被书写在书写信息的添加结束之后获得的书写对象2上。因此，通过选择性地记录添加结束之后获得的板书图像，可以减少无用的记录并且有效地记录板书图像。

<<2.配置示例>>

图2是例示说明根据本实施例的系统1的配置示例的图。如图2所示，系统1包括信息处理装置100、输入装置200和输出装置300。

如上所述，输入装置200连续地输入板书图像，并且将图像输出到信息处理装置100。

输出装置300是被配置为在信息处理装置100的控制下输出信息的装置。输出装置300可以由诸如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置、激光投影仪、LED投影仪或者灯这样的显示装置来实现。例如，输出装置300输出记录图像。

信息处理装置100是被配置为对系统1的整体操作进行控制的装置。信息处理装置100由诸如个人计算机(PC)、智能电话或者平板终端这样的任何装置来实现。如图2所示，信息处理装置100包括获取单元110、第一存储单元120、检测单元130、第二存储单元140以及输出控制单元150。可以将这样的结构元件视为被配置为对系统1的整体操作进行控制的控制单元。

获取单元110具有获取由输入装置200输入的板书图像的功能。第一存储单元120具有暂时存储获取的板书图像的功能。检测单元130具有通过将获取单元110获取的当前时间的板书图像与第一存储单元120中存储的过去的板书图像进行比较来检测书写对象2上书写的书写信息的变化的功能。第二存储单元140具有被配置为执行控制使得基于由检测单元130检测到的信息指定要记录的板书图像并且记录所指定的要记录的板书图像的记录控制单元的功能、以及被配置为存储所指定的板书图像的存储介质的功能。此外，第二存储单元140存储与板书图像有关的各种信息。输出控制单元150具有基于第二存储单元140中存储的板书图像来生成输出信息并使第二存储单元140存储该输出信息或使输出装置300输出该输出信息的功能。

稍后将描述由信息处理装置100执行的操作处理的细节。

<<3.技术特征>>

<3.1.板书图像的缓冲>

第一存储单元120对由输入装置200输入的板书图像进行缓冲(buffer)。为了保持用于检测书写信息的变化(稍后将描述)的过去的板书图像而执行该缓冲。

<3.2.书写信息的变化的检测>

检测单元130检测书写对象2上书写的书写信息的变化。具体而言，检测单元130通过将在检测对象定时获得的板书图像(也称为第一板书图像)与在检测对象定时的预定时间段之前的定时获得的过去的板书图像(也称为第二板书图像)进行比较来检测书写对象上书写的书写信息的变化。作为检测书写对象2上书写的书写信息的变化的示例，检测单元130检测与书写对象上书写的书写信息的变化有关的信息(对应于变化信息)。这里，在某一定时获得的板书图像是指在该定时由输入装置200输入的板书图像。每当板书图像被输入到输入装置200时，检测单元130就检测与书写信息的变化有关的信息。检测对象定时是第一板书图像被输入的时间(诸如图像捕获时间)。在下文中，检测对象定时也称为当前时间。

检测到的与变化有关的信息包括书写对象2上书写的书写信息的变化量、作为书写信息的变化开始的定时的变化开始点、作为书写信息的变化固定的定时的变化固定点、以及作为书写信息的变化结束的定时的变化结束点。注意，变化可以是书写信息的删除，或者可以是书写信息的添加。接下来，将详细描述检测各条信息的方法。

(1)变化量的计算

检测单元130从获取单元110获取第一板书图像，并从第一存储单元120获取第二板书图像。第一板书图像在当前时间由输入装置200输入，第二板书图像在过去由输入装置200输入。接下来，检测单元130通过将第一板书图像与第二板书图像进行比较来从过去到当前时间的检测书写信息的变化量。这里，第二板书图像可以是在过去的预定时间段之前由输入装置200输入的板书图像。在这种情况下，可以检测从过去的预定时间段之前的时间到当前时间的书写信息的变化量。换句话说，变化量是每预定时间段的书写信息的变化量。此外，可以将变化量视为变化速度。预定时间段是在书写信息被删除或添加的情况下可以识别出书写信息的变化的时间间隔。标准时间间隔约为三秒。换句话说，要由第一存储单元120缓冲的板书图像的缓冲期约为三秒。注意，三秒的缓冲期仅是示例，并且本公开不限于此。此外，第二板书图像可以是在过去的预定定时由输入装置200输入的板书图像。在这种情况下，可以检测从过去的预定定时到当前时间的书写信息的变化量。预定定时是固定定时，但是可以基于预定条件而改变。换句话说，第二板书图像可以基于预定条件而更新。例如，第二板书图像可以每30秒更新一次。

首先，检测单元130将第一板书图像与第二板书图像进行比较，并获得差异图像，该差异图像包括指示在这两个图像之间发生改变的像素(在下文中也称为变化像素)的信息。接下来，将参考图3描述比较处理。在书写信息的变化是书写信息的删除的情况下在板书图像之间执行该比较处理。

图3是例示说明根据本实施例的板书图像之间的比较处理的示例的图。如图3所示，假设获取了第一板书图像10A和第二板书图像10B。检测单元130对第一板书图像10A和第二板书图像10B中的每一个执行二值化处理。二值化处理是将彩色图像、灰度图像等转换为二值图像的处理。在图3所示的示例中，书写对象2中的书写有书写信息的像素(在下文中也称为书写像素)被转换为白色(诸如1)，其他像素(在下文中也称为板面像素)被转换为黑色(诸如0)。检测单元130通过获取二值化处理之后获得的第一板书图像12A与二值化处理之后获得的第二板书图像12B之间的差异来获得示出删除的书写信息的差异图像14，其中第二图像12B用作基准。在差异图像14中，发生了改变的像素(换句话说，书写有删除的书写信息的像素(即，变化像素))是白色，其他像素是黑色。这里，已经获取的变化像素有时可能包括受二值化期间产生的噪声影响的像素。因此，检测单元130从差异图像14中去除噪声，并获得包括提取精度更高的变化图像的差异图像16。

注意，在书写信息的变化是书写信息的添加的情况下，检测单元130通过获取二值化处理之后获得的第一板书图像与二值化处理之后获得的第二板书图像之间的差异来获得示出添加的书写信息的差异图像，其中第一图像用作基准。在该差异图像中，例如，发生了改变的像素(换句话说，书写有添加的书写信息的像素(即，变化像素))是白色，其他像素是黑色。以与书写信息的变化是书写信息的删除的情况类似的方式来去除其噪声。

在板书图像之间的比较处理之后，检测单元130基于获取的差异图像来计算书写信息的变化量。变化量是基于变化像素的数量的值。例如，变化量是变化像素与整个书写对象2的比率(在下文中也称为变化率)。注意，在书写信息的变化是书写信息的删除的情况下，变化率也称为删除率。在书写信息的变化是书写信息的添加的情况下，变化率也称为添加率。此外，变化量可以是变化像素的数量本身，或者可以是删除或添加的单词等的数量。在下文中，假设书写信息的变化量是书写信息的变化率。

图4是例示说明根据本实施例的书写信息的变化率的计算示例的图。如图4所示，假设差异图像20的尺寸是宽度为640个像素且高度为360个像素。检测单元130对差异图像20中的变化像素22的数量进行计数。如通过局部放大包括变化像素22的部分而获得的放大图像24所示，变化像素22的数量是差异图像20中的白色(换句话说，1)像素的数量。如果差异图像20中的变化像素22的数量是12000，则使用以下等式来计算变化率。

[数学式1]

变化率E＝12000/(640×360)

＝0.05…(1)

检测单元130每当板书图像被输入时就计算变化率，并且监视该变化率的时间顺序变化(chronological change)。在这种情况下，检测单元130可以通过使用过去计算的变化率来使变化率平滑。这使得能够使变化率的时间顺序变化平滑并抑制异常值的发生。因此，当检测变化开始点、变化固定点和变化结束点(稍后将描述)时，可以抑制错误检测。例如，通过诸如以下等式的加权相加来使变化率平滑。

[数学式2]

E

这里，E

检测单元130基于变化率的时间顺序变化来检测变化开始、变化固定以及变化结束。

(2)变化开始点的检测

检测单元130基于书写对象2上书写的书写信息的变化率的时间顺序变化来检测变化开始点(对应于第一定时)。具体而言，检测单元130基于第二阈值和变化率的预定梯度来检测变化开始点。更具体而言，在变化率是第二阈值或更小的情况下，检测单元130将变化率的时间顺序变化具有预定梯度的定时检测为变化开始点。这使得能够检测书写信息的删除或添加可能已经开始的定时。通常，预定梯度是正梯度。这是因为变化率的时间顺序变化的正梯度指示书写信息的删除或添加可能已经开始。在变化率乘以负的系数等情况下，预定梯度变为负梯度。注意，为了指定在变化开始之前获得的板书图像而检测变化开始点。

图5是例示说明根据本实施例的变化开始点的检测的示例的图形。在图5所示的图形中，横轴表示时间，而纵轴表示变化率。通常，由横轴表示的时间是板书图像的输入时间(例如图像捕获时间)。如图5所示，该图形示出了随着时间流逝，书写对象2上书写的书写信息被逐渐改变(例如删除或添加)，并且变化率增加。此外，在变化率是第二阈值或更小的范围内变化率的梯度发生正的变化的定时被检测为变化开始点。基于在尚未发生变化的情况下稳定获得的变化率(例如，变化率非常接近于零，并且由于某些噪声的影响而是正值)来决定第二阈值。

(3)变化固定点的检测

在变化开始点的检测之后，检测单元130基于变化量与第一阈值之间的比较的结果来确定书写信息的变化是否是暂时的变化。具体而言，检测单元130将变化率超过第一阈值的定时检测为变化固定点。随后，在检测到变化固定点的情况下，检测单元130确定书写信息的变化不是暂时的变化，并且在未检测到变化固定点的情况下，检测单元130确定书写信息的变化是暂时的变化。这里，未检测到变化固定点的情况是指在变化率未超过第一阈值时再次检测到变化开始点或者检测到变化结束点(稍后将描述)的情况。通过确定书写信息的变化不是暂时的，确认在预定时间段内发生了预定量的变化(删除或增加)，并且可以通过使用第一阈值来调整该预定量。注意，第一阈值是大于第二阈值的值。

图6是例示说明根据本实施例的变化固定点的检测的示例的图形。在图6所示的图形中，横轴表示时间，而纵轴表示变化率。通常，由横轴表示的时间是板书图像的输入时间(例如图像捕获时间)。图6所示的图形示出了图5所示的图形的某个时间段之后的情形。如图6所示，该图形示出了在变化开始点之后，随着时间流逝，书写对象2上书写的书写信息被改变，并且变化率发生变化。此外，变化率超过第一阈值的定时被检测为变化固定点。

(4)变化结束点的检测

在确定书写信息的变化不是暂时的之后，检测单元130基于变化率与第二阈值之间的比较的结果来检测变化结束点(对应于第二定时)。具体而言，在检测到变化固定点之后，检测单元130将变化率变为第二阈值或更小的定时检测为变化结束点。注意，为了指定在一系列变化结束之后获得的板书图像而检测变化结束点。

图7是例示说明根据本实施例的变化结束点的检测的示例的图形。在图7所示的图形中，横轴表示时间，而纵轴表示变化率。通常，由横轴表示的时间是板书图像的输入时间(例如图像捕获时间)。图7所示的图形示出了图6所示的图形的某个时间段之后的情形。如图7所示，变化率在变化固定点之后达到峰值，并且变化率随着时间流逝而减小。随后，将变化率变为第二阈值或更小的定时检测为变化结束点。

(5)阈值的设置

每当板书图像被获取时，检测单元130就检测书写对象2上书写的书写信息的变化。具体而言，每当板书图像被获取时，检测单元130就检测与书写对象2上书写的书写信息的变化有关的信息。在这种情况下，检测单元130可以根据板书图像的获取的间隔来设置第一阈值和第二阈值。具体而言，检测单元130可以基于帧速率来设置第一阈值和第二阈值。随着帧速率增大，检测单元130将第一阈值和第二阈值设置为更高的值。这是因为变化率的时间顺序变化的梯度随着帧速率增大而变得更陡。另一方面，随着帧速率降低，检测单元130将第一阈值和第二阈值设置为更低的值。这是因为变化率的时间顺序变化的梯度随着帧速率降低而变得更缓。根据这样的设置，可以提高变化开始点、变化固定点和变化结束点的检测精度。

<3.3.板书图像的记录>

第二存储单元140基于由检测单元130检测到的书写信息的变化来指定指示包括书写信息的书写对象2的信息(诸如板书图像)。具体而言，在确定书写信息的变化不是暂时的情况下，第二存储单元140指定指示书写对象2的信息。随后，第二存储单元140存储所指定的指示书写对象2的信息。换句话说，检测单元130使第二存储单元140基于由检测单元130检测到的信息来存储指示书写对象2的信息。这里，要存储的指示书写对象2的信息是板书图像。

(1)删除的情况

接下来，将描述书写信息的变化是书写信息的删除的情况。在这种情况下，变化开始点、变化固定点、变化结束点也可以分别称为删除开始点、删除固定点和删除结束点。

在检测到删除开始点的情况下，第二存储单元140将与删除开始点相对应的板书图像存储为记录图像候选。这里，与某个定时相对应的板书图像并不总是在该某个定时由输入装置200输入的板书图像。与某个定时相对应的板书图像可以是在该某个定时的预定时间段之前/之后的定时获得的板书图像。例如，与删除开始点相对应的板书图像将被存储为记录图像候选，并且与删除开始点相对应的板书图像是在用于计算删除开始点处的删除率的板书图像之间的比较处理中使用的过去的图像(换句话说，第二板书图像)。因此，可以确定地将在删除开始之前获得的板书图像用作记录图像候选。通常，在书写信息的删除开始之前获得的板书图像示出了书写有最大量的书写信息的书写对象2。注意，记录图像候选是能够用作记录图像的图像。

在检测到删除开始点之后检测到删除固定点的情况下，第二存储单元140将记录图像候选指定并存储为记录图像。记录图像候选是与删除开始点相对应的板书图像。另一方面，在检测到删除开始点之后未检测到删除固定点而是检测到下一个删除开始点的情况下，第二存储单元140将记录图像候选更新为与该下一个删除开始点相对应的板书图像。删除的类型包括由于校正而引起的暂时删除以及用于重置书写对象2的非暂时删除。即使在发生暂时删除的情况下，将在书写信息的删除开始之前获得的板书图像记录为记录图像也是无用且低效的。另一方面，通过检测删除固定点，可以仅在发生非暂时删除的情况下将在删除开始之前获得的板书图像记录为记录图像。此外，由于记录图像候选是书写有最大量的书写信息的书写对象2的板书图像，因此可以将书写有最大量的书写信息的板书图像记录为记录图像。以上述方式有效地记录板书图像。

此外，在检测到删除开始点之后检测到删除固定点的情况下，第二存储单元140将与删除结束点相对应的板书图像存储为比较对象图像。这里，与删除结束点相对应的板书图像将被存储为比较对象图像，并且与删除结束点相对应的板书图像例如是在用于计算删除结束点处的删除率的板书图像之间的比较处理中使用的过去的图像(换句话说，第二板书图像)。因此，可以将在书写信息的删除结束之后获得的板书图像用作比较对象图像。通常，在书写信息的删除结束之后获得的板书图像示出了书写有最少量的书写信息的书写对象2。注意，比较对象图像用于指定删除区域(稍后将描述)。

每当发生非暂时删除时，就累积(换句话说，另外存储)记录图像。另一方面，每当检测到删除开始点时，就更新(换句话说，覆写)记录图像候选。每当发生非暂时删除时，就更新(换句话说，覆写)比较对象图像。以上述方式将除记录图像之外的板书图像的记录抑制到最小。因此，可以有效地记录板书图像。

(2)添加的情况

接下来，将描述书写信息的变化是书写信息的添加的情况。在这种情况下，变化开始点、变化固定点、变化结束点也可以分别称为添加开始点、添加固定点和添加结束点。

在检测到添加开始点的情况下，第二存储单元140将与添加开始点相对应的板书图像存储为比较对象图像。这里，与添加开始点相对应的板书图像将被存储为比较对象图像，并且与添加开始点相对应的板书图像是在用于计算添加开始点处的添加率的板书图像之间的比较处理中使用的过去的图像(换句话说，第二板书图像)。因此，可以确定地将在添加开始之前获得的板书图像用作比较对象图像。通常，在书写信息的添加开始之前获得的板书图像示出了书写有最少量的书写信息的书写对象2。注意，比较对象图像用于指定添加区域(稍后将描述)。

在检测到添加开始点之后检测到添加固定点的情况下，第二存储单元140将与添加结束点相对应的板书图像指定并存储为记录图像。这里，与添加结束点相对应的板书图像将被存储为记录图像，并且与添加结束点相对应的板书图像例如是在用于计算添加结束点处的添加率的板书图像之间的比较处理中使用的过去的图像(换句话说，第二板书图像)。因此，可以将在书写信息的添加结束之后获得的板书图像用作记录图像。通常，在书写信息的添加结束之后获得的板书图像示出了书写有最大量的书写信息的书写对象2。添加的类型包括诸如少量书写信息的添加等的暂时添加，以及用于向书写对象2添加大量书写信息的非暂时添加。每当发生暂时添加时就将板书图像记录为记录图像是无用且低效的。另一方面，通过检测添加固定点，可以仅在发生非暂时添加的情况下才将在添加结束之后获得的板书图像记录为记录图像。此外，由于在添加结束之后获得的板书图像是书写有最大量的书写信息的书写对象2的板书图像，因此可以将书写有最大量的书写信息的板书图像记录为记录图像。以上述方式有效地记录板书图像。

另一方面，在检测到添加开始点之后未检测到添加固定点而是检测到下一个添加开始点的情况下，第二存储单元140将比较对象图像更新为与下一个添加开始点相对应的板书图像。

每当发生非暂时添加时，就累积(换句话说，另外存储)记录图像。另一方面，每当检测到添加开始点时，就更新(换句话说，覆写)比较对象图像。以上述方式将除记录图像之外的板书图像的记录抑制到最小。因此，可以有效地记录板书图像。

<3.4.变化区域的指定>

输出控制单元150指定在变化开始点和变化结束点之间书写对象2发生改变的区域(也称为变化区域)。具体而言，输出控制单元150获取与变化开始点相对应的板书图像和与变化结束点相对应的板书图像之间的差异，并且将包括该差异的区域指定为变化区域。因为会议或演讲在重复书写信息的添加和删除的同时进行，因此可以记录多个记录图像。因此，可以说变化区域是从上一个记录图像改变了的区域，并且是显著(notable)区域。通过指定变化区域，可以指定记录图像中的显著区域。

在书写信息的变化是书写信息的删除的情况下，与变化开始点相对应的板书图像是记录图像，与变化结束点相对应的板书图像是比较对象图像。此外，在书写对象2上，通过书写者3为了删除书写信息而做出的一系列运动来删除书写信息的区域被指定为变化区域。这样的变化区域也可以称为删除区域。

在书写信息的变化是书写信息的添加的情况下，与变化开始点相对应的板书图像是比较对象图像，并且与变化结束点相对应的板书图像是记录图像。此外，在书写对象2上，通过书写者3为了添加书写信息而做出的一系列运动来添加书写信息的区域被指定为变化区域。这样的变化区域也可以称为添加区域。

将描述用于指定变化区域的方法的细节。首先，输出控制单元106以与参考图3描述的比较处理类似的方式提取变化像素。换句话说，输出控制单元150对与变化开始点相对应的板书图像和与变化结束点相对应的板书图像中的每个板书图像执行二值化处理，获取它们之间的差异，获取差异图像，并从该差异图像中去除噪声。因此，输出控制单元150获取通过提取变化像素而生成的差异图像。接下来，输出控制单元150基于差异图像来指定变化区域。变化区域可以与变化像素相同或者可以与变化像素不同。例如，变化区域可以是具有包括变化像素的任何形状的区域。将参考图8描述其细节。

图8是例示说明根据本实施例的指定变化区域的示例的图。如图8所示，通过与变化开始点相对应的板书图像和与变化结束点相对应的板书图像之间的比较处理来获得通过提取变化像素32而生成的差异图像30。在这种情况下，输出控制单元150可以将包括变化像素32的最小矩形34指定为变化区域。可替代地，输出控制单元150可以将矩形36指定为变化区域。矩形36是通过将包括变化像素32的最小矩形34扩大预定偏移量而获得的。可替代地，输出控制单元150可以将变化像素32和与变化像素32相距预定距离内的周围像素指定为变化区域。

第二存储单元140将记录图像和指示变化区域的信息(对应于变化区域信息)彼此关联地存储。换句话说，输出控制单元150使第二存储单元140将记录图像和指示变化区域的信息彼此关联地存储。因此，变得可以与指示各个显著区域的信息相关联地对记录图像进行记录。

<3.5.记录图像的输出>

输出控制单元150输出记录图像。此时，输出控制单元150可以生成并输出在记录图像上叠加了指示变化区域的信息的图像。将参考图9至图11描述其示例。

图9是例示说明根据本实施例的记录图像的输出示例的图。图9示出了书写信息的变化是书写信息的删除的情况下的示例。假设获得与删除开始点相对应的板书图像(换句话说，记录图像)40以及与删除结束点相对应的板书图像(换句话说，比较对象图像)43。板书图像40包括书写信息41和区域42，区域42包括书写者3。板书图像43包括书写信息44和区域45，区域45包括书写者3。输出控制单元150将板书图像40与板书图像43进行比较，并指定矩形作为删除区域。该矩形是通过将包括书写信息41的下部的句子的最小矩形扩大预定偏移量而获得的。随后，输出控制单元150将指定的删除区域的矩形46叠加在板书图像40上，并输出图像40，如图9所示。

图10是例示说明根据本实施例的记录图像的输出示例的图。图10示出了如图9所示获得与删除开始点相对应的板书图像(换句话说，记录图像)40和与删除结束点相对应的板书图像(换句话说，比较对象图像)43的情况下的记录图像的另一个输出示例。如图10所示，输出控制单元150可以将半透明的黑色图像47叠加在板书图像(换句话说，记录图像)40中的除指定的删除区域以外的区域上，并输出叠加的图像40。在这种情况下，板书图像40中的指定的删除区域以白色突出显示并被强调。

图11是例示说明根据本实施例的记录图像的输出示例的图。图11示出了如图9所示获得与删除开始点相对应的板书图像(换句话说，记录图像)40和与删除结束点相对应的板书图像(换句话说，比较对象图像)43的情况下的记录图像的另一个输出示例。然而，在该示例中，假设将变化像素和与变化像素相距预定距离内的周围像素指定为删除区域。如图11所示，输出控制单元150可以将半透明的黑色图像48叠加在板书图像(换句话说，记录图像)40中的除指定的删除区域(变化像素和与变化像素相距预定距离内的周围像素)以外的区域上，并输出叠加的图像40。在图11所示的示例中，黑色图像48的亮度发生变化，使得更接近变化像素的像素更亮，并且离变化像素更远的像素更暗。在该示例中，以与图10所示的示例类似的方式，板书图像40中的指定的删除区域也以白色突出显示并被强调。

注意，上面已经描述了在书写信息的变化是书写信息的删除的情况下获得的输出图像的示例。即使在书写信息的变化是书写信息的添加的情况下，也以类似的方式生成输出图像。

输出控制单元150可以将记录图像输出为静止图像，或者输出控制单元150可以输出处理后的记录图像。例如，输出控制单元150可以基于记录图像生成并输出运动图像，或者可以基于记录图像生成并输出文档文件。

在将记录图像输出为静止图像的情况下，例如，每当第二存储单元140存储新的记录图像时，输出控制单元150就输出最新的记录图像。

在将记录图像输出为运动图像的情况下，例如，每当第二存储单元140存储新的记录图像时，输出控制单元150就流传输最新的记录图像。第二存储单元140可以存储所生成的运动图像。输出控制单元150可以实时地输出运动图像。将参考图12描述其示例。图12是例示说明根据本实施例的记录图像的输出示例的图。图12例示说明了在演讲室举行演讲的情况。输入装置200安装在演讲室的天花板上，并且演讲的运动图像被实时捕获。此外，每当信息处理装置100(未图示)存储新的记录图像时，输出装置300A至300C就流传输最新的记录图像。输出装置300A和300B是被安装为从演讲室的天花板垂下的显示器。输出装置300C是由收听者握持的平板终端。输出装置300A至300C输出参考图9描述的与删除区域的矩形46叠加的板书图像40。在这种情况下，收听者能够实时地看到已经被删除的书写信息，并且避免了当收听者错过记笔记的机会等时出现的缺点。

在将记录图像输出为文档文件的情况下，例如，输出控制单元150每当第二存储单元140存储新的记录图像时就在转到另一页的同时附加最新的图像，然后在记录结束时输出包括多页的单个文件。第二存储单元140可以存储所生成的文档文件。该文档文件能够收集必要和充分的书写信息，并且这使得更容易回顾演讲、会议等。

<3.6.处理的流程>

图13是例示说明根据本实施例的由信息处理装置100执行的板书图像的记录处理的流程的示例的流程图。该流程示出了在书写信息的变化是书写信息的删除的情况下执行的处理的流程的示例。

如图13所示，第一存储单元120首先对由获取单元110获取的板书图像进行缓冲(步骤S102)。接下来，检测单元130执行板书图像之间的比较处理，并且基于所获取的差异图像来计算板书图像的删除率(步骤S104)。假设这些步骤被不断地(例如在各个后续步骤之间的间隔中)执行。

接下来，检测单元130基于删除率的时间顺序变化来检测删除开始点(步骤S106)。在检测到删除开始点之后，第二存储单元140将与删除开始点相对应的板书图像存储为记录图像候选(步骤S108)。

接下来，检测单元130基于删除率的时间顺序变化来检测删除固定点(步骤S110)。在检测到删除固定点之后，第二存储单元140将记录图像候选存储为记录图像(步骤S112)。

接下来，检测单元130基于删除率的时间顺序变化来检测删除结束点(步骤S114)。在检测到删除结束点之后，输出控制单元150指定与记录图像相对应的删除区域，并且第二存储单元140将该删除区域与记录图像相关联地存储(步骤S116)。随后，输出控制单元150将由第二存储单元140存储的记录图像输出到输出装置300，并使输出装置300输出记录图像(步骤S118)。

<3.7.变型>

(1)检测变化开始点的另一种方法

检测单元130可以基于握住文具的动作来检测变化开始点，该动作是由在书写对象2上书写书写信息的书写者3做出的。例如，作为删除开始点，检测单元130可以检测书写者3将文具(诸如橡皮擦)握在他/她的手中的定时。该文具用于删除书写信息。此外，作为添加开始点，检测单元130可以检测书写者3将文具(诸如一根粉笔)握在他/她的手中的定时。该文具用于书写书写信息。这使得能够检测比通过板书图像之间的比较处理而检测到的变化开始点更早的变化开始点。结果，变得可以更加确定地记录删除或添加开始之前获得的板书图像。

注意，可以将基于变化率来检测变化开始点的方法和基于握住文具的动作来检测变化开始点的方法相结合。例如，可以将检测到握住文具的动作并且变化率的时间顺序变化具有正梯度的定时检测为变化开始点。

(2)检测变化结束点的另一种方法

检测单元130可以基于放开文具的动作来检测变化结束点，该动作是由在书写对象2上书写书写信息的书写者3做出的。例如，作为删除结束点，检测单元130可以检测书写者3放开用于删除书写信息的文具的定时。此外，作为添加结束点，检测单元130可以检测书写者3放开用于书写书写信息的文具的定时。这使得能够检测由书写者3执行的一系列书写信息的删除/添加结束的定时作为变化结束点。因此，变得可以提高板书图像的记录效率。

注意，可以将基于变化率来检测变化结束点的方法和基于放开文具的动作来检测变化开始点的方法相结合。例如，可以将检测到放开文具的动作并且变化率变成第二阈值或更小的定时检测为变化结束点。

(3)从终端装置的访问

上面已经描述了信息处理装置100以静止图像、运动图像或文档文件的形式输出记录图像的示例。然而，本技术不限于此。例如，信息处理装置100可以以静止图像、运动图像或文档文件的形式存储记录图像，并且允许从诸如PC、智能电话或平板终端的终端装置进行访问。在这种情况下，信息处理装置100将静止图像、运动图像或文档文件形式的记录图像发送到已经访问信息处理装置100的终端装置。

(4)基于过去数据的记录图像的提取

上面已经描述了信息处理装置100通过对由输入装置200输入的图像执行实时处理来提取并记录记录图像的示例。然而，本技术不限于此。例如，信息处理装置100可以基于在过去已经由输入装置200输入并记录的图像来提取并记录记录图像。

<4.硬件配置示例>

最后，将参考图14来描述根据本实施例的信息处理装置的硬件配置。图14是例示说明根据本实施例的信息处理装置的硬件配置的示例的框图。注意，例如，图14所示的信息处理装置900可以实现图2所示的信息处理装置100。通过协同操作软件和硬件(稍后将描述)来实现由根据本实施例的信息处理装置100执行的信息处理。

如图14所示，信息处理装置900包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。此外，信息处理装置900包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动器909、连接端口911以及通信装置913。代替CPU 901或除CPU 901之外，信息处理装置900可以包括诸如电子电路、DSP或ASIC的处理电路。

CPU 901用作算术处理装置和控制装置，以根据各种程序来控制信息处理装置900中的整体操作。此外，CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序、操作参数等。RAM 903暂时存储当CPU 901被执行时使用的程序以及当CPU 901被执行时适当改变的参数等。CPU 901可以实现例如图2所示的获取单元110、检测单元130和输出控制单元150。此外，CPU 901可以实现图2所示的第二存储单元140的功能中的记录控制单元的功能。

CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904a而彼此连接。主机总线904a经由桥接器904而连接到诸如外围组件互连/接口(PCI)总线的外部总线904b。注意，主机总线904a、桥接器904和外部总线904b不一定被配置为单独的组件，而它们的功能可以合并到单个总线中。

输入装置906可以包括被配置为检测各种信息的装置。例如，输入装置906可包括各种传感器，诸如图像传感器(例如相机)、深度传感器(例如立体相机)、加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、声音传感器、测距传感器和力传感器。此外，输入装置906可以获取诸如信息处理装置900的姿势和移动速度这样的与信息处理装置900本身的状态有关的信息，以及获取诸如信息处理装置900的周围亮度和噪声这样的与信息处理装置900的周围环境有关的信息。此外，输入装置906可以包括全球导航卫星系统(GNSS)模块，GNSS模块接收来自GNSS卫星的GNSS信号(诸如来自全球定位系统(GPS)卫星的GPS信号)以测量包括装置的纬度、经度和海拔在内的位置信息。此外，关于位置信息，输入装置906可以通过以下各项来检测位置：Wi-Fi(注册商标)，去往/来自移动电话、PHS电话、智能电话等的发送/接收，近场通信等。输入装置906可以实现例如图2所示的输入装置200。换句话说，信息处理装置100可以具有输入装置200的功能。

输出装置907由能够向用户发出获取的信息的视觉或听觉通知的装置来实现。这样的装置的示例包括诸如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置、激光投影仪、LED投影仪或灯这样的显示装置，诸如扬声器或头戴式耳机这样的声音输出装置，以及打印机装置。输出装置907例如输出通过由信息处理装置900执行的各种处理而获取的结果。具体而言，显示装置以诸如文本、图像、表和图形这样的各种格式视觉地显示通过由信息处理装置900执行的各种处理而获取的结果。另一方面，声音输出装置将包括再现的声音数据、音频数据等的音频信号转换为模拟信号，并且可听地输出这些模拟信号。输出装置907可以实现例如图2所示的输出装置300。换句话说，信息处理装置100可以具有输出装置300的功能。

存储装置908是被配置为信息处理装置900的存储单元的示例的用于数据存储的装置。例如，存储装置908由诸如HDD的磁存储设备、半导体存储设备、光学存储设备、磁光存储设备等来实现。存储装置908可以包括存储介质、用于在存储介质上记录数据的记录装置、用于从存储介质中读出数据的读取装置、用于删除在存储介质上记录的数据的删除装置等。存储装置908存储要由CPU 901执行的程序和各种类型的数据、从外部获取的各种类型的数据等。存储装置908可以实现例如图2所示的第一存储单元120和第二存储单元140。

驱动器909是用于存储介质的读取器/写入器，并且被合并在信息处理装置900中或从外部附接到信息处理装置900。驱动器909读取在所安装的诸如磁盘、光盘、磁光盘或半导体存储器这样的可移动存储介质上记录的信息，并将该信息输出到RAM 903。此外，驱动器909还将信息写入可移动存储介质。

连接端口911是用于连接到外部装备的接口。例如，连接端口911是用于连接到可以经由通用串行总线(USB)传输数据的外部装备的连接端口。根据本实施例，例如，输入装置200连接到连接端口911，并且由输入装置200输入的板书图像被输出到信息处理装置900。根据本实施例，例如，输出装置300连接到连接端口911，并且由信息处理装置900记录的记录图像被输出到输出装置300。

通信装置913例如是用于与网络920连接的由通信装备等实现的通信接口。通信装置913例如是用于有线或无线的局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)或无线USB(WUSB)的通信卡等。此外，通信装置913可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、用于各种通信的调制解调器等。例如，通信装置913能够例如根据诸如TCP/IP等的预定协议向因特网或其他通信装备发送信号等和从因特网或其他通信装备接收信号等。根据本实施例，例如，通信装置913可以从输入装置200接收板书图像，以及将记录图像发送到输出装置300。

注意，网络920是有线或无线的传输路径，通过该传输路径从连接到网络920的装置发送信息。例如，网络900可以包括诸如因特网、电话网络和卫星通信网络的公共网络、包含以太网(注册商标)在内的各种LAN、广域网(WAN)等。此外，网络920可以包括专用网络，诸如因特网协议—虚拟专用网络(IP-VPN)。

上面已经描述了能够实现根据本实施例的信息处理装置900的功能的硬件配置的示例。上述各个结构元件可以使用通用部件来实现，或者可以由专用于各个结构元件的功能的硬件来实现。因此，可以根据每次实现实施例时的技术水平来适当地改变要使用的硬件配置。

注意，可以创建用于实现根据本实施例的信息处理装置900的每个功能的计算机程序，并将它们安装在PC等中。另外，可以提供存储有这样的计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。可替代地，可以不使用记录介质而例如经由网络来分配计算机程序。

<<5.总结>>

上面已经参考图1至图14描述了本公开的实施例。如上所述，根据本实施例的信息处理装置100检测书写对象上书写的书写信息的变化，并且基于检测到的变化来指定板书图像，该图像示出了包括书写信息的书写对象。信息处理装置100能够基于书写信息的变化来指定要记录的板书图像，指定在已经在书写对象上书写了最大量的书写信息的定时获得的板书图像，并对其进行记录。此外，信息处理装置100不是原样地连续记录已被顺序地输入的一系列板书图像，而是信息处理装置100选择性地记录板书图像中的一些。这使得能够有效地记录书写对象上书写的书写信息。具体而言，可以减少用于存储板书图像的存储容量。此外，还可以减少用于传输板书图像的传输量。

根据本实施例的信息处理装置100通过将在当前时间获得的板书图像与过去的板书图像进行比较来计算变化量，并基于该变化量来分别检测变化开始点、变化固定点和变化结束点。随后，信息处理装置100仅在变化的发生是固定的情况下记录板书图像。这使得能够防止无用的记录。此外，信息处理装置100记录在删除开始之前或在添加结束之后获得的板书图像。这使得能够防止在缺少的信息的情况下记录板书图像。

本领域技术人员应当理解，取决于设计要求和其他因素，可以进行各种变型、组合、子组合和变更，只要它们在所附权利要求书或其等同物的范围内即可。

例如，在上述实施例中已经描述了信息处理装置100存储记录图像的示例。然而，本技术不限于此。已被指定为要由信息处理装置100记录的图像的板书图像可以从信息处理装置100输出，并且可以由外部存储介质记录。

注意，本说明书中描述的装置可以被实现为单个装置。可替代地，一些或所有装置可以被实现为单独的装置。例如，在图2所示的信息处理装置100的功能配置示例中，第二存储单元140和输出控制单元150可以安装在诸如经由网络等连接到获取单元110、第一存储单元120和检测单元130的服务器的装置中。

此外，可以不一定按图示的顺序执行在本说明书中使用序列图或流程图描述的处理。可以并行执行一些处理步骤。此外，可以添加附加的处理步骤，并且可以省略一些处理步骤。

另外，本说明书中描述的效果仅仅是说明性或例示性的效果，而不是限制性的。也就是说，与以上效果一起或代替以上效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述中清楚的其他效果。

此外，本技术还可以被如下配置。

在本发明的概要实施例中，一种用于书写对象2的图像存档方法包括：在第一步骤中，接收书写对象的一系列捕获图像，例如如本文中先前关于第3.1节“板书图像的缓冲”所述。将理解的是，书写对象或书写表面可以是在其上内容可以发生改变的任何合适的可见表面。示例包括任何可重写的物理表面，诸如黑板或白板，或者交互式白板，或者电视屏幕或投影图像。

在第二步骤中，该方法包括检测相隔预定时间段的第一候选图像和第二候选图像之间的差异，其中加性差异指示书写，减性差异指示擦除，例如如本文中先前关于第3.2节“书写信息的变化的检测”所述。如在其中说明的，例如，当周期性地从视频序列中提取候选图像时，与针对差异相比，可以捕获更多的图像。因此，在该概要实施例的实例中，第一候选图像和第二候选图像之间的预定时间段比图像捕获周期长。

在检测到减性差异(例如本文中先前提到的变化开始点)时，该方法包括暂时保留检测之前捕获的上一个候选图像的第三步骤，例如如本文中先前关于第3.2节“书写信息的变化的检测”和第3.3节“板书图像的记录”所讨论的。

随后，该方法还包括检测相对于保留的上一个图像的减性差异(减量)是否超过减量阈值量(例如本文中先前提到的变化固定点)的第四步骤；并且如果是，则例如使用第二存储单元140存储保留图像(例如，所保留的或者可选地进行了处理(例如以直观地突出显示变化，或者以实施本文中所述的任何演示或处理技术)的上一个候选图像)，再次如本文中先前关于第3.2节“书写信息的变化的检测”以及第3.3节“板书图像的记录”所讨论的。

在相似的概要实施例中，在检测到加性差异时，该方法可以包括以下步骤：检测候选接收图像之间的加性差异是否超过第一加量阈值量；并且如果是，则检测候选接收图像之间的加性差异是否进而落在第二加量阈值量以下；并且如果继而是，则存储与候选接收图像之间的加性差异落在第二加量阈值量以下时相对应的候选接收图像。将理解的是，如本文中先前所述，例如取决于变化固定阈值(本文中也称为添加固定阈值或删除固定阈值)，本发明可以使用根据足够的加性或减性变化来记录图像的类似方法。

在这些概要实施例的实例中，该方法可以包括将变化率估计为预定时间段内的第一图像和第二图像之间的差异量的步骤，例如如在第3.2节第(1)部分“变化量的计算”中所述。

在这种情况下，可选地，基于两个或更多个连续的估计来使变化率平滑，例如如在[数学式2]以及第3.2节第(1)部分“变化量的计算”的相关文本中所述。

在这些概要实施例的实例中，该方法可以包括以下步骤：选择在变化率超过本底噪声(noise-floor)阈值之前捕获的候选图像作为在检测图像之间的差异的步骤中使用的第一图像，例如如关于第3.3节第(1)部分“删除的情况”中的记录图像候选所描述的，或者例如如关于第3.3节第(2)部分“添加的情况”中的比较对象图像所描述的。

在这些概要实施例的实例中，可选地，在检测到减性差异时，存储保留图像的步骤以变化率先前超过从由本底噪声阈值、变化率的预定梯度和与预定擦除量相对应的擦除阈值构成的列表中选择的一个或多个为条件，例如如在第3.2节第(2)部分“变化开始点的检测”和第3.3节第(1)部分“删除的情况”中所述。变化开始点可以基于变化率先前超过本底噪声阈值或者可选地还与达到或超过变化率的预定梯度相结合。同时，与预定擦除量相对应的擦除阈值可以对应于作为第一阈值处的删除固定点的上下文中的变化固定点。

可选地，在这些概要实施例的实例中，由擦除造成的减性差异的开始点的检测可以包括检测与删除动作相关联的一件文具的运动(诸如橡皮擦从其当前静止位置移动，或者划过书写表面而移动)，例如如在第3.7节“变型”中所述。这样的检测可以单独用于检测开始点，或者可以与本文中其他地方所描述的变化检测相结合地使用，例如以对检测进行交叉验证和歧义消除。该件文具可以具有独特的标记或颜色，以帮助其自身检测。

类似地，在这些概要实施例的实例中，可选地，在检测到加性差异时，存储候选接收图像的步骤以变化率先前超过从由本底噪声阈值、变化率的预定梯度和与预定书写量相对应的书写阈值构成的列表中选择的一个或多个为条件，例如如在第3.2节第(2)部分“变化开始点的检测”和第3.3节第(2)部分“添加的情况”中所述。变化开始点可以基于变化率先前超过本底噪声阈值或者可选地还与达到或超过变化率的预定梯度相结合。同时，与预定书写量相对应的书写阈值可以对应于作为第一阈值处的添加固定点的上下文中的变化固定点。

类似地，可选地，在这些概要实施例的实例中，由书写造成的加性差异的开始点的检测可以包括检测与书写动作相关联的一件文具的运动(诸如笔或粉笔从其当前静止位置移动，或者划过书写表面而移动)，例如如在第3.7节“变型”中所述。这样的检测可以单独用于检测开始点，或者可以与本文中其他地方所描述的变化检测相结合地使用，例如以对检测进行交叉验证和歧义消除。该件文具可以具有独特的标记或颜色，以帮助其自身检测。

在这些概要实施例的实例中，其中该方法包括将变化率估计为预定时间段内的第一图像和第二图像之间的差异量，可选地使存储保留图像以变化率随后落在结束阈值水平以下为条件，例如如关于变化结束点(作为第二阈值处的加量结束点或减量结束点)所描述的。

在这些概要实施例的实例中，该方法可以包括以下步骤：识别保留图像的检测到图像的差异的一个或多个区域，并且如果保留图像被存储，则还与存储的图像相关联地存储将该区域或每个区域识别为显著区域(notable area)的信息，例如如关于第3.4节“变化区域的指定”中的变化区域所描述的。

在这些概要实施例的实例中，该方法可以包括以下步骤：识别第一候选图像和第二候选图像内的与书写对象的边缘相交的任何区域，并且当检测图像中的差异时忽略任一候选图像中的任何这样的区域。参考图1以及图9至图12，将理解的是，输入装置200(诸如摄像机、网络摄像机等)可以被定位成使得在书写对象上书写或呈现在书写对象前面的人3成为用于检测内容差异的经处理的版本的候选图像内的轮廓(42、45)。然而，将理解的是，此人不是预期的内容本身的一部分。虽然原则上可以出于确定什么内容已被改变的目的而检测由该人做出或呈现的书写或者其他任意图形或标记，但是更加计算高效的方法是忽略或忽视用于检测差异的任一候选图像中的与书写对象的至少一个外边界相交的区域(例如相连的块)。这是因为人要么将站在对象前面并因此延伸到下边界之下，要么将越过它并因此延伸到左边界或右边界。例如，在图3的二值图像的特定示例中，可以忽略从书写对象的边界开始的任何相连的白色像素块，并对来自每个图像的这样的像素执行AND操作以获得不适合在该对图像中进行比较的组合区域。相对地，可以合理地假设在由人进行的内容的生成或呈现过程期间整个书写对象将在各个点处可见并因此在各个候选图像中可见，因此可以随着时间流逝而对图像的当前可见部分进行比较，以提供所有内容的良好覆盖。

可选地，在这些概要实施例的该实例中，可以采用其他技术。例如，可以使保留图像的存储以超过阈值百分比的书写对象在保留图像中当前可见(例如因为人已经远离书写对象，这在书写块一旦完成时是常见的活动)为条件。类似地，可选地，可以在用户的区域周围设置额外的忽略边界以考虑产生假阳性变化(false positive change)的阴影和/或混叠效应。类似地，可选地，在人与书写对象之间的对比度远低于书写与书写对象的背景之间的对比度而使得任何图像处理(诸如本文中所述的二值图像处理)具有打破人的外观的亮度或对比度阈值(所以，例如，如果他们靠着黑板穿着深色套头衫，则只有他们的手被识别为可能的标记)的情况下，则可以基于其与书写或其他行相比的比较大小或厚度和/或基于其暂时的性质而忽略这样的区域；这样的区域将由于移动而在图像之间改变，而大多数文本在多个图像上将保持不变；另外，大多数变化将与其他文本相邻并且也将随后不变。作为结果，通过使用对多于两个图像(例如对三个、四个、五个或更多个图像)的比较，可以基于人的部分捕获元素与书写的添加或删除相比的变化性质来区分人的部分捕获元素，这随后保持一致。这样的方法也可以用于忽略或忽视鼠标图标、激光指示器或在书写对象上可见的其他暂时特征。在鼠标图标的情况下，可选地，在这样的图标为已知的情况下，其形状可以被识别并且被忽略。

因此，在这些概要实施例的实例中，该方法还可以包括以下步骤：对相应区域已经被忽略的书写对象的两个或更多个候选图像进行组合，以形成书写对象的基本上完整的图像，以用作从由第一或第二候选接收图像、保留的候选图像和存储的图像构成的列表中选择的一个或多个。

在这些概要实施例的实例中，该方法可包括以下步骤：存储曾从中获得候选接收图像的书写对象的视频序列，以及使所存储的视频序列与对应于该视频序列内的存储候选接收图像的定时(例如变化结束点)的时间戳相关联。

可选地，在从视频记录中的图像导出候选图像的情况下，可以使用帧计数的另一个识别时间戳来识别所存储的图像的等同物。以这样的方式，可以识别出根据本文中的技术最终存储的那些图像帧(或者具有对应时间戳的分别捕获且可能分辨率更高的静止图像)，因为它们代表了显著的加性变化或者先于显著的减性变化。原则上，所存储的图像本身也可以与视频序列相关联地存储，但是在所存储的图像是从视频序列本身获得或导出的情况下，则这可能是多余的。

在这种情况下，该方法则可以包括：使所存储的视频序列与分别对应于候选接收图像的存储之前的变化开始点的时间戳相关联。

作为补充，在本发明的概要实施例中，用于书写对象的视频记录的图像处理方法包括以下步骤：获得书写对象的视频序列(例如如本文中先前所述记录的)；获得与视频序列内的根据如任一前述权利要求所述的方法存储(例如，如本文中先前所述，与视频相关联地存储)候选接收图像的定时相对应的一个或多个第一时间戳；获得分别与候选接收图像的存储(例如，如本文中先前所述，也与视频相关联地存储)之前的变化开始点相对应的所存储的候选接收图像的一个或多个第二相应时间戳；回放视频序列(例如，通过根据需要或者在预先录制的网络研讨会、广播等或现场直播期间进行流传输)；以及在视频序列中的与第二相应时间戳相对应的时间，在视频上叠加对应的所存储的相应候选接收图像。

因此，在加性变化的情况下，完成的新的书写块将在其在底层视频中被作者书写之前被显示，从而增加了其对观看者可见的时间。同时，在减性变化的情况下，现有的书写即使当其在底层视频中被作者擦除时也将保留在叠加中，从而再次增加了其对观看者可见的时间。

在这种情况下，可选地，随后可以继续显示该叠加，直到视频序列中的与第一相应时间戳相对应的时间或晚于第一相应时间戳的时间为止，第一时间戳对应于存储图像的时间并且还对应于变化结束点。对于加性变化，图像因此进行到完成的新的书写块的当前表示。同时，对于减性变化，图像可以恢复为擦除完成之后的书写对象的状态。可选地，因此叠加可以例如持续到下一个第二时间戳，该第二时间戳对应于下一次显著加性变化的开始。

换句话说，对于给定的所存储的图像(与视频记录相关联地存储的，或者通过识别符在视频记录内识别的)，与第一时间戳一起，则第二时间戳也与视频记录相关联，第二时间戳用来指示所存储的图像何时应当例如作为视频图像上方的叠加而被显示，可选地被处理为在除发现书写之处以外的区域中是透明的或部分透明的。

因此，通过从第二时间戳开始在视频回放期间显示所存储的图像，实质变化(通常为加性变化)结束时的书写对象的状态将在视频序列内的与该实质变化的开始相对应的点处被显示。这为观看者提供了最大时间来阅读材料，同时在他们继续书写并因此赶上在叠加的存储图像中发现的内容时，还受益于书写者在视频中的评论。

例如参考图6和图7，上述技术和方法意味着例如与变化开始点、变化固定点和变化结束点相对应的若干时刻的过程中的书写材料的逐渐添加和所述材料的逐渐删除。然而，将理解的是，原则上，本发明在瞬时变化(诸如与PowerPoint(注册商标)幻灯片或交互式白板相关联的瞬时变化)的情况下也可以起作用，其中开始点和变化固定点大约由内容的有效瞬时变化来满足，并且随后的轻微之间的停顿满足变化结束点。因此，本发明的技术适用于将诸如物理和数字书写的媒体的混合相结合的演示、幻灯片演示以及这两者的混合物。

将理解的是，以上的技术和方法可以在常规硬件上执行，该常规硬件通过软件指令或通过包括或替代专用硬件而适当地适配为适用。

因此，对常规等效设备的现有部件的所需适配可以以计算机程序产品的形式来实现，该计算机程序产品包括非暂时性机器可读介质(诸如软盘、光盘、硬盘、PROM、RAM、闪存或者这些或其他存储介质的任何组合)上存储的处理器可实现指令，或者以硬件形式实现为ASIC(专用集成电路)或FPGA(现场可编程门阵列)或其他适合在适配常规等效设备时使用的可配置电路。单独地，这样的计算机程序可以经由数据信号在网络(诸如以太网、无线网络、因特网或者这些或其他网络的任何组合)上传输。

因此，在本发明的另一个概要实施例中，信息处理装置100、900可以适于选择性地存档书写对象2的图像。如本文中先前所述，这样的信息处理装置包括可操作来例如从输入装置200接收书写对象的一系列捕获图像的输入端(诸如获取单元200)。该装置还包括适于(例如通过合适的软件指令)检测相隔预定时间段的第一候选接收图像和第二候选接收图像之间的差异的差异检测处理器(例如检测单元130、901)，其中加性差异指示书写，减性差异指示擦除。

在检测到减性差异时，差异检测处理器适于(再次例如通过合适的软件指令)暂时保留检测之前捕获的上一个候选图像(例如在第一存储单元120中，继而例如使用存储装置908来实现)，检测相对于所保留的上一个图像的减性差异是否超过减量阈值量(例如在与变化固定点相对应的第二阈值处)，并且如果是，则差异检测处理器适于(再次例如通过合适的软件指令)将所保留的上一个图像存储在存储单元(例如第二存储单元140，继而例如使用存储装置908来实现)中。

与先前描述的方法一样，与此同时，在相似的概要实施例中，在检测到加性差异时，差异检测处理器可以适于(再次例如通过合适的软件指令)检测候选接收图像之间的加性差异是否超过第一加量阈值量(例如在与变化固定点相对应的第二阈值处)，并且如果是，则差异检测处理器可以适于(再次例如通过合适的软件指令)检测候选接收图像之间的加性差异是否进而落在第二加量阈值量以下(例如在与变化结束点相对应的阈值处)，并且如果是，则差异检测处理器适于在存储单元(140、908)(例如第二存储单元140，继而例如使用存储装置908来实现)中存储与候选接收图像之间的加性差异落在第二加量阈值量以下时相对应的候选接收图像。

类似地，在这些概要实施例的实例中，差异检测处理器可以适于(再次例如通过合适的软件指令)识别第一候选图像和第二候选图像内的与书写对象(2)的边缘相交的任何区域(42、45)，并且差异检测处理器则可以适于(再次例如通过合适的软件指令)当检测图像的差异时忽略任一候选图像中的任何这样的区域。

将理解的是，检测处理器可以是可操作地耦合到输入设备的诸如PC的设备的一部分(例如在与书写对象相同的房间中)，或者可以在相同场所或在别处提供的远程服务器中。类似地，检测处理器的各个角色可以分布在书写对象本地或远程的一个或多个处理器之间，因此差异检测处理器的检测和存储功能中的一个或多个可以由远程服务器实现；例如，可以在本地实现差异的检测以选择保留的候选图像；这些图像然后通过合适的网络发送到远程服务器，以实现本文中所述的其余相关处理步骤。结果然后可被保存在服务器处以帮助分配给材料的潜在观看者，和/或返回到本地设备。

在任何情况下，本地、远程或组合的信息处理装置都可以与图像捕获设备(例如静物相机或摄像机)相结合地操作以作为书写监视系统进行操作，该书写监视系统可选地还包括例如预定大小和/或尺寸的书写对象，和/或包括诸如对角相对的角中的基准标记和/或高对比度的边界等(例如用于帮助出于检测书写的差异、书写者的存在等的目的而识别书写对象)的预定特征，和/或可选地包括可操作来将书写对象的直播和/或录制的视频图像与在如本文中其他地方所述的适当时间的存储图像的叠加一起分配的视频分配系统，和/或可选地包括用于向一个或多个用户显示所分配的视频的一个或多个屏幕(例如电视屏幕，PC、膝上型计算机、平板或电话屏幕)。

最后，对本领域技术人员而言将清楚的是，认为与如在本文中描述和要求保护的方法的各个实施例的实现相对应的以上装置的变形在本发明的范围内，包括但不限于：

—处理器将变化率估计为预定时间段内第一图像和第二图像之间的差异量；

—在这种情况下，可选地基于两个或更多个连续的估计使变化率平滑；

—选择在变化率超过本底噪声阈值之前捕获的候选图像作为在检测图像之间的差异的步骤中使用的第一图像；

—处理器存储保留图像，以变化率先前超过从由本底噪声阈值、变化率的预定梯度和与预定擦除量相对应的擦除阈值构成的列表中选择的一个或多个为条件；

—处理器通过检测与删除动作相关联的一件文具的运动来检测由擦除造成的减性差异的开始点

—处理器存储保留图像，以变化率先前超过从由本底噪声阈值、变化率的预定梯度和与预定书写量相对应的书写阈值构成的列表中选择的一个或多个为条件；

—处理器通过检测与书写动作相关联的一件文具的运动来检测由书写造成的加性差异的开始点

—处理器存储保留图像，以变化率随后落在结束阈值水平以下为条件；

—处理器识别保留图像的检测到图像中的差异的一个或多个区域，并且如果保留图像被存储，则与存储的图像相关联地存储将该区域或每个区域识别为显著区域的信息；

—处理器识别第一和第二候选图像内的与书写对象(2)的边缘相交的任何区域(42、45)，并且当检测图像的差异时忽略(忽视)任一候选图像中的任何这样的区域；

—处理器对相应区域已经被忽略的书写对象的两个或更多个候选图像进行组合，以形成书写对象的基本上完整的图像，以用作从由第一或第二候选接收图像、保留的候选图像和存储的图像构成的列表中选择的一个或多个；

—处理器存储曾从中获得候选接收图像的书写对象的视频序列，并且将所存储的视频序列与对应于该视频序列内的存储候选接收图像的定时的时间戳相关联；

—在这种情况下，处理器将所存储的视频序列与分别对应于候选接收图像的存储之前的变化开始点的时间戳相关联。

以类似的方式，对应于本文中先前描述的方法，一种用于书写对象的视频记录的回放装置(再次诸如在另一个模式下操作的信息处理装置100，或者单独的设备)可以包括：适于(例如通过合适的软件指令)获得书写对象的视频序列的输入处理器(诸如获取单元200)；适于(例如通过合适的软件指令)获得一个或多个第一时间戳的输入处理器(诸如获取单元200)，该一个或多个第一时间戳对应于视频序列内的根据如任一前述权利要求所述的方法存储候选接收图像的定时；适于(例如通过合适的软件指令)获得所存储的候选接收图像的一个或多个第二相应时间戳的输入处理器(诸如获取单元200)，该一个或多个第二相应时间戳分别对应于候选接收图像的存储之前的变化开始点；回放处理器，可操作来回放视频序列；并且在视频序列中的与第二相应时间戳相对应的时间，该回放处理器适于(例如通过合适的软件指令)在视频上叠加对应的所存储的相应候选接收图像。

将理解的是，尽管以上方法和技术基于一系列捕获图像内的相对变化或量，但是原则上该技术可以使用相对于初始图像或相对于预定图像(诸如根据上述实施例存储的候选图像)的累积变化或量。

然而，使用相对变化可能是有利的，因为它们提供了书写或删除的材料的量的灵活性，而无需设置或调整记录发生之前所需的总量的阈值，或者不存在一旦总量已经超过这样的阈值就不再次记录材料的例外情况。

但是，绝对量的使用可以通过检测书写对象上的材料的当前总量内的拐点并保存与该量中的局部和全局最大值相对应的图像来提供替代方法，这可选地以以下各项为条件：最大值之后的下降是否超过第一阈值(指示大量擦除)，和/或到最大值的增加是否超过第二阈值(指示大量书写)。

给定以上方法和技术，有利地，本发明使得信息处理装置和更一般地包括该信息处理装置的书写监视系统能够响应于在书写对象上书写和/或显示材料的过程期间和/或在书写对象上移除或消隐材料的过程期间的显著的变化行为(无论是加性的还是减性的)而选择性地存储书写对象的图像。

此外，本技术还可以被如下配置。

(1)

一种信息处理装置，包括

控制单元，被配置为检测书写对象上书写的书写信息的变化，并基于检测到的变化来指定示出包括书写信息的书写对象的图像。

(2)

根据(1)所述的信息处理装置，其中

控制单元基于书写信息的变化量的时间顺序变化来确定书写信息的变化是否是暂时变化，并且

控制单元在确定书写信息的变化不是暂时变化的情况下指定图像。

(3)

根据(2)所述的信息处理装置，

其中，控制单元基于变化量与第一阈值之间的比较的结果来确定书写信息的变化是否是暂时变化。

(4)

根据(3)所述的信息处理装置，

其中，控制单元基于书写信息的变化量的时间顺序变化来检测第一定时，该第一定时指示书写信息的变化开始的定时。

(5)

根据(4)所述的信息处理装置，

其中，在变化量是第二阈值或更小的情况下，控制单元将变化量的时间顺序变化具有预定梯度的定时检测为第一定时。

(6)

根据(5)所述的信息处理装置，

其中，在确定书写信息的变化不是暂时变化之后，控制单元基于变化量与第二阈值之间的比较的结果来检测第二定时，该第二定时指示书写信息的变化结束的定时。

(7)

根据(4)至(6)中的任一项所述的信息处理装置，

其中，在书写信息的变化是书写信息的删除的情况下，控制单元指定与第一定时相对应的图像。

(8)

根据(6)所述的信息处理装置，

其中，在书写信息的变化是书写信息的添加的情况下，控制单元指定与第二定时相对应的图像。

(9)

根据(6)所述的信息处理装置，

其中，控制单元每当图像被获取时就检测书写对象上书写的书写信息的变化，并且控制单元根据图像的获取之间的间隔来设置第一阈值和第二阈值。

(10)

根据(4)至(9)中的任一项所述的信息处理装置，

其中，控制单元基于握住文具的动作来检测第一定时，该动作是由在书写对象上书写所述书写信息的书写者做出的。

(11)

根据(6)所述的信息处理装置，

其中，控制单元基于放开文具的动作来检测第二定时，该动作是由在书写对象上书写所述书写信息的书写者做出的。

(12)

根据(6)所述的信息处理装置，

其中，控制单元指定在第一定时和第二定时之间书写对象发生改变的变化区域。

(13)

根据(2)至(12)中的任一项所述的信息处理装置，

其中，变化量是每预定时间段内的书写信息的变化量。

(14)

根据(12)或(13)所述的信息处理装置，

其中，控制单元将图像与指示变化区域的变化区域信息相关联。

(15)

根据(14)所述的信息处理装置，

其中，控制单元输出变化区域信息叠加在指定的图像上的图像。

(16)

根据(1)至(15)中的任一项所述的信息处理装置，

其中，控制单元执行控制，使得指定的图像被记录。

(17)

根据(1)至(16)中的任一项所述的信息处理装置，

其中，控制单元通过将检测对象定时处的示出包括书写信息的书写对象的图像与检测对象定时的预定时间段之前的定时处的示出包括书写信息的书写对象的图像进行比较来检测变化。

(18)

根据(1)至(17)中的任一项所述的信息处理装置，

其中，图像是基于由成像装置捕获的书写对象的图像而获取的图像。

(19)

一种由处理器执行的信息处理方法，该信息处理方法包括

检测书写对象上书写的书写信息的变化，以及基于检测到的变化来指定示出包括书写信息的书写对象的图像。

(20)

一种程序，使计算机执行

检测书写对象上书写的书写信息的变化，以及基于检测到的变化来指定示出包括书写信息的书写对象的图像。

附图标记列表

1 系统

100 信息处理装置

110 获取单元

120 第一存储单元

130 检测单元

140 第二存储单元

150 输出控制单元

200 输入装置

300 输出装置