电子装置，校正方法和程序

技术领域

本发明涉及电子装置、校正方法和程序。

背景技术

已知一种事件驱动型视觉传感器，其中每个检测到入射光强度变化的像素在时间上以异步的方式产生信号。与针对每个预定周期扫描所有像素的帧类型视觉传感器相比，这种事件驱动视觉传感器的优势在于，在高速度和低功率下操作，帧类型视觉传感器以诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的图像传感器为代表。例如，PTL 1和PTL2公开了与这种事件驱动视觉传感器相关的技术。

[引文列表]

[专利文献]

[PTL 1]

JP-T-2014-535098

[PTL 2]

JP 2018-85725A

发明内容

[技术问题]

关于事件驱动视觉传感器的上述优势效果是已知的，然而，很难说考虑了事件驱动视觉传感器与传统视觉传感器(如帧类型视觉传感器)的不同特性的外围技术已经充分被提出。

因此，本发明的目的是提供一种电子装置、校正方法和程序，该电子装置、校正方法和程序能够借助于事件驱动视觉传感器提高来自IMU(惯性测量单元)的测量结果的精度或基于来自IMU的测量结果的估计值的精度。

[问题的解决方案]

根据本发明的一个方面，提供了一种电子装置，包括：事件驱动型视觉传感器，其包括传感器阵列，所述传感器阵列具有当检测到入射光强度的变化时生成事件信号的传感器；惯性测量单元，其与所述视觉传感器一起移位；以及校正处理部分，其根据所述事件信号的频率，校正来自所述惯性测量单元的测量结果或基于来自所述惯性测量单元的测量结果的估计值。

根据本发明的另一方面，提供了一种校正方法，包括：从事件驱动型视觉传感器接收事件信号的步骤，所述事件驱动型视觉传感器包括传感器阵列，所述传感器阵列具有在检测入射光强度的变化时生成事件信号的传感器；从与所述视觉传感器一起移位的惯性测量单元接收测量结果的步骤；以及根据所述事件信号的频率，校正来自所述惯性测量单元的测量结果或基于来自所述惯性测量单元的测量结果的估计值的步骤。

根据本发明的另一方面，提供了一种程序，使包括在电子装置的控制部分中的处理电路执行：从事件驱动型视觉传感器接收事件信号的步骤，所述事件驱动型视觉传感器包括传感器阵列，所述传感器阵列具有在检测入射光强度的变化时生成事件信号的传感器；从与所述视觉传感器一起移位的惯性测量单元接收测量结果的步骤；以及根据所述事件信号的频率，校正来自所述惯性测量单元的测量结果或基于来自所述惯性测量单元的测量结果的估计值的步骤。

根据上述配置，例如，可以根据事件信号的频率来确定电子装置处于静止的状态。因此，可以借助事件驱动型视觉传感器来提高来自IMU的测量结果的精度或基于来自IMU的测量结果的估计值的精度。

附图说明

图1是示意性地示出根据本发明一个实施例的电子装置的配置的框图。

图2是示出用于概念性地说明图1所示的电子装置中的校正时间的图。

图3是示出图1所示的电子装置的处理电路的功能配置的框图。

图4是示意性地示出图1所示的电子装置中的处理的示例的流程图。

具体实施方式

在下文中，将参照附图详细说明本发明的一些实施例。应注意，在本说明书和附图中，具有基本相同功能配置的部件由相同的参考符号表示，并且将省略对其的重复解释。

图1是示意性地示出根据本发明第一实施例的包括传感器模块的电子装置的配置的框图。如图1所示，电子装置10包括视觉传感器100、控制部分200和IMU 300。

事件驱动类型的视觉传感器100包括传感器阵列110以及连接到传感器阵列110的处理电路120，传感器阵列110包括对应于图像像素的传感器110A、110B、…。每个传感器110A、110B…包括光接收元件，并且在检测入射光的变化(更具体地，亮度变化)时生成事件信号。从处理电路120输出事件信号作为指示例如时间戳、传感器标识信息(例如，像素位置)和亮度变化的极性(增加或减少)的信息。当被摄体在传感器阵列110的视角内移动时，被摄体反射或散射的光的强度改变。因此，可以通过由传感器110A、110B等生成的例如与被摄体的边缘相对应的事件信号在时间序列中检测被摄体的移动。

控制部分200包括通信接口210、处理电路220和存储器230。通信接口210接收从视觉传感器100的处理电路120发送的事件信号、以及从IMU 300发送的加速度、角速度等的测量结果，并将事件信号和测量结果输出到处理电路220。处理电路220例如根据存储在存储器230中的程序进行操作，并且处理接收到的事件信号和接收到的测量结果。例如，根据事件信号，处理电路220基于时间序列生成在其上映射发生了亮度变化的位置的图像，并且将该图像暂时或永久地存储在存储器230中，或经由通信接口210将该图像发送到另一装置。此外，例如，处理电路220通过积分加速度、角速度等的测量结果来估计电子装置10的姿态角和位移。

IMU 300包括陀螺仪传感器和加速度传感器，例如，用于检测在电子装置10中产生的角速度和加速度。这里，IMU 300至少与电子装置10中的视觉传感器100封装在同一外壳中，并且与视觉传感器100一起移位。当电子装置10发生移位时，IMU 300检测角速度和加速度。此外，例如，传感器110A、110B…和被摄体之间的位置关系改变，并且与被摄体的边缘相对应的传感器110A，110B…然后生成事件信号。即，当电子装置10发生位移时，在视觉传感器100中生成与位移相对应的事件信号。

图2是用于概念性地说明图1所示的电子装置中的校正时间的图。当电子装置10发生平移和旋转位移时，IMU 300检测加速度a

因此，在本实施例中，控制部分200根据从视觉传感器100接收到的事件信号的频率，执行对来自IMU 300的测量结果或基于测量结果的估计值进行校正的处理。更具体地，例如，当事件信号的频率低时，控制部分200消除包括在测量结果中的漂移误差或偏置误差。或者，当事件信号的频率低时，控制部分200可以基于测量结果从姿态角和位移的估计值中消除误差分量。如前所述，视觉传感器100与IMU 300一起移位，并且当电子装置10发生移位时，在视觉传感器100中生成与该移位相对应的事件信号。换言之，在视觉传感器100不产生事件信号的时间段内，可以预测电子装置10处于静止状态。例如，事件驱动型视觉传感器100以高于帧类型视觉传感器的速度操作。因此，即使在电子装置10瞬间处于静止的情况下，也可以通过上述处理来识别静止时刻，从而可以校正测量结果或估计值。因此，可以高频地校正测量结果或估计值。这导致测量结果本身以及由控制部分200估计电子装置10的姿态角和位移的精度的提高。

图3是示出图1所示的电子装置的处理电路的功能配置的框图。在图3所示的示例中，控制部分200的处理电路220包括事件信号分析部分221、测量结果分析部分222、校正时间决定部分223和校正处理部分224，它们是例如通过根据存储在存储器230中的程序进行操作而实现的功能。事件信号分析部分221分析经由通信接口210从视觉传感器100接收的事件信号。具体地，事件信号分析部分221例如基于包括在事件信号中的时间戳来计算事件信号的频率。同时，测量结果分析部分222分析经由通信接口210从IMU300接收的加速度、角速度等的测量结果。具体地，测量结果分析部分222例如通过积分加速度和积分角速度来计算姿态角和位移的估计值231。例如，关于加速度和角速度的测量结果232和估计值231的时间序列数据被存储在存储器230中。

校正时间决定部分223基于由事件信号分析部分221计算的事件信号的频率来决定与电子装置10的静止状态相对应的校正时间。当校正时间决定部分223决定了校正时间时，校正处理部分224基于测量结果执行对来自IMU300的测量结果232或估计值231的校正处理。具体地，例如，校正处理部分224将与实际测量结果和理论测量结果之间的差相对应的值标识为误差，理论测量结果是在电子装置10的静止状态期间获得的，具体地说，在角速度和重力加速度以外的加速度都为零的状态下。然后，校正处理部分224对IMU300获得的加速度和角速度的测量结果232给出诸如偏移以消除误差。校正处理部分224可以在校正时间之后实时地校正输入到测量结果分析部分222中的测量结果232，或者可以在事后校正在校正时间之后获得的数据，该数据包括在已经处理的测量结果232的时间序列数据中。在事后校正测量结果232的情况下，测量结果分析部分222可以再次计算估计值231。

图4是示出图1所示的电子装置中的处理的示例的流程图。在图4所示的示例中，首先，事件信号分析部分221计算事件信号的频率(步骤S101)。这里，事件信号分析部分221可以例如基于在最后预定时间段内接收到的事件信号的数目，在顺序移动时间窗口的同时计算该频率。或者，事件信号分析部分221可以基于在上一个周期中接收到的事件信号的数目来计算每个预定周期的频率。接着，校正时间决定部分223判断在步骤S101中计算出的事件信号的频率是否小于阈值(步骤S102)。这里，在频率等于或大于阈值的情况下，确定电子装置10不处于静止状态。然后，该处理结束。

另一方面，在步骤S102中事件信号的频率小于阈值的情况下，校正时间决定部分223可以进一步确定包括在来自IMU 300的测量结果中的测量值是否小于阈值(步骤S103)。例如，在电子装置10的周围区域是暗的或者传感器阵列110的视角被屏蔽的情况下，即使事件信号的频率低，电子装置10也可能不处于静止状态。为了避免在这种情况下执行测量结果或估计值的校正，校正时间决定部分223可以在检测值的条件下决定校正时间，具体地，包括在来自IMU 300的测量结果中的加速度或角速度的值小于阈值，并且估计电子装置10的移动在一定水平上是小的。

在步骤S103中，在来自IMU 300的测量结果中包括的检测值小于阈值的情况下，校正时间决定部分223决定校正时间(步骤S104)，并且校正处理部分224根据校正时间执行校正处理(步骤S105)。具体地，校正处理部分224可以在校正时间之后实时地校正输入到测量结果分析部分222的测量结果232，或者可以在事后校正在校正时间之后获取的数据，该数据包括在已经处理的测量结果232的时间序列数据中。在事后校正测量结果232的情况下，测量结果分析部分222可以执行再次计算估计值231的步骤(未示出)。或者，校正处理部分224可以校正基于测量结果的估计值231。

在到目前为止解释的本发明的第一实施例中，控制部分200根据从视觉传感器100接收到的事件信号的频率，执行校正来自IMU 300的测量结果的处理。因此，例如，可以精确地识别电子装置10变为静止的时刻，并且可以消除包括在测量结果中的误差。由于可以以更高的频率消除误差，因此可以提高测量结果本身以及电子装置10的姿态角和位移的估计的精度。

以上参照附图详细说明了本发明的一些实施例。然而，本发明不限于这些实施例。显然，具有本发明所属技术领域的普通知识的人能够在权利要求书中阐述的技术概念的范围内想到各种改变和修改。应当理解，这些改变和修改也在本发明的技术范围内。

[参考符号列表]

10：电子装置

100：视觉传感器

110：传感器阵列

110A、110B：传感器

120：处理电路

200：控制部分

210：通信接口

220：处理电路

221：事件信号分析部分

222：测量结果分析部分

223：校正时间决定部分

224：校正处理部分

230：储存器

231：估计值