成像设备和成像方法

技术领域

本技术涉及一种成像设备和一种成像方法，尤其涉及模糊校正数据的处理。

背景技术

例如，作为可更换透镜型相机等，已知包括相机主体部分(相机主体)和透镜镜筒并且可以将移动图像记录在记录介质上的成像设备。

这种成像设备包括通过相机主体中的模糊校正功能的机械操作来执行模糊校正的设备和通过透镜镜筒中的模糊校正功能的机械操作来执行模糊校正的设备。此外，在图像信号处理中根据模糊改变从成像元件读取图像信号的范围或改变图像的裁剪范围的电子模糊校正功能也是已知的。

下面的专利文献1公开了在透镜镜筒侧和相机主体侧中的每一个上执行模糊校正的配置。

引文列表

专利文献

专利文献1：WO 2018/025639

发明内容

本发明要解决的问题

近来，存在用户可以使用诸如智能电话或平板电脑之类的移动终端、相机本身、个人计算机等容易地执行各种图像捕获、图像调整等的环境。在这种情况下，存在以高精度移除成像时的相机抖动的影响的情况，或者相反，主动地对图像施加抖动以获得演出效果的情况。

因此，本公开假定在成像之后将图像的抖动添加到移动图像中或从移动图像中移除图像的抖动，并且为此目的提出一种用于在成像设备中保存适当信息的技术。

问题的解决方案

根据本技术的成像设备包括控制单元，该控制单元基于第一模糊校正值和第二模糊校正值两者来生成校正信息，作为与捕获的图像相关联的元数据，第一模糊校正值与校正通过透镜入射的光学图像和输出的捕获图像之间的位置关系的第一模糊校正功能相关，第二模糊校正值与在包括透镜的透镜镜筒中设置的第二模糊校正功能相关。

第一模糊校正功能是在主体侧校正光学图像与输出捕获图像(最终从成像设备输出的图像)之间的位置关系的功能。第二模糊校正功能是在透镜镜筒侧提供的功能。在透镜镜筒侧和相机主体侧中的每一个都以此方式具有机械式或电子模糊校正功能的情况下，将基于透镜镜筒侧和相机主体部分侧双方的模糊校正值的校正信息与作为元数据捕获的移动图像相关联。例如，元数据以与图像数据相关联的状态被记录在记录介质中。

可以想到，控制单元生成具有比在上述根据本技术的成像设备中在第一模糊校正值的数据量和第二模糊校正值的数据量相加的情况下获得的数据量更小的数据量的校正信息。

如果第一模糊校正值和第二模糊校正值都被直接设定为校正信息，那么作为元数据记录的数据量增加。因此，以较少的数据量获得包括第一模糊校正值和第二模糊校正值的信息。

可以想到，控制单元将第一模糊校正值和第二模糊校正值中的一个模糊校正值以及被配置为在根据上述本技术的成像设备中使用该一个模糊校正值来获得另一个模糊校正值的转换信息设定为校正信息。

记录第一模糊校正值和第二模糊校正值中的一个，并且记录与例如第一模糊校正值和第二模糊校正值之间的比率、差等对应的转换信息作为转换信息，从而从元数据中获得第一模糊校正值和第二模糊校正值。

可以想到，在上述根据本技术的成像设备中，控制单元将第一模糊校正值和被配置为使用第一模糊校正值求出第二模糊校正值的转换信息设定为校正信息。

由于记录了第一模糊校正值和转换信息，因此可以从元数据中获得第一模糊校正值和第二模糊校正值。

可以想到，控制单元在每个预先确定的定时生成校正信息，该校正信息包括第一模糊校正值和第二模糊校正值中的一个模糊校正值与被配置为使用所述一个模糊校正值求出另一个模糊校正值的转换信息的一对。

例如，在元数据与图像的帧相关联地记录的情况下，一个模糊校正值和转换信息的集合与每一帧相关联地被记录。

可以想到，在上述根据本技术的成像设备中，控制单元在每个预先确定的定时生成校正信息，该校正信息包括第一模糊校正值和第二模糊校正值中的一个模糊校正值以及被配置为在第一模糊校正值与第二模糊校正值之间的比率已改变的定时使用该一个模糊校正值获得另一个模糊校正值的转换信息。

即，仅当第一模糊校正值与第二模糊校正值之间的比率已改变时，才记录转换信息。

可以想到，在上述根据本技术的成像设备中，控制单元从移动图像的记录开始到记录结束将第一模糊校正值与第二模糊校正值之间的比率设定为固定比率，并生成包括在每个定时的第一模糊校正值和第二模糊校正值中的一个模糊校正值以及根据固定比率的转换信息的校正信息，该转换信息被配置为使用所述一个模糊校正值求出另一个模糊校正值。

即，与移动图像相关联地仅记录一条转换信息就足够了。

可以想到，控制单元使用第一模糊校正值和第二模糊校正值的合成校正值作为上述根据本技术的成像设备中的校正信息。

作为第一模糊校正值和第二模糊校正值的合成校正值，整个成像设备的校正值被记录为元数据。

可以想到，在上述根据本技术的成像设备中，控制单元将第一模糊校正值和第二模糊校正值设定为校正信息，并且执行将透镜镜筒和相机主体部分之间的通信速度信息作为元数据记录在记录介质中的处理。

第一模糊校正值和第二模糊校正值都直接用作校正信息并记录为元数据。此外，透镜镜筒侧和相机主体部分侧之间的通信速度信息也被记录为元数据。

可以想到，通信速度信息是指示上述根据本技术的成像设备中的通信速度的值。

透镜镜筒和相机主体部分之间的通信速度直接用作元数据。

可以想到，在上述根据本技术的成像设备中，通信速度信息是通过将通信速度与预先确定的值进行比较而获得的结果信息。

例如，指示透镜镜筒和相机主体部分之间的通信速度是快还是慢的标志信息被用作元数据。

可以想到，在根据上述根据本技术的成像设备中，模糊校正值是指示模糊校正功能的校正的位置或位置位移量的校正执行值。

第一模糊校正值或第二模糊校正值被设定为实际执行第一模糊校正功能或第二模糊校正功能的模糊校正时的位置或位置位移量。

可以想到，在上述根据本技术的成像设备中，模糊校正值是给出关于用于模糊校正功能的校正的位置或位置位移量的指令的校正指令值。

给出关于用于第一模糊校正功能或第二模糊校正功能的模糊校正的位置或位移量的指令以执行用于模糊校正的位移。校正指令值用作要反映在元数据中的模糊校正值。

可以想到，在上述根据本技术的成像设备中，控制单元使用由模糊检测单元检测到的信息作为元数据。

例如，在设置了诸如陀螺仪之类的传感器的情况下，元数据包括通过传感器感测获得的抖动信息。

根据本技术的成像方法包括以下处理：生成基于第一模糊校正值和第二模糊校正值两者的校正信息，作为与捕获的图像相关联的元数据，第一模糊校正值与校正通过透镜入射的光学图像和输出的捕获图像之间的位置关系的第一模糊校正功能相关，第二模糊校正值与在包括透镜的透镜镜筒中设置的第二模糊校正功能相关，相关该处理由成像设备执行。

因此，当捕获图像时，可以从元数据中参考透镜镜筒侧的模糊校正值和主体侧的模糊校正值。

附图说明

图1是根据本技术实施例的成像设备和图像处理设备的解释图。

图2是根据实施例的成像设备和图像处理设备的数据流的解释图。

图3是根据实施例的成像设备的配置示例的框图。

图4是根据实施例的成像设备的校正处理的解释图。

图5是根据实施例的元数据的解释图。

图6是根据实施例的图像处理设备的功能的解释图。

图7是与根据第一实施例的模糊校正相关的处理示例的流程图。

图8是根据实施例的IMU数据记录的流程图。

图9是与根据第二实施例的模糊校正相关的处理示例的流程图。

图10是与根据第三实施例的模糊校正相关的处理示例的流程图。

图11是与根据第四实施例的模糊校正相关的处理示例的流程图。

图12是与根据第五实施例的模糊校正相关的处理示例的流程图。

图13是根据第五实施例在透镜侧记录元数据的处理示例的流程图。

图14是根据第五实施例的记录通信速度信息的流程图。

图15是根据第六实施例的记录通信速度信息的流程图。

图16是根据第七实施例的透镜镜筒侧的处理的流程图。

图17是根据第七实施例的相机主体侧的处理的流程图。

图18是根据第七实施例的另一个示例的透镜镜筒侧的处理的流程图。

具体实施方式

在下文中，将按以下次序描述实施例。

<1.成像设备和图像处理设备的帧间抖动修改>

<2.成像设备和元数据的配置>

<3.图像处理设备的功能>

<4.第一实施例>

<5.第二实施例>

<6.第三实施例>

<7.第四实施例>

<8.第五实施例>

<9.第六实施例>

<10.第七实施例>

<11.总结与修改>

<1.成像设备和图像处理设备的帧间抖动修改>

图1图示了根据实施例的成像设备1和获取由成像设备1捕获的图像文件MF的图像处理设备(5、6)的示例。

该图图示了其中移动终端7和个人计算机8用作图像处理设备5和6的示例。虽然没有示出，但是各种设备(诸如图像编辑专用设备、云服务器、电视设备、以及视频记录和再现设备)被假定为图像处理设备5和6。这些设备可以用作图像处理设备5和6中的任何一个。

图像处理设备5是主要对从成像设备1获取的图像数据执行帧间抖动修改处理的设备。

另一方面，图像处理设备6是对已经在其它图像处理设备中执行了帧间抖动修改处理的图像数据进行二次帧间抖动修改处理的设备。

注意的是，“抖动”是指构成移动图像的图像的帧间抖动。假定“抖动”泛指在由成像设备1捕获的图像中的帧之间生成的振动分量(帧之间的图像的波动)，诸如由相机抖动等造成的图像的抖动以及由图像处理有意添加的抖动。

术语“相机抖动”也用于指代在由成像设备1成像时由相机抖动等造成的“抖动”的情况。在成像设备1中执行以减少由相机抖动等造成的图像的抖动(包括当成像设备1被固定布置而不用手握持时施加的振动等)的校正被称为“图像稳定化”以区别于图像处理设备5和6中的“帧间抖动修改”处理。

“帧间抖动修改”是指改变图像中抖动的状态，诸如减少图像中出现的抖动或将抖动添加到图像。

假定“帧间抖动修改”包括以下“帧间抖动减少”和“帧间抖动产生”。

“帧间抖动减少”是指在图像处理设备5和6中进行成像时消除(完全移除抖动)或减少(部分移除抖动)在由相机抖动等造成的图像中发生的抖动。

“帧间抖动产生”是指在图像处理设备5和6中改变图像的抖动的状态。存在减少抖动作为该帧间抖动产生的情况，作为这种意义上的结果这类似于“帧间抖动减少”。但是，在本实施例中，“帧间抖动产生”是指根据指令改变图像的抖动的状态，通过用户的操作或自动控制给出关于抖动的改变量的指令。

例如，根据用户指令等减少或增加在成像时生成的抖动或者新添加与“帧间抖动产生”对应的抖动。

注意的是，作为帧间抖动产生的目的的示例，假定为了给移动图像的场景留下印象而故意抖动图像。

图1中的成像设备1被配置为所谓的数码静态相机或数码摄像机，以能够捕获至少移动图像。

成像设备1的相机主体部分被示为相机主体2。

透镜镜筒3用作所谓的可更换透镜，并且可附接到成像设备1的相机主体部分(相机主体2)和从其分离。用户可以根据使用情况更换和使用透镜镜筒3。

注意的是，在实施例中假定这种可更换透镜型成像设备1，但是本公开的技术也可以应用于不能从相机主体2移除透镜镜筒3的类型。

成像设备1可以捕获移动图像并将通过捕获移动图像而获得的图像文件MF经由有线通信或无线通信传送到用作图像处理设备5的移动终端7、个人计算机8等。可替代地，成像设备1可以将图像文件MF记录在诸如存储卡之类的记录介质中，并且移动终端7或个人计算机8可以从存储卡中读取图像文件MF。

此外，图像文件MF不仅包括作为移动图像的图像数据，而且还包括作为与图像数据对应的附加信息的元数据。

图2图示了成像设备1、图像处理设备5和图像处理设备6中的信息传输的状态。

图像数据VD1和元数据MTD1经由有线通信、无线通信或记录介质从成像设备1传输到图像处理设备5。

图像数据VD1和元数据MTD1例如是作为图像文件MF被传输的信息。

在本实施例的情况下，元数据MTD1包括例如关于成像时的图像稳定化的信息。

图像处理设备5可以接收图像数据VD1和元数据MTD1并执行各种处理。

例如，图像处理设备5可以使用元数据MTD1中包括的关于图像稳定化的信息对图像数据VD1执行帧间抖动修改处理。

如上所述，帧间抖动修改是取消图像稳定化以返回到具有抖动的原始图像、执行更高级帧间抖动减少或将抖动添加到图像以用于产生的处理。

图像处理设备5还可以将通过执行帧间抖动修改处理等获得的图像数据VD2和元数据MTD2传送到其它图像处理设备6。

在这种情况下，作为元数据MTD2添加与帧间抖动修改处理等相关的信息，因此图像处理设备6也可以进行各种帧间抖动修改。

在本实施例中，基于这种信息传输的假定，至少可以适当地执行图像处理设备5中的帧间抖动修改。为了这种目的，将给出集中在成像设备1中成像时的元数据记录的描述。

<2.成像设备和元数据的配置>

图3图示了成像设备1和透镜镜筒3的配置示例。

具有多个光学组件的透镜系统10在透镜镜筒3中形成。例如，透镜系统10包括变焦透镜10a、光圈机构10b、图像稳定化透镜机构10c、聚焦透镜10d等。

图像稳定化透镜机构10c是通过相对于相机抖动机械地驱动透镜来减少图像中出现的抖动的机构。

来自被摄体的光(入射光)经由这种透镜系统10和相机主体2中的快门11被收集在成像元件单元12上。

成像元件单元12包括例如互补金属氧化物半导体(CMOS)型、电荷耦合器件(CCD)型等的图像传感器(成像元件)。

成像元件单元12对通过光电转换由图像传感器接收的光获得的电信号执行例如相关双采样(CDS)处理、自动增益控制(AGC)处理等，并且进一步执行模拟/数字(A/D)转换处理。然后，将作为数字数据的成像信号输出到后续级中的相机信号处理单元13。

成像元件单元12设有成像平面图像稳定化单元30。

成像平面图像稳定化单元30是通过相对于相机抖动等机械地移动图像传感器来校正图像的抖动的机构。

相机信号处理单元13被配置为使用例如数字信号处理器(DSP)等的图像处理处理器。相机信号处理单元13对来自成像元件单元12的数字信号(捕获的图像信号)执行各种类型的信号处理。例如，作为相机过程，相机信号处理单元13执行预处理、同步处理、YC生成处理、各种类型的校正处理、分辨率转换处理、编解码器处理等。

在预处理中，对来自成像元件单元12的捕获的图像信号执行将R、G和B的黑电平钳位到预先确定的电平的钳位处理、R、G和B的颜色通道之间的校正处理等。

在同步处理中，执行颜色分离处理，使得用于每个像素的图像数据具有R、G和B的所有颜色分量。例如，在使用拜耳阵列滤色器的成像元件的情况下，执行去马赛克处理作为颜色分离处理。

在YC生成处理中，从R、G和B的图像数据生成(分离)辉度(Y)信号和颜色(C)信号。

在分辨率转换处理中，对经过了各种类型的信号处理的图像数据执行分辨率转换处理。

图4例示了透镜系统10对相机信号处理单元13执行的各种类型的校正处理。图4按执行次序图示了由图像稳定化透镜机构10c和成像平面图像稳定化单元30执行的光学图像稳定化以及由相机信号处理单元13执行的校正处理。

作为过程F1中的光学图像稳定化，执行图像稳定化透镜机构10c的透镜振动抑制和成像平面图像稳定化单元30的主体振动抑制。

例如，执行由成像平面图像稳定化单元30作为通过使图像稳定透镜机构10c在偏航方向和俯仰方向上移位来执行的透镜振动抑制的图像稳定化以及作为通过使图像传感器在图像传感器的偏航方向和俯仰方向上移位来执行的主体振动抑制的图像稳定化，使得在已经物理取消相机抖动的影响的状态下在图像传感器上形成被摄体的图像。

在一些情况下仅执行透镜振动抑制和主体振动抑制中的一个，而在其它情况下两者都执行。

注意的是，除了上述光学图像稳定化之外，还可以执行电子图像稳定化作为图像稳定化。

在相机信号处理单元13中，从过程F2到过程F6的处理通过对每个像素的空间坐标变换来执行。

在过程F2中，执行透镜失真校正。

在过程F3中，执行作为电子图像稳定化的一个要素的焦平面失真校正。注意的是，这例如在通过卷帘快门方案由CMOS图像传感器执行读取的情况下校正失真。

在过程F4中，执行滚动校正。即，执行作为电图像稳定化的一个要素的滚动分量校正。

在过程F5中，对由电图像稳定化造成的梯形失真量执行梯形失真校正。由电图像稳定化造成的梯形失真量是由于切除远离图像中心的位置而造成的透视失真。

在过程F6中，执行作为电图像稳定化的一个要素的在俯仰方向和偏航方向上的移位或裁剪。

例如，在上述过程中执行图像稳定化、透镜失真校正和梯形失真校正。

注意的是，执行这里例示的所有过程不是必需的，并且可以适当地改变过程的次序。

在图3的相机信号处理单元13中的编解码器处理中，例如，对经过了上述各种类型处理的图像数据执行用于记录和通信的编码处理和文件生成。例如，图像文件MF以用于记录符合MPEG-4的移动图像和音频的MP4格式等生成。此外，还可以想到将诸如联合图像专家组(JPEG)、标记图像文件格式(TIFF)或图形交换格式(GIF)之类的格式的文件生成为静止图像文件。

注意的是，图3中没有示出音频处理系统，但实际上设置了音频记录系统和音频处理系统，并且图像文件MF可以包括音频数据以及作为移动图像的图像数据。

使用包括中央处理单元(CPU)的微型计算机(算术处理设备)来配置相机控制单元18。

存储器单元19存储用于由相机控制单元18处理的信息等。图中所示的存储器单元19综合性地表示例如只读存储器(ROM)、随机存取存储器(RAM)、闪存等。

存储器单元19中的RAM用于在相机控制单元18的CPU的各种类型的数据处理期间作为工作区暂时存储数据、程序等。

存储器单元19中的ROM和闪存(非易失性存储器)用于存储为CPU配置以控制各单元的操作系统(OS)、诸如图像文件之类的内容文件、用于各种操作的应用程序、固件等。

存储器单元19可以是内置在用作相机控制单元18的微型计算机芯片中的存储器区域，或者可以使用分离的存储器芯片来配置。

相机控制单元18执行存储在存储器单元19的ROM、闪存等中的程序，以控制整个成像设备1和透镜镜筒3。

例如，相机控制单元18控制与成像元件单元12的快门速度的控制、相机信号处理单元13中的各种信号处理的指令、根据用户的操作进行的成像操作或记录操作、记录的图像文件的再现操作、透镜系统10的操作(诸如透镜镜筒3中的变焦、聚焦和光圈调整)、用户界面操作等相关的相应必要单元的操作。

此外，相机控制单元18还对由相机信号处理单元13处理的图像数据执行各种类型的处理和输出控制。

相机控制单元18可以使电图像稳定化控制单元35对图像数据执行电图像稳定化处理。

此外，相机控制单元18使模糊校正元数据处理单元36执行与模糊校正相关的元数据生成。相机控制单元18还执行控制以生成由包括关于模糊校正的信息在内的各种类型的信息构成的元数据并将元数据记录为与图像文件MF相关的信息。

此外，相机控制单元18经由通信控制单元33与透镜镜筒3侧的透镜控制单元20通信。

注意的是，图3将电图像稳定化控制单元35和模糊校正元数据处理单元36图示为与相机控制单元18分开的框，但是这些可以被认为是由构成相机控制单元18的微型计算机实现的功能。因此，为了便于描述，将相机控制单元18、电图像稳定化控制单元35和模糊校正元数据处理单元36统称为“控制单元40”。同时，这些可以使用分开的算术处理设备来配置。

例如，记录控制单元14在使用非易失性存储器配置的记录介质上执行记录和再现。例如，记录控制单元14执行将诸如移动图像数据或静止图像数据、缩略图图像等的图像文件MF记录在记录介质上的过程。

可以不同地考虑记录控制单元14的实际形式。例如，记录控制单元14可以被配置为内置在成像设备1中的闪存及其写入/读取电路，或者可以以访问记录介质的卡记录和再现单元的形式提供，该记录介质可以附接到成像设备1和从其分离，例如用于记录和再现的存储卡(便携式闪存等)。此外，记录控制单元14可以作为内置在成像设备1中的形式被实现为硬盘驱动器(HDD)等。

显示单元15是为用户执行各种显示的显示单元，并且是例如使用布置在成像设备1的壳体中的诸如液晶显示器(LCD)或有机电致发光(EL)显示器之类的显示设备的显示面板或取景器。

显示单元15基于来自相机控制单元18的指令在显示屏幕上执行各种显示。

例如，显示单元15显示从记录控制单元14中的记录介质读取的图像数据的再现图像。

此外，存在这样的情况，其分辨率已经被相机信号处理单元13转换以用于显示的捕获的图像的图像数据被供给显示单元15，并且显示单元15响应于来自相机控制单元18的指令而基于捕获的图像的图像数据执行显示。因此，显示作为在构图确认期间捕获的图像的所谓直通图像(被摄体监视图像)。

此外，显示单元15基于来自相机控制单元18的指令在屏幕上执行各种操作菜单、图标、消息等(即，图形用户界面(GUI))的显示。

输出单元16以有线或无线方式与外部设备执行数据通信和网络通信。

例如，捕获的图像数据(静止图像文件或移动图像文件)被传输并输出到外部显示设备、记录设备、再现设备等。

此外，输出单元16可以作为网络通信单元经由各种网络(诸如互联网、家庭网络和局域网(LAN))执行通信，以向网络上的服务器、终端等传输和从其接收各种类型的数据。

操作单元17共同表示被配置为供用户执行各种操作输入的输入设备。具体而言，操作单元17表示在成像设备1的壳体中设置的各种操作元件(键、拨盘、触摸面板、触摸垫等)。

操作单元17检测用户的操作，并且将与输入操作对应的信号传输到相机控制单元18。

快门驱动单元31基于来自相机控制单元18的指令驱动快门11。

校正单元驱动单元32基于来自相机控制单元18的指令驱动成像平面图像稳定化单元30，并且为了光学图像稳定化而使成像元件单元12中的图像传感器移位。

模糊检测单元34表示检测对相机主体2施加的抖动的传感器。作为模糊检测单元34，例如，安装惯性测量单元(IMU)，并且例如可以由俯仰、偏航、横滚三个轴的角速度(陀螺仪)传感器检测角速度，并且可以由加速度传感器检测加速度。

注意的是，模糊检测单元34包括能够在成像时检测相机抖动的传感器就足够了，并且不需要包括陀螺仪传感器和加速度传感器两者。

透镜镜筒3配备有例如使用微型计算机配置的透镜控制单元20。

在透镜镜筒3安装在相机主体2上的状态下，相机控制单元18和透镜控制单元20可以经由通信控制单元27和33彼此通信。

通信控制单元27和33以有线方式连接以在透镜镜筒3安装在相机主体2上时执行通信。但是，两者都可以被配置为执行无线通信。

透镜控制单元20和相机控制单元18以一定的通信速度定期执行双向数据通信。

例如，相机控制单元18指示透镜控制单元20驱动变焦透镜10a、对焦透镜10d、光圈机构10b和图像稳定化透镜机构10c。透镜控制单元20使透镜系统10的操作响应于用于驱动它们的指令而被执行。

此外，透镜控制单元20将透镜失真校正信息、焦距信息、图像稳定化透镜机构10c的校正透镜位置等传输到相机控制单元18。

透镜镜筒3例如设有包括驱动变焦透镜10a的马达和马达驱动器的变焦驱动单元21、包括驱动光圈机构10b的马达和马达驱动器的光圈驱动单元22、包括驱动图像稳定透镜机构10c的马达和马达驱动器的校正透镜驱动单元23，以及包括驱动聚焦透镜10d的马达和马达驱动器的聚焦驱动单元24。

变焦驱动单元21、光圈驱动单元22、校正透镜驱动单元23和聚焦驱动单元24基于来自相机控制单元18的指令响应于来自透镜控制单元20的指令而将驱动电流施加到对应的马达18。因此，执行变焦操作、光圈打开/关闭操作、光学图像稳定化操作和聚焦操作。

存储器单元26存储用于透镜控制单元20的处理的信息等。存储器单元26综合表示例如ROM、RAM、闪存等。存储器单元26有时用于暂时保存从透镜控制单元20传输到相机控制单元18的信息的目的。

模糊检测单元25表示检测透镜镜筒3的抖动的传感器，并且与相机主体2侧的模糊检测单元34类似地，例如假定安装有IMU。注意的是，还假定抖动检测单元34未安装在透镜镜筒3中的情况。

接下来，将描述从成像设备1传输到图像处理设备5的图像文件MF的内容和元数据的内容。

图5A图示了图像文件MF中包括的数据。如图所示，图像文件MF包括各种类型的数据作为“标题”、“声音”、“电影”和“元数据”。

在“标题”中，将指示元数据等的存在或不存在的信息与诸如文件名和文件尺寸之类的信息一起描述。

“声音”是与移动图像一起记录的音频数据。例如，存储两声道立体声音频数据。

“电影”是移动图像数据，并且包括作为构成移动图像的帧(#1、#2、#3等)的多条图像数据。

作为“元数据”，描述与构成移动图像的相应帧(#1、#2、#3等)相关联的附加信息。

元数据的内容的示例在图5B中示出。例如，针对一帧描述IMU数据、坐标变换参数HP、定时信息TM和相机参数CP。注意的是，这些是元数据的内容的一部分，并且可以存在其它信息。此外，存在不包括图中所示的任何信息的情况。

此外，图5B用虚线图示了元数据包括通信速度信息的情况，这是执行根据稍后描述的第五或第六实施例的处理的情况。

作为IMU数据，描述陀螺仪(角速度数据)、加速器(加速度数据)和采样率。

作为模糊检测单元34和25安装在成像设备1上的IMU以预先确定的采样率输出角速度数据和加速度数据。一般而言，这个采样率高于捕获的图像的帧速率，因此在一个帧周期内获得许多IMU数据样本。

因此，作为角速度数据，n个样本与一帧相关联，诸如图5C中所示的陀螺仪样本#1、陀螺仪样本#2、…和陀螺仪样本#n。

此外，作为加速度数据，m个样本与一帧相关联，诸如加速器样本#1、加速器样本#2、…和加速器样本#m。

存在n＝m的情况，也存在n≠m的情况。

注意的是，本文已经描述了元数据与每个帧相关联的示例，但是例如存在IMU数据与帧不完全同步的情况。在这种情况下，例如，与每帧的时间信息相关联的时间信息作为IMU样本定时偏移量被保存在定时信息TM中。

坐标变换参数HP是用于伴随图像中每个像素的坐标变换的校正的参数的总称。例如，还包括非线性坐标变换，诸如透镜失真。

于是，坐标变换参数HP是可以至少包括透镜失真校正参数、梯形失真校正参数、焦平面失真校正参数、电图像稳定参数和光学图像稳定参数的项。

透镜失真校正参数是用于直接或间接掌握诸如桶形像差和枕形像差之类的失真如何被校正并返回到透镜失真校正之前的图像的信息。

梯形失真校正参数是在通过电图像稳定化校正因裁剪区域从中心移位而造成的梯形失真时的校正量，并且还具有根据电图像稳定化的校正量的值。

焦平面失真校正参数是指示每条线关于焦平面失真的校正量的值。

关于电图像稳定化和光学图像稳定化，使用指示偏航、俯仰和滚动的相应轴方向的校正量的参数。

在此，在本实施例中，如图3中所示，作为光学图像稳定化机构，设置有图像稳定化透镜机构10c和成像面图像稳定化单元30。因此，作为指示光学图像稳定化的校正量的校正信息，例如，如图5D中所示，记录主体侧模糊校正值和透镜侧模糊校正值。

主体侧模糊校正值是成像平面图像稳定化单元30中的模糊校正值。

透镜侧模糊校正值是图像稳定化透镜机构10c中的模糊校正值。

假定这些模糊校正值被设定为成像平面图像稳定化单元30和图像稳定化透镜机构10c的实际校正执行值。这个校正有效值是表示作为光学图像稳定化被执行的实际位移的值，诸如通过实际校正改变的位置信息或者由在成像平面图像稳定化单元30或图像稳定化透镜机构10c中设置的位置传感器检测到的位置信息相对于前一帧的位移量。

可替代地，这些模糊校正值也可以是从相机控制单元18向校正单元驱动单元32输出的校正指示值、以及从相机控制单元18经由透镜控制单元20向校正透镜驱动单元23传输的校正指令值。这是因为成像平面图像稳定化单元30和图像稳定化透镜机构10c被驱动以具有与这些校正指令值对应的位置和位移量。

此外，作为关于光学图像稳定化的校正信息，存在这样的示例，其中如图5E中所示记录主体侧模糊校正值和转换信息。这将在第一至第三实施例中描述。

此外，作为与光学图像稳定化相关的校正信息，存在如图5F中所示组合主体侧模糊校正值和透镜侧模糊校正值这两者、并且记录作为被添加在整个成像设备1中的模糊校正量的合成校正值的示例。这将在第四实施例中描述。

注意的是，透镜失真校正、梯形失真校正、焦平面失真校正和电图像稳定化的相应参数统称为坐标变换参数，因为这种校正处理是对在成像元件单元12的图像传感器的每个像素上形成的图像的校正处理，并且参数是伴随每个像素的坐标变换的校正处理的参数。

此外，由于帧间分量的抖动的校正是伴随光学图像稳定化中的每个像素的坐标变换的处理，因此为了描述，光学图像稳定化的校正信息也被设定为坐标变换参数之一。

即，当使用这些参数执行逆校正时，进行了透镜失真校正、梯形失真校正、焦平面失真校正、电图像稳定化和光学图像稳定化的图像数据可以返回到每个校正处理之前的状态，即，在成像元件单元12的图像传感器上形成图像时的状态。

此外，透镜失真校正、梯形失真校正和焦平面失真校正的相应参数被统称为光学失真校正参数，因为这种校正处理是针对来自被摄体自身的光学图像是在光学失真状态下捕获的图像并且旨在进行光学失真校正的情况的失真校正处理。

即，当使用这些参数执行逆校正时，经过透镜失真校正、梯形失真校正和焦平面失真校正的图像数据可以返回到光学失真校正之前的状态。

元数据中的定时信息TM包括曝光时间(快门速度)、曝光开始定时、读取时间(帘速度)、曝光帧数(长秒曝光信息)、IMU样本偏移量和帧速率中的每一个的信息。

这些主要用于将每一帧的一行与IMU数据相关联。

但是，即使在图像传感器12a是全局快门方案的CCD或CMOS的情况下，如果通过使用电子快门或机械快门来移位曝光重心，那么也有可能使用曝光开始定时和帘速度根据曝光重心执行校正。

作为元数据中的相机参数CP，描述视角(焦距)、变焦位置和透镜失真信息。

<3.图像处理设备的功能>

图像处理设备5可以对通过成像设备1中的成像生成的图像文件MF执行帧间抖动修改处理。

用于这个目的的图像处理设备5的功能配置在图6中示出。注意的是，假定图像处理设备6具有类似的配置。

可以想到，图像处理设备5是诸如图1中的移动终端7或个人计算机8之类的信息处理设备，并且例如图6中所示的功能在这种情况下由应用程序形成。

例如，图像处理设备5具有作为校正取消单元51、帧间抖动产生单元52、处理设定单元53和用户接口单元54的功能。注意的是，“用户接口”也称为“UI”，并且用户接口单元54在下文中被称为“UI单元54”。

校正取消单元51和帧间抖动产生单元52是对图像执行一些帧间抖动修改的功能。

校正取消单元51是执行帧间抖动修改以取消由成像设备1执行的光学图像稳定化和电图像稳定化并且返回到未进行图像稳定化的状态(即，图像因原始相机抖动而抖动的状态)的功能。

可替代地，校正取消单元51也可以执行仅取消由图像稳定化透镜机构10c执行的校正的过程、仅取消由成像平面图像稳定化单元30执行的校正的过程、仅取消电子图像稳定化的过程等。

帧间抖动产生单元52是根据用户输入的参数或指令执行改变图像数据的抖动状态的过程的功能。

帧间抖动产生单元52可以例如对未经过校正取消单元51中的取消处理的图像数据VD1或经过校正取消单元51的取消处理之后的图像数据VD1执行帧间抖动产生处理(诸如添加或移除抖动)。

作为帧间抖动产生处理，假定减少图像的抖动、以比成像设备1的图像稳定更高的准确性执行帧间抖动减少、或者对图像施加抖动的过程。

UI单元54是执行将与校正取消或帧间抖动修改相关的操作要素呈现给用户并获取该操作要素的操作信息的过程的功能。

处理设定单元53基于元数据MTD1设定用于校正取消的处理参数，并且使校正取消单元51执行处理。此外，处理设定单元53根据由UI单元54检测到的用户操作或元数据MTD1设定用于帧间抖动修改的处理参数，并且使帧间抖动产生单元52执行处理。

使用这种图像处理设备5，用户可以对由成像设备1获得的图像文件MF执行期望的帧间抖动修改。

特别地，由于元数据MTD1包括光学图像稳定化的信息，因此可以识别由图像稳定化透镜机构10c执行的校正和由成像平面图像稳定化单元30执行的校正，并且根据这两者的处理可以被执行。例如，取消图像稳定化、添加适当的抖动等变得可能。

<4.第一实施例>

在下文中，将描述各种示例作为根据实施例的处理，特别关注光学图像稳定化和根据其记录元数据。

例如，如图5D中所示，成像设备1使用主体侧模糊校正值和透镜侧模糊校正值作为元数据，并使元数据与图像数据相关联，作为时间序列信息，从而可以在图像处理设备5中执行使用主体侧模糊校正值和透镜侧模糊校正值的帧间抖动修改(校正取消或帧间抖动产生)。

但是，如图5D中所示，如果主体侧模糊校正值和透镜侧模糊校正值被记录为每帧的元数据，那么存在元数据MTD1的数据量增加的情况，这在一些情况下可以是不期望的。例如，在针对相对长时间捕获的移动图像中的每一帧将主体侧模糊校正值和透镜侧模糊校正值记录为元数据的情况下，图像文件MF的数据量增加变得显著。

因此，在第一实施例中，可以减少元数据MTD1的数据量，同时可以使用元数据MTD1在例如图像处理设备5中检测主体侧模糊校正值和透镜侧模糊校正值。

图7图示了相机主体2中的控制单元40(相机控制单元18等)的处理示例。图7是与针对记录移动图像时的每个帧的每个定时由控制单元40执行的模糊校正相关的处理示例。

在步骤S101中，控制单元40检测模糊量。例如，从模糊检测单元34的IMU数据检测在前一帧和当前帧的定时之间产生的抖动量。在这种情况下，透镜镜筒3中的模糊检测单元25的IMU数据可以被参考。

在步骤S102中，控制单元40计算主体侧模糊校正量。主体侧模糊校正量是成像平面图像稳定化单元30执行的校正量。

此外，在步骤S103中，控制单元40计算透镜侧模糊校正量。透镜侧模糊校正量是由图像稳定化透镜机构10c执行的校正量。

例如，控制单元40基于在步骤S101中检测到的施加到成像设备1的模糊量来计算成像平面图像稳定化单元30和图像稳定化透镜机构10c应当被操作多少来执行模糊校正，并为两者设定模糊校正量。

在这种情况下，控制单元40根据模糊的量值、模糊(振动)的频率分量、成像平面图像稳定化单元30的可移动范围以及安装的透镜镜筒3的类型和性能等来计算成像平面图像稳定化单元30和图像稳定化透镜机构10c中的每一个的模糊校正量。

注意的是，在这种情况下考虑透镜镜筒3的类型和性能的原因之一是假定可更换透镜作为透镜镜筒3。这是因为图像稳定化透镜机构10c的可移动范围有时会根据透镜镜筒3而不同，并且可以有原本不包括图像稳定化透镜机构10c的透镜镜筒。

然后，当对于模糊的整体模糊校正量被设定为“1”时，控制单元40通过将成像平面图像稳定化单元30的模糊校正量设定为“α”并将图像稳定化透镜机构10c的模糊校正量为“1-α”(其中0≤α≤1)来获得相应的模糊校正量。

在步骤S104中，控制单元40传输与模糊校正量对应的校正指令值。

即，给出关于用于执行模糊校正量“α”的校正的位置和位置位移量的指令的校正指令值被传输到校正单元驱动单元32，并且给出关于用于执行模糊校正量“1-α”的校正的位置和位置位移量的指令的校正指令值被传输到透镜控制单元20。

因此，校正单元驱动单元32执行与模糊校正量“α”对应的成像平面图像稳定化单元30的驱动。

此外，透镜控制单元20将校正指令值传输到校正透镜驱动单元23，并且校正透镜驱动单元23执行与模糊校正量“1-α”对应的图像稳定化透镜机构10c的驱动。

因此，在透镜镜筒3侧和相机主体2侧都执行光学图像稳定化，从而起到减少由施加于成像设备1的相机抖动等造成的图像抖动的作用。

在步骤S105中，控制单元40计算比率。该比率是指示主体侧校正值与透镜侧校正值之间的比率的信息。即，该比率是指示模糊校正量“α”与模糊校正量“1-α”之间的比率的信息。

关于比率的具体信息可以是指示比率本身的信息或可以从中获得该比率的信息。在本实施例中，将这种比率信息设定为转换信息。

转换信息是使得能够从另一个模糊校正值获得一个模糊校正值的信息，并且是例如用于从主体侧模糊校正值获得透镜侧模糊校正值的信息。

作为转换信息设定的比率可以是“α:(1-α)”形式的信息，或者可以是“α”或“1-α”的值。此外，转换信息可以是以百分比指示“α”或“1-α”的信息。

此外，考虑到转换信息是例如使得能够从主体侧模糊校正值获得透镜侧模糊校正值的值，可以使用作为(透镜侧模糊校正值)/(主体侧模糊校正值)的除法值或者透镜侧模糊校正值与主体侧模糊校正值之间的差值。

在步骤S106中，控制单元40执行生成关于光学图像稳定化的元数据并将元数据记录为与当前帧对应的信息的过程。

即，包括主体侧模糊校正值和转换信息的集合的元数据被生成并与当前帧相关联地记录，如图5E中所示。

主体侧模糊校正值是如上所述的校正执行值或校正指令值。在主体侧模糊校正值是校正执行值的情况下，控制单元40通过成像平面图像稳定化单元30的位置传感器检测图像传感器的实际位置信息，并设定位置信息本身或位置信息相对于前一帧的定时的位移量作为主体侧模糊校正值。

在将校正指令值设定为主体侧模糊校正值的情况下，控制单元40只需将在步骤S104中向校正单元驱动单元32给出指令的校正指令值直接用作主体侧模糊校正值。

注意的是，这里将主体侧模糊校正值和转换信息的集合用作元数据，但是也可以设想将透镜侧模糊校正值和转换信息的集合用作元数据的示例。当然，这种情况下的转换信息是使得能够使用透镜侧模糊校正值来获得主体侧模糊校正值的信息。

如上所述，如果将主体侧模糊校正值和转换信息设定为元数据作为针对每一帧的时间序列信息，那么还可以根据主体侧模糊校正值计算透镜侧模糊校正值。

然后，不必将透镜侧模糊校正值记录为元数据，这有助于减少元数据的记录容量。

例如，假定主体侧模糊校正值和透镜侧模糊校正值在俯仰、偏航和滚动方向中的每一个中以4字节被使用。当如图5D中所示记录主体侧模糊校正值和透镜侧模糊校正值时，总共记录24个字节。

另一方面，转换信息(例如，上述“α”的值)类似地可以是4字节，但也可以是更少的字节数。即使使用4字节，在图5E的情况下总字节数是16字节，并且可以减少数据量。特别是在长时间记录移动图像的情况下，减小数据容量是有效的。

此外，记录主体侧模糊校正值和转换信息也适用于从透镜控制单元20到相机控制单元18的数据通信速度慢的情况。即，即使不可从透镜控制单元20及时获得实际的透镜侧模糊校正值(校正执行值)，也记录元数据，并且可以根据转换信息估计透镜侧模糊校正值。

由于如上所述记录元数据，例如，因此图像处理设备5可以偏移对每帧的图像信息执行的模糊校正量，即，从转换信息获得的由主体侧模糊校正值指示的校正量和由透镜侧模糊校正值指示的校正量。此外，即使在通过图像处理执行了失真校正的情况下，也使用元数据MTD1的信息创建未执行失真校正的情况下的状态，并且可以创建不执行模糊校正或失真校正的情况下的图像。

然后，当使用如图5C中所示记录的IMU数据时，可以根据陀螺仪传感器和加速度传感器的信息重新计算相机主体2的模糊量，并且可以对上述处于未执行模糊校正和失真校正的状态下的图像再次执行模糊校正和失真校正。即，也可以事后对过去捕获的移动图像数据实现模糊校正。

注意的是，图8图示了由控制单元40执行的IMU数据的处理。

控制单元40在每个预先确定的采样定时获取由模糊检测单元34在步骤S161中检测到的IMU数据，并在步骤S162中执行用于记录IMU数据作为元数据的处理。如图5C中所述，由于IMU数据不一定与移动图像的帧定时同步，例如，因此执行控制使得多条IMU数据被记录为每帧的元数据。

因此，各条时间序列IMU数据与移动图像的帧相关联。

假定在下文将描述的每个实施例的情况下也执行将IMU数据记录为元数据的这种记录。

<5.第二实施例>

第二实施例的控制单元40的处理示例在图9中示出。注意的是，上述过程由相同的步骤编号表示，并且避免详细的重复描述。

图9中的处理示例是使主体侧模糊校正量与透镜侧模糊校正量之间的比率在一定时间段内保持恒定的示例。

控制单元40在与移动图像的每一帧对应的定时执行图9的处理。

在步骤S110中，控制单元40根据是否是改变比率的定时使处理分支。

例如，如下设定改变比率的定时。

·移动图像记录的开始时间

·在移动图像记录期间检测到场景改变的定时

·移动图像记录期间暂停记录的定时

·移动图像记录期间执行变焦移动的定时

例如，在开始移动图像记录的时间点，首先，设定主体侧模糊校正量与透镜侧模糊校正量之间的比率。例如，可以设定预先确定的初始值，或者可以使用根据透镜镜筒3的类型或型号确定的比率。

在移动图像记录开始之后，例如，分析图像内容，并且检测由于被识别为被摄体的人或物体的改变、平均辉度的改变、由模糊检测单元34检测到的平均模糊量的改变等而引起场景改变等的可能性的时间点被用作改变比率的设定的定时。这是为了根据成像情况的改变重新设定为更合适的比率。

类似地，移动图像记录期间的记录暂停也被用作假定场景改变的可能性来改变比率的设定的定时。

而且，在移动图像记录期间操作变焦透镜10a并且视角改变时，相机抖动对图像的影响程度改变，因此，这也被用作改变比率的设定的定时。

以上是示例，并且可以想到需要改变比率的设定的其它定时。在步骤S110中确定是改变这种比率的定时的情况下，控制单元40进行到步骤S111并设定主体侧模糊校正量与透镜侧模糊校正量之间的比率。即，更新模糊校正量之间的比率的设定。

然后，在步骤S112中，控制单元40执行生成与新设定的比率对应的转换信息并与当前帧相关联地记录转换信息的过程。

当在步骤S110中确定不是改变比率的定时时，不执行步骤S111和S112。

在步骤S101中，控制单元40检测模糊量。

在步骤S102A中，控制单元40计算主体侧模糊校正量。此外，在步骤S103A中，控制单元40计算透镜侧模糊校正量。在步骤S102A和S103A的计算中，基于在步骤S111中最近设定的比率来获得主体侧模糊校正量和透镜侧模糊校正量。

在步骤S104中，控制单元40将与主体侧模糊校正量对应的校正指令值传输到校正单元驱动单元32，并将与透镜侧模糊校正量对应的校正指令值传输到透镜控制单元20，从而使两个模糊校正操作都被执行。

然后，在步骤S106中，控制单元40执行生成关于光学图像稳定化的元数据并将元数据记录为与当前帧对应的信息的过程。

此时，如果在当前帧的时间点设定了比率，那么将主体侧模糊校正值(校正有效值或校正指令值)和转换信息设定为与光学图像稳定相关的元数据。

如果在当前帧的时间点没有设定比率，那么仅将主体侧模糊校正值设定为与光学图像稳定化相关的元数据。

因而，仅当改变比率的设定时才将转换信息记录为元数据，从而可以促进作为元数据MTD1的数据量的减少。

注意的是，例如，在没有针对某个帧的转换信息的情况下，不用说，图像处理设备5只需要从该帧追溯地检测转换信息。

<6.第三实施例>

第三实施例的控制单元40的处理示例在图10中示出。

图10的处理示例是这样的示例，其中主体侧模糊校正量与透镜侧模糊校正量之间的比率对于一次性移动图像记录是恒定的。

控制单元40在与移动图像的每一帧对应的定时执行图10的处理。

然后，控制单元40从步骤S115进行到步骤S111，并且仅在记录开始时设定主体侧模糊校正量与透镜侧模糊校正量之间的比率。

在步骤S112中，控制单元40执行生成指示新设定的比率等的转换信息并与当前帧(在这种情况下，移动图像的开头帧)相关联地记录转换信息的处理。

控制单元40从步骤S115前进到步骤S101，并且除了记录开始时之外不执行步骤S111和S112中的过程。

在步骤S101中，控制单元40检测模糊量。

在步骤S102B中，控制单元40计算主体侧模糊校正量。此外，在步骤S103B中，控制单元40计算透镜侧模糊校正量。在步骤S102B和S103B的计算中，基于在移动图像记录开始时在步骤S111中设定的比率来获得主体侧模糊校正量和透镜侧模糊校正量。

在步骤S104中，控制单元40将指示主体侧模糊校正量的校正指令值传输到校正单元驱动单元32，并将指示透镜侧模糊校正量的校正指令值传输到透镜控制单元20，从而使得两个模糊校正操作都被执行。

然后，在步骤S106中，控制单元40执行生成关于光学图像稳定化的元数据并将元数据记录为与当前帧对应的信息的过程。

此时，主体侧模糊校正值和转换信息被设定为与移动图像的开头帧的时间点处的光学图像稳定化相关的元数据。

对于第二个和随后的帧，仅将主体侧模糊校正值设定为与光学图像稳定化相关的元数据。

因而，转换信息被记录为仅用于构成移动图像的图像文件MF中的开头帧的元数据，从而可以促进作为元数据MTD1的数据量的减少。

注意的是，例如，在图像处理设备5中，通过获取开头帧的转换信息，有可能知道每个帧的主体侧模糊校正值与透镜侧模糊校正值之间的比率。

<7.第四实施例>

第四实施例的控制单元40的处理示例在图11中示出。

图11的处理示例是如图5F中所示的将主体侧模糊校正值和透镜侧模糊校正值的合成校正值记录为元数据的示例。

步骤S101到S104与图7中的相似。

在步骤S120中，控制单元40计算主体侧模糊校正值和透镜侧模糊校正值的合成校正值。

然后，在步骤S121中，控制单元40执行将合成校正值记录为与当前帧相关联的关于光学图像稳定化的元数据的处理。

这对于减少元数据MTD1的数据量更有效。

注意的是，例如，在图像处理设备5中，可以针对每一帧检测合成校正值，因此，可以通过图像稳定化透镜机构10c和成像平面图像稳定化单元30两者来执行用于取消图像稳定化的帧间抖动修改。在这种情况下，例如，仅取消基于图像稳定化透镜机构10c的校正是困难的，但在不要求这种处理的使用情况下是有利的。

反之，在图像处理设备5中期望仅对整个图像稳定化执行取消处理的情况下，也有可能获得不必获得图像稳定化透镜机构10c和成像平面图像稳定化单元30两者的组合模糊校正量的优点。

<8.第五实施例>

第五实施例基于如图5D中所示主体侧模糊校正值和透镜侧模糊校正值都被记录为元数据的前提。

此外，透镜侧模糊校正值是诸如图像稳定化透镜机构10c的实际位置信息或其位移量之类的校正执行值。因而，控制单元40需要等待来自透镜控制单元20的透镜侧模糊校正值的通知。

注意的是，在第五实施例中，与上述第一至第四实施例类似地，也可以在相机控制单元18侧设定透镜镜筒3的图像稳定化透镜机构10c的校正量，并且也可以向透镜控制单元20传输校正指令值，但是透镜控制单元20可以在透镜镜筒3侧设定图像稳定化透镜机构10c的校正量。

即，在这个示例中，相机控制单元18根据模糊检测单元34的检测值设定成像平面图像稳定化单元30的校正量并在相机主体2侧执行光学图像稳定化，并且透镜控制单元20根据模糊检测单元25的检测值设定图像稳定化透镜机构10c的校正量并在透镜镜筒3侧执行光学图像稳定化。

首先，图12图示了控制单元40执行的光学图像稳定化的处理示例。这是在控制单元40侧也设定透镜镜筒3侧的校正量的示例，并且步骤S101至S104与图7中的相似。

如上所述，存在相机控制单元18和透镜控制单元20分别对相机主体2侧和透镜镜筒3侧执行控制的情况。

在图12的步骤S130中，控制单元40获取主体侧模糊校正值，设定主体侧模糊校正值以便在预先确定的时间点与当前帧相关联地记录为元数据。

控制单元40例如与图12的处理异步地执行图13的处理。即，在步骤S130中，控制单元40确定是否已经从透镜控制单元20接收到透镜侧模糊校正值的通知，并且在已经接收到通知的情况下，在步骤S131中设定透镜侧模糊校正值以便与当前帧相关联地记录。

例如，在图12的步骤S130和图13的步骤S131中设定为元数据的主体侧模糊校正值和透镜侧模糊校正值都被记录为与特定帧对应的元数据，如图5D中所示。

但是，如图13的步骤S131中那样，通过与透镜控制单元20的通信而获取的透镜侧模糊校正值作为信息准确性不足的情况或者在时间序列上不可获得充分数据的情况。

例如，当相机控制单元18和透镜控制单元20之间的通信速度降低时，会发生不可针对每一帧获得透镜侧模糊校正值的情况。此外，在一些情况下，可以获取不同帧的透镜侧模糊校正值。

于是，取决于通信速度的情况，在图像处理设备5的后续处理中，容易发生透镜侧模糊校正值不足的情况。

注意的是，相机主体2侧和透镜镜筒3侧之间的通信速度特别取决于透镜镜筒3的型号和性能而变化。例如，在安装旧型号的透镜镜筒3的情况下，通信速度会降低。

考虑到上述情形，控制单元40执行如图14A中所示的处理，并使图像处理设备5执行如图14B中所示的处理。

图14A图示了控制单元40执行将关于通信速度的信息(例如，位/秒(bps))记录为元数据的过程的示例。

在步骤S201中，控制单元40检测并保持透镜镜筒3和相机主体2之间(即，透镜控制单元20和相机控制单元18之间)的通信速度信息。

在步骤S202中，控制单元40将通信速度信息与图像数据一起记录在元数据中(参见图5B中的虚线)。

注意的是，例如，如果通信速度变化的主要因素是透镜镜筒3的类型，那么只需要为一个移动图像记录一次通信速度。

如果在移动图像记录期间存在造成通信速度变化的因素，那么可以想到将通信速度记录为与每一帧相关联的元数据。

处理图像文件MF的图像处理设备5执行图14B的处理。

在步骤S301中，图像处理设备5获取图像数据VD1和元数据MTD1作为图像文件MF。例如，从记录介质中读取图像文件MF。可替代地，接收从成像设备1传输的图像文件MF。

在步骤S302中，图像处理设备5提取元数据MTD1中包括的通信速度的信息，并将该信息与阈值进行比较。这个阈值是用于确定透镜控制单元20和相机控制单元18之间的通信速度是快还是慢的阈值。换句话说，这个阈值是用于确定元数据MTD1中包括的透镜侧模糊动校正值是否适合用于帧间抖动修改处理的阈值。

如果通信速度高于阈值，那么图像处理设备5确定在成像设备1中对图像文件MF进行成像时在透镜控制单元20和相机控制单元18之间执行高速通信，使得维持透镜侧模糊校正值的可靠性，并进行到步骤S303以生成兼容性标志。

在这种情况下，图像处理设备5在步骤S305中基于兼容性标志来设定处理。具体而言，设定为使得可以执行使用主体侧模糊校正值和透镜侧模糊校正值两者的帧间抖动修改处理。

另一方面，如果通信速度不高于阈值，那么图像处理设备5确定透镜控制单元20和相机控制单元18之间的通信在成像设备1中的图像文件MF的成像时以低速执行，使得不维持透镜侧模糊校正值的可靠性，并且进行到步骤S304以生成不兼容性标志。

在这种情况下，图像处理设备5在步骤S305中基于不兼容性标志设定处理。例如，设定为使得在帧间抖动修改处理中不能使用透镜侧模糊校正值。

这种配置可以防止在图像处理设备5中执行使用不适当的透镜侧模糊校正值的帧间抖动修改处理。

<9.第六实施例>

第六实施例的控制单元40的处理示例在图15A中示出，并且图像处理设备5的处理示例在图15B中示出。这些中的每一个都是具有与上述图14A和14B中的每一个相同目的的另一个处理示例。

图15A图示了控制单元40执行将标志信息记录为通信速度信息的过程的示例。

在步骤S201中，控制单元40检测并保持透镜镜筒3和相机主体2之间(即，透镜控制单元20和相机控制单元18之间)的通信速度(bps)。

在步骤S210中，控制单元40将通信速度与阈值进行比较。这个阈值是用于确定透镜控制单元20和相机控制单元18之间的通信速度是处于快状态还是慢状态的阈值，类似于图14B中描述的阈值。

如果通信速度高于阈值，那么控制单元40进行到步骤S212并生成兼容性标志。

如果通信速度不高于阈值，那么控制单元40进行到步骤S213并生成不兼容性标志。

然后，在步骤S214中，控制单元40将通信速度信息与图像数据一起记录在元数据中(参见图5B中的虚线)。在这种情况下，兼容性标志或不兼容性标志被记录为通信速度信息。

处理图像文件MF的图像处理设备5执行图15B的处理。

在步骤S301中，图像处理设备5获取图像数据VD1和元数据MTD1作为图像文件MF。

在步骤S310中，图像处理设备5基于记录在元数据MTD1中的兼容性标志或不兼容性标志来设定处理。即，如果可以确认兼容性标志，那么可以对当前图像文件MF执行使用主体侧模糊校正值和透镜侧模糊校正值两者的帧间抖动修改处理。

另一方面，如果确认了不兼容性标志，那么设定为使得透镜侧模糊校正值在当前图像文件MF的帧间抖动修改处理中不可用。

这种配置还可以防止在图像处理设备5中执行使用不适当的透镜侧模糊校正值的帧间抖动修改处理。

元数据MTD1中包括的速度信息例如可以是1位的标志信息，这也有利于元数据MTD1的数据量的减少。

例如，关于元数据MTD1中的特定位，只要求分别设定例如“0”和“1”作为兼容性标志和不兼容性标志。

<10.第七实施例>

如图13中所示，控制单元40使用从透镜控制单元20接收到的透镜侧模糊校正值作为元数据的示例已在上述第五和第六实施例中进行了描述。

在这种情况下，也可以想到透镜控制单元20在将透镜侧模糊校正值暂时存储在存储器单元26中的同时传输透镜侧模糊校正值的示例，并将作为第七实施例进行描述。

主体侧模糊校正值和透镜侧模糊校正值仅需要最终记录为移动图像的元数据。因此，可以想到透镜控制单元20不实时发送透镜侧模糊校正值，而是将透镜侧模糊校正值暂时保存在存储器单元26中，并在透镜-主体通信有余裕时发送透镜侧模糊校正值。

例如，即使在透镜-主体通信非常慢的情况下，如果以通信的间隔对图像稳定化透镜机构10c的移动进行采样，那么单位时间的移动的损失改变也很大，并且难以将处于维持准确性的状态的透镜侧模糊校正值作为数据实时发送到相机主体2侧，将透镜侧模糊校正值暂时保存在存储器单元26中并在之后执行传输的处理是有利的。

从这样的观点出发，透镜控制单元20在移动图像的捕获等期间执行图16的处理。

在步骤S501中，透镜控制单元20确定是否是传输定时。传输定时是某个设定的定时。

例如，可以想到设定定期传输、不定期传输、取决于存储器单元26的存储容量的定时、移动图像记录结束定时等。在步骤S501中，透镜控制单元20根据这种设定内容来确定目前是否为这样的定时。

如果不是传输定时，那么透镜控制单元20进行到步骤S502并检测透镜侧模糊校正值作为图像稳定化透镜机构10c中的校正执行值。然后，在步骤S503中，将当前检测到的透镜侧模糊校正值与指示当前时间(与当前帧对应的时间)的时间戳相关联地存储在存储器单元26中。

这是因为，为了将透镜侧模糊校正值与移动图像的帧相关联，需要将时间戳作为集合传输到相机主体2侧。

如果是传输定时，那么透镜控制单元20进行到步骤S504并且执行将存储器单元26中记录的透镜侧模糊校正值连同时间戳一起传输到相机控制单元18的过程。

通过图16的处理，当设定的传输定时到来时，将存储在存储器单元26中的多个样本的透镜侧模糊校正值一并传输到相机控制单元18。

例如，作为定期定时，每隔一定时间段执行批量传输。此外，响应于某个触发器作为不定期定时而执行批量传输。在定期或不定期地执行批量传输的情况下，与实时地依次传输透镜侧模糊校正值的情况相比，减少了传输机会，因此可以减轻通信负荷。

此外，可以在取决于存储器单元26中透镜侧模糊校正值的存储容量的定时执行批量传输。因此，有可能避免难以在存储器单元26中存储更多透镜侧模糊校正值的情况。

此外，有时在移动图像捕获结束之后执行批量传输。因此，可以在存在通信余裕的时间点执行传输。

这些传输定时可以组合使用。

控制单元40在记录移动图像时与图12的上述处理一起执行图17的处理。

在图17的步骤S601中，控制单元40等待从透镜控制单元20接收透镜侧模糊校正值。

当从透镜控制单元20接收到透镜侧模糊校正值时，在步骤S602中执行将透镜侧模糊校正值设定为元数据的处理。此时，时间戳分别与透镜侧模糊校正值相关联地传输。因此，控制单元40使用每个时间戳确定移动图像的哪个帧与接收到的每个透镜侧模糊校正值相关联，并且将透镜侧模糊校正值设定为与所确定的帧相关联的元数据。

在图12的步骤S130和图17的步骤S602中设定为元数据的主体侧模糊校正值和透镜侧模糊校正值分别或同时与当前帧相关联，并作为元数据记录在记录控制单元14中的记录介质中。

注意的是，用户可以选择是实时传输透镜侧模糊校正值还是暂时存储透镜侧模糊校正值并在如上所述的设定定时传输透镜侧模糊校正值。

暂时存储之后的传输具有如上所述的通信负荷方面的优点，而实时传输也具有可以减小透镜镜筒3侧的存储器单元26并且可以减少由之后执行的传输造成的传输时间和元数据处理时间的优点。因此，使用户根据情况做出选择也是合适的。

此外，还可以想到将实时传输和暂时存储之后的传输并用的示例。

图18图示了透镜控制单元20的处理。

在步骤S601A中，透镜控制单元20确定是否是用于批量传输存储在存储器单元26中的透镜侧模糊校正值的传输定时。

如果不是传输定时，那么透镜控制单元20进行到步骤S502并检测透镜侧模糊校正值作为图像稳定化透镜机构10c中的校正执行值。

在步骤S530中，透镜控制单元20确定在当前情况下是否存在传输余裕。例如，根据诸如当前的通信速度和要传输的数据量之类的情况来确定有无传输余裕。

如果存在传输余裕，那么透镜控制单元20进行到步骤S531，并将当前检测到的透镜侧模糊校正值与时间戳一起传输到相机控制单元18。

另一方面，如果没有传输余裕，那么在步骤S532中，将当前检测到的透镜侧模糊校正值与指示当前时间(与当前帧对应的时间)的时间戳相关联地存储在存储器单元26中。

如果在步骤S501A中是传输定时，那么透镜控制单元20进行到步骤S504并且执行将存储器单元26中记录的透镜侧模糊校正值连同时间戳一起传输到相机控制单元18的过程。

通过图18的处理，关于透镜侧模糊校正值，实时传输和暂时存储之后的批量传输一起使用。它们都与时间戳配对，因此可以适当地与移动图像的帧相关联以用作控制单元40侧的元数据。

当一起使用实时传输时，还有个优点是可以减少存储器单元26的容量。

<11.总结与修改>

根据上述实施例，可以获得以下效果。

如第一至第七实施例中所述，成像设备1使控制单元40执行基于与相机主体2的成像平面图像稳定化单元30(第一模糊校正功能)相关的主体侧模糊校正值(第一模糊校正值)和与透镜镜筒3中的图像稳定化透镜机构10c(第二模糊校正功能)相关的透镜侧模糊校正值(第二模糊校正值)的两个值生成校正信息以及将校正信息设定为与捕获的图像相关联的元数据的处理。

即，在透镜镜筒3侧和相机主体2侧分别设置机械模糊校正功能的情况下，作为成像设备1，将基于相应模糊校正值的校正信息作为元数据与正在捕获的移动图像关联起来。

因此，图像的抖动状态可以在以后改变，例如在图像处理设备5等中。例如，通过图像稳定化透镜机构10c的模糊校正和通过成像平面图像稳定化单元30的模糊校正都可以被取消，或者可以仅取消两者中的任何一个的模糊校正。此外，在取消已经由成像设备1执行的模糊校正的情况下，可以在图像处理设备5中执行更准确的模糊校正，或者可以执行有意添加抖动的帧间抖动产生。

注意的是，在实施例中已经给出了使用成像平面图像稳定化单元30和图像稳定化透镜机构10c的着眼于机械模糊防止功能的描述，但是本公开的技术也可以应用于采用电图像稳定化功能的情况。例如，在通过透镜镜筒3侧的图像稳定化透镜机构10c执行模糊校正并且在相机主体2侧执行电图像稳定化的情况下，可以将电图像稳定化功能视为第一模糊校正功能并且可以将图像稳定化透镜机构10c视为第二模糊校正功能。

在第一、第二、第三和第四实施例中描述的示例中，控制单元40生成具有比在将主体侧模糊校正值和透镜侧模糊校正值的相应数据量相加的情况下获得的数据量更小的数据量的校正信息(图5B中的光学图像稳定化的信息，参见图5E和5F)。

因此，可以减少要记录为元数据MTD1的数据量。换句话说，在期望将相应的模糊校正值分别存储在透镜镜筒3侧和相机主体2侧的情况下，可以防止数据量不必要地增加。

在第一、第二和第三实施例中描述的示例中，控制单元40使用主体侧模糊校正值和透镜侧模糊校正值中的一个模糊校正值，以及指示其间比率、除法值、差值等的转换信息作为光学图像稳定的校正信息。

因此，可以从记录为元数据的校正信息中获得图像稳定化透镜机构10c的模糊校正值和成像平面图像稳定化单元30的模糊校正值，并且有可能获得与在这些模糊校正值中的每一个都被记录为元数据的情况下的效果相似的效果。在这种情况下，可以减少要记录为元数据的数据量。换句话说，在期望将相应的校正值存储在透镜镜筒3侧和相机主体2侧的情况下，可以防止数据量不必要地增加。

注意的是，在第一、第二和第三实施例中已经描述了其中成像平面图像稳定化单元30的模糊校正值和转换信息被记录为元数据的示例，但是图像稳定透镜机构10c的模糊校正值和转换信息可以被记录为元数据。在这种情况下，转换信息可以是上述比率“α：(1-α)”的信息，或者可以是“α”或“1-α”等的值。此外，考虑到转换信息例如是使得能够从透镜侧模糊校正值获得主体侧模糊校正值的值，可以使用作为(主体侧模糊校正值)/(透镜侧模糊校正值)的除法值或透镜侧模糊校正值与主体侧模糊校正值之间的差值。

在第一、第二和第三实施例中描述的示例中，控制单元40使用主体侧模糊校正值和转换信息作为用于光学图像稳定的校正信息。

因此，可以减少要记录为元数据的数据量，而且，控制单元40可以在不接收透镜镜筒3侧的模糊校正值的情况下生成元数据。因此，可以不受相机控制单元18和透镜控制单元20之间的通信速度或通信延迟的影响的情况下生成和记录元数据。

在第一实施例中描述的示例中，控制单元40在每个预先确定的定时(例如，在每帧的定时)生成包括主体侧模糊校正值和透镜侧模糊校正值中的一个模糊校正值以及转换信息的一对的校正信息。

因此，例如，可以从元数据为每一帧获得通过图像稳定化透镜机构10c的模糊校正值和通过成像平面图像稳定化单元30的模糊校正值，并且可以适当地执行图像处理设备5等中的校正取消和帧间抖动产生。

在第二实施例中描述的示例中，控制单元40生成包括主体侧模糊校正值和透镜侧模糊校正值中的一个模糊校正值以及在主体侧模糊校正值与透镜侧模糊校正值之间的比率被转换的定时的转换信息的校正信息。

因此，例如，不必每次都记录每一帧的转换信息，并且可以减少元数据MTD1的数据量。

在第三实施例中描述的示例中，控制单元40从移动图像的记录开始到记录结束将主体侧模糊校正值与透镜侧模糊校正值之间的比率设定为固定比率，并且生成校正信息，该校正信息包括每个定时的主体侧模糊校正值和透镜侧模糊校正值中的一个模糊校正值和指示固定比率的转换信息。

因此，例如，不必每次都记录每一帧的转换信息，并且可以减少元数据的数据量。特别地，仅要求与移动图像关联地记录一条转换信息，并且数据量减少效果高。

在第四实施例中描述的示例中，控制单元40使用主体侧模糊校正值和透镜侧模糊校正值的合成校正值作为校正信息。

因此，可以减少作为元数据记录的数据量。此外，由于合成校正值指示应用于图像的总校正量，因此可以在例如图像处理设备5等中适当地执行校正取消等。

在第五和第六实施例中描述的示例中，控制单元40将主体侧模糊校正值和透镜侧模糊校正值设定为校正信息，并且执行将透镜镜筒3(透镜控制单元20)和相机主体2(相机控制单元18)之间的通信速度信息作为元数据记录在记录介质中的处理。

因此，可以从元数据确认透镜侧模糊校正值的信息是否受到通信速度的影响。例如，在通信速度低且透镜侧模糊校正值不充分的情况下，也有可能不使用这些执行校正取消等。

在第五实施例中，通信速度信息是指示通信速度的值(例如，bps)。因此，有可能从元数据确认透镜侧模糊校正值的信息是否是延迟信息、延迟程度等。

在第六实施例中，通信速度信息是通过将通信速度与预先确定的值进行比较而获得的结果信息(兼容性标志/不兼容性标志)。

因此，可以从元数据容易地确认透镜侧模糊校正值的信息是否被延迟了。

在实施例中已经描述了其中作为主体侧模糊校正值或透镜侧模糊校正值的模糊校正值是指示根据模糊校正功能(成像平面图像稳定化单元30或图像稳定化透镜机构10c)的校正的位置或位置位移量的校正执行值的示例。

这是指示实际影响图像的校正量的值，并且例如是考虑到图像处理设备5中的校正取消等的最准确的值。

此外，在实施例中已经描述了其中模糊校正值是给出关于用于模糊校正功能的校正的位置或位置位移量的指令的校正指令值的示例。

校正指令值不是直接指示实际应用于图像的模糊校正量的值，但如果模糊校正功能相对于该指令的操作准确性高，那么作为实质上指示实际的模糊校正量的值是没有问题的。此外，校正指令值由相机控制单元18生成，因此具有可以生成和记录元数据而不受与透镜镜筒3的通信影响的优点。

在实施例中已经描述了其中控制单元40将模糊检测单元34检测到的信息(IMU数据)记录为元数据的示例。

由于将作为实际应用于成像设备1的抖动的信息的IMU数据记录为元数据，因此可以根据元数据确定实际影响图像的抖动。因此，各种帧间抖动修改成为可能。

注意的是，本说明书中描述的效果仅仅是示例而不是限制，并且可以存在其它效果。

注意的是，本技术还可以具有以下配置。

(1)

一种成像设备，包括：

控制单元，生成基于第一模糊校正值和第二模糊校正值两者的校正信息，作为与捕获的图像相关联的元数据，第一模糊校正值与校正通过透镜入射的光学图像和输出的捕获图像之间的位置关系的第一模糊校正功能相关，第二模糊校正值与在包括透镜的透镜镜筒中设置的第二模糊校正功能相关。

(2)

根据上述(1)所述的成像设备，其中，

控制单元

生成具有比在第一模糊校正值的数据量和第二模糊校正值的数据量相加的情况下获得的数据量更小的数据量的校正信息。

(3)

根据上述(1)或(2)所述的成像设备，其中，

控制单元设定

第一模糊校正值和第二模糊校正值中的一个模糊校正值以及

被配置为使用所述一个模糊校正值求出另一个模糊校正值的转换信息

作为校正信息。

(4)

根据上述(1)至(3)中的任一项所述的成像设备，其中，

控制单元设定

第一模糊校正值以及

被配置为使用第一模糊校正值求出第二模糊校正值的转换信息作为校正信息。

(5)

根据上述(1)至(4)中的任一项所述的成像设备，其中，

控制单元

在每个预先确定的定时生成校正信息，该校正信息包括第一模糊校正值和第二模糊校正值中的一个模糊校正值与被配置为使用所述一个模糊校正值求出另一个模糊校正值的转换信息的一对。

(6)

根据上述(1)至(4)中的任一项所述的成像设备，其中，

控制单元

生成校正信息，校正信息包括：

在每个定时的第一模糊校正值和第二模糊校正值中的一个模糊校正值，以及

被配置为使用在第一模糊校正值与第二模糊校正值之间的比率已改变的定时的所述一个模糊校正值求出另一个模糊校正值的转换信息。

(7)

根据上述(1)至(4)中的任一项所述的成像设备，其中，

控制单元

从移动图像的记录开始到记录结束将第一模糊校正值与第二模糊校正值之间的比率设定为固定比率，并且

生成校正信息，校正信息包括：

在每个定时的第一模糊校正值和第二模糊校正值中的一个模糊校正值，和

依据固定比率的转换信息，该转换信息被配置为使用所述一个模糊校正值求出另一个模糊校正值。

(8)

根据上述(1)或(2)所述的成像设备，其中，

控制单元

将第一模糊校正值和第二模糊校正值的合成校正值设定为校正信息。

(9)

根据上述(1)所述的成像设备，其中，

控制单元

将第一模糊校正值和第二模糊校正值设定为校正信息，以及

执行将透镜镜筒和相机主体部分之间的通信速度信息作为元数据记录在记录介质中的处理。

(10)

根据上述(9)所述的成像设备，其中，

通信速度信息是指示通信速度的值。

(11)

根据上述(9)所述的成像设备，其中，

通信速度信息是通过将通信速度与预先确定的值进行比较获得的结果信息。

(12)

根据上述(1)至(11)中的任一项所述的成像设备，其中，

模糊校正值是指示根据模糊校正功能的校正的位置或位置位移量的校正执行值。

(13)

根据上述(1)至(11)中的任一项所述的成像设备，其中，

模糊校正值是指示用于模糊校正功能的校正的位置或位置位移量的校正指令值。

(14)

根据上述(1)至(13)中的任一项所述的成像设备，其中，

控制单元将由抖动检测单元检测到的抖动信息设定为元数据。

(15)

一种成像方法，包括：

生成基于第一模糊校正值和第二模糊校正值两者的校正信息作为与捕获的图像相关联的元数据的处理，第一模糊校正值与校正通过透镜入射的光学图像和输出的捕获图像之间的位置关系的第一模糊校正功能相关，第二模糊校正值与在包括透镜的透镜镜筒中设置的第二模糊校正功能相关，该处理由成像设备执行。

附图标记列表

1成像设备

2相机主体

3透镜镜筒

5、6图像处理设备

10透镜系统

10a变焦透镜

10b光圈机构

10c 图像稳定化透镜机构

10d 对焦透镜

11 快门

12成像元件单元

13 相机信号处理单元

14记录控制单元

15显示单元

16输出单元

17操作单元

18 相机控制单元

19、26存储器单元

20透镜控制单元

21变焦驱动单元

22光圈驱动单元

23校正透镜驱动单元

24 对焦驱动单元

25、34模糊检测单元

27、33通信控制单元

30成像平面图像稳定化单元

31 快门驱动单元

32校正单元驱动单元

35 电图像稳定化控制单元

36模糊校正元数据处理单元

40控制单元