图像处理装置

技术领域

本公开涉及图像处理装置，用于通过捕获检查对象(如工件)获得的检查目标图像生成。

背景技术

在相关技术中，例如，JP2020-169958所公开了一种图像检查装置，该装置设置为根据通过拍摄检查对象获得检查目标图像来确定检查对象的质量。

JP2020-169958公开的图像检查装置，使符合标准化标准的成像装置依次进行多级处理，并实现了在选择成像装置模式的自由度方面的改进，以及图像检查精度的改进。

顺便说一下，在图像处理装置中，可以在摄像机的各种光学条件和安装条件下，执行用于测试用户希望检查的检查对象是否可以检查的桌面测试。当确定可以进行检查时，将摄像机安装在工厂生产线或类似的地方，使其具有与桌面测试计算的光学条件和安装条件相同的条件，并执行操作阶段。

然而，由于桌面测试环境和实际操作环境完全不同，即使在操作环境中再现与桌面测试中的条件相同的光学条件和安装条件，也可能无法获得与桌面测试中获得的图像相同的检查目标图像。此外，即使在安装过程中获得了相同的检查目标图像，但在操作阶段，光学条件可能因某种原因而发生变化，图像质量也可能发生变化。在这种情况下，有必要重新搜索安装条件和光学条件，以便在操作阶段生成桌面测试中获得的理想检查目标图像，这需要时间和精力。

发明内容

本公开是基于上述角度而作出的，本公开的一个目标是，即使在操作过程中光学条件发生变化，也能生成与设置期间的检查目标图像相似的检查目标图像。

为实现上述目的，本公开的一个方面，可以基于生成通过捕获检查对象获得的检查目标的图像处理装置。图像处理装置成像单元，用于捕获检查对象以生成检查目标图像；存储单元，用于存储通过事先拍摄的检查对象获取的参考图像；以及计算单元，指定包括在操作过程中图像单元生成的检查目标图像中的检查对象与包括在参考图像中的检查对象之间的位置关系，以及计算操作过程中检查目标图像的生成条件，使得包括在操作过程中由成像单元生成的检查目标图像中的检查对象与包括在参考图像中的检查对象基本处于相同的位置。生成条件包括输出区域的位置信息，其中能够在成像装置的视场范围内在与参考图像基本相同的位置输出检查对象，以及成像单元在操作过程中生成与位置信息的所述输出区域相对应的检查目标图像。

根据这种配置，可以指定在操作过程中生成的检查目标图像中包括的检查对象与参考图像中包括的检查对象之间的位置关系。计算检查目标图像的生成条件，使得检查目标图像的检查对象与基于指定结果的参考图像中包括的检查对象处于基本相同的位置。由于生成条件包括输出区域的位置信息，其中检查对象可以在与参考图像基本相同的位置上输出，即使光学条件在操作过程中发生变化，也可以通过基于位置信息与输出区域对应来生成具有与参考图像基本相同位置的检查对象的检查目标图像。

此外，还可以进一步包括接收选择存储在存储单元中的参考图像的接口单元。在这种情况下，存储单元可以存储由成像单元生成的检查目标图像作为参考图像，并且可以存储光学条件文件，其中生成参考图像时的光学条件被定义为与参考图像相关联。成像单元的光学条件的初始条件可以设置为与所选参考图像相关的光学条件文件的光学条件。

此外，接口单元可以接收用于对应点搜索的特征区域的指定，以便在检查目标图像或参考图像上指定包括在检查目标图像中的检查对象与包括在参考图像中的检查对象的位置关系。

此外，除了输出区域的位置信息外，关于用于旋转检查目标图像以具有与包括在参考图像中的检查对象相同的姿态的旋转方向和角度的信息可包括在检查目标图像的生成条件中。

此外，在检查目标图像的生成条件中可以包括已计算的变焦倍数，使包括在参考图像中的检查对象和检查目标图像中的检查对象具有基本相同的尺寸。在这种情况下，计算单元可以通过根据已计算的变焦倍数进行变焦，将包括在参考图像和检查目标图像中的检查对象设定为具有基本相同的尺寸。

此外，与图像的亮度有关的条件可包括在检查目标图像的生成条件中。在这种情况下，对参考图像的亮度进行分析，基于分析结果，与图像亮度有关的条件被计算为成像条件，其中检查目标图像具有与参考图像基本相同的亮度。

此外，还可以提供显示单元，该显示单元显示关于捕获参考图像时成像单元姿态的信息，以及比较和显示成像单元的当前姿态和捕获参考图像时成像单元的姿态。在通过接口单元指定参考图像后，可以比较和显示捕获参考图像时的成像单元的姿态和成像单元的当前姿态。在比较和显示成像单元的姿态之后，计算单元可以计算检查目标图像的生成条件，并且成像单元可以生成位置信息的输出区域对应的检查目标图像。

此外，计算单元可以在对应点搜索之前根据参考图像的亮度值调整成像单元的曝光时间。此外，成像单元的自动对焦调整可以在对应点搜索之前执行。从而，对应点搜索的准确性得到了改善。

此外，计算单元可以通过对检查目标图像应用角度的旋转转换处理，生成旋转后的检查目标图像。

如上所述，操作过程中的检查目标图像的生成条件被计算为使包括在操作过程中生成的检查目标图像中的检查对象处于与包括在参考图像中的检查对象基本相同的位置，并且该生成条件包括输出区域的位置信息，其中检查对象可以在成像单元的视场范围内以与参考图像基本相同的位置输出。因此，即使光学条件在操作过程中发生变化，也可以生成与设置过程中的检查目标图像相似的检查目标图像。

附图说明

图1是根据一个实施例的包括工业摄像机的图像检查系统的使用状态的概览图；

图2是从工业摄像机上方观看的工业摄像机的视图；

图3是工业摄像机的正视图；

图4是工业摄像机的侧视图；

图5是从工业摄像机下方观看的工业摄像机的视图；

图6是示出工业摄像机内部结构的剖视图；

图7是图像检查系统的框图；

图8是描述缩减的概念的示意图；

图9是描述根据拍摄工件获得的具体图像进行缩减的情况的示意图；

图10是描述在任何位置上根据变焦指令执行缩减的情况的示意图；

图11是示出接收变焦指令等的用户接口屏幕的示例的示意图；

图12是描述使用鼠标进行区域选择的变焦指令执行缩减的情况的示意图；

图13是描述在任何位置横摇-俯仰(pan-tilting)后进行缩减的情况的示意图；

图14是描述在改变图像长宽比的状态下执行缩减的情况的示意图；

图15是描述围绕固定点缩减后进行横摇-俯仰的情况的示意图；

图16是描述仅能通缩减处理的变焦倍数的情况的示意图；

图17是描述能够通过缩减和光学变焦的变焦倍数的情况的示意图；

图18是描述光学变焦和缩减相结合的情况的示例的示意图；

图19A和19B是描述在缩减过程中只改变长宽比的情况的示例的示意图；

图20A至20F是描述在缩减过程中增加或减少像素量的情况的示例的示意图；

图21是描述生成旋转后的检查目标图像的情况的示例的示意图；

图22是说明由处理器实现缩减的情况的示例的框图；

图23是彩色已捕获图像被缩减的情况的概念图；

图24是说明彩色已捕获图像被缩减的情况下的处理过程的示意图；

图25是说明构成彩色已捕获图像的每个像素的内插处理和缩减的示例的示意图；

图26是用于描述应用低通滤波器的情况的示意图；

图27是说明在变焦倍数输入过程中的处理程序的示例的流程图；

图28是说明在指定视场分辨率过程中的处理程序的示例的流程图；

图29是说明横摇-俯仰的处理程序的示例的流程图；以及

图30是说明改变长宽比的处理程序的示例的流程图；

图31示出了在计算检查目标图像的生成条件时亮度自动调整过程的示例的流程图；

图32示出了在计算计算检查目标图像的生成条件时检索过程的示例的流程图；

图33示出了在计算计算检查目标图像的生成条件时最终图像查询过程的示例的流程图；

图34示出了在检查目标图像的生成条件计算功能时显示的用户界面屏幕的示例的示意图；

图35示出了显示检查目标图像的用户界面屏幕的示例的示意图；

图36示出了显示除了显示检查目标图像以外，还显示参考图像的用户界面屏幕的示例的示意图；

图37示出了显示摄像机姿态的用户界面屏幕的示例的示意图；

图38示出了详细显示摄像机姿态的窗口的示例的示意图；

图39示出了旋转转换处理后的用户界面屏幕的示例的示意图；

图40是描述对应点搜索和变焦的特征区域之间关系的示意图；以及

图41是对应于图40的特征区域过小的情况的示意图。

具体实施方式

下面，将参照附图对本发明的实施方式进行详细描述。需要注意的是，以下对优选实施方式的描述只是示例性的，并不打算限制本发明、其应用或其预期用途。

图1是根据本发明的实施例的包括工业摄像机1的图像检查系统2的使用状态的概览图。图1中示出的图像检查系统2包括两个工业摄像机1和个人控制计算机(下文中称为控制器)3。工业摄像机1的数量不限于2个，可以是1个或3个或更多个。虽然细节将在下文进行描述，但工业摄像机1具有如图2至5示出的形状或其他形状，并具有如图6所示的内部结构。工业摄像机1对应于成像单元，成像单元生成通过拍摄作为检查对象的工件W而获得的检查目标图像。包括生成这种检查目标图像的工业摄像机1在内的图像检查系统2也可以被称为图像处理装置。

虽然没有说明，但例如，工业摄像机1可以接收从可编程逻辑控制器、检测工件W的到达的传感器或类似装置输出的触发信号。接收触发信号的工业摄像机1通过执行成像处理生成检查目标图像。另外，工业摄像机1可以通过在内部反复执行成像处理，而不接收来自外部的触发信号来生成检查目标图像。尽管未示出，但图像检查系统2可以包括照亮工件W的照明单元，并且照明单元被控制为与工业摄像机1的成像处理同步照亮工件W。

在本示例中，如图1所示，一种情况是，多个工件W被输送装置如皮带输送机B依次输送的现场将被描述为使用工业摄像机1的现场，但该现场可以是检查固定工件W的现场。工业摄像机1连接到摄像机连接件4上，并以预定姿态安装在预定位置。

控制器3执行工业摄像机1的各种设置等，并且可以是，例如，台式个人计算机，笔记本个人计算机等，或者可以是专用于图像检查的计算设备，其形式无特别限制。控制器3包括本体5、存储单元6、键盘7、鼠标8，以及监视器9。本体5连接于能够通过电缆10通信的工业摄像机1。本体5内部配置有包括中央处理单元、ROM、RAM等的控制单元5a。另外，存储单元6为硬盘、固态硬盘等，并且存储控制单元5a运行的程序、工业摄像机1的设置信息、各种图像等。存储单元6的一部分可以配置于工业摄像机1内，并且在这种情况下，工业摄像机1的设置信息、各种图像等可以保留在工业摄像机1中。

键盘7和鼠标8用作操作控制器3的操作单元，并且键盘7和鼠标8的操作状态由控制单元5a检测。操作单元不限于键盘7和鼠标8，也可以是所谓的触摸面板类型的操作单元。监视器9是，例如，液晶显示器，并且可以显示在控制单元5a的控制下设置工业摄像机1的各种用户界面、各种图像等。

(工业摄像机的设置)

如图6所示，工业摄像机1包括镜头单元20、传感器板30、主板40、壳体50，以及存储单元39。存储单元39存储工业摄像机1的设置信息、各种图像等。

壳体50由诸如铝合金的高刚性部件制成。需要注意的是，为了便于描述，上下方向、左右方向和前后方向的定义如图2至5所示，但上述各方向不限制使用期间的摄像机的姿态，工业摄像机1可以以任何姿态使用。

如图7所示，加速度传感器32连接到工业摄像机1。加速度传感器32是用于获取有关工业摄像机1的姿态的信息的传感器，并且可以测量，例如，相对于垂直方向的倾斜度，相对于水平方向的倾斜度等。具体来说，由于使用了加速度传感器32，每个角度，如俯仰、倾斜和滚动，都是根据与参考值的差异来计算的，关于工业摄像机1的姿态的信息从计算结果中获取。

壳体50包括上部51和下部52。上部51构造为在前后方向上比下部52长，下部52构造为从上部51的后侧向下突出。如图2和3所示，受光窗51a布置于上部51的前表面。另外，如图6所示，镜头单元20和传感器板30布置于上部51内，而主板40布置于下部52内。也就是说，壳体50与图像传感器31、处理器41和输出单元42将在下文中描述。

镜头组件20为变焦镜头，包括能够执行电子光学变焦的光学变焦系统，并且只有光学变焦倍数在预设范围内，能够将光学变焦倍数转换为任何倍数。镜头组件固定于壳体50并且与壳体50成为一体。

也就是说，镜头组件20的光轴与壳体50的前后方向重合。镜头组件20包括第一镜头组21、第二镜头组22、第三镜头组23、第四镜头组24、第五镜头组25，以及容纳第一至第五镜头组21至25的镜筒26。第一至第五镜头组21至25构成集中从受光窗51a入射的光线的聚光透镜。另外，构成第一至第五镜头组21至25的每个镜头组的镜头的数量无特别限制，可以是任何数量，并且镜头组的数量可以是4个或更少，或6个或更多。此外，镜头组件20可以是能够手动执行光学变焦的光学变焦系统。

第一镜头组件21是固定的镜头组件，布置于壳体50的前表面，接收来自工件W的反射光。第一镜头组件21从受光窗51a面向壳体50的外部。第二镜头组22是布置于第一镜头组21后面的变焦可移动镜头组，并接收从第一镜头组21入射的光。第三镜头组23是布置于第二镜头组22后面的固定镜头组，并接收从第二镜头组22入射的光。第四镜头组24是布置于第三镜头组23后面的聚焦可移动镜头组，并接收从第三镜头组23入射的光。第五镜头组25是布置于第四镜头组24后面的固定镜头组，并接收从第四镜头组24入射的光。

在镜筒26中设有变焦滚珠丝杠56a、变焦导向轴56b，以及使变焦滚珠丝杠56a沿正反方向旋转的变焦电机56c。第二镜头组22由变焦滚珠丝杠56a和变焦导向轴56b支撑，当变焦滚珠丝杠56a由变焦电机56c旋转时，第二镜头组22在光轴方向移动。从而获得所需的变焦倍数。变焦滚珠丝杠56a、变焦导向轴56b和变焦电机56c是在光轴方向上驱动第二镜头组22并调整光学放大倍数的变焦镜头驱动机构。

另外，在镜筒26中设有聚焦滚珠丝杠56d、聚焦导向轴56e，以及使聚焦滚珠丝杠56d沿正反方向旋转的聚焦电机56f。第四镜头组24由聚焦滚珠丝杠56d和聚焦导向轴56e支撑，当聚焦滚珠丝杠56d被聚焦电机56f旋转时，第四镜头组24在光轴方向移动。从而执行对焦调整。聚焦滚珠丝杠56d、聚焦导向轴56e和聚焦电机56f是变焦镜头驱动机构，它们在光轴方向上驱动第四镜头组24并调整对焦位置。

如图7所示，在主板40上配置有变焦控制单元40a，AF控制单元40b和接口单元40c。接口单元40c是，例如，从外部接收变焦指令或类似指令的部分。在接口单元40c接收光学变焦的变焦指令的情况下，变焦控制单元40a控制变焦电机56c在光轴方向移动第二镜头组22，从而获得由接口单元40c接收的变焦倍数。

AF控制单元40b是执行相关技术中的已知对比度类型或相位差类型的自动对焦控制的部分。AF对焦控制单元40b控制聚焦电机56f在光轴方向移动第四镜头组24，从而使聚焦位置与工件W相匹配。

如图6所示，传感器板30被布置于第五镜头组25的后面。作为成像单元的图像传感器31安装在传感器板30上。如图7所示，图像传感器31包括接收由聚光镜头聚光的光电转换单元31a，从光电转换单元31a获取的已捕获图像中生成检查目标图像的逻辑单元31b，以及彩色过滤器31c(在图6中示出)，并可生成通过拍摄检查对象获得的彩色检查目标图像。光电转换单元31a和彩色滤光片31c可以生成彩色已捕获图像，其中颜色以预定的阵列模式形成。此外，光电转换单元31a可以生成单色已捕获图像。下面的描述同时适用于单色已捕获图像和彩色已捕获图像。

光电转换单元31a可以生成具有比检查目标图像更大的像素量的已捕获图像。此外，逻辑单元31b与光电转换单元31a布置于同一芯片上，并构成图像生成单元的一部分。具体来说，光电转换单元31a是CMOS成像元件，由多个晶圆堆叠而成，逻辑单元31b由晶圆部分形成。晶圆部分可以包括存储器等。

另外，光电转换单元31a是全局快门型或滚动快门型CMOS成像元件。在全局快门型的情况下，即使对于移动的对象，也有可能拍摄到没有失真的图像。在滚动快门类型的情况下，由于有可能实现高像素，其像素间距约为全局快门类型情况下像素间距的一半，因此有可能缩小镜头组件20的每个镜头尺寸。最终，有可能缩小壳体50的尺寸，并改善安装时的自由度。图像传感器31的视场范围由光电转换单元31a的像素组形成。图像传感器31的视场范围也被称为光电转换单元31a的视场范围。

逻辑单元31b是通过对对应于光电转换单元31a的像素组(图像传感器31的视场范围)全部或部分的输出区域的已捕获图像执行缩减(downscaling)，生成具有比已捕获图像更少的像素量的检查目标图像的部分，并输出检查目标图像。这里，缩减是指降低目标图像的像素分辨率的处理。

将参照图8来描述缩减的概念。图8示意性地说明了一种情况，即工件W的图像由工业摄像机1拍摄。例如，光电转换单元31a的像素量为20兆像素(MP)(在图中简单表示为20M等)。如图8左侧所示，通过执行光学变焦，视场变得比正常视场窄，并且感兴趣区域(ROI)在光学变焦后成为比视场更窄的区域。如图8右侧所示，在从以20MP的像素量拍摄的已捕获图像A1中切出感兴趣区域的情况下，例如，感兴趣区域是像素分辨率不变的5MP的感兴趣区域A2。同样地，在光学变焦后从已捕获图像A3中切出感兴趣的区域的情况下，感兴趣的区域是像素量为5MP的感兴趣区域A4，像素分辨率不变。

当对已捕获图像A1进行缩减时，可以随机设置缩放倍数(也被称为缩减倍数)。缩放倍数可以通过成像像素的数量除以输出像素的数量来获得，例如，在具有与用20MP拍摄的图像相同视场的图像用10MP输出的情况下，缩放倍数变成2倍。

缩减可以在图像的长宽比保持不变的情况下进行，也可以在图像的长宽比改变时进行。在图像的长宽比保持不变的情况下，如上所述，例如，在具有与用20MP拍摄的图像相同视场的图像以10MP输出的情况下，缩放倍数变为2倍。另一方面，在图像的长宽比改变的情况下，例如，当以20MP的像素量长宽比为5000×4000拍摄的图像以5MP的像素量长宽比为2500×2000输出时，视场相同，缩放倍数变为4倍。此外，在长宽比为3200×4000的感兴趣区域被缩减为长宽比为2000×2500的情况下，缩放倍数变为2.56倍。

在缩放倍数设置为例如4倍而图像的长宽比保持不变的情况下，获得具有5MP像素量的整个工件图像A5。对图像A5进行光学变焦和缩减，从而获得具有比图像A5的像素分辨率更高的像素分辨率的感兴趣区域A4。此外，通过在光学变焦后对已捕获图像A3进行缩减处理，获得像素分辨率低于图像A3的像素分辨率的工件图像A6。

图9是描述根据拍摄工件的图像获得的具体图像进行缩减的示意图。对应于作为光电转换单元31a的整个像素组的区域，即成像单元的整个视场范围的输出区域的已捕获图像设置为第一捕获图像B1。逻辑单元31b以任何第一缩放倍数对第一已捕获图像B1进行缩减，以生成具有比第一已捕获图像B1的像素量(例如，1.6MP)更少的第一像素量(例如，20MP)的检查目标图像B2。

接口单元40c可以接收输出区域的指定，该区域是在光电转换单元31a，即成像单元的视场范围内作为检查目标图像输出的区域。该输出区域可以是，例如，与参照图8描述的感兴趣区域相对应的区域。接口单元40c也可以接收指令，以改变输出区域的位置、大小和形状中的至少一个。

例如，接口单元40c配置为能够接收第一变焦指令，以将光电转换单元31a的输出区域改变为来自用户的一个相对较小的区域。具体来说，响应于第一变焦指令，输出区域被改变为光电转换单元31a的像素组的一部分，即成像单元的视场范围的一部分。第二已捕获图像B1'是对应于响应第一缩放指令而改变的输出区域的已捕获图像。第二已捕获图像B1'在与拍摄第一已捕获图像B1的时间不同的时间拍摄，并且独立于第一已捕获图像B1。逻辑单元31b以第二缩放倍数第二已捕获图像B1'进行缩减，以生成检查目标图像B3，检查目标图像B3的第一像素量(例如1.6MP)小于第二已捕获图像B1'的像素量(例如5MP)。此外，第二已捕获图像B1'可以基于第一已捕获图像B1生成，并且可以通过切割出例如第一已捕获图像B1的一部分而生成。此外，接口单元40c配置为能够接收调整第一变焦倍数的指令，第一变焦倍数不仅包括整数，而且还包括小数点后的精度。

如图7所示，主板40上布置有执行各种算术处理和控制图像传感器31的处理器41。处理器41包括计算单元41a，处理器41根据计算单元41a的算术处理结果控制图像传感器31的逻辑单元31b，并使逻辑单元31b产生所需的检查目标图像。

计算单元41a计算在光电转换单元31a的视场范围变化后将对应于输出区域的第二已捕获图像B1'设置为具有第一像素量所需的第二缩放倍数。计算单元41a将计算出的第二缩放倍数输出到逻辑单元31b。逻辑单元31b通过计算单元41a计算的第二缩放倍数对第二捕获的图像B1'进行缩减以生成具有第一像素量的检查目标图像B3。具有第一像素量的检查目标图像B3的分辨率低于对应于光电转换单元31a的输出区域的第一已捕获图像B1，但具有足够的分辨率以确保必要的检查精度。因此，在检查精度方面不存在问题。

计算单元41a进行算术处理，从而使第二缩放倍数随着由接口单元40c接收的第一缩放倍数的增加而减少。逻辑单元31b随着由计算单元41a算术处理的第二缩放倍数的降低而降低第二已捕获图像B1'的缩减量。从而，逻辑单元31b生成了具有高像素分辨率的检查目标图像。

计算单元41a根据接口单元40c接收到的第一缩放倍数，计算具有第一像素量的检查目标图像B3的一个像素与第二已捕获图像B1'的哪些像素对应的比例。计算单元41a通过使用该比例来计算第二缩放倍数。

在接口单元40c接收到以小数点后的精度调整第一变焦倍数的指令的情况下，计算单元41a根据收到调整指令的变焦倍数，计算出检查目标图像B3的一个像素与第二已捕获图像B1'的哪些像素对应的比例，直至具有小数点后的精度的小数点。从而，计算单元41a以小数点后的精度计算第二缩放倍数。逻辑单元31b根据以小数点后的精度计算的第二缩放倍数生成检查目标图像。

图10是描述在任何位置上根据变焦指令执行缩减的情况的示意图。接口单元40c配置为能够在检查目标图像的任何位置接收作为变焦指令的第一变焦指令，以将光电转换单元31a的输出区域变更为相对小的区域。具体而言，为了描述的方便，图10中已捕获图像B1中的帧C1表示在成像单元的视场范围内接收变焦指令的位置和区域，用户可以通过鼠标8或类似的方式为检查目标图像B2指定帧C1，同时确认显示器9上显示通过对图9中的整个已捕获图像B1进行缩减得到的检查目标图像B2。帧C1的位置可以设置在检查目标图像B2中的任何位置(即成像单元的视场范围)，并且接口单元40c检测所设置的位置。此外，帧C1的大小和形状也可以由用户随机设置。

当接收到由接口单元40c指定帧C1为任何位置的缩放指令时，逻辑单元31b以必要的缩放倍数执行缩减，以便在成像单元的视场范围内将包括任何位置的输出区域对应的区域(即对应于帧C1的已捕获图像，并且具有大于1.6MP的像素量)设定为1.6MP。从而，逻辑单元31b生成包括任何位置的检查目标图像B4。帧C1的位置可以在X方向(图像的水平方向)或Y方向(图像的垂直方向)从成像单元的视场范围的中心移开，而在从成像单元的视场范围的中心移开的位置的区域，即光轴可以被缩减。也就是说，在一般的光学变焦中，变焦是沿着光轴中心进行的，但在本实施例的缩减中，不仅可以在光轴中心进行变焦，还可以在从光轴中心移开的区域进行变焦，并且在可以缩减的区域的位置设置上自由度很高。

图11示出了设置可以接收变焦指令的用户界面屏幕100。用户界面屏幕100由控制器3的控制单元5a生成并显示在监视器9上。在用户界面屏幕100上，可以使用键盘7或鼠标8进行操作，控制单元5a检测并存储所进行的操作。

在用户界面屏幕100上提供有图像显示区域101。在图像显示区域101中显示了鸟瞰图图像D1，其中显示了输出区域在光电转换单元31a的整个视场范围内的位置以及与输出区域相对应的检查目标图像D2。也就是说，图7所示的工业摄像机1的接口单元40c配置为能够向外部输出鸟瞰图图像D1，其中显示了光电转换单元31a的整个视场范围内的输出区域的位置以及与输出区域相对应的检查目标图像D2。具体而言，输出单元42布置在主板40上。输出单元42是将图像传感器31输出的鸟瞰图图像D1和检查目标图像D2向外输出的部分。当图像被输出时，图像数据从工业摄像机1通过例如输入和输出终端60和电缆10传输到控制器3。

在图11所示的用户界面屏幕100上提供了变焦调整区域101A，用户在其中调整变焦倍数。变焦调整区域101A用鼠标8操作到“T”侧，因此，视场范围通过变焦到长焦侧而缩小了。另一方面，变焦调整区域操作到“W”侧，以反过来扩大视场范围。此外，也可以通过操作鼠标8的滚轮来调整变焦倍数。调整后的变焦倍数暂时存储在控制器3侧，并传输到工业摄像机1的接口单元40c，并由接口单元40c接收。

变焦倍数可以通过数值来调整。也就是说，在用户界面屏幕100上提供了数值输入区域102。数值输入区域102供用户通过输入数值来调整变焦倍数，而数值可以通过键盘7、鼠标8等随机输入。

图12是描述使用鼠标8进行区域选择的变焦指令执行缩减的情况的示意图.帧C10由鼠标8的操作形成，例如可以通过执行从左上方到右下方的拖动操作(或从右上方到左下方，或类似的操作)形成。逻辑单元31b通过对与帧C10所包围的区域相对应的已捕获图像进行缩减，生成5MP的检查目标图像。另外，通过鼠标8的操作可以形成帧C11，并且帧C11中的区域被放大。此时，在已捕获图像B1中的帧C11中的区域小于5MP并且要输出的检查目标图像的大小为5MP的情况下，由于该区域超过了最大分辨率(已捕获图像B1的分辨率)，包括帧C11的5MP的区域以1倍的缩放倍数缩减(即，不大幅缩减)，并作为检查目标图像输出。

图13是描述在任何位置横摇-俯仰后进行缩减的情况的示意图。接口单元40c配置为能够接收调整X方向和Y方向上任何位置的第一横摇-俯仰指令。例如，在光电转换单元31a的视场范围的中心由帧C1指定为感兴趣的区域之后，帧C1的位置在X方向和Y方向上被移动，并且，例如，被放置在由参考数字C1'表示的位置。在帧C1中执行缩减的情况下，获得检查目标图像B5。逻辑单元31b生成检查目标图像B5'，其中X方向和Y方向上的位置通过对对应于在X方向和Y方向上调整的任何位置(帧C1'的位置)的已捕获图像进行缩减来调整。逻辑单元31b通过进一步对帧C1'包围的区域的部分进行将尺寸以生成检查目标图像B6。

X方向和Y方向的调整可以通过使用图11中说明的用户界面屏幕100进行。在用户界面屏幕100上提供有视场位置调整区域103。视场位置调整区域103由指向上、下、左和右方向等的箭头组合而成，例如，当操作向上的箭头时，帧C1的位置向上移动。同样地，帧C1的位置可以调整到下、左、右方向上的任何位置。帧C1可以由鼠标8直接拖动。

图14是描述在改变图像长宽比的状态下执行缩减的情况的示意图。接口单元40c配置为能够接收光电转换单元31a的输出区域的长宽比的变化。例如，如帧C1所示，当接收到成像单元视场范围内任何位置的变焦指令时，逻辑单元31b通过对对应于帧C1的已捕获图像进行缩减，生成检查目标图像B7。此后，用户可以自由指定由帧C1指定的区域的长宽比。改变长宽比的区域由帧C2表示。逻辑单元31b通过对与输出区域(由帧C2包围的区域)相对应的区域应用已改变的长宽比进行缩减处理，生成检查目标图像B7'。检查目标图像B7”通过进一步缩小帧C2包围的区域的部分来生成。

图15是描述围绕固定点缩减后进行横摇-俯仰的情况的示意图。例如，在光电转换单元31a的视场中心被设定为固定点的情况下，逻辑单元31b通过对包括成像单元的视场范围中心的帧C1进行将尺寸生成检查目标图像B5，然后执行如图13所示的横摇-俯仰。因此，逻辑单元31b通过对对应于已横摇-俯仰区域的已捕获图像进行将尺寸生成检查目标图像B8。

此外，接口单元40c配置为能够接收像素量变更指令，以将检查目标图像的像素量从第一像素量变更为第二像素量。第二像素量是大于第一像素量的像素量。具体来说，在图11所示的用户界面屏幕100上提供有像素量设置区域104。在像素量设置区域104中，可以从下拉菜单形式的预定选项中选择检查目标图像的像素量。可选择的像素量可以是，例如，在1.6MP或更多和5MP或更少的范围内，但不限于此。

此外，接口单元40c配置为能够接收像素量变更指令，以将检查目标图像的像素量从第一像素量变更为第二像素量。第二像素量是大于第一像素量的像素量。具体来说，在图11所示的用户界面屏幕100上提供有像素量设置区域104。像素量设置区域104中，可以从下拉菜单形式的预定选项中选择检查目标图像的像素量。可选择的像素量可以是，例如，在1.6MP或更多和5MP或更少的范围内，但不限于此。可选择的像素量的上限可以通过与用户的合同来设定。例如，在与用户签订低价合同的情况下，降低可选择的像素量的上限，而在与用户签订高价合同的情况下，提高可选择的像素量的上限。因此，可以进行高精度的检查。

此外，在像素量设置区域104中，还可以选择长宽比。也就是说，在像素量设置区域104的下拉菜单中显示了多个选项，其中每个选项都是检查目标图像的像素量和长宽比的组合。用户可以在这些选项中选择任何一个选项。关于所选像素量的信息由接口单元40c接收，并作为像素量变更指令传送给工业摄像机1的处理器41。

当处理器41接收到像素量变更指令时，计算单元41a计算必要的缩放倍数，以将与像素量变更指令之前的输出区域的输出区域对应的已捕获图像设置为具有光电转换单元31a的视场范围内的第二像素量。由计算单元41a计算的缩放倍数被发送到逻辑单元31b，并且逻辑单元31b通过在缩放倍数下对已捕获图像进行将尺寸而生成具有第二像素量的检查目标图像。在长宽比改变的情况下，逻辑单元31b通过在光电转换单元31a的视场范围内对与已变更长宽比的输出区域相对应的区域进行将尺寸，以生成具有已变更长宽比的检查目标图像。也就是说，逻辑单元31b根据在像素量设置区域104中选择的检查目标图像的像素量和长宽比的组合生成检查目标图像。

图16是描述仅能通缩减处理的变焦倍数的情况的示意图，即有必要进行光学变焦的情况的示意图。图16中的上侧显示已捕获图像E1和E2，下侧显示检查目标图像E3和E4。由于左侧已捕获图像E1和右侧已捕获图像E2的视场是恒定的，并且在右侧已捕获图像E2中没有读出不存在工件W的黑色区域的信号，所以左侧已捕获图像E1的像素量为20MP，右侧已捕获图像E2的像素量为10MP。当左侧已捕获图像E1以4倍的缩放倍数进行缩减时，得到左侧检查目标图像E3。左侧检查目标图像E3是通过以5MP像素量输出对应于20MP像素量的区域获得的图像。此外，由于在右侧已捕获图像E2中没有读出黑色区域的信号，因此可以在2倍的缩放倍数下执行缩减，并获得右侧检查目标图像E4。右侧检查目标图像E4是通过以5MP的像素量输出对应于10MP的像素量的区域获得的图像。此外，通过对左侧检查目标图像E3的中心进行变焦，获得更的细化的右侧检查目标图像E4。

也就是说，即使不使用光学变焦，在像素分辨率高于检查目标图像E3的像素分辨率的情况下，获得放大并显示工件W的检查目标图像E4。在本申请中，这种变焦处理可被称为“传感器变焦”。

图17是描述变焦倍数等于或超过一定倍数，并且需要同时进行缩减和光学变焦处理的情况的示意图。图17中的上侧显示了已捕获的图像F1、光学变焦图像F2和已捕获图像F3，下侧显示了检查目标图像E4、E5和E6。具有窄视场范围的光学变焦图像F2通过在生成已捕获图像F1的范围内执行光学变焦获得。在右边已捕获图像F3中，没有读出不存在工件W的黑色区域的信号。被右侧已捕获图像F3的帧F7所包围的部分设定为感兴趣区域。感兴趣区域的像素量为6MP。

当左侧已捕获图像F1以4倍的缩放倍数缩减时，得到左侧检查目标图像F4。由于中心的检查目标图像F5是通过光学变焦获得的图像，中心的检查目标图像沿光电转换单元31a的视场中心放大。因此，当工件W的中心从光电转换单元31a的视场中心移开时，工件W从变焦后的图像中的中心移开。中心的检查目标图像F5的像素分辨率得到提高。右侧检查目标图像F6是通过对右侧已捕获图像F3的帧F7所包围的感兴趣区域以1.2倍的缩放倍数进行缩减而获得的图像，像素量为5MP。

图18是描述光学变焦和缩减相结合的情况的示例的示意图，其中示出了模式1和模式2。在模式1中，光学变焦被关闭，通过缩减进行变焦，而不对变焦倍数低至缩减极限邻接放大倍数的区域进行光学变焦。缩减被固定在缩减极限邻接放大倍数。当放大倍数超过缩减极限邻接放大倍数时，光学变焦被激活，变焦被执行到光学变焦的放大倍数上限。此时，随着指定的变焦放大倍数的增加，光学变焦的光学放大倍数也会增加。当放大倍数超过光学变焦的放大倍数上限时，光学变焦被固定，并通过缩减进行传感器变焦。根据该模式1，由于即使在光学变焦之后也可以执行缩减(即可以留有传感器变焦的保留功率)，所以在确定最终输出为检查目标图像的区域时，可以通过传感器变焦而不是光学变焦来进行微调。

在模式2中，通过缩减来实现变焦，而不对变焦倍数低至缩减极限放大倍数(1倍)的区域执行光学变焦。由于缩减已被执行至缩减极限放大倍数，此后不再执行缩减。当放大倍数超过缩减极限放大倍数时，通过使用光学变焦来执行变焦至光学变焦的放大倍数上限。

即，如参照图16至18所描述的，在用户通过接口单元40c指示的变焦倍数等于或小于预定放大倍数的情况下，逻辑单元31b配置为通过根据指示的变焦倍数计算的第二缩放倍数对第二已捕获图像进行缩减以生成检查目标图像。另一方面，在用户通过接口单元40c指示的变焦倍数大于预定放大倍数的情况下，逻辑单元31b配置为通过光学变焦系统的光学变焦生成与指示的变焦倍数对应的检查目标图像。预定的放大倍数可以是变焦倍数，在该变焦倍数下，第二缩放倍数为接近下限的1倍的缩放极限邻接放大倍数。

在用户通过接口单元40c指示的变焦倍数超过预定放大倍数的情况下，计算单元41a通过光学变焦系统执行光学变焦。此外，逻辑单元31b通过在缩放极限邻接放大倍数处执行缩减，生成具有指示的变焦倍数的检查目标图像。

此外，接口单元40c配置为即使在光学变焦的光学放大倍数达到上限后也能接收更大的变焦倍数。当放大倍数达到可由接口单元40c接收的变焦倍数的上限时，计算单元41a以上限的光学放大倍数执行光学变焦的驱动。此外，逻辑单元31b通过对对应于在接口单元40c能够接收到的变焦倍数上限的光学放大倍数下拍摄的输出区域的已捕获图像以1倍的缩放倍数(基本上没有缩减)进行缩减以生成检查目标图像。也就是说，当从用户接收到变焦倍数的指定时，计算单元41a根据接收到的变焦倍数计算出光学变焦的光学放大倍数和缩减的缩放倍数。根据计算出的光学倍数驱动光学变焦系统。

此外，计算单元41a可以通过接口单元40c接收变焦倍数的变更作为变更指令信号。在根据变更指令信号指示待变更的变焦倍数等于或小于预定倍数的情况下，控制信号传送到图像传感器31，从而以计算单元41a计算的缩放倍数执行已捕获图像的缩减，并且执行缩减。另一方面，在根据改变指令信号指示要改变的变焦倍数大于预定倍数的情况下，驱动信号被传送到光学变焦系统，即变焦马达56c以执行光学变焦。变焦马达56c由驱动信号操作，并获得所需的变焦倍数。

如图19A和19B所示，在缩减过程中可以改变图像的长宽比。图19A和19B示出了水平方向长的感兴趣区域被改变为垂直方向长的感兴趣区域的情况，相反，垂直方向长的感兴趣区域可以被改变为水平方向长的感兴趣区域。这种变更指令由用户通过图11中所示的用户界面屏幕100的像素量设置区域104执行。需要注意的是，如图19B所示，考虑了这样一种情况，即由于光电转换单元31a的形状的限制，感兴趣的区域被定位在光电转换单元31a在接收到更改指令的长宽比范围内可以捕获的范围之外。在这种情况下，计算单元41a在缩减过程中重新计算缩放倍数，以尽可能地满足收到的更改指令的长宽比，并且逻辑单元31b通过在重新计算的缩放倍数下行缩减以生成检查目标图像。

如图20A至20F所示，在缩减过程中可以根据用户的设置增加或减少像素量。图20A、20B和20C示出了变更像素量而不改变空间分辨率(缩放倍数)的情况。在图20A和20B中，由于像素量在光电转换单元31a可捕获的范围内改变，计算单元41a计算反映用户设置的缩放倍数，逻辑单元31b通过以计算的缩放倍数执行缩减以生成检查目标图像。另一方面，在图20C中，当反映用户的设置时，由于范围超过了光电转换单元31a可以捕获的范围，计算单元41a计算缩放倍数以限制像素量的变化，而不使用用户的设置。在计算过程中，缩放倍数尽可能地接近用户的设置。逻辑单元31b通过以计算出的缩放倍数执行缩减以生成检查目标图像。

图20D、20E和20F示出了变更像素量而不变更成像视场的情况。在图20D和20E中，由于像素量变更为最小分辨率或更大，计算单元41a计算反映用户设置的缩放倍数，并且逻辑单元31b通过以计算的缩放倍数执行缩减以生成检查目标图像。另一方面，由于图20F示出了小于最小分辨率的像素量的变化，计算单元41a计算缩放倍数以限制像素量的变化，而不使用用户的设置，并且逻辑单元31b通过以计算的缩放倍数执行缩减以生成检查目标图像。也就是说，计算单元41a配置为能够根据用户的设置来限制从第一像素量到第二像素量的变化。

此外，接口单元40c配置为能够接收第二变焦指令，以将输出区域变更为相对较小的区域，并接收第二横摇-俯仰指令，以在用户的像素量改变指令之后在X方向和Y方向进一步调整输出区域。与第一变焦指令类似，第二变焦指令可以由用户的指令接收。此外，与第一横摇-俯仰指令类似，第二横摇-俯仰指令可以由用户的指令接收。

在接口单元40c接收第二变焦指令和第二横摇-俯仰指令的情况下，计算单元41c计算必要的缩放倍数，以将对应于由第二变焦指令和第二横摇-俯仰指令中的至少一个改变的输出区域的已捕获图像设置为具有光电转换单元31a的视场范围内的第二像素量。逻辑单元31b通过以计算单元41c计算的缩放倍数对已捕获图像进行缩减，生成具有第二像素量的检查目标图像。

图21是描述生成旋转后的检查目标图像的情况的示例的示意图，并示出了用于旋转设置的用户界面屏幕110。在用于旋转设置的用户界面屏幕110上提供有显示对应于光电转换单元31a的输出区域的检查目标图像的图像显示区域111和旋转角度设置区域112。在旋转角度设置区域112中，可以设置图像的旋转方向和旋转角度，这些设置项可以由用户操作键盘7或鼠标8设置。

当在旋转角度设置区域112中设置旋转方向和旋转角度时，计算单元41a在检查目标图像的像素量和形状被设置的状态下按设置角度在设置方向上旋转检查目标图像。也就是说，计算单元41a对检查目标图像应用任何角度的旋转转换处理。从而，由于旋转后的检查目标图像可以被生成并显示在图像显示区域111中，例如，当工业摄像机1的安装方向倾斜时，其倾斜度可以在软件上得到纠正。

图22是说明由处理器41实现缩减的情况的示例的示意图。如本图所示，镜头单元是不能进行光学变焦的非变焦镜头。图像传感器31将由光电转换单元31a捕获的图像输出到处理器41，而不对图像进行缩减。在处理器41中配置有缩减单元41A，缩减单元41A通过执行上述的缩减，生成检查目标图像。其他处理与图像传感器31执行缩减的情况相同。

(彩色已捕获图像处理)

由于彩色已捕获图像可以由图像传感器31生成，接口单元40c可以接收输出区域的指定，该区域是在光电转换单元31a的视场范围内被输出为彩色检查目标图像的区域。

由于图像传感器31包括彩色滤光片31c，所以有可能产生彩色已捕获图像，其中颜色以预定的阵列模式形成。具体来说，由光电转换单元31a输出的彩色已捕获图像的阵列模式是拜尔阵列，如图23所示。在拜尔阵列中，除了红色分量(R像素)和蓝色分量(B像素)外，第一绿色分量(Gr像素)和第二绿色分量(Gb像素)也以预定的阵列模式进行排列。阵列模式不限于拜尔阵列，也可以是另一种阵列模式。

此外，光电转换单元31a配置为能够生成具有不同像素量的彩色检查目标图像。在彩色已捕获图像由光电转换单元31a生成的情况下，处理器41对彩色检查目标图像执行上述的算术处理和图像处理。在本示例中，由于提供了彩色滤光片31c，因此可以在不使用三片式摄像机且在时序上不关闭RGB的情况下生成彩色已捕获图像。

在获得与光电转换单元31a的视场范围的输出区域相对应的彩色已捕获图像之后，逻辑单元31b根据阵列模式单独对彩色已捕获图像的颜色进行缩减，并在缩减之后配置颜色的像素值，使得颜色的阵列模式与彩色已捕获图像的阵列模式相一致。因此，可以用比彩色已捕获图像的像素量少的像素量来生成彩色检查目标图像。

例如，如图23所示，逻辑单元31b单独下调了包括在彩色已捕获图像的拜尔阵列中的红色分量、第一绿色分量和蓝色分量以及在行方向上与红色分量相邻以及在行方向上与蓝色分量相邻的第二绿色分量。逻辑单元31b通过将蓝色分量、第一绿色分量、红色分量和第二绿色分量的颜色的像素值在缩减后设置，使颜色的阵列模式与彩色已捕获图像的拜尔阵列的阵列模式相一致，从而生成彩色检查目标图像。

也就是说，当用户指定将待输出为彩色检查目标图像的区域作为输出区域时，对应于输出区域的彩色已捕获图像的颜色根据预定的阵列模式被单独缩减。缩减后的颜色的像素值被配置成使颜色的阵列模式与彩色已捕获图像的阵列模式相一致。因此，有可能生成具有小于彩色已捕获图像的像素量的任何像素量的彩色检查目标图像，并且在后续阶段由处理器或FPGA进行图像处理时，没有必要因阵列模式之间的不一致而进行额外处理。

下面描述具体示例，逻辑单元31b配置为通过在作为X和Y方向之一的第一方向上对彩色已捕获图像的颜色进行将尺寸，然后在作为X和Y方向中的另一个方向上对通过第一方向上缩减获得的图像进行将尺寸以生成彩色检查目标图像。更具体地，如图24所示，逻辑单元31b通过在第一方向上对彩色已捕获图像的颜色进行缩减，然后在第二方向上对通过在第一方向上的缩减获得的图像进行降频尺寸以生成彩色检查目标图像。在图24中，对作为第一方向的水平方向(X方向)的Gr像素进行像素内插和缩减，然后对作为第二方向的垂直方向(Y方向)的Gr像素进行像素内插和缩减。此外，与Gr像素类似，在水平方向上对R像素、B像素和Gb像素中的每一个像素进行像素内插和缩减，然后在垂直方向上对R像素、B像素和Gb像素中的每一个像素进行像素内插和缩减。

如图25中水平方向的情况所示，当执行像素内插时，计算相同颜色的两个相邻像素值的加法平均值。此外，在缩减过程中，计算与缩减前已捕获图像的每个像素在子像素级的尺寸相对应的加权平均数，该加权平均数包括在通过缩减获得的检查目标图像的一个像素中。在图25中，α、β和γ表示在输入像素的尺寸为1的情况下的子像素尺寸。此外，由于α和γ中的每一个都可以被设置为小于1的值，所以可以在小数点后精确地计算缩放倍数。此外，对图像中的其他R像素组也执行类似处理。虽然图25中示出的是R像素，但同样适用于其他颜色的像素。

在垂直方向上，通过使用水平方向上缩减后的像素，在垂直方向上执行类似处理。也就是说，逻辑单元31b基于存在于与缩减后的检查目标图像的像素相对应的缩减前的彩色已捕获图像的位置附近的范围内的多个相同颜色的像素来计算检查目标图像的像素值。逻辑单元31b根据缩减的缩放倍数确定彩色已捕获图像附近的范围。

如图26所示，在处理彩色已捕获图像时，也可以应用低通滤波。在这种情况下，缩减在假设缩减后检查目标图像的一个像素被指定的低通滤波区域(LPF区域)放大的情况下进行。低通滤波区域被均匀地应用于缩减后一个像素的两侧。每一侧的低通滤波区域(子像素大小)通过将缩减后的还原度乘以低通滤波设定值的1/2计算。此外，低通滤波设定值是等于或大于0的值，并且小于由{3×(还原度-1)}/还原度得到的值。在图26中，α、β、γ和δ表示在输入像素的尺寸为1的情况下的子像素尺寸。此外，对于图像中的其他R像素组也执行类似处理。虽然图26中示出的是R像素，但同样适用于其他颜色的像素。

此外，当接口单元40c接收到变更像素量的指令时，处理器41使像素量变更之前和之后的彩色检查目标图像的颜色的阵列模式相一致。从而，变更后的彩色检查目标图像的图像处理可以被执行，而不改变变更前的彩色检查目标图像的图像处理中与每种颜色的阵列模式有关的设置。

在接口单元40c接收到变更输出区域的位置、大小和形状中的至少一个的指令的情况下，逻辑单元31b生成对应于变更后的输出区域的颜色检查目标图像，其中颜色的阵列模式与变更输出区域之前生成的颜色检查目标图像相一致。

此外，逻辑单元31b对彩色已捕获图像进行缩减处理，使得将彩色检查目标图像传输到处理器41的传输速度相对快于将彩色已捕获图像传输到处理器41的传输速度。也就是说，如图22所示，虽然可以在图像传感器31之外进行缩减，但在这种情况下，由于彩色已捕获图像的数据量很大，因此认为向处理器41的传输速度成为一个问题。彩色已捕获图像被缩减，彩色检查目标图像传输到处理器41的速度比彩色已捕获图像传输到处理器41的传输速度快。因此，可以提高处理速度，并且可以对高速移动的对象进行图像检查。此外，从逻辑单元31b到处理器41的传输速度可以根据从图像传感器31输出的检查目标图像的像素量变化。

(设置流程)

如上所述，包括工业摄像机1在内的图像检查系统2可以执行各种处理，而且处理程序可以在一个范围内随机设置，不存在矛盾。下面，将根据流程图来描述处理程序的示例。

图27是说明在变焦倍数输入过程中的处理程序的示例的流程图。在开始后的步骤SA1中，激活成像设置。当成像设置激活时，第二镜头组22被移动到广角侧。在步骤SA2中，接口单元40c接收用户输入的变焦倍数。在输入变焦倍数过程中，由于使用了图11所示的用户界面屏幕100，变焦调整区域101A可以被操作并输入。作为另一个示例，变焦倍数可以以数字形式输入。

在步骤SA3中，确定步骤SA2中的输入值(变焦倍数)是否大于第一变焦值(第一变焦倍数)。在确定为“否”的情况下，处理进行到步骤SA4，以改变缩减设置。当在步骤SA5中输入触发信号时，处理进行到步骤SA6以显示检查目标图像。

在步骤SA3中确定为“是”的情况下，处理进行到步骤SA7，并确定步骤SA2中的输入值(变焦倍数)是否超过第二变焦值(第二变焦倍数)。在确定为“否”的情况下，处理进行到步骤SA8，以预定的变焦倍数固定缩减，并进一步执行与步骤SA9中的光学变焦相对应的变焦。此后，处理进行到步骤SA5。

在步骤SA7中确定为“是”的情况下，在步骤SA10中，光学变焦的变焦倍数被最大化，缩减的缩放倍数被设置为1。处理进行到步骤SA9。

图28是一个流程图，说明在指定视场或分辨率时的处理程序的一个例子。在开始后的步骤SB1中，用户界面上的WD测量按钮(未图示)被按下。在步骤SB2中，执行WD测量。在步骤SB3中，根据预先存储在工业摄像机1中的内部数据和当前的焦点位置信息计算视场和分辨率。在步骤SB4中，用户通过用户界面输入X视场、Y视场和空间分辨率中的一个。在步骤SB5中，通过使用步骤SB4中输入的值计算变焦倍数。在步骤SB6中，确定在步骤SB5中计算的变焦倍数是否为可设置的变焦倍数。在步骤SB6中确定为“否”的情况下，处理进行到步骤SB7，将变焦倍数设定为可设置的变焦倍数，如图19的图19B或图20的图20C和20F所示。在步骤SB6中确定为“是”的情况下，处理进行到步骤SB8以执行与图27中示出的流程类似的程序。

图29是说明横摇-俯仰的处理程序的示例的流程图。在开始后的步骤SC1中，用户在图11所示的用户界面屏幕100上操作视场位置调整区域103，以在上、下、左、右方向上调整位置。在步骤SC2中，确定在步骤SC1中调整位置的区域是否比图像传感器31的最大视场范围窄。在步骤SC2中确定为“否”的情况下，在步骤SC3中对最大范围进行设定。此后，处理进行到步骤SC4，感兴趣区域的位置被改变。在步骤SC2中确定为“是”的情况下，处理也进行到步骤SC4。

图30是说明改变长宽比的处理程序的示例的流程图。在开始后的步骤SD1中，用户操作图11所示的用户界面屏幕100的像素量设置区域104，将长宽比改变为所需的长宽比。在步骤SD2中，确定改变后的像素区域是否落在图像传感器31在同一缩放倍数下的视场范围内。在确定为“否”的情况下，处理进行到步骤SD3，并改变缩放倍数，从而获得在步骤SD1中改变的长宽比。在步骤SD4中，执行与图27中示出的流程类似的程序。此后，处理进行到步骤SD5以改变感兴趣区域的大小。在步骤SD2中确定了“是”的情况下，处理也进行到步骤SD5。

(检查目标图像的生成条件计算函数)

图像检查系统2具有生成条件计算功能，即在操作期间根据事先捕获的参考图像来计算检查目标图像的生成条件。也就是说，图7中示出的存储单元39配置为能够存储通过事先捕获检查对象而获得的参考图像。该参考图像是通过用工业摄像机1捕捉检查对象而获得的检查目标图像，并包括检查对象。存储单元39可以存储多个参考图像。存储单元39配置为能够存储光学条件文件，其中生成参考图像时的光学条件定义为与参考图像相关联。该光学条件文件包括变焦倍数，而该变焦倍数包括光学变焦的变焦倍数和缩减倍数。此外，存储单元39配置为能够存储与参考图像相关联的日期等，作为说明生成参考图像的时间的信息。

计算单元41a执行具体处理，以指定包括在操作过程中由工业摄像机1生成的检查目标图像中的检查对象与包括在存储单元39中的参考图像中的检查对象之间的位置关系。在执行具体处理之后，计算单元41a计算操作过程中的检查目标图像的生成条件，使得在操作过程中由工业摄像机1生成的检查目标图像中包括的检查对象与在参考图像中包括的检查对象处于基本相同的位置。该生成条件包括输出区域的位置信息，在该区域中，检查对象可以在光电转换单元31a的视场范围内以与参考图像基本相同的位置输出。工业摄像机1在运行期间基于上述生成条件进行控制，并生成与上述生成条件中包括的位置信息的输出区域相对应的检查目标图像。

除了输出区域的位置信息外，检查目标图像的生成条件还包括关于旋转检查目标图像的旋转方向和角度的信息，以便具有与包括在参考图像中的检查对象相同的姿态。此外，检查目标图像的生成条件包括计算出的变焦倍数，使包括在参考图像中的检查对象和检查目标图像中的检查对象具有基本相同的尺寸。在变焦倍数包括在生成条件中的情况下，计算单元41a通过根据计算的变焦倍数使镜头单元20变焦，将包括在参考图像中的检查对象和检查目标图像设置为具有基本相同的尺寸。

检查目标图像的生成条件包括与图像的亮度有关的条件。与图像亮度有关的条件计算为成像条件，在这种条件下，通过基于分析结果分析参考图像的亮度，检查目标图像的亮度成为基本相同的亮度。

在存储单元39中存储有多个参考图像的情况下，接口单元40c接收用户从存储在存储单元39中的多个参考图像中选择的所需参考图像。工业摄像机1的光学条件的初始条件设置为与所选参考图像相关的光学条件文件的光学条件。

下面，将参照流程图和用户界面的示例来描述检查目标图像的生成条件计算功能的具体示例。在图31中示出的流程图开始后的步骤SE1中，工业摄像机1拍摄检查对象以生成检查目标图像。例如，如图34所示，在用户界面屏幕100上提供了用于设置的命名为“自动复制工具”的按钮105。按钮105是在启动检查目标图像的生成条件计算功能时操作的按钮，当检测到按钮105被操作时，计算单元41a启动图31所示的流程，并生成在用户界面屏幕100上显示检查目标图像的检查目标图像显示区域110，以及显示参考图像的参考图像显示区域111，如图35所示。在用户界面屏幕100上提供有参考图像的选择区域112。在选择区域112中，以缩略图的形式显示事先拍摄的多个参考图像，并且还以与参考图像相关联的状态显示捕获期间的光学条件以及成像日期和时间。当在选择区域112中选择参考图像时，所选择的参考图像被显示在参考图像显示区域111中，如图36所示。

在图31所示的流程图的步骤SE2中，计算单元41a获取由工业摄像机1生成的检查目标图像的亮度值。在步骤SE3中，计算单元41a基于在步骤SE2中获取的亮度值计算平均灰度值，并确定计算的平均灰度值是否大于预定值(例如64)。当计算出的平均灰度值小于或等于64时，处理进行到步骤SE4，计算单元41a计算出曝光时间并更改曝光时间。在步骤SE5中，工业摄像机1通过使用变更后的曝光时间捕捉检查对象，以生成检查目标图像。在步骤SE6，计算单元41a获取由工业摄像机1生成的检查目标图像的亮度值，并确定平均灰度值是否大于预定值。当计算出的平均灰度值小于或等于64时，处理进行到步骤SE7，计算单元41a计算出曝光时间并变更曝光时间。重复数次变更捕获到的曝光时间的处理，直到平均灰度值变得大于64。也就是说，计算单元41a根据参考图像的亮度值调整工业摄像机1的曝光时间，使亮度成为可以进行后面要描述的对应点搜索的水平。值“64”是一个示例，可以是任何值，只要该值对应于可以执行对应点搜索的水平的亮度。

此后，处理进行到图32所示流程图中的步骤SE8，并准备好平均灰度值大于64的检查目标图像。此外，在步骤SE9中，接收指定用于对应点搜索的特征区域。对应点是用于指定包括在检查目标图像中的检查对象与检查目标图像或参考图像中包括在参考图像的检查对象的位置关系的点。

具体来说，如图36所示，用户用鼠标8执行拖动操作或类似操作，例如，指定鼠标环绕在检查目标图像中存在检查对象的区域。同样，可以在参考图像上指定检查对象所处的区域。以这种方式指定的区域是对应点搜索的特征区域，并由接口单元40c接收。此外，在步骤SE10中，显示图像被更新。

在图36中示出的用户界面屏幕100上提供了用于显示关于在捕获参考图像时工业摄像机1的姿态的信息的操作单元113。当检测到操作单元113被操作时，计算单元41a获取关于在捕获参考图像时工业摄像机1的姿态的信息，并在姿态显示区域115中显示该信息，如图37所示。也就是说，由于关于工业摄像机1的姿态的信息可以由加速度传感器32获取，所以当获取参考图像时，关于工业摄像机1的姿态信息被一起获取，因此，参考图像和关于工业摄像机1的姿态信息可以相互关联地存储在存储单元39中。当从存储单元39中读取选定的参考图像时，计算单元41a也读取关于工业摄像机1的姿态信息。

此外，计算单元41a还从加速度传感器32获取关于工业摄像机1在获取检查目标图像时的姿态信息(目前)。在姿态显示区域115中，显示了捕获参考图像时工业摄像机1的姿态和获取检查目标图像时工业摄像机1的姿态。姿态显示区域115中的白色三角形表示获取参考图像时工业摄像机1的姿态，而黑色三角形表示获取检查目标图像时工业摄像机1的姿态。

在图37中所示的用户界面屏幕100上提供了详细显示按钮116。当检测到详细显示按钮116被操作时，计算单元41a在监视器9上显示如图38所示的详细显示窗口120。在详细显示窗口120中提供了示意性视图显示区域121、第一数值显示区域122以及第二显示区域123，视图显示区域121通过类似于姿态显示区域115的示意性视图显示工业摄像机1在拍摄参考图像时的姿态和工业摄像机1在获取检查目标图像时的姿态，在第一数值显示区域122中，工业摄像机1在获取检查目标图像时的姿态被显示为数值，以及在第二显示区域123中，工业摄像机1在获取参考图像时的姿态被显示为数值。详细显示窗口120显示工业摄像机1从背面看时的示意图和倾斜度，工业摄像机1从侧面看时的示意图和倾斜度，以及工业摄像机1从顶部看时的示意图和倾斜度。因此，在通过接口单元40c指定参考图像之后，可以显示关于捕获参考图像时工业摄像机1姿态的信息，并且可以在监视器9上比较并显示工业摄像机1的当前姿态和捕获参考图像时工业摄像机1的姿态。

在如上所述比较和显示工业摄像机1的姿态之后，计算单元41a计算检查目标图像的生成条件，并生成工业摄像机1对应于位置信息的输出区域的检查目标图像。具体而言，在如图32所示的流程图的步骤SE11中，通过自动对焦对视场范围的中央部分进行聚焦来进行捕捉。也就是说，在执行后面要描述的对应点搜索之前，执行工业摄像机1的焦点调整。在步骤SE12中，确定是否获得了已聚焦图像。具体而言，确定与相邻像素的像素值差异是否很大。处理过程进行到步骤SE13，以更新显示图像。在步骤SE14中，对双重图像进行算术处理。当双重图像被算术处理时，在步骤SE9中未指定特征区域的情况下，使用图像的中心作为参考，而在指定了特征区域的情况下，使用指定的特征区域的中心作为参考。

在步骤SE15中，获得双倍变焦的图像。在步骤SE16中，对双倍图像进行算术处理，在步骤SE17中，获得四倍变焦的图像。在步骤SE18中，计算单元41a从存储单元39中读出并获得参考图像。在步骤SE19中，在特征区域中执行对应点搜索，用于指定包括在检查目标图像中的检查对象和包括在参考图像中的检查对象之间的位置关系。

此外，在步骤SE20中，在双倍变焦的图像的特征区域中执行对应点搜索。此外，在步骤SE21中，在变焦前的图像的特征区域中执行对应点搜索。在步骤SE22中，获取步骤SE19至21中每个相应点搜索的结果，以及指定并获取具有最高相关值的数据。

此后，处理进行到图33中的步骤SE23、SE24和SE25，并分别获取位置坐标(x，y)、角度和比例。也就是说，从检查目标图像中获取参考图像的区域。在步骤SE26中，显示表示相应点搜索结果的帧。

在步骤SE27中，对检查目标图像进行变焦和旋转，使检查目标图像的检查对象和参考图像的检查对象的尺寸和方向相互一致。此时，可以应用光学变焦系统的光学变焦和上述的“传感器变焦”中的一种或两种。特别是，由于传感器变焦可以在成像单元的视场范围内的任何位置进行，与光学变焦不同，工件不会从光轴上移开。因此，有可能减少调整工业摄像机1的连接位置的时间和所付出的努力。具体来说，用户操作如图36和37中示出的执行按钮114。当检测到执行按钮114被操作时，计算单元41a执行步骤SE27，并通过对检查目标图像应用具有与包括在参考图像中的检查对象相同姿态的角度的旋转转换处理和放大处理，生成旋转和放大后的检查目标图像。图39示出了旋转转换处理和放大处理之后的用户界面屏幕100。需要注意的是，根据需要，可以只执行放大处理或只执行旋转处理。从而，在步骤SE28中，生成检查目标图像的位置和比例与参考图像的检查对象相匹配的图像。在步骤SE29中，向用户显示通过更新显示图像生成的检查目标图像。

如图39所示，在用户界面屏幕100上提供有完成按钮114a、放弃按钮114b，和重新调整按钮114c。当旋转转换处理后检查目标图像没有问题时，用户操作完成按钮114a进入下一个步骤。另一方面，当旋转转换处理后的检查目标图像存在任何问题时，用户操作放弃按钮114以放弃旋转转换处理后的检查目标图像。此外，在希望在旋转转换处理后重新调整检查目标图像的情况下，用户可以操作重新调整按钮114c来重新调整各种条件。

在图33所示流程图的步骤SE30中，获取参考图像，在步骤SE31中，调整亮度，使检查目标图像的亮度与参考图像的亮度相一致。当亮度被调整时，例如，在自动对焦期间，图像在预定的短时间内(例如0.5秒)被更新一次。当自动对焦在预定的短时间内完成时，没有必要更新图像。

在步骤SE32中，获取亮度与参考图像相匹配的检查目标图像。在步骤SE33中，显示图像被更新。在步骤SE34中，执行自动对焦，使检查目标图像和参考图像处于聚焦状态。在步骤SE35中，获取聚焦的检查目标图像。在步骤SE36中，显示图像被更新。在步骤SE37中，获取参考图像，并在步骤SE38中，执行用于微调检查目标图像和参考图像的对应点搜索。在步骤SE39中，获取角度，在步骤SE40中，显示表示对应点搜索结果的帧。

在步骤SE41中，对检查目标图像进行变焦和旋转，使检查目标图像和参考图像的检查对象的尺寸和方向相互一致。此后，在步骤SE42中获取最终图像，并在步骤SE43中更新显示图像。

图40是描述对应点搜索和变焦的特征区域之间关系的示意图。在图40中，由参考标记200表示的帧表示工业摄像机1的最大视场。在如图40所示的最左上部分示出的示例中，缩减过程中的缩放放大倍数是最大的，并且不执行光学变焦的放大。帧201表示对应点搜索的特征区域。这里，当计算缩放倍数时，缩放倍数可以通过对应点搜索的特征区域和输出区域的大小计算。例如，在最大视场的像素量为20M，输出区域的像素量为5M的情况下，最大缩放倍数可以是20M/5M＝4倍。

当缩放倍数小于最小缩放倍数(＝1.0)时，需要通过光学变焦进行放大，例如，可以通过放大到参考标记202所示的范围来进行缩减。另一方面，当缩放倍数等于或大于最小缩放倍数(＝1.0)时，缩放倍数被设置为最大值，并且不执行光学变焦的放大。此外，有可能确定区域，该区域的起始点位于离工业摄像机1的光轴中心最远的地方，最小缩放倍数或更大，以及相对于光轴中心的对称性(图40中最左下部分)。计算出光学变焦倍数，在以计算出的光学变焦倍数进行变焦后，在坐标系中确定感兴趣的区域(参考标记203表示的框架)和缩放倍数(图40中的右下部分)。

图41是对应于图40的特征区域过小的情况的示意图。当围绕光轴中心进行变焦时，如图41的中心图所示，确定一个区域。帧202表示在光学变焦过程中使像素量变成20M的对应于帧200的尺寸小于最小缩放倍数的情况。例如，比如，在输出区域的像素量为5M，特征区域的像素量为1M的情况。

如图41下部所示，对应于5M的帧204被设定为通过光学变焦到帧202，并包括特征区域201。帧204中的区域可以按原样输出。

以上描述的实施方式在所有方面仅是一个例子，不应该以限制性的方式来解释。此外，所有属于请求专利保护的范围同等范围内的修改和变化都落入在本发明的范围内。

如上所述，根据本发明的工业摄像机可用于生成用于检查各种检查对象的检查目标图像的情况。