图像处理装置、程序和图像处理方法

技术领域

本发明涉及图像处理装置、程序和图像处理方法。

背景技术

作为从图像中检测特定图案的方法，广泛公知有模板匹配。在模板匹配中，预先准备表示应该检测的图案的模板，对该图案和被搜索对象图像的各部进行比较，由此，从被搜索对象图像中检测与模板所示的图案最相似的部分。

在模板匹配中，能够检测与模板所示的图案相同的图案的部分。但是，在由于图像拍摄的构图而使该部分旋转、缩放或变形等的情况下，该部分与模板所示的图案在角度、大小或形状等方面不同，无法检测该部分。

因此，在专利文献1记载的被摄体跟随方法中，使模板旋转、缩放或变形，扩展为多个模板，对扩展后的全部多个模板和被搜索对象图像的各部进行比较，由此对应于旋转、缩放或变形。

现有技术文献

专利文献

专利文献1：日本特许第4843787号公报

发明内容

发明要解决的课题

在现有技术中，能够进行与旋转、缩放或变形对应的模板匹配，但是，需要全部多个模板与被搜索对象图像的比较运算，因此，运算量极大。

因此，本发明的1个或多个方式的目的在于，能够以更少的运算量实现与旋转、缩放或变形等对应的模板匹配。

用于解决课题的手段

本发明的1个方式的图像处理装置的特征在于，该图像处理装置具有：模板分析部，其使用改变模板中包含的图案的程度不同的多个数值将所述图案转换为多个转换图案，生成由多个转换模板和所述模板构成的多个扩展模板，其中，所述多个转换模板分别包含所述多个转换图案的各个转换图案；以及搜索处理部，其使用从所述多个扩展模板中选择出的多个第一扩展模板执行搜索被搜索对象图像的第一搜索，根据所述第一搜索的结果，使用从所述多个扩展模板中选择出的多个第二扩展模板执行搜索所述被搜索对象图像的第二搜索，所述搜索处理部将与从按照升序或降序排列了所述多个数值的集合中通过第一划分而选择出的多个数值对应的多个转换模板和所述模板设为所述多个第一扩展模板，所述搜索处理部将与在所述集合中包含如下的1个数值且从规定的范围中通过比所述第一划分细致的第二划分而选择出的多个数值对应的多个转换模板设为所述多个第二扩展模板，其中，所述1个数值与在所述第一搜索中能检测到所述图案和所述多个转换图案的1个或多个第一扩展模板对应，所述规定的范围中包含的数值的个数比从所述集合中包含的数值的个数减去与所述第一扩展模板对应的数值的个数而得到的个数少。

本发明的1个方式的程序的特征在于，该程序使计算机作为以下部分发挥功能：模板分析部，其使用改变模板中包含的图案的程度不同的多个数值将所述图案转换为多个转换图案，生成由多个转换模板和所述模板构成的多个扩展模板，其中，所述多个转换模板分别包含所述多个转换图案的各个转换图案；以及搜索处理部，其使用从所述多个扩展模板中选择出的多个第一扩展模板执行搜索被搜索对象图像的第一搜索，根据所述第一搜索的结果，使用从所述多个扩展模板中选择出的多个第二扩展模板执行搜索所述被搜索对象图像的第二搜索，所述搜索处理部将与从按照升序或降序排列了所述多个数值的集合中通过第一划分而选择出的多个数值对应的多个转换模板和所述模板设为所述多个第一扩展模板，所述搜索处理部将与在所述集合中包含如下的1个数值且从规定的范围中通过比所述第一划分细致的第二划分而选择出的多个数值对应的多个转换模板设为所述多个第二扩展模板，其中，所述1个数值与在所述第一搜索中能检测到所述图案和所述多个转换图案的1个或多个第一扩展模板对应，所述规定的范围中包含的数值的个数比从所述集合中包含的数值的个数减去与所述第一扩展模板对应的数值的个数而得到的个数少。

在本发明的1个方式的图像处理方法中，使用改变模板中包含的图案的程度不同的多个数值将所述图案转换为多个转换图案，生成由多个转换模板和所述模板构成的多个扩展模板，所述多个转换模板分别包含所述多个转换图案的各个转换图案，使用从所述多个扩展模板中选择出的多个第一扩展模板执行搜索被搜索对象图像的第一搜索，根据所述第一搜索的结果，使用从所述多个扩展模板中选择出的多个第二扩展模板执行搜索所述被搜索对象图像的第二搜索，其特征在于，将与从按照升序或降序排列了所述多个数值的集合中通过第一划分而选择出的多个数值对应的多个转换模板和所述模板设为所述多个第一扩展模板，将与在所述集合中包含如下的1个数值且从规定的范围中通过比所述第一划分细致的第二划分而选择出的多个数值对应的多个转换模板设为所述多个第二扩展模板，其中，所述1个数值与在所述第一搜索中能检测到所述图案和所述多个转换图案的1个或多个第一扩展模板对应，所述规定的范围中包含的数值的个数比从所述集合中包含的数值的个数减去与所述第一扩展模板对应的数值的个数而得到的个数少。

发明效果

根据本发明的1个或多个方式，能够以更少的运算量实现与旋转、缩放或变形等对应的模板匹配。

附图说明

图1是概略地示出实施方式1、2的图像处理装置的结构的框图。

图2是概略地示出实施方式1、2中的模板分析部的结构的框图。

图3是概略地示出实施方式1中的特异像素选择部的结构的框图。

图4是概略地示出选择像素决定部的结构的框图。

图5是概略地示出搜索方式决定部的结构的框图。

图6是概略地示出搜索处理部的结构的框图。

图7的(A)和(B)是示出硬件结构例的框图。

图8是示出模板扩展部中的扩展处理的流程图。

图9的(A)～(D)是用于说明模板扩展部进行的扩展处理的概略图。

图10是示出实施方式1中的特异像素选择部进行的像素选择处理的流程图。

图11的(A)～(C)是用于说明选择像素的概略图。

图12的(A)～(D)是用于说明在通过使模板旋转而生成的转换模板中决定的对应选择像素的概略图。

图13是示出选择像素决定部进行的像素选择处理的流程图。

图14的(A)和(B)是用于说明计算同现直方图的处理的概略图。

图15是示出搜索处理部的搜索处理的流程图。

图16的(A)和(B)是说明粗搜索与精搜索之间的关系的概略图。

图17是概略地示出实施方式2中的特异像素选择部的结构的框图。

图18是示出实施方式2中的选择像素决定部进行的像素选择处理的流程图。

具体实施方式

实施方式1

图1是概略地示出实施方式1的图像处理装置100的结构的框图。

图像处理装置100具有输入部110、图像取得部120、模板取得部130、模板分析部140、搜索处理部160、搜索结果处理部180和输出部190。

图像处理装置100在被搜索对象图像数据所示的被搜索对象图像内搜索与模板所示的图案相同的图案或相似的图案，输出其搜索结果。

输入部110接受模板的输入，所述模板是作为图案检测对象的图像即被搜索对象图像的图像数据即被搜索对象图像数据和表示要检测的图案的图像数据。

图像取得部120经由输入部110取得被搜索对象图像数据。取得的被搜索对象图像数据被提供给搜索处理部160。

模板取得部130经由输入部110取得模板。取得的模板被提供给模板分析部140。

模板分析部140使用改变从模板取得部130提供的模板中包含的图案的程度不同的多个数值，将该图案转换为多个转换图案，生成分别包含该多个转换图案的各个转换图案的多个转换模板。然后，模板分析部140生成由模板和多个转换模板构成的多个扩展模板。

例如，模板分析部140使用从模板取得部130提供的模板，对该模板所示的图案进行旋转、缩放和变形，由此生成多个转换模板，将从模板取得部130提供的模板和转换模板作为多个扩展模板提供给搜索处理部160。

此外，模板分析部140生成搜索处理部160使用扩展模板进行搜索所需要的信息，该信息也提供给搜索处理部160。

图2是概略地示出模板分析部140的结构的框图。

模板分析部140具有模板扩展部141、特异像素选择部142和搜索方式决定部150。

模板扩展部141从由模板取得部130提供的1个模板向搜索中需要的模板即转换模板进行复制和转换，生成由该1个模板和多个转换模板构成的多个扩展模板。此外，模板扩展部141生成表示从1个模板转换为多个转换模板时的转换方式的转换方式信息。转换方式表示扩展方式(例如旋转、缩放或变形)和该扩展方式中的数值(例如角度、扩展缩小率和变形率)。

然后，模板扩展部141将多个扩展模板和转换方式信息提供给特异像素选择部142、搜索方式决定部150和搜索处理部160。

特异像素选择部142针对从模板扩展部141提供的多个扩展模板的各个扩展模板，选择在搜索时使用的像素，生成表示选择出的像素的选择像素信息。选择像素信息被提供给搜索方式决定部150和搜索处理部160。

另外，关于选择像素信息，也可以分别面向粗搜索、精搜索，分别单独地生成包含不同信息的信息。

图3是概略地示出特异像素选择部142的结构的框图。

特异像素选择部142具有选择像素决定部143、坐标转换部148和选择像素计算部149。

选择像素决定部143按照预先决定的规则，决定模板所示的图案中的特征性像素作为选择像素。

图4是概略地示出选择像素决定部143的结构的框图。

选择像素决定部143具有像素间关系分析部144、相似指标计算部145、选择像素数决定部146和像素选择部147。

像素间关系分析部144对模板内的处于预先决定的位置关系的多个像素的像素值的关系进行分析，输出其分析结果。例如，像素间关系分析部144生成该多个像素的像素值的关系的直方图，将表示生成的直方图的直方图数据提供给选择像素数决定部146和像素选择部147。

相似指标计算部145计算从模板扩展部141提供的多个扩展模板彼此的相似性，输出其计算结果。例如，相似指标计算部145按照从该多个扩展模板中选择出的2个扩展模板的每个组合，计算各像素的绝对差分的总和作为相似性。各像素的绝对差分的总和可以利用模板内的全部像素来计算，也可以将模板分割成一定的区域，按照分割出的每个区域进行计算。然后，相似指标计算部145生成按照选择出的2个扩展模板的每个组合表示计算出的相似性的相似指标信息，将生成的相似指标信息提供给选择像素数决定部146。

选择像素数决定部146决定在从被搜索对象图像中搜索模板所示的图案时要选择的像素数即选择像素数。例如，选择像素数决定部146可以根据预先决定的值来决定选择像素数，也可以根据由像素间关系分析部144生成的直方图的形状来决定选择像素数，还可以根据由相似指标计算部145生成的相似指标信息所示的相似性的分布来决定选择像素数，还可以根据它们的组合来决定选择像素数。另外，决定的选择像素数被提供给像素选择部147。

具体而言，选择像素数决定部146可以将预先决定的值本身决定为选择像素数，也可以对预先决定的值应用特定的式子(例如常数倍)来计算选择像素数。

此外，选择像素数决定部146也可以以如下方式决定选择像素数：在由像素间关系分析部144生成的直方图中，各等级的频数变化越小，则选择像素数越少。另外，关于各等级的频数变化，也可以在与相邻的等级之间计算变化率，根据该变化率的最大值或该变化率的平均值进行判断。即，变化率的最大值越小，则选择像素数决定部146可以越减少选择像素数，变化率的平均值越小，则选择像素数决定部146可以越减少选择像素数。

进而，选择像素数决定部146也可以以如下方式决定选择像素数：使由相似指标计算部145生成的相似指标信息所示的相似性成为直方图，各等级的频数变化越小，则选择像素数越少。另外，各等级的频数变化与上述相同。

此外，如上所述，选择像素数决定部146也可以对根据预先决定的值决定的值、根据像素间的直方图决定的值和根据扩展模板间的相似性的直方图决定的值中的至少2个值赋予预先决定的权重而进行平均，由此决定选择像素数。

像素选择部147根据作为从像素间关系分析部144提供的像素值的关系的分析结果的直方图和从选择像素数决定部146提供的选择像素数，决定模板中要选择的像素，生成表示已决定的像素的选择像素信息。选择像素信息被提供给选择像素计算部149和搜索方式决定部150。

返回图3，坐标转换部148计算坐标转换式，该坐标转换式用于在多个扩展模板中包含的多个转换模板的各个转换模板中，按照从模板扩展部141提供的转换方式信息所示的转换方式，进行模板中包含的1个坐标与在多个转换模板中分别与该1个坐标对应的坐标之间的坐标转换。然后，坐标转换部148针对多个转换模板，分别生成表示计算出的坐标转换式的坐标转换式信息，将该坐标转换式信息提供给选择像素计算部149。

选择像素计算部149使用从坐标转换部148提供的坐标转换式信息所示的坐标转换式，对选择像素决定部143决定的选择像素的坐标进行坐标转换，由此，在多个转换模板中，分别计算与选择像素对应的像素即对应选择像素的坐标。然后，选择像素计算部149在多个转换模板中，分别生成表示对应选择像素的坐标的对应选择像素信息，将该对应选择像素信息提供给搜索方式决定部150和搜索处理部160。

返回图2，搜索方式决定部150决定搜索处理部160中的搜索方式。搜索处理部160进行使用从多个扩展模板的整体中粗疏地选择出的多个扩展模板进行搜索的粗搜索、以及精密地搜索从粗搜索中使用的多个扩展模板中进一步选择出的1个或多个扩展模板周围的精搜索。因此，搜索方式决定部150决定粗搜索的方式即粗搜索方式和精搜索的方式即精搜索方式。

图5是概略地示出搜索方式决定部150的结构的框图。

搜索方式决定部150具有粗搜索方式决定部151和精搜索方式决定部152。

粗搜索方式决定部151根据转换方式信息和选择像素信息等决定粗搜索方式。例如，在扩展方式为旋转的情况下，作为粗搜索方式，粗搜索方式决定部151决定每5°这样的角度的间隔。此外，在扩展方式为缩放的情况下，作为粗搜索方式，粗搜索方式决定部151决定每10％这样的放大缩小率的间隔。进而，在扩展方式为变形的情况下，作为粗搜索方式，粗搜索方式决定部151决定每10％这样的变形率的间隔。另外，粗搜索方式决定部151生成表示按照每个扩展方式决定的粗搜索方式的粗搜索方式信息，将该粗搜索方式信息提供给精搜索方式决定部152和搜索处理部160。

这里，粗搜索方式决定部151通过参照转换方式信息，以比后述的精搜索方式宽的间隔对在转换中使用的全部数值的范围进行搜索。因此，粗搜索方式决定部151以比转换方式信息所示的数值的间隔宽的间隔决定粗搜索方式的划分。另外，粗搜索方式的间隔可以预先决定，此外，也可以根据转换方式的数值的间隔以预先决定的方式(例如数倍)来决定。进而，粗搜索方式的间隔也可以根据由相似指标计算部145生成的相似指标信息所示的相似性的分布来决定。例如，粗搜索方式决定部151也可以以如下方式决定粗搜索方式的数值的间隔：使由相似指标计算部145生成的相似指标信息所示的相似性成为直方图，各等级的频数变化越小，则间隔越宽。进而，粗搜索方式决定部151也可以以如下方式决定粗搜索方式的间隔：选择像素数越少，则数值的间隔越宽。即，数值的间隔在各数值间不需要是固定的。

精搜索方式决定部152根据粗搜索方式信息、转换方式信息和选择像素信息等决定精搜索方式。例如，在扩展方式为旋转的情况下，作为精搜索方式，精搜索方式决定部152决定每1°这样的角度的间隔和-5°～+5°这样的搜索范围。此外，在扩展方式为缩放的情况下，作为精搜索方式，精搜索方式决定部152决定每10％这样的放大缩小率的间隔和-20％～+20％这样的搜索范围。进而，在扩展方式为变形的情况下，作为精搜索方式，精搜索方式决定部152决定每10％这样的变形率的间隔和-20％～+20％这样的搜索范围。另外，精搜索方式决定部152生成表示按照每个扩展方式决定的精搜索方式的精搜索方式信息，将该精搜索方式信息提供给搜索处理部160。

这里，精搜索方式决定部152通过参照粗搜索方式信息，以能够填充粗搜索方式所示的间隔的方式决定精搜索方式的搜索范围即可。例如，当在粗搜索方式中使用与某个数值对应的扩展模板进行搜索的情况下，优选以至少包含粗搜索方式中与该数值相邻的数值之间的平均值和与该相邻的数值之间的范围的方式设定搜索范围。但是，精搜索方式的搜索范围中包含的数值的个数需要比从所述的集合中包含的数值的个数减去与粗搜索对应的数值的个数而得到的个数少，以实现运算量削减的目的。

此外，精搜索方式决定部152通过参照转换方式信息，决定精搜索方式中的间隔即可。例如，精搜索方式决定部152以根据模板生成转换模板的间隔决定精搜索方式的间隔即可。另外，在相邻的模板的相似性极高的情况下，不限于此。选择像素信息所示的选择像素的数量越少，则精搜索方式决定部152可以使间隔越宽，与粗搜索方式同样，精搜索方式中的间隔也不需要是固定的。

进而，根据在精搜索方式中包含有粗搜索的结果中包含的对象图案的位置信息，也可以使被搜索对象图像内的空间搜索范围包含包含有对象图案的位置且比被搜索对象图像整体小。

返回图1，搜索处理部160使用从多个扩展模板中选择出的多个扩展模板即多个第一扩展模板，执行搜索被搜索对象图像的第一搜索即粗搜索。

这里，搜索处理部160将与从按照升序或降序排列了多个数值的集合中通过第一划分而选择出的多个数值对应的多个转换模板和原始模板设为多个第一扩展模板。

这里，第一划分基于粗搜索方式决定部151决定的粗搜索方式。由此，第一划分可以预先确定，也可以是，多个扩展模板的相似性越高，则第一划分越大，还可以是，在模板内的处于预先决定的位置关系的多个像素的像素值的关系的直方图中，频数变化越少，则第一划分越大。

此外，搜索处理部160根据粗搜索的结果，使用从多个扩展模板中选择出的多个扩展模板即多个第二扩展模板，执行搜索被搜索对象图像的第二搜索即精搜索。

这里，搜索处理部160将与在上述的集合中包含如下的1个数值且从规定的范围中通过比第一划分细致的第二划分而选择出的多个数值对应的多个转换模板设为多个第二扩展模板，所述1个数值与在粗搜索中能检测到图案和多个转换图案的1个或多个第一扩展模板对应。另外，规定的范围中包含的数值的个数比从上述的集合中包含的数值的个数减去与第一扩展模板对应的数值的个数而得到的个数少。

这里，第二划分基于精搜索方式决定部152决定的精搜索方式。

此外，在粗搜索中，检测在被搜索对象图像中是否包含图案和多个转换图案中的任意一个或多个，并且，在包含图案和多个转换图案中的任意一个或多个的情况下，检测包含对象图案的位置和该对象图案相对于图案的关系，在精搜索中，检测在被搜索对象图像中包含图案和多个转换图案中的任意一个或多个即对象图案的位置、以及该对象图案相对于图案的关系。另外，该关系是旋转角、放大缩小率和变形率中的至少任意一个即可。

此外，搜索处理部160对从对象扩展模板中选择出的1个或多个像素各自的像素值和部分图像的与1个或多个像素分别对应的像素的像素值进行比较，由此执行粗搜索或精搜索即可，所述对象扩展模板是多个扩展模板中的在粗搜索或精搜索中使用的扩展模板，所述部分图像是从被搜索对象图像中以与该对象扩展模板相同的尺寸切取出的。该1个或多个像素基于特异像素选择部142生成的选择像素信息，像素数比对象扩展模板中包含的全部像素的数量少，由此能够减轻比较运算的处理负荷。

这里，在对象扩展模板是多个转换模板中的1个转换模板的情况下，使用将图案中包含的像素的坐标转换为对象扩展模板中包含的转换图案的像素的坐标的坐标转换式，根据在模板中选择出的像素的坐标来计算要选择的1个或多个像素各自的坐标。

另外，也可以是，多个扩展模板的相似性越高，则要选择的1个或多个像素的数量越少。此外，也可以是，在模板内的处于预先决定的位置关系的多个像素的像素值的关系的直方图中，频数变化越少，则要选择的1个或多个像素的数量越少。

图6是概略地示出搜索处理部160的结构的框图。

搜索处理部160具有粗搜索执行部161和精搜索执行部162。

粗搜索执行部161针对从图像取得部120提供的被搜索对象图像数据所示的被搜索对象图像，以从模板分析部140提供的粗搜索方式信息所示的粗搜索方式，使用从模板分析部140提供的扩展模板执行粗搜索。然后，粗搜索执行部161将多个扩展模板中的、在被搜索对象图像中搜索到对应的图案的扩展模板的转换方式作为粗搜索的结果即粗搜索结果提供给精搜索执行部162。

精搜索执行部162根据粗搜索结果，针对从图像取得部120提供的被搜索对象图像数据所示的被搜索对象图像，以从模板分析部140提供的精搜索方式信息所示的精搜索方式，使用从模板分析部140提供的扩展模板执行精搜索。

例如，精搜索执行部162根据粗搜索结果中包含的转换方式确定扩展方式及其数值，根据精搜索方式信息所示的精搜索方式的搜索范围确定执行精搜索的范围即搜索执行范围。例如，在粗搜索结果中包含的扩展方式为旋转，其数值为12°，精搜索方式信息所示的精搜索方式的搜索范围为-5°～+5°的情况下，精搜索执行部162确定7°～17°作为搜索执行范围。然后，精搜索执行部162使用由搜索执行范围7°～17°内的数值转换的多个扩展模板的各个扩展模板，执行针对被搜索对象图像的搜索。

然后，精搜索执行部162将精搜索中的搜索结果即精搜索结果作为最终的搜索结果提供给搜索结果处理部180。在精搜索结果中包含在被搜索对象图像中发现了对应的图案的位置、或针对在被搜索对象图像中发现的图案的模板的扩展方式中的数值等。

搜索结果处理部180进行以预先确定的形式输出从搜索处理部160提供的搜索结果的处理。

输出部190根据来自搜索结果处理部180的指示进行输出。例如，通过图像或语音等输出搜索结果。

例如如图7的(A)所示，以上记载的图像取得部120、模板取得部130、模板分析部140、搜索处理部160和搜索结果处理部180的一部分或全部能够由存储器10和执行存储器10中存储的程序的CPU(Central Processing Unit：中央处理单元)等处理器11构成。这种程序可以通过网络来提供，此外，也可以记录于记录介质来提供。即，这种程序例如可以作为程序产品来提供。该情况下，图像处理装置100能够通过所谓的计算机实现。

此外，例如如图7的(B)所示，图像取得部120、模板取得部130、模板分析部140、搜索处理部160和搜索结果处理部180的一部分或全部还能够由单一电路、复合电路、利用程序进行动作的处理器、利用程序进行动作的并行处理器、ASIC(Application SpecificIntegrated Circuit：专用集成电路)或FPGA(Field Programmable Gate Array：现场可编程门阵列)等处理电路12构成。

如上所述，图像取得部120、模板取得部130、模板分析部140、搜索处理部160和搜索结果处理部180能够通过处理电路网实现。

另外，输入部110能够通过通信接口等接口实现。

此外，输出部190能够通过显示器或扬声器等输出装置实现。

接着，参照附图对实施方式1的图像处理装置100的处理进行说明。

图8是示出模板扩展部141中的扩展处理的流程图。

首先，模板扩展部141决定要实施的扩展方式(S10)。例如，关于要实施的扩展方式，可以预先决定，也可以在利用图像处理装置100执行搜索处理时，经由输入部110或未图示的键盘或鼠标等输入装置来输入。

接着，模板扩展部141从已决定的扩展方式中选择1个扩展方式(S11)。

接着，模板扩展部141根据选择出的扩展方式，从模板生成转换模板(S12)。通过模板和转换模板构成多个扩展模板。

接着，模板扩展部141判断是否选择了在步骤S10中决定的全部扩展方式(S13)。在选择了全部扩展方式的情况下(S13：是)，处理结束，在残留有还未选择的扩展方式的情况下(S13：否)，处理返回步骤S11。在步骤S11中，选择还未选择的1个扩展方式。

图9的(A)～(D)是用于说明模板扩展部141进行的扩展处理的概略图。

这里，以扩展方式为旋转的情况为例进行说明。

通常，在模板匹配中，无法发现旋转后的图案，因此，需要预先使模板旋转来进行搜索处理。

这里，设为被输入图9的(A)所示的模板1#1。

即使被输入模板1#1，也无法发现位于图9的(D)所示的被搜索对象图像2#1中的部分3#1的图案。这是由于，通过对模板1#1和从被搜索对象图像2#1中以与模板1#1相同的尺寸切出的部分3#1的图像进行比较，检测相同图案的位置。

另一方面，如图9的(B)所示的转换模板1#2那样，通过使用使模板1#1旋转后的模板进行搜索，能够发现部分3#1中包含的图案。

被搜索对象图像2#1中与模板1#1所示的图案对应的图案以旋转多少度的状态存在是未知的，因此，模板扩展部141例如如图9的(B)所示的转换模板1#2和图9的(C)所示的转换模板1#3那样，事前生成旋转为多个角度的转换模板。

此时，在对扩展方式赋予了旋转的间隔为1°这样的信息的情况下，针对360°的旋转，以各个旋转角度生成除了原始的模板1#1以外的359个转换模板。然后，模板扩展部141将359个转换模板和原始的模板1#1合起来，将360个扩展模板提供给特异像素选择部142、搜索方式决定部150和搜索处理部160。

另外，这里以旋转为例进行了说明，但是，在放大缩小或变形这样的扩展方式中，也同样地进行扩展处理。此外，也可以如旋转和放大缩小这样组合多个扩展方式。

图10是示出特异像素选择部142进行的像素选择处理的流程图。

首先，特异像素选择部142中包含的选择像素决定部143决定原始模板中的选择像素(S20)。

接着，坐标转换部148从多个转换模板中选择1个转换模板(S21)。

接着，坐标转换部148根据选择出的转换模板的转换方式，确定原始模板中包含的坐标和选择出的转换模板中包含的坐标的坐标转换式(S22)。

接着，选择像素计算部149使用由选择像素计算部149确定的坐标转换式，进行根据原始模板决定的选择像素的坐标转换，由此计算对应选择像素的坐标(S23)。然后，选择像素计算部149在多个转换模板的各个转换模板中，生成表示计算出的对应选择像素的对应选择像素信息，将该对应选择像素信息提供给搜索方式决定部150和搜索处理部160。

接着，坐标转换部148判断是否选择了全部转换模板(S24)。在选择了全部转换模板的情况下(S24：是)，处理结束，在残留有还未选择的转换模板的情况下(S24：否)，处理返回步骤S21。在步骤S21中，选择还未选择的1个转换模板。

图11的(A)～(C)是用于说明选择像素的概略图。

这里，对根据模板决定的选择像素进行说明。

选择像素决定部143例如根据图11的(A)所示的模板1#4决定图11的(B)所示的选择像素P1#1～P11#1。

然后，如图11的(C)所示，搜索处理部160从被搜索对象图像2#2中切出与模板1#4相同的尺寸的部分3#2。然后，搜索处理部160在部分3#2中，对选择像素P1#1～P11#1的像素值和被配置于与选择像素P1#1～P11#1相同的坐标的像素P1#2～P11#2的像素值进行比较，由此能够检测图案的同一性。

图12的(A)～(D)是用于说明在通过使模板旋转而生成的转换模板中决定的对应选择像素的概略图。

在图12的(A)中示出模板1#5和根据该模板1#5决定的选择像素P1#1～P11#3。

图12的(B)示出通过使模板1#5顺时针旋转45°而生成的转换模板1#6。

图12的(C)示出按照转换模板1#6的转换方式计算出的对应选择像素P1#4～P11#4。

图12的(D)是使对应选择像素P1#4～P11#4与转换模板1#6重合的图。

如图12的(C)所示，与转换模板1#6同样，对应选择像素P1#4～P11#4也能够通过使选择像素P1#1～P11#3顺时针旋转45°来计算。

这里，在扩展方式为旋转，使模板逆时针旋转角度θ而生成转换模板的情况下，由坐标转换部148计算的坐标转换式如下述的(1)式那样。

在(1)式中，(x，y)是坐标转换前的坐标，是模板中的坐标。(x’，y’)是坐标转换后的坐标，是转换模板中的坐标。w是模板的宽度，h是模板的高度。

图13是示出选择像素决定部143进行的像素选择处理的流程图。

首先，像素间关系分析部144关于模板内的像素确定像素间的关系(S30)。像素间的关系成为用于计算各像素在模板内的特异性的指标。特异性表示该像素是有意义地表示模板的图案的特征性像素。基于特异性的定义，例如可以说图案的边界或角部的像素的特异性高。

关于像素间的关系的确定，例如能够根据同现概率来实施。同现概率是将同现直方图的各频数除以像素数而得到的。同现直方图是如下的直方图：在图像中，在图像整体中求出由处于预先决定的位置关系的2个像素构成的像素对的像素值p和像素值q的对的产生频度，将像素值p和像素值q排列成设为纵横各自的索引的二维矩阵状。

同现直方图的索引(p，q)中的频数h

其中，v

另外，作为一般的图像，如果是比特深度8bit的图像，则像素值可取的值为0～255，因此，p和q可取的范围也同样成为0～255，同现直方图利用256行和256列的正方矩阵表示。

而且，v

图14的(A)和(B)是用于说明计算同现直方图的处理的概略图。

这里，为了简化说明，将像素值设为0～4这5个灰度，如图14的(A)所示，将模板1#7设为7行和7列的49像素，且差分向量d＝(1，0)。即，像素对(P，Q)成为在水平方向上相邻的2个像素。

图14的(B)是示出同现直方图的各频数的表。

例如，根据图14的(B)，如栏5#1所示，如图14的(A)的像素对4#1那样在水平方向上相邻的像素的像素值为(0，0)的像素对在模板1#7中存在有19处。

同样，如栏5#2所示，如像素对4#2那样像素值为(1，2)的像素对存在有2处。

这里，举出由2个像素构成的像素对作为例子，但是，即使使用3个以上的处于预先决定的位置关系的像素对，同样情况也成立。例如，在使用3个处于预先决定的位置关系的像素对的情况下，同现直方图利用三维矩阵表示。在本实施方式中，构成像素对的像素数没有限制，不管是什么样的同现直方图都成立。

另外，像素间关系分析部144也可以根据不同的多个预先确定的位置关系，生成不同的多个同现直方图，通过它们的加权平均而生成新的直方图。该情况下，选择像素数决定部146和像素选择部147利用该新的直方图即可。

返回图13，接着，相似指标计算部145计算多个扩展模板间的相似性(S31)。例如，在扩展方式为旋转的情况下，在微小的旋转角或像素值没有变化的平坦区域中，由于旋转引起的像素值的变化小，2个模板间的相似性变高。

然后，选择像素数决定部146使用由像素间关系分析部144生成的直方图和由相似指标计算部145计算出的相似性决定选择像素数(S32)。这里，选择像素数决定部146对根据直方图确定的值和根据相似性确定的值赋予预先确定的权重并进行平均，由此决定选择像素数。另外，选择像素数决定部146也可以利用其他方法决定选择像素数。

接着，像素选择部147根据作为从像素间关系分析部144提供的像素值的关系的分析结果的直方图和从选择像素数决定部146提供的选择像素数，决定在模板中选择的像素(S33)。例如，像素选择部147按照除了0以外的同现概率从低到高的顺序选择像素即可。同现概率低是由于这种像素值的对存在于模板中的概率低。即，这是由于同现概率低的像素对成为特征性像素对。

图15是示出搜索处理部160的搜索处理的流程图。

首先，粗搜索执行部161通过参照从搜索方式决定部150提供的粗搜索方式信息，选择1个扩展方式(S40)。

接着，粗搜索执行部161按照从搜索方式决定部150提供的粗搜索方式信息所示的粗搜索方式，决定在步骤S40中选择出的1个扩展方式中的粗搜索的间隔(S41)。

接着，粗搜索执行部161以在步骤S41中决定的间隔执行在步骤S40中选择出的1个扩展方式中的粗搜索(S42)。作为粗搜索的结果，当在被搜索对象图像中检测到扩展模板中包含的图案的情况下，粗搜索执行部161将与该扩展模板对应的数值(例如角度、扩展缩小率或变形率)提供给精搜索执行部162。

接着，精搜索执行部162按照从搜索方式决定部150提供的精搜索方式信息所示的精搜索方式，根据来自粗搜索执行部161的粗搜索的结果决定精搜索的搜索执行范围(S43)。另外，在粗搜索执行部161在被搜索对象图像中无法检测到扩展模板中包含的图案的情况下，精搜索执行部162也可以将扩展方式中的全部范围决定为搜索执行范围。另外，扩展方式中的全部范围根据粗搜索方式信息来决定即可。

接着，精搜索执行部162在步骤S43中决定的执行搜索范围中，使用对应的扩展模板执行精搜索(S44)。

然后，粗搜索执行部161判断是否选择了全部扩展方式(S45)。在选择了全部扩展方式的情况下(S45：是)，处理结束。另一方面，在残留有还未选择的扩展方式的情况下(S45：否)，处理返回步骤S40，粗搜索执行部161选择还未选择的1个扩展方式。

图16的(A)和(B)是说明粗搜索与精搜索之间的关系的概略图。

这里，以扩展方式为旋转的情况为例进行说明。

为了进行与旋转对应的模板匹配，需要使用旋转后的多个模板，按照每个角度进行模板匹配。例如，如果每1°进行匹配，则进行360次的模板匹配。

关于粗搜索和精搜索，首先，通过粗搜索以粗疏的角度进行搜索，然后，通过精搜索进行详细的搜索。在图16所示的例子中，如图16的(A)所示，以45°的间隔进行粗搜索。在该粗搜索的结果为在45°的位置处扩展模板中包含的图案和被搜索对象图像中包含的图案大致一致的情况下，如图16的(B)所示，将45°的周边范围作为搜索执行范围，进行每1°的精搜索。这里，在搜索执行范围为以45°的位置为中心的50°的范围时，在20°～70°的范围内进行50次的精搜索。该情况下，粗搜索为8次，因此，进行合计58次的模板匹配。与将360°设为搜索执行范围的360次的模板匹配相比，能够大幅削减次数。

此外，在进行搜索时，对扩展模板的各个扩展模板和从被搜索对象图像中以与模板相同的尺寸切出的部分即部分图像进行比较。例如，求出位于相同位置的像素值的绝对差分的总和，但是，在本实施方式中，仅对模板分析部140输出的由特异像素选择部142选择出的像素进行比较运算。由此，与对全部像素进行比较相比，能够大幅减少运算量。

实施方式2

如图1所示，实施方式2的图像处理装置200具有输入部110、图像取得部120、模板取得部130、模板分析部240、搜索处理部160、搜索结果处理部180和输出部190。

实施方式2的图像处理装置200的输入部110、图像取得部120、模板取得部130、搜索处理部160、搜索结果处理部180和输出部190与实施方式1的图像处理装置100的输入部110、图像取得部120、模板取得部130、搜索处理部160、搜索结果处理部180和输出部190相同。

如图2所示，实施方式2中的模板分析部240具有模板扩展部141、特异像素选择部242和搜索方式决定部150。

实施方式2中的模板分析部240的模板扩展部141和搜索方式决定部150与实施方式1中的模板分析部140的模板扩展部141和搜索方式决定部150相同。

图17是概略地示出实施方式2中的特异像素选择部242的结构的框图。

特异像素选择部242具有选择像素决定部243。实施方式2中的特异像素选择部242不具有实施方式1中的特异像素选择部142中的坐标转换部148和选择像素计算部149。

选择像素决定部243按照预先决定的规则，将多个扩展模板分别所示的图案中的特征性像素决定为选择像素。

具体而言，在上述的对象扩展模板为模板的情况下，从该模板中选择要选择的1个或多个像素。另一方面，在对象扩展模板为多个转换模板中的1个转换模板的情况下，从对象扩展模板中选择要选择的1个或多个像素。

图18是示出选择像素决定部243进行的像素选择处理的流程图。

首先，选择像素决定部243从多个扩展模板中选择1个扩展模板(S50)。

接着，选择像素决定部243根据选择出的扩展模板决定要选择的像素(S51)。

然后，选择像素决定部243判断是否选择了全部扩展模板(S52)。在选择了全部扩展模板的情况下(S52：是)，处理结束。在残留有还未选择的扩展模板的情况下(S52：否)，处理返回步骤S50，选择像素决定部243选择还未选择的扩展模板。

实施方式1中的选择像素决定部143对原始模板进行像素选择，与此相对，实施方式2中的选择像素决定部243对多个扩展模板分别进行像素选择。另外，在实施方式2中，像素选择的方法也与实施方式1相同。

在以上记载的实施方式1、2中，像素选择部147根据作为从像素间关系分析部144提供的像素值的关系的分析结果的直方图和从选择像素数决定部146提供的选择像素数，决定模板中要选择的像素。即，从根据该直方图计算的同现概率低的像素起依次选择模板中要选择的像素，但是，实施方式1、2不限于这种例子。

例如，在相似指标计算部145中，在从多个扩展模板中选择的全部组合中计算从多个扩展模板中选择出的2个扩展模板的组合中的各像素的绝对差分，按照每个像素对该计算出的绝对差分进行总和，由此计算每个像素的相似性即像素相似性。然后，相似指标计算部145将表示计算出的像素相似性的像素相似性信息提供给像素选择部147。

然后，像素选择部147也可以以像素相似性越高的像素越不容易被选择的方式，从像素相似性低的像素起依次决定模板中要选择的像素。

另外，也可以将按照一定区域对该一定区域中包含的像素的绝对差分进行总和而计算出的值设为该一定区域中包含的像素相似性。

标号说明

100、200：图像处理装置；110：输入部；120：图像取得部；130：模板取得部；140：模板分析部；141：模板扩展部；142、242：特异像素选择部；143、243：选择像素决定部；144：像素间关系分析部；145：相似指标计算部；146：选择像素数决定部；147：像素选择部；148：坐标转换部；149：选择像素计算部；150：搜索方式决定部；151：粗搜索方式决定部；152：精搜索方式决定部；160：搜索处理部；161：粗搜索执行部；162：精搜索执行部；180：搜索结果处理部；190：输出部。