外观判定装置和外观判定方法

技术领域

本发明涉及一种外观判定装置和外观判定方法。

背景技术

光度立体法是使用朝向不同的多个光源来对物品的外观进行分析的技术(例如，参照非专利文献1、2)。

现有技术文献

非专利文献

非专利文献1：R.J.Woodham,Photometric Stereo:AReflectance Map Techniquefor Determining Surface Orientation from Image Intensity(光度立体法：根据图像强度确定表面方向的反射图技术).Proc.SPIE,vol.155,pp.136-143,1978.

非专利文献2：H.Hayakawa.Photometric stereo under a light source witharbitrary motion(任意运动的光源下的光度立体法).Journal of the Optical Societyof America A(美国光学学会期刊A辑),11(11),1994.

发明内容

发明要解决的问题

在此，光度立体法通常被用于单色的灰度图像，不以应用于彩色图像为前提。即，光度立体法一般舍去了在判定物品的外观是否良好方面重要的彩色信息(来自物品的光的反射的波长依赖性)。

本发明的目的在于实现一种使用彩色化的光度立体法来判定判定对象物的外观是否良好的外观判定装置和外观判定方法。

用于解决问题的方案

为了解决上述的问题，本发明的一个方式所涉及的外观判定装置具备一个或多个处理器，所述处理器执行判定工序，在所述判定工序中，基于通过光度立体法生成的表现判定对象物的彩色的光学像的彩色图像和通过所述光度立体法生成的表现所述判定对象物的形状的形状图像中的至少一方，来判定所述判定对象物是否良好。

发明的效果

根据本发明的一个方式，能够实现一种使用彩色化的光度立体法来判定判定对象物的外观是否良好的外观判定装置和外观判定方法。

附图说明

图1是表示本发明的一个实施方式所涉及的外观判定系统的结构的图。

图2是表示本发明的实施方式所涉及的外观判定方法的一例的流程图。

图3是表示彩色反射图像(彩色图像)和法线图像(形状图像)的生成方法的一例的流程图。

图4是表示彩色反射图像(彩色图像)和法线图像(形状图像)的生成方法的其它例子的流程图。

图5是表示光源向量的估计方法的一例的流程图。

图6是表示将异常的光源向量排除的方法的一例的图。

图7是示意性地表示模型的图。

图8是表示外观判定结果的例子的图。

图9是表示外观判定结果的其它例子的图。

具体实施方式

下面，对本发明的一个实施方式详细地进行说明。图1是表示本发明的一个实施方式所涉及的外观判定系统1的结构的图。外观判定系统1是用于判定外观上的判定对象物OB是否为良品(是否没有缺陷)的系统，具有摄影部MP和外观判定装置10。

摄影部MP是用于光度立体法的摄影装置，具有暗室BX、多个光源LS(1)～LS(n)、以及摄像机CA。下面，将光源LS(1)～LS(n)概括表示为光源LS(i)。摄影部MP使用朝向不同的光源LS(i)拍摄判定对象物OB，来生成判定对象物OB的多个图像IM，以用于光度立体法。

暗室BX设定有用于对判定对象物OB进行设置并拍摄的空间。暗室BX具有用于遮挡外界光的墙壁，在暗室BX内设置有判定对象物OB、光源LS(i)以及摄像机CA。

光源LS(i)是摄像机CA对判定对象物OB进行拍摄时的照明。光源LS(i)以从互不相同的方向对判定对象物OB进行照明那样的位置和朝向来设置。为了光度立体法的彩色化，光源LS(i)照射包含互不相同的第一波长区域、第二波长区域以及第三波长区域的光的光。

在此，作为第一波长区域、第二波长区域以及第三波长区域的一例，能够列举R(红)、G(绿)以及B(蓝)波长区域。下面，有时将第一波长区域、第二波长区域以及第三波长区域分别表示为R、G以及B，以易于理解。

摄像机CA是对判定对象物OB进行拍摄的摄影装置。在此，为了易于判断，仅示出一个摄像机CA，但是也可以将多个摄像机CA设置为从互不相同的方向对判定对象物OB进行拍摄的位置和朝向。

外观判定装置10例如是个人计算机，基于由摄影部MP拍摄到的判定对象物OB的多个图像IM，来判定判定对象物OB是否为良品(是否没有缺陷)。

外观判定装置10具备处理器11、一级存储器12、二级存储器13、输入输出IF(接口)14、通信IF 15以及总线16。处理器11、一级存储器12、二级存储器13、输入输出IF 14以及通信IF 15经由总线16相互连接。

在二级存储器13中保存(非易失存储)有外观判定程序P1和模型M1。处理器11将保存于二级存储器13的外观判定程序P1和模型M1在一级存储器12上展开。然后，处理器11按照在一级存储器12上展开的外观判定程序P1中包含的命令来执行外观判定方法。在一级存储器12上展开的模型M1在处理器11执行外观判定方法时被利用。

作为能够用作处理器11的设备，例如能够列举CPU(Central Processing Unit：中央处理单元)、GPU(Graphic Processing Unit：图形处理单元)、DSP(Digital SignalProcessor：数字信号处理器)、MPU(Micro Processing Unit：微处理单元)、FPU(Floatingpoint number Processing Unit：浮点数处理单元)、PPU(Physics Processing Unit：物理处理单元)、微型控制器、或它们的组合。处理器11也有时被称为“运算装置”。

作为能够用作一级存储器12的设备，例如能够列举半导体RAM(Random AccessMemory：随机存取存储器)。一级存储器12也有时被称为“主存储装置”。另外，作为能够用作二级存储器13的设备，例如能够列举快闪存储器、HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态驱动器)、ODD(Optical Disk Drive：光盘驱动器)、FDD(Floppy(注册商标)Disk Drive：软盘驱动器)、或它们的组合。二级存储器13也有时被称为“辅助存储装置”。此外，二级存储器13可以内置于外观判定装置10，也可以内置于经由输入输出IF14或通信IF 15来与外观判定装置10连接的其它计算机(例如，构成云服务器的计算机)。此外，在本实施方式中，通过两个存储器(一级存储器12和二级存储器13)来实现外观判定装置10中的存储，但是不限定于此。即，也可以通过一个存储器来实现外观判定装置10中的存储。在该情况下，例如，将该存储器的某个存储区用作一级存储器12并将该存储器的其它存储区用作二级存储器13即可。

在输入输出IF 14连接输入设备和/或输出设备。作为输入输出IF 14，例如能够列举USB(Universal Serial Bus：通用串行总线)、ATA(Advanced Technology Attachment：高技术配置)、SCSI(Small Computer System Interface：小型计算机系统接口)、PCI(Peripheral Component Interconnect：外设部件互连)等接口。

作为与输入输出IF 14连接的输入设备，能够列举摄像机CA。在外观判定方法中从摄像机CA获取的数据被输入到外观判定装置10，存储于一级存储器12。另外，作为与输入输出IF 14连接的其它输入设备，能够列举键盘、鼠标、触摸板、麦克风或它们的组合。另外，作为与输入输出IF 14连接的输出设备，能够列举显示器、投影仪、打印机、扬声器、头戴式耳机、或它们的组合。在外观判定方法中向用户提供的信息经由这些输出设备来从外观判定装置10输出。此外，外观判定装置10也可以如膝上型计算机那样分别内置作为输入设备发挥功能的键盘以及作为输出设备发挥功能的显示器。或者，外观判定装置10也可以如平板型计算机那样内置作为输入设备和输出设备这两方发挥功能的触摸面板。

在通信IF 15，经由网络有线连接或无线连接其它计算机。作为通信IF 15，例如能够列举以太网(注册商标)、Wi-Fi(注册商标)等的接口。作为能够利用的网络，能够列举PAN(Personal Area Network：个人局域网)、LAN(Local Area Network：局域网)、CAN(CampusArea Network：校园网)、MAN(Metropolitan Area Network：城域网)、WAN(Wide AreaNetwork：广域网)、GAN(Global Area Network：全域网)、或包含这些网络的互联网。互联网可以是内部网，也可以是外部网，还可以是因特网。在外观判定方法中外观判定装置10从其它计算机获取的数据和在外观判定方法中外观判定装置10向其它计算机提供的数据经由这些网络来进行发送接收。此外，摄像机CA与外观判定装置10可以通过输入输出IF 14进行连接，也可以通过通信IF 15进行连接。

此外，在本实施方式中，使用单个处理器(处理器11)来执行外观判定方法，但是本发明不限定于此。即，也可以使用多个处理器来执行外观判定方法。在该情况下，相协作地执行外观判定方法的多个处理器可以设置于单个计算机并经由总线来相互通信，也可以分散地设置于多个计算机并经由网络来相互通信。作为一例，还考虑使构成云服务器的计算机中内置的处理器与该云服务器的利用者所拥有的计算机中内置的处理器协作地执行外观判定方法。

另外，在本实施方式中，在与执行外观判定方法的处理器(处理器11)内置于相同的计算机中的存储器(二级存储器13)中保存有模型M1，但是本发明不限定于此。即，也可以将模型M1保存在与执行外观判定方法的处理器内置于不同的计算机的存储器中。在该情况下，内置有保存模型M1的存储器的计算机能够经由网络来与内置有执行外观判定方法的处理器的计算机相互通信。作为一例，还考虑将模型M1保存在构成云服务器的计算机中内置的存储器中，该云服务器的利用者所拥有的计算机中内置的处理器执行外观判定方法。

另外，在本实施方式中，将模型M1保存在单个存储器(二级存储器13)中，但是本发明不限定于此。即，也可以将模型M1分散地保存在多个存储器中。在该情况下，保存模型M1的多个存储器可以设置于单个计算机(可以是内置有执行外观判定方法的处理器的计算机，也可以不是)，也可以分散地设置于多个计算机(可以包括内置有执行外观判定方法的处理器的计算机，也可以不包括)。作为一例，还考虑将模型M1分散地保存在构成云服务器的多个计算机的各个计算机中内置的存储器中。

外观判定装置10具备一个或多个处理器11，执行外观判定方法。图2是表示处理器11执行的外观判定方法的一例的流程图。外观判定方法包括准备工序(步骤S11)、生成工序(步骤S12)以及判定工序(步骤S13)。

准备工序是根据需要进行的、例如用于形成或强化模型M1的工序。其详细内容在后面叙述。生成工序是基于由摄影部MP拍摄到的判定对象物OB的多个图像IM来生成判定对象物OB的彩色图像和形状图像的工序。多个图像IM是被朝向互不相同的多个光源LS(i)照射的判定对象物OB的图像。判定工序是基于彩色图像和形状图像中的至少一方来判定判定对象物OB是否良好的工序。

判定对象物OB是作为外观判定的对象的物品。判定对象物OB例如为铸造出的铸件、或在铸造中使用的铸模。此外，判定对象物OB不限于铸件或铸模，也可以是其它物品。

彩色图像是通过光度立体法生成的表现判定对象物OB的彩色的光学像的图像。彩色图像例如为表现在互不相同的光的第一波长区域(R)、第二波长区域(G)以及第三波长区域(B)中的、判定对象物OB的表面上的反射率的分布的彩色反射图像。

在光度立体法中，通常是基于单色的灰度图像来生成表现判定对象物OB上的反射率的分布的反照率图像。即，反照率图像是单色的灰度图像。与此相对，在本实施方式中，将光度立体法进行彩色化，生成以彩色表现判定对象物OB上的反射率的分布的彩色反射图像。彩色反射图像的生成的详细内容在后面叙述。

形状图像是通过光度立体法生成的表现判定对象物OB的形状的图像。形状图像例如为表现判定对象物的表面上的法线方向的分布的法线图像。法线图像是基于由摄影部MP拍摄到的判定对象物OB的多个图像IM而与彩色反射图像一同被生成的。

良品是指不包含缺陷的对象物(例如铸件)。缺陷例如为缺口、破裂、凹坑、突起、异物(螺钉、纸片、锈、沙子等)的混入。良品容许铸件的表面的凹凸、颜色不均、毛刺的有无等稍许的不一致。

下面，对生成工序(步骤S12)的详细内容进行说明。图3是表示彩色反射图像(彩色图像)和法线图像(形状图像)的生成方法的一例的流程图。图3所示的生成工序能够大致划分为(A)光源向量L(i)的估计工序(步骤S21)、(B)判定对象物OB的多个图像IM(i)的获取工序(步骤S22)、(C)判定对象物OB的彩色图像和形状图像的生成工序(步骤S23、S24a～S24c、S25、S26)。下面详细地进行说明。

(A)光源向量L(i)的估计工序(步骤S21)

处理器11估计光源向量L(i)(多个光源LS(i)中的各个光源的朝向)(步骤S21)。

光源向量L(i)是表现光源LS(i)相对于判定对象物OB的朝向、距离的向量，在彩色反射图像(彩色图像)和法线图像(形状图像)的制作中使用。该估计意指求出多个光源LS(i)中的各个光源的朝向。

在光度立体法中，能够通过测定光源LS(i)、判定对象物OB的位置关系来求出光源向量L(i)。但是，有可能难以进行该测量。在这样的情况下，需要进行光源向量L(i)的估计。此外，其详细内容在后面叙述。

(B)判定对象物OB的多个图像IM(i)的获取工序(拍摄、照明的切换)(步骤S22)

处理器11获取判定对象物OB的多个图像IM(i)(步骤S22)。此外，在该获取之前，将判定对象物OB设置在暗室BX内。

能够通过一边切换光源LS(i)一边由摄像机CA拍摄判定对象物OB，来获得判定对象物OB的多个图像IM(i)。多个图像IM(i)是被来自朝向互不相同的多个光源LS(i)的各个光源的光照射的判定对象物OB的多个图像。在此，图像IM(i)是使用包含R(第一波长区域)、G(第二波长区域)以及B(第三波长区域)的光的光拍摄、从而包含R、G以及B像素的彩色的图像。

(C)判定对象物OB的彩色图像和形状图像的生成工序(步骤S23、S24a～S24c、S25、S26)

在该生成工序中，基于多个图像IM(i)和所求出的朝向(光源向量L(i))，来生成判定对象物OB的彩色图像和形状图像。该生成工序能够划分为(1)多个R、G以及B图像的提取工序(步骤S23)、(2)R、G以及B反射图像、R、G以及B法线图像的生成工序(步骤S24a～24c)、(3)法线图像(形状图像)的生成工序(步骤S25)、(4)彩色反射图像(彩色图像)的生成工序(步骤S26)。下面详细地进行说明。

(1)从多个图像IM(i)中的多个R图像IMr(i)、G图像IMg(i)、B图像IMb(i)的提取(步骤S23)

处理器11从多个图像IM(i)中提取第一波长区域(R)下的多个第一图像(多个R图像IMr(i))、第二波长区域(G)下的多个第二图像(多个G图像IMg(i))以及第三波长区域(B)下的多个第三图像(多个B图像IMb(i))(步骤S23)。

能够通过从彩色的图像IM(i)中提取R、G以及B像素，来生成由R像素构成的R图像IMr(i)、由G像素构成的G图像IMg(i)、由B像素构成的B图像IMb(i)。

如已述的那样，在通常的光度立体法中，不考虑彩色，而从单色的灰度图像生成反照率图像(在此为反射图像)。在本实施方式中，为了将光度立体法彩色化，从图像IM(i)中提取R图像IMr(i)、G图像IMg(i)以及B图像IMb(i)并个别地进行处理。其结果，能够将光度立体法彩色化。

(2)基于多个R、G以及B图像的R、G以及B反射图像、R、G以及B法线图像的生成(步骤S24a～24c)

处理器11基于多个R图像IMr(i)(多个第一图像)，来生成从R像素来看的R反射图像(表现判定对象物OB的表面上的反射率的分布的第一反射图像)、R法线图像(表现判定对象物OB的表面上的法线方向的第一分布的第一法线图像)(步骤S24a)。

下面同样，基于多个G图像IMg(i)(多个第二图像)，来生成从G像素来看的G反射图像(表现判定对象物OB的表面上的反射率的分布的第二反射图像)、G法线图像(表现判定对象物OB的表面上的法线方向的第二分布的第二法线图像)(步骤S24b)。基于多个B图像IMb(i)(多个第三图像)，来生成从B像素来看的B反射图像(表现判定对象物OB的表面上的反射率的分布的第三反射图像)、B法线图像(表现判定对象物OB的表面上的法线方向的第三分布的第三法线图像)(步骤S24c)。

此外，也可以不将法线方向的第一分布、第二分布以及第三分布表现为R法线图像、G法线图像以及B法线图像等图像。只要示出法线方向的分布即可。

在通常的光度立体法中，图像IM(i)的特定的像素的亮度I(i)、反射率ρ、光源向量L(i)、法线向量n处于下面的式(1)那样的关系。

I(i)＝ρ(L(i)·n)…式(1)

在此，光源向量L(i)通过步骤S21来估计，亮度I(i)从图像IM(i)来求出，反射率ρ和法线向量n是未知数。因此，设为使不同的光源向量L(i)的多个式子联立得到的联立方程式，来计算反射率ρ和法线向量n。

其结果，能够对图像IM(i)的全部像素求出反射率ρ和法线向量n，来生成表现判定对象物OB上的反射率ρ的分布的反射图像(所谓的反照率图像)、表现判定对象物OB上的法线向量n的分布的形状图像(所谓的法线向量图像)。

在本实施方式中，代替式(1)而使用下面的式(2a)～(2c)，来适用于R、G以及B(第一波长区域、第二波长区域以及第三波长区域的光)。

Ir(i)＝ρr(L(i)·nr)…式(2a)

Ig(i)＝ρg(L(i)·ng)…式(2b)

Ib(i)＝ρb(L(i)·nb)…式(2c)

Ir(i)、Ig(i)、Ib(i)：在R、G以及B中的判定对象物OB上的一点处的亮度I(i)、即在R、G以及B中的图像IM(i)的像素的亮度

ρg、ρg以及ρb：在R、G以及B中的判定对象物OB上的一点处的反射率ρ

ng、ng以及nb：在R、G以及B中的判定对象物OB上的一点处的法线向量

即，能够针对R、G以及B分别基于光源向量L(i)(计算出的光源LS(i)的朝向)来计算反射率ρr、ρg以及ρb、和法线向量nr、ng以及nb。能够基于反射率ρr、ρg以及ρb，来生成与R像素对应的R反射图像、与G像素对应的G反射图像、与B像素对应的B反射图像(如后述那样，最终为彩色反射图像)。另外，能够基于法线向量nr、ng以及nb，来生成与R像素对应的R法线图像、与G像素对应的G法线图像、与B像素对应的B法线图像(如后述那样，最终为法线图像)。

(3)基于R、G以及B法线图像的平均化的法线图像(形状图像)的生成(步骤S25)

处理器11将R法线图像(第一法线图像)中的法线的分布(第一分布)、G法线图像(第二法线图像)中的法线的分布(第二分布)、B法线图像(第三法线图像)中的法线的分布(第三分布)进行平均化来生成法线图像(形状图像)(步骤S25)。即，能够通过将第一分布、第二分布以及第三分布中的法线方向进行平均化，来生成法线图像(形状图像)。

认为判定对象物OB上的法线是与判定对象物OB的形状对应的量，基本上不依赖于光的波长。因此，将R、G以及B的法线向量nr、ng以及nb汇总成一个法线向量n是合理的。具体地说，计算出接近的部位的法线向量nr、ng以及nb的平均值，来设为法线向量n。使用该法线向量n来生成表现判定对象物OB上的法线的分布的法线图像。

在此，也可以在从法线向量nr、ng以及nb中将异常值排除之后，将法线向量nr、ng以及nb进行平均化来求出法线向量n，生成法线图像。通过将异常值排除，法线向量n的精度提高。

将异常值排除能够应用后述的将异常的光源向量排除的方法。例如，将判定对象物OB上的相接近的部位处的、从所得到的多个法线向量nr、ng以及nb的平均nav偏离了规定的值(距离)以上的法线向量n作为异常而排除。也可以例如使用DBSCAN代替上述方法来将异常值排除。

在此，也可以不将法线向量nr、ng以及nb平均化，而使用法线向量nr、ng以及nb中的任一者来生成法线图像。

(4)从R、G以及B反射图像的彩色反射图像(彩色图像)的生成(步骤S26)

处理器11将R反射图像(第一反射图像)、G反射图像(第二反射图像)、B反射图像(第三反射图像)进行合成来生成彩色反射图像(步骤S26)。即，能够通过将R、G以及B的反射率ρr、ρg以及ρb设为一个像素的R、G以及B的亮度(ρr、ρg、ρb)来生成彩色反射图像。

通过以上那样，从判定对象物OB的多个图像IM(i)生成彩色反射图像和法线图像。

在上述中，在步骤S24a～24c中，对R、G以及B的全部像素的各个像素计算反射率ρ和法线向量n。该处理需要很多的计算量。通过下面所示的方法，能够减少计算量地生成彩色反射图像、法线图像。

图4是表现彩色反射图像(彩色图像)和法线图像(形状图像)的生成方法的其它例子的流程图。步骤S21、S22与图3相同，因此省略说明。

在此，处理器11将多个图像IM(i)灰度化为单色，得到灰度化后的多个图像IM(i)(步骤S31)。之后，处理器11基于灰度化后的多个图像IM(i)来生成法线图像(步骤S32)。

此时，通过使用已述的式(1)计算法线向量n，并将法线向量n进行图像化，来生成法线图像。像这样，不需要针对R、G以及B的每一个计算法线向量nr、ng以及nb，因此能够减少计算量。此外，虽然在计算法线向量n的同时，反射率ρ也会被计算出，但不需要使用该反射率ρ。

关于彩色反射图像，从与图3同样地提取出的(步骤S23)R图像、G图像、B图像来生成R反射图像、G反射图像、B反射图像(步骤S33a～S33c)。此时，代替式(2a)～(2c)而能够使用下面的式(3a)～(3c)。

Ir(i)＝ρr(L(i)·n)…式(3a)

Ig(i)＝ρg(L(i)·n)…式(3b)

Ib(i)＝ρb(L(i)·n)…式(3c)

即，能够使用在步骤S32中计算出的法线向量n来计算反射率ρr、pg以及ρb。在该情况下，由于法线向量n是已知的，因此只有反射率ρr、ρg以及ρb为未知数，能够大幅地削减计算量。

通过如以上那样使用灰度化后的多个图像IM(i)，能够减少生成彩色反射图像、法线图像时的计算量。

对光源向量的估计(步骤S21)的详细内容进行说明。图5是示出光源向量的估计工序的一例的流程图。如已述的那样，该估计工序作为求出多个光源LS(i)的各个光源的朝向的工序而发挥功能。

(1)光源的选择、拍摄(步骤S41、S42)

处理器11选择光源LS(i)(步骤S41)来对基准对象物进行多次(例如30次)拍摄(步骤S42)。获取被照射来自从多个光源LS(1)～LS(n)中依次被选择的一个光源LS(i)的光的基准对象物的多个图像。此外，在该拍摄之前，将基准对象物设置在暗室BX内。

基准对象物例如为白色的板(作为一例为纸)，通常使用法线方向(法线向量n)和反射率ρ已知的物品。如后述的那样，为了确定一个光源向量L(i)，例如以使基准对象物的朝向(法线向量n)变化的三次拍摄为一组进行。即，此处的“30次”能够针对一个光源向量L(i)进行至少10次的计算。

(2)多个光源向量的计算(步骤S43)

处理器11根据拍摄到的多个图像计算与一个光源LS(i)对应的多个光源向量L(i)(步骤S43)。求出一个光源LS(i)的朝向(光源向量L(i))的多个值。

如果基准对象物的法线向量n、反射率ρ已知，则能够使用已述的式(1)容易地计算出光源向量L(i)。但是，一个光源向量L(i)具有(x、y、z)这三个变量，因此通常是根据改变了基准对象物的朝向(法线的朝向)的三个图像来计算一个光源向量L(i)。其结果，针对一个光源LS(i)，例如能够从30个图像得到10个光源向量L(i)。

(3)异常的光源向量的排除、光源向量的平均化(步骤S44、S45)

处理器11从所得到的光源向量L(i)中将异常的光源向量L(i)排除(步骤S44)，并将剩余的光源向量进行平均化(步骤S45)。能够基于将异常的光源向量排除后剩余的光源向量，来得到光源向量L(i)的估计值Lp(i)(光源LS(i)的朝向)。从多个值(光源向量L(i))中将从该多个值(光源向量L(i))的平均值偏离了规定的值以上的值排除，并基于将偏离了规定的值以上的值排除后的多个值(多个光源向量L(i))来求出一个光源LS(i)的朝向(光源向量L(i)的估计值Lp(i))。

重复以上的过程，直到选择了全部的光源LS(i)并估计出光源向量L(i)为止(步骤S46)。

图6是表示将异常的光源向量排除的方法的一例的图。光源向量L(i)被表示为xyz坐标上的点(x、y、z)。在原点O配置判定对象物OB。

在此，光源向量L(i)被区分为正常范围R内的光源向量L1(i)、正常范围R外的(异常的)光源向量L0(i)，但均是同一光源LS(i)的光源向量L(i)，本应是一致的。但是，由于测定误差、计算误差，计算出的光源向量L(i)有可能大幅地偏离本来的值。因此，在估计光源向量L(i)的工序中，将异常的光源向量L0(i)排除，由此能够提高光源向量L(i)的估计精度。

在此，将从所得到的多个光源向量L(i)的平均Lav(i)偏离了规定的值(距离)D以上的光源向量L0(i)作为异常而排除，计算出剩余的光源向量L1(i)的平均来作为光源向量的估计值Lp(i)。

作为距离D，可以规定数值本身“0.05”等，也可以基于所得到的多个光源向量L(i)的标准偏差σ来将距离D规定为例如1σ。

在此，也可以使用其它方法、例如DBSCAN(Density-Based Spatial Clusteringof Applications with Noise：具有噪声的基于密度的聚类方法)来将异常值排除。在DBSCAN中，基于坐标的密集度来对数据进行聚类，将处于密度低的区域的点作为离群值(噪声)排除。

下面，对判定工序的详细内容进行说明，但是在此之前对模型M1进行说明。图7是示意性地表示模型M1的图。模型M1具有输入层21、中间层22、输出层23。中间层22具有多个中间层22(1)～22(n)。这些中间层22(i)例如为卷积层、池化层。

模型M1基于判定对象物OB的彩色图像和形状图像中的至少一方(下面统称为图像)，来进行与良品的相似度的输出、异常探测(在此为分数、热图的输出)、或基于图像识别的缺陷的检测(与缺陷对应的图像的识别)等。例如，基于从中间层22输出的特征量，来输出分数、热图。在此，为了易于理解，设为从输出层23输出识别、检测的结果，从中间层22输出特征量并最终输出分数、热图，但是也可以仅输出它们中的一方，还可以基于从中间层22输出的特征量来进行从输出层23的输出。

模型M1是神经网络的学习完毕的模型，被输入多个图像而生成。该模型M1能够使用下面所示的各种模型(1)～(4)来进行是否良好的判定。

(1)输出与良品的相似度的模型

作为模型M1，能够使用被映射了良品本身的神经网络的模型，来获取良品与判定对象物OB之间的相似度。作为该模型M1，能够列举一般的CNN(Convolutional NeuralNetwork：卷积神经网络)的模型。

在该情况下，在事前准备工序(步骤S11)中，通过使用判定对象物OB的良品的图像进行的深度学习，来形成映射了良品的图像的模型M1。其结果，能够基于模型M1中映射的良品的图像与被输入的判定对象物OB的图像之间的距离，来计算判定对象物OB的相似度。

当向学习完毕的模型M1输入判定对象物OB的图像时，从模型M1输出良品与判定对象物OB之间的相似度。例如，如果该相似度大于规定的阈值，则处理器11将判定对象物OB判定为良品，在相似度为规定的阈值以下时，处理器11将判定对象物OB判定为不良品。

(2)基于判定对象物OB的特征来输出异常检测的结果(分数、热图)的模型

作为模型M1，能够使用被映射了良品的判定对象物OB的特征的神经网络的模型，来获取基于判定对象物OB的(中间层22中的)特征量的异常检测的结果(分数或热图)。该模型M1基于近似的图像具有来自中间层22的特征量也相近的倾向这一情况。作为模型M1，能够列举Mahalanobis AD、SPADE、PaDiM、PatchCore以及FastFlow模型。

在该情况下，在事前准备工序(步骤S11)中，通过使用判定对象物OB的良品的图像进行的深度学习，来形成映射了良品的特征的模型M1。该模型M1作为特征量提取器而发挥功能，因此在深度学习中，不需要映射良品本身，只要提取良品的特征量即可。深度学习的结果，能够基于模型M1中映射的良品的特征与来自中间层22的判定对象物OB的特征之间的距离来进行异常检测(分数的计算、热图的形成)。

此外，可以基于来自中间层22的判定对象物OB的特征量本身来进行异常检测，但是也可以将该特征量输入到其它的模型M1来进行异常检测。作为其例，能够列举FastFlow。

当向学习完毕的模型M1输入判定对象物OB的图像时，基于来自中间层22的判定对象物OB的特征量，输出分数和热图中的至少一方。分数例如是图像整体的分数，作为一例，是表示从良品的特征来看的异常的程度的异常分数。热图是将判定对象物OB的部位以分数的程度进行区分得到的。此外，热图大多在异常探测的判定过程中被利用，不限于作为最终的异常检测的结果来被输出。

处理器11基于获取到的分数或热图，来判定判定对象物OB的是否良好。处理器11例如在该分数(异常分数)小于规定的阈值时将判定对象物OB判定为良品，在分数为规定的阈值以上时将判定对象物OB判定为不良品。在使用热图的情况下，处理器11例如在分数为固定值以上的分数的面积(或像素数)小于规定的阈值时将判定对象物OB判定为良品，在分数为固定值以上的分数的面积为规定的阈值以上时将判定对象物OB判定为不良品。

Mahalanobis AD将来自中间层22的特征量处理为多变量正态分布，并针对每个中间层22(i)计算出马氏距离并进行合计，作为一个距离(分数)来输出。

SPADE、PaDiM以及PatchCore基于来自中间层22的特征量来形成热图。其中，SPADE以像素为单位对来自中间层22的特征量进行处理，并以kNN距离进行比较来形成热图。PaDiM以像素为单位对来自中间层22的特征量进行处理，并以均值和协方差进行比较来形成热图。PatchCore对来自中间层22的特征量进行分选，基于最邻近的值来形成热图。

FastFlow也是从中间层22获取特征量，基于该特征量输出异常探测的结果(例如分数、热图)。更具体地说，使用CNN系统或Transformer系统的模型作为模型M1来形成热图。但是，在Mahalanobis AD、SPADE、PaDiM、PatchCore中，不需要迁移学习，与此相对，在FastFlow中需要迁移学习。

(3)基于图像识别来输出缺陷的检测结果的模型

作为模型M1，能够使用对判定对象物OB的缺陷进行检测的图像识别用的模型。作为该模型M1，能够列举YOLO(You Only Look Once)、语义分割、实例分割模型。

在该情况下，在事前准备工序(步骤S11)中，通过使用应在判定对象物OB中进行检测的缺陷(例如缺口、异物)的图像进行的深度学习，来形成能够检测缺陷及其类别的模型M1。

当向模型M1输入判定对象物OB的图像时，输出从图像中检测出的缺陷(例如异物、缺口)的类别。此时，根据情况的不同，也会同时输出缺陷的部位(区域)。例如，如果未检测到缺陷，则处理器11将判定对象物OB判定为良品，如果检测到缺陷，则处理器11将判定对象物OB判定为不良品。在输出缺陷的(区域)的情况下，处理器11也可以在缺陷区域的面积小于规定的阈值时将判定对象物OB判定为良品，在缺陷区域的面积为规定的阈值以上时将判定对象物OB判定为不良品。

(4)模型的并用

以上，使用相似度输出用、异常检测(分数、热图)用、图像识别用的模型M1中的任一种模型M1来判定是否良好。也可以将多个模型M1进行组合来判定是否良好。例如，能够将相似度和异常检测中的任一者与图像识别进行组合。由此，能够提高判定的精度。

输出相似度或异常检测的结果的模型M1(作为一例为一般的CNN或PatchCore)基本上通过基于良品的图像的学习来形成。因此，将包含色味(日语：色味)与良品的色味不同的缺陷(例如，灰色表面(日语：灰色地)的铸件上的黑色的螺钉、白色的纸片)的判定对象物OB判定为不良品是容易的。但是，不容易将包含色味与良品的色味接近的缺陷(例如，灰色表面的铸件的一部分处的灰色的缺口)的判定对象物OB判定为不良品。

因此，能够通过将相似度输出用或异常检测用的模型M1与图像识别用的模型M1组合，来提高判定的精度。例如，能够进行基于图像识别的是否良好的判定，仅针对未被检测出缺陷的判定对象物OB来基于特征量判定是否良好。

在上述的实施方式中，也可以将彩色反射图像和法线图像中的一方或双方进行分割，针对判定对象物OB的每个部分判定是否良好。例如，将彩色反射图像和法线图像分割成4个，使用共8个图像来判定是否良好。此外，分割的数量不限于4个，也可以多于4个，还可以少于4个。例如，处理器11也可以将反照率图像和法线向量图像进行6分割或9分割。

通过将图像进行分割来针对判定对象物OB每个部位判定是否良好，能够提高判定对象物OB的是否良好的判定精度。在此，例如，可以在判定对象物OB的被分割后的全部图像被判定为良品的情况下，将判定对象物OB判定为良品，在判定对象物OB的被分割后的图像中的任意图像被判定为不良品的情况下，将判定对象物OB判定为不良品。

在上述的实施方式中，也可以对彩色反射图像和法线图像中的一方或双方进行掩模处理。例如，用预先准备的掩模图像将彩色反射图像和法线图像的无需判定区域(例如背景区域)填充满。通过这样，能够提高判定的精度。该掩模处理也可以针对分割后的彩色反射图像和法线图像进行。

学习用的图像的收集需要很多的图像，因此不一定是容易的。因此，也可以通过对拍摄到的良品的图像进行处理来使图像增加。

下面，对本发明的实施例进行说明。在此，将判定对象物OB设为铸件，由外观判定装置10对外观进行了判定。由摄影部MP对铸件的良品和不良品进行拍摄来获取多个图像IM，并生成了图像(在此为彩色反射图像)。此外，通过图5所示的工序，估计出了光源LS(i)的光源向量L(i)。另外，将被放置了异物(螺钉、纸片)的铸件设为了不良品。

将所生成的图像输入到图像识别用的模型M1(语义/实例分割、YOLO模型)、异常检测用的模型M1(Mahalanobis AD和PatchCore)，来判定了外观的是否良好。此外，虽然使用语义分割和实例分割双方来判定了外观的是否良好，但是这两种方式的结果是相同的，因此将它们汇总记载为“语义/实例分割”。

图像检测用的模型M1通过基于铸件的缺陷(螺钉等异物、缺口)的图像的事前学习，已能够检测缺陷。异常检测用的模型M1通过基于良品的图像的事前学习，已能够输出分数或热图。

图8是表示外观判定结果的例子的图。图像A1、A2、A3是判定对象物OB的彩色图像，依次表示良品、包含异物(螺钉)的不良品、包含缺口的不良品。图像B1～B3分别表示通过语义/实例分割对图像A1、A2、A3进行判定所得到的结果。同样，图像C1～C3、图像D1～D3以及图像E1～E3分别表示通过YOLO、Mahalanobis AD以及PatchCore对图像A1～A3进行判定所得到的结果。

如图像B1～B3和图像C1～C3所示，在进行图像识别的语义/实例分割和YOLO中，将包含异物的图像A2、包含缺口的图像A3识别为了“异物”、“缺口”，并且，在YOLO中，将“异物”、“缺口”的部位用方形的框(边界框)进行了确定。即，知道了语义/实例分割和YOLO能够判定铸件的是否良好。

如图像D1～D3所示，Mahalanobis AD能够通过分数的大小而判别出了良品和不良品。即，能够将Mahalanobis AD输出的分数与阈值(例如120)进行比较，在分数大于阈值的情况下判定为不良品。

如图像E1～E3所示，PatchCore通过热图来判别良品和不良品。关于图像A2，能够从热图中判定为了异常，但是关于图像A3，由于缺口与该缺口以外的部位的色味接近，因此没有实现异常的检测。

如图像A1～E1所示，良品的判定对象物OB全部被判定为了良品。关于良品100分进行了外观判定，结果全部被判定为了良品。

如已述的那样，在Mahalanobis AD中，能够将图像A2(包含异物的不良品)、图像A3(包含缺口的不良品)双方判定为了不良品。另一方面，在PatchCore中，能够将图像A2判定为了不良，但是未能将图像A3判定为了不良。考虑是因为图像A3的“缺口”与铸件本身的色味接近。

但是，知道，即使在这样的情况下，也能够通过将PatchCore与图像识别用的语义/实例分割或YOLO并用，来提高是否良好判定的精度。例如，通过PatchCore来对通过语义/实例分割或YOLO未检测出缺陷的判定对象物OB判定是否良好。

在以上的实施例中，使用彩色反射图像来对外观进行判定。相对于此，也可以使用法线图像、或者彩色反射图像和法线图像双方来对外观进行判定。

图9是表示外观判定结果的其它例子的图，表示使用彩色反射图像和法线图像双方得到的外观判定结果的例子。图9的图像Q1、Q2、Q3是判定对象物OB(铸件)的彩色反射图像，依次表示良品、包含异物的不良品、包含缺口的不良品。在此，图像Q2表示在铸件附着有与铸件的表面接近的颜色的异物的状态。图像R1、R2、R3分别是与图像Q1、Q2、Q3对应的、判定对象物OB(铸件)的法线图像。图像S1、S2、S3分别表示通过PatchCore对图像R1、R2、R3进行判定所得到的结果(热图)。在此，箭头F指示不良部位(异物、缺口)。

如已述的那样，在不良部位(例如异物、缺口)与非不良部位在色彩上的差异小(色味接近)的情况下，使用彩色反射图像难以检测出异常。在此，在图像Q2、Q3(彩色反射图像)中，不良部位(异物、缺口)在图像上有些不明确，难以被检测出。与此相对，在图像R2、R3(法线图像)中，不良部位被作为凸部(异物的附着)、凹部(缺口)而明确化。其结果，在图像S2、S3中，能够通过热图检测出了不良部位。

像这样，能够使用法线图像来对判定对象物OB的外观进行判定。由于法线图像表现判定对象物OB的凹凸的信息，因此即使不良部位和非不良部位处的色味接近，也能够作为凹凸而检测出不良部位。另外，当使用彩色反射图像和法线图像双方时，能够更可靠地检测不良部位。

如以上所示的那样，在本实施方式中，基于判定对象物OB的彩色反射图像、法线图像中的至少一方来判定判定对象物OB的是否良好。

本发明并不限定于上述的各实施方式，能够在权利要求所示的范围内进行各种变更，将在不同的实施方式中分别公开的技术手段适当地组合所得到的实施方式也包括在本发明的技术范围内。