掌桥专利:专业的专利平台
掌桥专利
首页

识别系统、识别方法、程序、学习方法、学习完毕模型、蒸馏模型及学习用数据集生成方法

文献发布时间:2024-01-17 01:15:20


识别系统、识别方法、程序、学习方法、学习完毕模型、蒸馏模型及学习用数据集生成方法

技术领域

本公开一般涉及识别系统、识别方法、程序(计算机程序)、学习方法、学习完毕模型、蒸馏模型及学习用数据集生成方法。本公开特别涉及与显现于图像的对象物相关的识别系统、识别方法、程序(计算机程序)、学习方法、学习完毕模型、蒸馏模型及学习用数据集生成方法。

背景技术

非专利文献1公开了使用了深度学习的面部识别的技术。在非专利文献1中公开了,为了降低在面部识别中使用的图像的分辨率低的影响,利用从低分辨率的图像生成高分辨率的图像的生成网络(超分辨率网络),并基于通过超分辨率网络获得的高分辨率的图像执行面部识别。

现有技术文献

非专利文献

非专利文献1:Bayram Bayramli,另外三人,“FH-GAN:Face Hallucination andRecognition using Generative Adversarial”,[online],2019年5月16日,[2020年9月3日检索],Cornell University,互联网<URL:https://arxiv.org/abs/1905.06537>

发明内容

发明所要解决的技术问题

本公开提供能够实现提高识别对象物的精度的识别系统、识别方法、程序、学习方法、学习完毕模型、蒸馏模型及学习用数据集生成方法。

用于解决技术问题的方案

本公开的一方面的识别系统具备存储学习完毕模型的存储装置和能够访问存储装置的运算电路。学习完毕模型包括第一模型部和第二模型部。第一模型部是进行了如下的学习的模型:针对第一分辨率图像的输入,输出第二分辨率图像和差分图像。第一分辨率图像是以第一分辨率显现对象物的图像。第二分辨率图像相当于将第一分辨率图像转换为比第一分辨率高的第二分辨率而得的图像。差分图像是相当于第一分辨率图像与第二分辨率图像的差分的图像。第二模型部是进行了如下的学习的模型:针对第二分辨率图像和差分图像的输入,输出对象物的特征量。运算电路执行:获取处理,将第一分辨率图像获取为对象图像;以及推论处理,将在获取处理中获取的对象图像给到学习完毕模型以使学习完毕模型计算显现于对象图像的对象物的特征量。

本公开的一方面的识别方法是通过能够访问存储学习完毕模型的存储装置的运算电路执行的识别方法。学习完毕模型包括第一模型部和第二模型部。第一模型部是进行了如下的学习的模型:针对第一分辨率图像的输入,输出第二分辨率图像和差分图像。第一分辨率图像是以第一分辨率显现对象物的图像。第二分辨率图像相当于将第一分辨率图像转换为比第一分辨率高的第二分辨率而得的图像。差分图像是相当于第一分辨率图像与第二分辨率图像的差分的图像。第二模型部进行了如下的学习的模型:针对第二分辨率图像和差分图像的输入,输出对象物的特征量。识别方法包括:获取处理,将第一分辨率图像获取为对象图像;以及推论处理,将在获取处理中接收的对象图像给到学习完毕模型,以使学习完毕模型计算显现于对象图像的对象物的特征量。

本公开的一方面的程序是用于使运算电路执行识别方法的程序。

本公开的一方面的学习方法包括准备模型的准备步骤和使用在准备步骤中准备的模型执行机器学习的学习步骤。模型包括第一模型部、第二模型部以及第三模型部。第一模型部是用于针对第一分辨率图像的输入,输出第二分辨率图像和差分图像的模型。第一分辨率图像是以第一分辨率显现对象物的图像。第二分辨率图像相当于将第一分辨率图像转换为比第一分辨率高的第二分辨率而得的图像。差分图像是相当于第一分辨率图像与第二分辨率图像的差分的图像。第二模型部是用于针对来自第一模型部的第二分辨率图像和差分图像的输入,输出对象物的特征量的模型。第三模型部是用于针对来自第二模型部的对象物的特征量的输入,输出对象物的识别的结果的模型。学习步骤包括通过使用以第一分辨率图像为输入、以显现于第一分辨率图像的对象物的识别的结果为正确答案的学习用数据集的机器学习使模型学习第一分辨率图像与显现于第一分辨率图像的对象物的特征量的关系。

本公开的一方面的学习完毕模型包括第一模型部和第二模型部。第一模型部是进行了如下的学习的模型:针对第一分辨率图像的输入,输出第二分辨率图像和差分图像。第一分辨率图像是以第一分辨率显现对象物的图像。第二分辨率图像相当于将第一分辨率图像转换为比第一分辨率高的第二分辨率而得的图像。差分图像是相当于第一分辨率图像与第二分辨率图像的差分的图像。第二模型部是进行了如下的学习的模型:针对第二分辨率图像和差分图像的输入,输出对象物的特征量。

本公开的一方面的蒸馏模型通过学习完毕模型的蒸馏生成。

本公开的一方面的识别系统具备存储蒸馏模型的存储装置和能够访问存储装置的运算电路。运算电路执行获取处理和推论处理。获取处理是将第一分辨率图像获取为对象图像的处理。推论处理是将在获取处理中获取的对象图像给到蒸馏模型以使蒸馏模型计算显现于对象图像的对象物的特征量的处理。

本公开的一方面的学习用数据集生成方法包括第一步骤、第二步骤、第三步骤以及第四步骤。第一步骤是获取显现对象物的基准图像的步骤。第二步骤是将基准图像转换为分辨率比基准图像低的低分辨率图像的步骤。第三步骤是生成相当于基准图像与低分辨率图像的差分的差分图像的步骤。第四步骤是生成以低分辨率图像为输入、以基准图像和差分图像为正确答案的学习用数据集的步骤。

发明的效果

根据本公开的方面,起到能够实现提高识别对象物的精度的效果。

附图说明

图1为一实施方式的识别系统的框图。

图2为使用在识别系统中执行的学习完毕模型的识别方法的说明图。

图3为识别方法的流程图。

图4为用于生成在识别系统中使用的学习完毕模型的学习方法的流程图。

图5为学习方法的说明图。

图6为执行学习方法的学习系统的框图。

具体实施方式

(1)实施方式

(1-1)概要

图1示出了一实施方式的识别系统10。识别系统10为用于进行识别对象物100的系统。特别地,识别系统10用于从摄像系统200获取显现对象物100的图像的数据,并将显现于图像的对象物100的识别的结果提供给控制系统300,并通过控制系统300执行与识别的结果对应的动作。

对象物100是作为识别系统10识别的对象的能够视觉识别的物体。对象物100在本实施方式中设想为人。对象物100不限于人,也可以是人以外的动物等生物。对象物100不限于生物,也可以是无生物。作为无生物的例子,可以举出包括两轮车、汽车、船舶、航空器等交通工具、无人机等的移动物体。对象物100不限于物体的整体,也可以是物体的一部分。

摄像系统200是用于生成显现对象物100的图像的数据的系统。在本实施方式中,“显现对象物100”指的是显现对象物100的至少一部分,而不是其全部。例如,在对象物100是人的情况下,可以说显现人的面部的图像是显现对象物100的图像。摄像系统200能够通信地连接到识别系统10,并能够将显现对象物100的图像的数据提供给识别系统10。摄像系统200包括一台以上的照相机(数字照相机)。

控制系统300是拥有执行与对象物100的识别的结果对应的动作的功能的系统。在一例中,控制系统300能够在对工厂、店铺、建筑物(建筑物整体、楼层内)等设施的门的控制中利用。如果对象物100的识别的结果是对象物100为允许通行门的人的话,那么控制系统300能够解除对门的上锁。在另外的例子中,控制系统300能够在对机器人的动作(行动)的控制中利用。控制系统300能够根据对象物100的识别的结果决定机器人的动作。控制系统300能够通信地连接到识别系统10,并能够从识别系统10接收对象物100的识别的结果。控制系统300包括计算机系统,所述计算机系统包括一个以上的存储器和一个以上的处理器等。

如图1所示,识别系统10具备存储学习完毕模型M10的存储装置12和能够访问存储装置12的运算电路13。如图2所示,学习完毕模型M10包括第一模型部M11和第二模型部M12。第一模型部M11是进行了如下的学习的模型:针对以第一分辨率显现对象物100的第一分辨率图像P10的输入,输出相当于将第一分辨率图像P10转换为比第一分辨率高的第二分辨率而获得的图像的第二分辨率图像P20和差分图像P30。差分图像P30是相当于第一分辨率图像P10与第二分辨率图像P20的差分的图像。第二模型部M12是进行了如下的学习的模型:针对来自第一模型部M11的第二分辨率图像P20和差分图像P30的输入,输出对象物100的特征量F11。如图3所示,运算电路13执行:获取处理S11,将第一分辨率图像P10获取为对象图像;以及推论处理S12,将在获取处理S11中获取的对象图像给到学习完毕模型M10,以使学习完毕模型M10计算显现于对象图像的对象物100的特征量F11。

这样,识别系统10在从显现对象物100的第一分辨率图像P10提取对象物100的特征量F11时,在利用分辨率比第一分辨率图像P10高的第二分辨率图像P20的同时利用差分图像P30。第二分辨率图像P20因分辨率比第一分辨率图像P10高,所以可以将其称为在比第一分辨率图像P10更近处拍摄与第一分辨率图像P10相同的对象物100而得的图像。根据经验,显然在近处拍摄对象物100而得的图像一方可以期待提高对象物100的识别的精度。考虑到这一点,认为因与对象物100的距离增大而损失的信息对对象物100的识别的精度影响大。例如,在第一分辨率图像P10和第二分辨率图像P20是人的面部的图像的情况下,因与对象物100的距离增大而损失的信息可举出与面部的眼睛、鼻子、嘴等相关的详细信息。在另一方面,认为面部的轮廓等信息保持在了第一分辨率图像P10与第二分辨率图像P20之间。差分图像P30因为是相当于第一分辨率图像P10与第二分辨率图像P20的差分的图像,所以可以说其表现了通过与对象物100的距离增大而从第二分辨率图像P20损失的信息。识别系统10利用的学习完毕模型M10将差分图像P30和第二高分辨率图像P20一起利用,以从显现对象物100的第一分辨率图像P10提取对象物100的特征量F11。因此,根据识别系统10能够实现提高识别对象物100的精度。

(1-2)详细内容

(1-2-1)识别系统

下面对识别系统10进行详细说明。如图1所示,识别系统10具备接口11、存储装置12以及运算电路13。在本实施方式中,识别系统10通过一台服务器实现。

接口11在对识别系统10的信息的输入和从识别系统10输出信息中利用。接口11包括输入输出装置111和通信装置112。输入输出装置111具有作为用于从用户输入信息的输入装置和作为用于向用户输出信息的输出装置的功能。输入输出装置111具备一个以上的人机接口。作为人机接口的例子,可举出键盘、指点设备(鼠标、轨迹球等)、触摸板等输入装置、显示器、扬声器等输出装置、触摸面板等输入输出装置。通信装置112与外部装置或系统能够通信地连接。在本实施方式中,通信装置112用于通过通信网络的与摄像系统200和控制系统300的通信。通信装置112具备一个以上的通信接口。通信装置112能够连接到通信网络,并具有进行通过通信网络的通信的功能。通信装置112依据预定的通信协议。预定的通信协议可以从公知的各种有线和无线通信规格选择。

存储装置12用于存储运算电路13利用的信息和通过运算电路13生成的信息。存储装置12包括一个以上的储存器(非临时存储介质)。储存器例如也可以是硬盘驱动器、光盘驱动器及固态驱动器(SSD)中的任一种。另外,储存器可以是内置型、外接型及NAS(network-attached storage:网络附属存储)型中的任一种。

存储于存储装置12的信息包括学习完毕模型M10和数据库D10。在图1中,示出了存储装置12存储有学习完毕模型M10和数据库D10的全部的状态。学习完毕模型M10和数据库D10不需要一直存储于存储装置12,只要当在运算电路13中需要之时存储于存储装置12即可。

学习完毕模型M10在识别系统10中用于对象物100的识别。如图2所示,学习完毕模型M10进行了如下的学习:针对第一分辨率图像P10的输入,输出显现于第一分辨率图像P10的对象物100的特征量F11。学习完毕模型M10包括第一模型部M11和第二模型部M12。

第一模型部M11是进行了如下的学习的模型(学习完毕模型):针对第一分辨率图像P10的输入,输出第二分辨率图像P20和差分图像P30。第一分辨率图像P10是以第一分辨率显现对象物100的图像。在本实施方式中,对象物100是人。将第一分辨率图像P10设想为显现对象物100的一部分特征部分而非全部特征部分的图像。特征部分是能够对对象物100的识别有贡献的部分,在本实施方式中,设想为对象物100的面部。第二分辨率图像P20相当于将第一分辨率图像P10转换为比第一分辨率高的第二分辨率而得的图像。这与获取第二分辨率图像P20的方法没有关系,而是意指第二分辨率图像P20与将第一分辨率图像P10转换为比第一分辨率高的第二分辨率而得的图像内容相同或实质上相同。若进一步地另行表现的话,可以说,第二分辨率图像P20虽然是以与第一分辨率图像P10相同的构图来显现对象物100的图像,但是其是分辨率比第一分辨率图像P10高的图像。也就是说,第二分辨率图像P20虽然对象物100是与第一分辨率图像P10相同的构图,但是是以比第一分辨率高的第二分辨率显现的图像。换言之,第一分辨率图像P10相当于将第二分辨率图像P20转换为比第二分辨率低的第一分辨率而得的图像。这与获取第一分辨率图像P10的方法没有关系,意指第一分辨率图像P10与将第二分辨率图像P20转换为比第二分辨率低的第一分辨率而得的图像内容相同或实质上相同。若进一步地另行表现的话,可以说,第一分辨率图像P10虽然是以与第二分辨率图像P20相同的构图显现对象物100的图像,但是其是分辨率比第二分辨率图像P20低的图像。也就是说,第一分辨率图像P10虽然对象物100是与第二分辨率图像P20相同的构图,但是是以比第二分辨率低的第一分辨率显现的图像。在第一分辨率图像P10与第二分辨率图像P20的关系中,第一分辨率图像P10是对象物100的低分辨率图像,第二分辨率图像P20是对象物100的高分辨率图像。例如,第一分辨率是22×26像素,第二分辨率是112×96像素。差分图像P30是相当于第一分辨率图像P10与第二分辨率图像P20的差分的图像。第一分辨率图像P10和第二分辨率图像P20虽然对象物100是相同的构图,但是是以不同的分辨率显现的图像。所以,可以说,差分图像P30是示出由第一分辨率图像P10与第二分辨率图像P20的分辨率之差引起的对象物100的外观之差的图像。可以将分辨率之差认为是到对象物100的距离之差。所以,可以说,差分图像P30表现了通过与对象物100的距离增大在第一分辨率图像P10中从第二分辨率图像P20损失的信息。关于第一模型部M11,详细内容后面叙述,使用具有神经网络的构造的模型从通过执行使用了学习用数据集的机器学习(监督学习)生成的学习完毕模型获得所述第一模型部M11,所述学习用数据集以第一分辨率图像P10为输入,以第二分辨率图像P20和差分图像P30为正确答案。在本实施方式中,第一模型部M11因为输出分辨率比第一分辨率图像P10高的第二分辨率图像P20,所以也可以说是超分辨率网络。

第二模型部M12是进行了如下的学习的模型(学习完毕模型):针对第二分辨率图像P20和差分图像P30的输入,输出对象物100的特征量F11。对象物100的特征量F11是在运算电路13中在识别(辨识)对象物100中利用的信息。特征量F11例如通过n维度的矢量来表现(n为任意的整数)。关于第二模型部M12,详细内容后面叙述,使用具有神经网络的构造的模型从通过执行使用了学习用数据集的机器学习(监督学习)生成的学习完毕模型获得所述第二模型部M12,所述学习用数据集以第二分辨率图像P20和差分图像P30为输入,以对象物100的识别的结果为正确答案。在本实施方式中,因为第一分辨率图像P10和第二分辨率图像P200是显现对象物100的面部的图像,所以也可以说,第二模型部M12是面部识别网络。

在学习完毕模型M10中,第一模型部M11的输出连接到第二模型部M12的输入。所以,针对第一分辨率图像P10的输入,从第一模型部M11输出的第二分辨率图像P20和差分图像P30被输入到第二模型部M12,而从第二模型部M12输出特征量F11。

上面叙述的学习完毕模型M10由后述的学习系统20生成。关于学习完毕模型M10的生成方法(学习方法),在后述的“(1-2-2)学习方法”中详细说明。

数据库D10是与在识别系统10中识别(辨识)的对象物100相关的数据库。数据库针对每个在识别系统10中识别的对象物100,包括对象物100的辨识信息与对照用的特征量F12的对应关系。辨识信息包括赋予对象物100的辨识编号。对照用的特征量F12在与通过学习完毕模型M10获得的特征量F11的对照中利用。在本实施方式中,对象物100是人,数据库D10例如在人物A的情况下,辨识信息是人物A的辨识信息,特征量F12与通过学习完毕模型M10从显现人物A的图像获得的特征量F11对应。特征量F12例如是与特征量F11相同维度的矢量。

运算电路13是控制识别系统10的动作的电路。运算电路13连接到接口11,能够访问存储装置12(也就是说,能够访问学习完毕模型M10和数据库D10)。运算电路13例如能够通过包括一个以上的处理器(微处理器)和一个以上的存储器的计算机系统来实现。通过一个以上的处理器执行(存储于一个以上的存储器或存储装置12的)程序来实现作为运算电路13的功能。程序在此预先记录于存储装置12,但是也可以通过互联网等电信电路或记录于存储卡等非临时记录介质提供。

运算电路13构成为执行获取处理S11、推论处理S12以及输出处理S13(参照图3)。

获取处理S11是将第一分辨率图像P10获取为对象图像的处理。在本实施方式中,获取处理S11将第一分辨率图像P10间接地获取为对象图像。识别系统10通过接口11连接到摄像系统200。获取处理S11从通过接口11从摄像系统200获得的图像提取第一分辨率图像P10以获取为对象图像。具体地,在获取处理S11中,从来自摄像系统200的图像将显现对象物100的区域提取为对象图像(第一分辨率图像P10)。在本实施方式中,因为第一分辨率图像P10是对象物100的面部的图像,所以在获取处理S11中,从来自摄像系统200的图像提取对象物100的面部的图像。在获取处理S11中也能够将第一分辨率图像P10直接地获取为对象图像。例如,如果从摄像系统200通过接口11将第一分辨率图像P10给到了识别系统10,那么在获取处理S11中,能够将给到的第一分辨率图像P10保持原样地获取为对象图像。

推论处理S12是将在获取处理S11中获取的对象图像给到学习完毕模型M10,以使学习完毕模型M10计算显现于对象图像的对象物100的特征量F11的处理。特别是,在本实施方式中,推论处理S12包括基于显现于对象图像的对象物100的特征量F11进行对象物100的识别。进一步详细而言,在推论处理S12中,通过将显现于对象图像的对象物100的特征量F11与存储装置12的数据库D10的特征量F12进行比较,来求出特征量F11与特征量F12的一致性(相似性),并基于相似性进行显现于对象图像的对象物100的识别。在本实施方式中,因为特征量F11和特征量F12是n维度的矢量,所以特征量F11与特征量F12的一致性能够通过余弦相似度或欧几里得距离等来评价。作为一例,推论处理S12将与多个特征量F12中的与特征量F11的一致性最高并且一致性为阈值以上的特征量F12关联的对象物100识别为显现于对象图像的对象物100。

输出处理S13是输出推论处理S12的结果的处理。在本实施方式中,推论处理S12的结果包括显现于对象图像的对象物100的识别结果R21。识别系统10通过接口11的通信装置连接到控制系统300。在输出处理S13中,通过接口11向控制系统300输出推论处理S12的结果。另外,在输出处理S13中,通过接口11的输入输出装置能够将推论处理S12的结果向用户输出。例如,在输出处理S13中,通过接口11的输入输出装置能够展示用于输出推论处理S12的结果的画面。

如上文所叙述的,识别系统10具备存储学习完毕模型M10的存储装置12和能够访问存储装置12的运算电路13。学习完毕模型M10包括第一模型部M11和第二模型部M12。第一模型部M11是进行了如下的学习的模型:针对以第一分辨率显现对象物100的第一分辨率图像P10的输入,输出相当于将第一分辨率图像P10转换为比第一分辨率高的第二分辨率而得的图像的第二分辨率图像P20和差分图像P30。差分图像P30是相当于第一分辨率图像P10与第二分辨率图像P20的差分的图像。第二模型部M12是进行了如下的学习的模型:针对来自第一模型部M11的第二分辨率图像P20和差分图像P30的输入,输出对象物100的特征量F11。如图3所示,运算电路13执行:获取处理S11,将第一分辨率图像P10获取为对象图像;以及推论处理S12,将在获取处理S11中获取的对象图像给到学习完毕模型M10,以使学习完毕模型M10计算显现于对象图像的对象物100的特征量F11。根据该识别系统10能够实现提高识别对象物100的精度。

换言之,可以说,识别系统10执行下面的方法(识别方法)。识别方法通过能够访问存储装置12的运算电路13执行,并包括获取处理S11和推论处理S12。根据这样的识别方法,能够与识别系统10同样地实现提高识别对象物100的精度。

识别系统10利用运算电路13来实现。也就是说,识别系统10执行的方法(识别方法)能够通过运算电路13执行程序来实现。该程序是用于使运算电路13执行上述识别方法的计算机程序根据这样的程序,能够与识别系统10同样地实现提高识别对象物100的精度。

在识别系统10中使用的学习完毕模型M10包括第一模型部M11和第二模型部M12。第一模型部M11是进行了如下的学习的模型:针对以第一分辨率显现对象物100的第一分辨率图像P10的输入,输出相当于将第一分辨率图像P10转换为比第一分辨率高的第二分辨率而得的图像的第二分辨率图像P20和差分图像P30。差分图像P30是相当于第一分辨率图像P10与第二分辨率图像P20的差分的图像。第二模型部M12是进行了如下的学习的模型:针对来自第一模型部M11的第二分辨率图像P20和差分图像P30的输入,输出对象物100的特征量F11。根据该学习完毕模型M10,能够实现提高识别对象物100的精度。

(1-2-2)学习方法

接下来,对用于生成在识别系统10中使用的学习完毕模型M10的学习方法进行说明。如图4所示,学习方法包括准备处理S21和学习处理S22。

准备处理S21是准备图5所示的那样的模型M20的处理。模型M20用于生成学习完毕模型M10。模型M20包括第一模型部M21、第二模型部M22、第三模型部M23以及第四模型部M24。

第一模型部M21是用于针对以第一分辨率显现对象物100的第一分辨率图像P10的输入,输出相当于将第一分辨率图像P10转换为比第一分辨率高的第二分辨率而得的图像的第二分辨率图像P20和相当于第一分辨率图像P10与第二分辨率图像P20的差分的差分图像P30的模型。第一模型部M21具有神经网络的构造,而在本实施方式中,具有卷积神经网络(CNN)的构造。卷积神经网络在输入层与输出层之间具有适宜数量的卷积层、池化层、激活函数、全结合层等。特别是,第一模型部M21具有用于生成诸如学习完毕模型M10的第一模型部M11那样的超分辨率网络的构造。例如,作为第一模型部M21的构造,能够利用参考文献(Christian Ledig,另外十人,“Photo-Realistic Single Image Super-ResolutionUsing a Generative Adversarial Network”,[online],2016年9月15日,[2020年9月7日检索],Cornell University,互联网<URL:https://arxiv.org/abs/1609.04802>)的图4中展示的生成网络的构造。

第二模型部M22是用于针对来自第一模型部M21的第二分辨率图像P20和差分图像P30的输入,输出对象物100的特征量F11的模型。第二模型部M22具有神经网络的构造,而在本实施方式中,具有卷积神经网络(CNN)的构造。特别是,第二模型部M22具有用于生成诸如学习完毕模型M10的第二模型部M12那样的面部识别网络的构造。例如,作为第二模型部M22的构造,能够利用非专利文献1中例示的面部识别网络的构造。在本实施方式中,第二分辨率图像P20输入到第二模型部M22的输入层,而差分图像P30不输入到第二模型部M22的输入层。差分图像P30通过与第二模型部M22的输入层不同的卷积层等转换为参数,以在第二模型部M22中使用。关于参数,例如可举出用于以固有的比例和偏移对输入到输入层的图像的标准化的数据进行转换的参数(批量正常化中使用的γ、β)。例如,在参考文献(TaesungPark,另外三人,“Semantic Image Synthesis with Spatially-AdaptiveNormalization”,[online],2019年3月18日,[2020年9月7日检索],Cornell University,互联网<URL:https://arxiv.org/abs/1903.07291)中公开了将通过在卷积层中卷积分段掩膜而获得的张量作为批量正常化的参数γ、β来利用。

第三模型部M23是用于针对来自第二模型部M22的对象物100的特征量F11的输入,输出对象物100的识别的结果(识别结果)R21的模型。第三模型部M23是辨识器,例如能够使用K近邻法(KNN)、支持向量机(SVM)等算法。

第四模型部M24是用于针对第二分辨率图像P20的输入,输出第二分辨率图像P20是否为通过第一模型部M21生成的图像的判定的结果(判定结果)R22的模型。第四模型部M24具有神经网络的构造,而在本实施方式中,具有卷积神经网络(CNN)的构造。第四模型部M24具有用于生成辨识网络的构造。第四模型部M24用于与第一模型部M21一起构成对抗生成网络(GAN)。作为第四模型部M24的构造,能够利用上述参考文献的图4中展示的辨识网络的构造。

如图4所示,准备处理S21包括生成步骤S210和事前学习步骤S211。

生成步骤S210是生成学习用数据集(第一学习用数据集)D21的步骤。第一学习用数据集D21是以第一分辨率图像P10为输入、以第二分辨率图像P20和差分图像P30为正确答案的学习用数据集。也就是说,生成步骤S210是用于生成学习用数据集D21的学习用数据集生成方法。

如图4所示,生成步骤S210包括第一步骤S210a、第二步骤S210b、第三步骤S210c以及第四步骤S210d。

第一步骤S210a是获取显现对象物100的基准图像的步骤。基准图像是以第二分辨率显现对象物100的图像。也就是说,也可以说,第一步骤S210a是获取第二分辨率图像P20的步骤。但是,基准图像不是将第一分辨率图像P10转换为比第一分辨率高的第二分辨率而得的图像,而是设想为以第二分辨率对对象物100摄像而得的图像或从以比第二分辨率高的第三分辨率对对象物100摄像而得的图像将第三分辨率转换为第二分辨率而得的图像。在下文中,根据需要,将通过学习完毕模型M10的第一模型部M11获得的第二分辨率图像P20用附图标记P21来表示。将在第一步骤210a中获取的第二分辨率图像P20用附图标记P22来表示。将通过模型M20的第一模型部M21获得的第二分辨率图像P20用附图标记P23来表示。

第二步骤S210b是将基准图像(第二分辨率图像P22)转换为分辨率比基准图像低的低分辨率图像的步骤。在本实施方式中,基准图像被转换为比第二分辨率低的第一分辨率的低分辨率图像。也就是说,也可以说,第二步骤S210b是将在第一步骤S210a中获取的第二分辨率图像P22转换为第一分辨率的图像以生成第一分辨率图像P10的步骤。在此,低分辨率图像不是从以第一分辨率对对象物100摄像而得的图像或以比第一分辨率低的第四分辨率对对象物100摄像而得的图像将第四分辨率转换为第一分辨率而得的图像,而是设想为将第二分辨率图像P22转换为比第二分辨率低的第一分辨率而得的图像。在下文中,为了对作为从第二分辨率图像P22生成的低分辨率图像的第一分辨率图像P10和以第一分辨率对对象物100摄像而得的图像等第一分辨率图像P10进行区别,根据需要,后者用附图标记P11来表示,前者用附图标记P12来表示。在第二步骤210b中,生成图像尺寸比在第一步骤210a中获取的第二分辨率图像(基准图像)P22小的第一分辨率图像(低分辨率图像)P12。从第二分辨率图像P22到第一分辨率图像P12的转换通过平均值插值等已知方法能够实现。

第三步骤S210c是生成相当于基准图像(第二分辨率图像P22)与低分辨率图像(第一分辨率图像P12)的差分的差分图像P30的步骤。也可以说,第三步骤S210c是从在第一步骤210a中获取的第二分辨率图像P22和在第二步骤S210b中生成的第一分辨率图像P12生成差分图像P30的步骤。在第三步骤S210c中,将在第二步骤210b中生成的第一分辨率图像P12放大到与在第一步骤S210a中获取的第二分辨率图像P22相同的图像尺寸。在第三步骤S210c中,基于放大后的第一分辨率图像P12与在第一步骤S210a中获取的第二分辨率图像P22的像素值的差分生成差分图像P30。由此,能够容易地通过第一分辨率图像P11和第二分辨率图像P22求出像素值间的差分。第一分辨率图像P12的放大通过双三次插值等已知方法能够实现。差分图像P30的各像素值的范围比第一分辨率图像P11和第二分辨率图像P22的各像素值的范围窄。例如,在第一分辨率图像P11和第二分辨率图像P22的各像素值的范围为0~255的情况下,差分图像P30的各像素值的范围可以设定为0~15。也就是说,在第三步骤S210c中,降低放大后的第一分辨率图像P12与在第一步骤S210a中获取的第二分辨率图像P22的差分保持不变的图像的灰度以生成差分图像P30。由此,第一分辨率图像P12和第二分辨率图像P22中存在差的部分清楚地反映在差分图像P30中。在下文中,根据需要,将通过学习完毕模型M10的第一模型部M11获得的差分图像P30用附图标记P31来表示。将在第三步骤210c中生成的差分图像P30用附图标记P32来表示。将通过模型M20的第一模型部M21获得的差分图像P30用附图标记P33来表示。

第四步骤S210d是生成(第一)学习用数据集D21的步骤。第一学习用数据集D21是以低分辨率图像(第一分辨率图像P12)为输入、以基准图像(第二分辨率图像P22)和差分图像P32为正确答案的学习用数据集。也就是说,也可以说,第四步骤S210d是生成以在第二步骤S210b中生成的第一分辨率图像P12为输入、以在第一步骤S210a中获取的第二分辨率图像P22和在第三步骤S210c中生成的差分图像P32为正确答案的学习用数据集的步骤。

在事前学习步骤S211中,使用在生成步骤S210中生成的学习用数据集D21使第一模型部M21学习第一分辨率图像P10(P12)与第二分辨率图像P20(P22)和差分图像P30(P32)的关系。由此,第一模型部M21会学习针对第一分辨率图像P10(P12)的输入,输出第二分辨率图像P23和差分图像P33。在事前学习步骤S211中,也可以根据需要而包括第二模型部M22和第三模型部M23的事前学习。也可以使用以第二分辨率图像P20和差分图像P30为输入、以识别结果R21为正确答案的学习用数据集使第二模型部M22和第三模型部M23学习第二分辨率图像P20和差分图像P30与识别结果R21的关系。在将预先学习完毕的模型用作第二模型部M22和第三模型部M23的情况下,不需要事前学习步骤S211中的第二模型部M22和第三模型部M23的事前学习。事前学习步骤S211也可以根据需要包括第四模型部M24的事前学习。例如,也可以使用在第一步骤210a中获取的第二分辨率图像P22和在第一模型部M21中生成的第二分辨率图像P23预先对第四模型部M24进行某种程度的训练。在将预先学习完毕的模型用作第四模型部M24的情况下,不需要事前学习步骤S211中的第四模型部M24的事前学习。

学习步骤S21包括通过使用(第二)学习用数据集D22的机器学习使模型M20学习第一分辨率图像P12与显现于第一分辨率图像P12的对象物100的特征量F21的关系。第二学习用数据集D22是以第一分辨率图像P12为输入、以显现于第一分辨率图像P12的对象物100的识别的结果(识别结果R21)为正确答案的学习用数据集。学习步骤S21也可以包括基于从第四模型部M24输出的判定的结果(判定结果)R22执行第一模型部M21和第四模型部M24中的至少一方的追加学习。

如此能够从进行了机器学习的模型M20获取第一模型部M21和第二模型M22的学习完毕参数。使用第一模型部M21和第二模型M22的学习完毕参数以及第一模型部M21和第二模型M22的推论程序能够装配图2示出的学习完毕模型M10。

上文描述的学习方法例如能够通过图6示出的学习系统20执行。学习系统20具备接口21、存储装置22以及运算电路23。在本实施方式中,学习系统20通过一台服务器来实现。

接口21在向学习系统20输入信息和从学习系统20输出信息中利用。接口21包括输入输出装置211和通信装置212。输入输出装置211具有作为用于从用户输入信息的输入装置和作为用于向用户输出信息的输出装置的功能。输入输出装置211具备一个以上的人机接口。作为人机接口的例子,可以举出键盘、指点设备(鼠标、轨迹球等)、触摸板等输入装置、显示器、扬声器等输出装置、触摸面板等输入输出装置。通信装置212与外部装置或系统能够通信地连接。通信装置212具备一个以上的通信接口。通信装置212能够连接到通信网络,并具有进行通过通信网络的通信的功能。通信装置112依据预定的通信协议。预定的通信协议可以从公知的各种有线和无线通信规格选择。

存储装置22用于存储运算电路23利用的信息和通过运算电路23生成的信息。存储装置22包括一个以上的储存器(非临时存储介质)。储存器例如也可以是硬盘驱动器、光盘驱动器及固态驱动器(SSD)中的任一种。另外,储存器也可以是内置型、外接型及NAS(network-attached storage:网络附属存储)型中的任一种。

存储于存储装置22的信息包括模型M20和学习用数据D20。学习用数据D20包括第一学习用数据集D21和第二学习用数据集D22。在图6中,示出了存储装置22存储有模型M20和学习用数据D20的全部的状态。模型M20和学习用数据D20不需要一直存储于存储装置22,只要当在运算电路23中需要之时存储于存储装置22即可。

运算电路23是控制学习系统20的动作的电路。运算电路23连接到接口21,并能够访问存储装置22(也就是说,能够访问模型M20和学习用数据D20)。运算电路23例如能够通过包括一个以上的处理器(微处理器)和一个以上的存储器的计算机系统来实现。通过一个以上的处理器执行(存储于一个以上的存储器或存储装置22的)程序来实现作为运算电路23的功能。程序在此预先记录于存储装置22,也可以通过互联网等电信电路或记录于存储卡等非临时记录介质提供。

运算电路23构成为执行学习方法(包括准备步骤S21和学习步骤S22)。

如上文所叙述的,学习系统20具备运算电路23。运算电路23执行包括准备处理S21和学习步骤S22的学习方法,在所述准备处理S21中准备模型M20,在所述学习步骤S22中使用在准备步骤S21中准备的模型M20执行机器学习。模型M20包括第一模型部M21、第二模型部M22以及第三模型部M23。第一模型部M21是用于针对以第一分辨率显现对象物100的第一分辨率图像P20的输入,输出相当于将第一分辨率图像P20转换为比第一分辨率高的第二分辨率而得的图像的第二分辨率图像P20和相当于第一分辨率图像P10与第二分辨率图像P20的差分的差分图像P30的模型。第二模型部M21是用于针对来自第一模型部M22的第二分辨率图像P20和差分图像P30的输入,输出对象物100的特征量F21的模型。第三模型部M23是用于针对来自第二模型部M22的对象物100的特征量F21的输入,输出对象物100的识别的结果R21的模型。学习步骤S22包括通过使用以第一分辨率图像P10为输入、以显现于第一分辨率图像P10的对象物100的识别的结果R21为正确答案的学习用数据集D21的机器学习来使模型M20学习第一分辨率图像P10与显现于第一分辨率图像P10的对象物100的特征量F21的关系。根据该学习系统20,能够实现提高识别对象物100的精度。

换言之,可以说,学习系统20执行下面的方法(学习方法)。学习方法通过运算电路23执行,并包括准备步骤S21和学习步骤S22。根据这样的学习方法,能够与学习系统20同样地实现提高识别对象物100的精度。

学习系统20利用运算电路23来实现。也就是说,学习系统20执行的方法(学习方法)能够通过运算电路23执行程序来实现。该程序是用于使运算电路23执行上述学习方法的计算机程序。根据这样的程序,能够与学习系统20同样地实现提高识别对象物100的精度。

(1-3)性能评价

进行了用于评价学习完毕模型M10的面部识别的性能的试验。在试验中,为了相对地评价学习完毕模型M10的面部识别的性能,在图2示出的学习完毕模型M10中,也进行了省略了差分图像P30的学习完毕模型的面部识别的性能的评价。将省略了该差分图像P30的学习完毕模型设想为非专利文献1的学习完毕模型。在用于面部识别的性能的评价的数据中,利用了作为面部识别的公开基准标记之一的LFW数据集(http://vis-www.cs.umass.edu/lfw/),同一人物但种类不同的图像对和不同的人物的图像对各自准备了3000组,合计6000组,并对正解率进行了评价。在非专利文献1的学习完毕模型中,正解率为98.64%,与此相对,根据学习完毕模型M10,正解率为98.82%。这示出了根据学习完毕模型M10能够将错误率改善10%的程度。

(2)变形例

本公开的实施方式不限定于上述实施方式。上述实施方式只要能够达成本公开的技术问题,则能够根据设计等进行各种变更。下面对上述实施方式的变形例进行列举。下面说明的变形例能够适宜地组合应用。

在一变形例中,在识别系统10中,也可以是,运算电路13通过对学习完毕模型M10进行追加学习来生成再利用模型,并利用再利用模型执行推论处理S12。换言之,运算电路13也可以执行进行学习完毕模型M10的追加学习(再学习)的学习处理。

在一变形例中,在识别系统10中,存储装置12也可以存储蒸馏模型以代替学习完毕模型M10。蒸馏模型是通过学习完毕模型M10的蒸馏生成的模型。在该情况下,识别系统10具备存储蒸馏模型的存储装置12和能够访问存储装置12的运算电路13。运算电路13执行获取处理S11和推论处理S12。获取处理S11是将第一分辨率图像P10获取为对象图像的处理。推论处理S12是将在获取处理S11中获取的对象图像给到蒸馏模型,以使蒸馏模型计算显现于对象图像的对象物100的特征量F11的处理。即便是在该情况下,也能够实现提高识别对象物100的精度。

在一变形例中,在识别系统10中,获取处理S11例如通过接口11的输入输出装置展示用于输入第一分辨率图像P10的画面,用户能够遵照画面的指示输入第一分辨率图像P10。第一分辨率图像P10的输入不仅包括从外部装置或系统将第一分辨率图像P10输入到识别系统10,也可以包括从识别系统10存储的数据确定作为第一分辨率图像P10使用的数据。推论处理S12也可以不一定直到求出识别结果R11,也可以将特征量F11作为推论处理的结果。输出处理S13例如也可以通过接口11的输入输出装置展示用于输出推论处理的结果的画面。

在一变形例中,在学习方法中,也可以将来自模型M20的第一模型部M21的第二分辨率图像P23和差分图像P33作为两通道的图像输入到第二模型部M22(的输入层)。在该情况下,来自学习完毕模型M10的第一模型部M11的第二分辨率图像P21和差分图像P31也可以作为两通道的图像输入到第二模型部M12(的输入层)。

在一变形例中,差分图像P30也可以是将第一分辨率图像P10和第二分辨率图像P20的各像素值的差分本身设为各像素值的图像。

在一变形例中,准备步骤S21不是必须的。因为也可以预先准备学习用数据集D21。作为学习步骤S22中的模型M20的端到端的学习的替代,也可以设为执行模型M20的第一模型部M21~第四模型部M24的单独的学习。模型M20也可以不包括第四模型部M24。也就是说,使用GAN的学习不是必须的。

在一变形例中,识别系统10和学习系统20分别通过不同的计算机系统来实现不是必须的。识别系统10和学习系统20也可以通过单一计算机系统来实现。

在一变形例中,不需要识别系统10的接口11和学习系统20的接口21均具备输入输出装置和通信装置两方。

在一变形例中,识别系统10和学习系统20中的每一个系统也可以通过多台服务器等的计算机系统来实现。也就是说,识别系统10和学习系统20中的每个系统的多个功能(构成要素)集成在一个箱体内不是必须的,识别系统10和学习系统20中的每个系统的构成要素也可以分散地设置于多个箱体。并且,识别系统10和学习系统20中的每个系统的至少一部分功能、例如运算电路13、23的一部分功能可以通过云(云计算)等实现。

(3)方面

由上述实施方式和变形例可以明确,本公开包括下述方面。在下文中为了明确示出与实施方式的对应关系,以带括号的形式付上了附图标记。

第一方面是一种识别系统(10),具备:存储装置(12),存储学习完毕模型(M10);以及运算电路(13),能够访问所述存储装置(12)。所述学习完毕模型(M10)包括第一模型部(M11)和第二模型部(M12)。所述第一模型部(M10)是进行了如下的学习的模型:针对第一分辨率图像(P10)的输入,输出第二分辨率图像(P20)和差分图像(P30)。所述第一分辨率图像(P10)是以第一分辨率显现对象物(100)的图像。所述第二分辨率图像(P20)相当于将所述第一分辨率图像(P10)转换为比所述第一分辨率高的第二分辨率而得的图像。所述差分图像(P30)相当于所述第一分辨率图像(P10)与所述第二分辨率图像(P20)的差分的图像。所述第二模型部(M12)是进行了如下的学习的模型:针对所述第二分辨率图像(P20)和所述差分图像(P30)的输入,输出所述对象物的特征量(F11)。所述运算电路(13)执行获取处理(S11)和推论处理(S12)。在所述获取处理(S11)中,将所述第一分辨率图像(P10)获取为对象图像。在所述推论处理(S12)中,将在所述获取处理(S11)中获取的所述对象图像给到所述学习完毕模型(M10),以使所述学习完毕模型(M10)计算显现于所述对象图像的对象物(100)的特征量(F11)。根据该方面,能够提高识别对象物(100)的精度。

第二方面是基于第一方面的识别系统(10)。在第二方面中,所述推论处理(S12)包括基于显现于所述对象图像的对象物的特征量(F11)进行所述对象物的识别。根据该方面,能够提高识别对象物(100)的精度。

第三方面是基于第一或第二方面的识别系统(10)。在第三方面中,所述运算电路(13)执行输出所述推论处理(S12)的结果的输出处理(S13)。根据该方面,能够展示推论处理(S12)的结果。

第四方面是一种识别方法,通过能够访问存储学习完毕模型(M10)的存储装置(12)的运算电路(13)执行。所述学习完毕模型(M10)包括第一模型部(M11)和第二模型部(M12)。所述第一模型部(M10)是进行了如下的学习的模型:针对第一分辨率图像(P10)的输入,输出第二分辨率图像(P20)和差分图像(P30)。所述第一分辨率图像(P10)是以第一分辨率显现对象物(100)的图像。所述第二分辨率图像(P20)相当于将所述第一分辨率图像(P10)转换为比所述第一分辨率高的第二分辨率而得的图像。所述差分图像(P30)相当于所述第一分辨率图像(P10)与所述第二分辨率图像(P20)的差分的图像。所述第二模型部(M12)是进行了如下的学习的模型:针对所述第二分辨率图像(P20)和所述差分图像(P30)的输入,输出所述对象物的特征量(F11)。所述识别方法包括获取处理(S11)和推论处理(S12)。在所述获取处理(S11)中将所述第一分辨率图像(P10)获取为对象图像。在所述推论处理(S12)中,将在所述获取处理(S11)中获取的所述对象图像给到所述学习完毕模型(M10),以使所述学习完毕模型(M10)计算显现于所述对象图像的对象物(100)的特征量(F11)。根据该方面,能够提高识别对象物(100)的精度。

第五方面是一种程序,用于使所述运算电路(13)执行基于第四方面的识别方法。根据该方面,能够提高识别对象物(100)的精度。

第六方面是一种学习方法,包括:准备步骤(S21),准备模型(M20);以及学习步骤(S22),使用在所述准备步骤(S21)中准备的所述模型(M20)执行机器学习。所述模型(M20)包括第一模型部(M21)、第二模型部(M22)以及第三模型部(M23)。所述第一模型部(M21)是用于针对第一分辨率图像(P10)的输入,输出第二分辨率图像(P20)和差分图像(P30)的模型。所述第一分辨率图像(P10)是以第一分辨率显现对象物(100)的图像。所述第二分辨率图像(P20)相当于将所述第一分辨率图像(P10)转换为比所述第一分辨率高的第二分辨率而得的图像。所述差分图像(P30)是相当于所述第一分辨率图像(P10)与所述第二分辨率图像(P20)的差分的图像。所述第二模型部(M22)是用于针对来自所述第一模型部(M21)的所述第二分辨率图像(P20)和所述差分图像(P30)输入,输出所述对象物的特征量(F21)的模型。所述第三模型部(M23)是用于针对来自所述第二模型部(M22)的所述对象物(100)的特征量(F21)的输入,输出所述对象物(100)的识别的结果(R21)的模型。所述学习步骤(S22)包括通过使用了以所述第一分辨率图像(P10)为输入、以显现于所述第一分辨率图像(P10)的对象物(100)的识别的结果(R21)为正确答案的学习用数据集(D22)的机器学习,使所述模型(M20)学习所述第一分辨率图像(P10)与显现于所述第一分辨率图像(P10)的对象物的特征量(F21)的关系。根据该方面,能够提高识别对象物(100)的精度。

第七方面是基于第六方面的学习方法。在第七方面中,所述准备步骤(S21)包括生成步骤(S210)和事前学习步骤(S211)。所述生成步骤(S210)是生成以所述第一分辨率图像(P10)为输入、以所述第二分辨率图像(P20)和所述差分图像(P30)为正确答案的学习用数据集(D21)的步骤。所述事前学习步骤(S211)是使用在所述生成步骤(S210)中生成的学习用数据集(D21)使所述第一模型部(M21)学习所述第一分辨率图像(P10)与所述第二分辨率图像(P20)和所述差分图像(P30)的关系的步骤。根据该方面,能够提高识别对象物(100)的精度。

第八方面是基于第七方面的识别系统(10)。在第八方面中,所述生成步骤(S210)包括第一步骤(S210a)、第二步骤(S210b)、第三步骤(S210c)以及第四步骤(S210d)。所述第一步骤(S210a)是获取所述第二分辨率图像(P20)的步骤。所述第二步骤(S210b)是将在所述第一步骤(S210a)中获取的所述第二分辨率图像(P20)转换为所述第一分辨率的图像以生成所述第一分辨率图像(P10)的步骤。所述第三步骤(S210c)是从在所述第一步骤(S210a)中获取的所述第二分辨率图像(P20)和在所述第二步骤(S210b)中生成的所述第一分辨率图像(P10)生成所述差分图像(P30)的步骤。所述第四步骤(S210d)是生成以在所述第二步骤(S210b)中生成的所述第一分辨率图像(P10)为输入、以在所述第一步骤(210a)中准备的所述第二分辨率图像(P20)和在所述第三步骤(S210c)中生成的所述差分图像(P30)作为正确答案的学习用数据集(D21)的步骤。根据该方面,能够提高识别对象物(100)的精度。

第九方面是基于第八方面的学习方法。在第九方面中,所述第三步骤(S210c)将在所述第二步骤(S210b)中生成的所述第一分辨率图像(P10)放大为与在所述第一步骤(S210a)中获取的所述第二分辨率图像(P20)相同的图像尺寸。在所述第三步骤(S210c)中,基于放大后的所述第一分辨率图像(P10)与在所述第一步骤(S210a)中获取的所述第二分辨率图像(P20)的像素值的差分生成所述差分图像(P30)。根据该方面,能够提高识别对象物(100)的精度。

第十方面是基于第九方面的学习方法。在第十方面中,所述差分图像(P30)的各像素值的范围比放大后的所述第一分辨率图像(P10)和在所述第一步骤(S210a)中获取的所述第二分辨率图像(P20)的各像素值的范围窄。根据该方面,能够提高识别对象物(100)的精度。

第十一方面为基于第六~第十方面中的任一方面的学习方法。在第十一方面中,所述模型(M20)包括第四模型部(M24),所述第四模型部(M24)用于针对所述第二分辨率图像(P20)的输入,输出所述第二分辨率图像(P20)是否为通过所述第一模型部(M21)生成的图像的判定的结果(R22)。所述学习步骤(S22)包括基于从所述第四模型部(M24)输出的所述判定的结果(R22)执行所述第一模型部(M21)和所述第四模型部(M24)中的至少一方的追加学习。根据该方面,能够提高识别对象物(100)的精度。

第十二方面是一种学习完毕模型(M10),包括第一模型部(M11)和第二模型部(M12)。所述第一模型部(M10)是进行了如下的学习的模型:针对第一分辨率图像(P10)的输入,输出第二分辨率图像(P20)和差分图像(P30)。所述第一分辨率图像(P10)是以第一分辨率显现对象物(100)的图像。所述第二分辨率图像(P20)相当于将所述第一分辨率图像(P10)转换为比所述第一分辨率高的第二分辨率而得的图像。所述差分图像(P30)是相当于所述第一分辨率图像(P10)与所述第二分辨率图像(P20)的差分的图像。所述第二模型部(M12)是进行了如下的学习的模型:针对所述第二分辨率图像(P20)和所述差分图像(P30)的输入,输出所述对象物的特征量(F11)。根据该方面,能够提高识别对象物(100)的精度。

第十三方面是一种通过基于第十二方面的学习完毕模型(M10)的蒸馏生成的蒸馏模型。根据该方面,能够提高识别对象物(100)的精度。

第十四方面是一种识别系统(10),具备:存储装置(12),存储基于第十三方面的蒸馏模型;以及运算电路(13),能够访问所述存储装置(12)。所述运算电路(13)执行获取处理(S11)和推论处理(S12)。所述获取处理(S11)是将所述第一分辨率图像(P10)获取为对象图像的处理。所述推论处理(S12)是将在所述获取处理(S11)中获取的所述对象图像给到所述蒸馏模型,以使所述蒸馏模型计算显现于所述对象图像的对象物(100)的特征量(F11)的处理。根据该方面,能够提高识别对象物(100)的精度。

第十五方面是一种学习用数据集生成方法,包括第一步骤(S210a)、第二步骤(S210b)、第三步骤(S210c)以及第四步骤(S210d)。所述第一步骤(S210a)是获取显现对象物(100)的基准图像(P22)的步骤。所述第二步骤(S210b)是将所述基准图像(P22)转换为分辨率比所述基准图像(P22)低的低分辨率图像(P12)的步骤。所述第三步骤(S210c)是生成相当于所述基准图像(P22)与所述低分辨率图像(P12)的差分的差分图像(P30)的步骤。所述第四步骤(S210d)是生成以所述低分辨率图像(P12)为输入、以所述基准图像(P22)和所述差分图像(P30)为正确答案的学习用数据集(D11)的步骤。根据该方面,能够提高识别对象物(100)的精度。

需要说明的是,第二或第三方面也能够适宜变更以应用于第四和第十四方面。

(4)术语

在本公开中,对与机器学习相关的术语如下定义以进行使用。

“学习完毕模型”指的是纳入了“学习完毕参数”的“推论程序”。

“学习完毕参数”指的是使用了学习用数据集的学习的结果、获得的参数(系数)。通过将学习用数据集输入到学习用程序,以为了一定的目的机械地进行调整来生成学习完毕参数。学习完毕参数虽然是配合学习的目的调整出的参数,但是从个体而言不过是单纯的参数(数值等信息),只有将其纳入推论程序才会作为学习完毕模型发挥功能。例如,在深度学习的情况下,学习完毕参数之中作为主要的参数,用于对各节点间的链接赋权重的参数等符合该情况。

“推论程序”指的是使得能够通过应用纳入的学习完毕参数来针对输入而输出一定的结果的程序。例如是规定了用于针对作为输入给到的图像应用作为学习的结果获取的学习完毕参数并输出针对该图像的结果(认证、判定)的一系列运算顺序的程序。

“学习用数据集”也称为训练数据集,指的是二次加工数据,为了使设为对象的学习的手法的解析容易,通过对原始数据实施除去缺失值、异常值等预处理、对标签信息(正确答案数据)等不同数据进行附加等、或者将这些组合以实施转换、加工处理而生成。在学习用数据集中,有时也包括通过对原始数据施加一定的转换、也就是“虚拟”化的数据。

“原始数据”指的是通过用户、供应商、其他商家、研究机关等最初获取的数据,是经转换、加工处理以便能够读入到数据库的数据。

“学习用程序”指的是执行用于从学习用数据集之中找出一定的规则并生成表现该规则的模型的算法的程序。具体地,为了实现通过采用的习手法进行的学习,而规定使计算机执行的顺序的程序符合该情况。

“追加学习”意指通过在既有的学习完毕模型中应用不同的学习用数据集,以进行进一步的学习,来重新生成学习完毕参数。

“再利用模型”意指纳入了通过追加学习而重新生成的学习完毕参数的推论程序。

“蒸馏”意指将对既有的学习完毕模型的输入和输出结果作为新的学习完毕模型的学习用数据集来利用以生成新的学习完毕参数。

“蒸馏模型”意指纳入了通过蒸馏而重新生成的学习完毕参数的推论程序。

工业可利用性

本公开能够应用于识别系统、识别方法、程序(计算机程序)、学习方法、学习完毕模型、蒸馏模型及学习用数据集生成方法。具体地,本公开能够应用于与显现于图像的对象物相关的识别系统、识别方法、程序(计算机程序)、学习方法、学习完毕模型、蒸馏模型及学习用数据集生成方法。

附图标记说明

10 识别系统

12 存储装置

13 运算电路

M10 学习完毕模型

M11 第一模型部

M12 第二模型部

M20 模型

M21 第一模型部

M22 第二模型部

M23 第三模型部

M24 第四模型部

D21 学习用数据集

D22 学习用数据集

P10 第一分辨率图像

P20 第二分辨率图像

P30 差分图像

F11、F12 特征量

R11、R21 识别的结果(识别结果)

R22 判定的结果(判定结果)

S11 获取处理

S12 推论处理

S13 输出处理

S21 准备步骤

S210 生成步骤

S210a 第一步骤

S210b 第二步骤

S210c 第三步骤

S210d 第四步骤

S211 事前学习步骤

S22 学习步骤

100 对象物。

相关技术
  • 图像处理装置、学习装置、图像处理方法、识别基准的生成方法、学习方法和程序
  • 基板处理装置、基板处理方法、学习用数据的生成方法、学习方法、学习装置、学习完毕模型的生成方法以及学习完毕模型
  • 齿隙量测定装置、完成学习的学习模型生成装置、学习用数据生成装置、齿隙量测量方法、完成学习的学习模型生成方法、学习用数据生成方法、齿隙量测定程序、完成学习的学习模型生成程序及学习用数据生成程序
技术分类

06120116082248