信息处理装置、信息处理方法、信息处理程序、学习方法以及已学习模型

技术领域

本发明涉及能够使用没有缺陷的正常的检查对象物的图像数据进行学习并检测出有缺陷的异常的检查对象物的信息处理装置、信息处理方法以及信息处理程序、在该学习时进行的学习方法以及已学习模型。

背景技术

以往，已知使用图像处理来检测出有缺陷的异常的检查对象物的技术。特别是近年来，应用了机器学习的技术的导入正在推进。关于使用了机器学习的缺陷检测技术，例如记载在专利文献1中。

现有技术文献

专利文献

专利文献1：日本特开2018-81629号公报

发明内容

发明要解决的课题

在专利文献1中，公开了能够使用机器学习来判定对象物的图像所包含的瑕疵部Df1的有无的判定系统301。判定系统301具备判定装置101、蓄积装置131以及学习装置151。并且，在蓄积于蓄积装置131的多个图像中，选择500张包含瑕疵部Df1的对象物的图像即次品图像Sng和500张不包含瑕疵部Df1的对象物的图像即合格品图像Sg，将它们每1张分割为63个部分图像。另外，在部分图像中包含瑕疵部Df1的情况下，对瑕疵部Df1描绘轨迹Tr1，进而进行与轨迹Tr1的有无相关的标签显示。接着，学习装置151使用该多个部分图像以及标签显示来进行机器学习。进而，完成了机器学习的模型被导入到判定装置101。若向该模型输入图像数据，则判定在该图像数据中是否包含瑕疵部Df1，并输出判定结果。

然而，在进行用于检测有缺陷的异常的检查对象物的机器学习的情况下，需要将至少数千～数百万张左右的多个检查对象物的图像用作学习用数据。另一方面，在工业产品的制造过程中，缺陷不会频繁地产生，实际上难以取得数千～数百万张左右的有缺陷的检查对象物的图像。另外，缺陷的种类以及状态包括未知的种类以及状态在内是多种多样的，更难以获取包含所有种类以及状态的缺陷的图像。

本发明是鉴于这样的情况而提出的，其目的在于提供一种通过使用能够容易地获取多个没有缺陷的正常的检查对象物的图像来进行机器学习，从而能够检测出有缺陷的异常的检查对象物的技术。

用于解决课题的手段

为了解决上述课题，本申请的第一发明是使用正常的检查对象物的图像数据的集合来检测出有缺陷的异常的检查对象物的信息处理装置，该信息处理装置具备：图像复原部，其从检查图像的一部分被隐藏的图像数据，生成复原了所述被隐藏的一部分的复原图像，所述检查图像是对不确定是正常还是异常的检查对象物进行拍摄而得的图像；判定部，其将所述复原图像与所述检查图像进行比较，来判定检查对象物是正常还是异常；以及输出部，其输出所述判定部的判定结果，所述图像复原部通过深度学习来完成学习，以便能够从多个学习图像各自的一部分被隐藏的图像数据，高精度地生成复原了所述被隐藏的一部分的复原图像，所述学习图像是对正常的检查对象物进行拍摄而得的图像。

本申请的第二发明是在第一发明的信息处理装置中，所述图像复原部依次变更所述图像数据中的所述被隐藏的一部分的位置的同时，生成多个所述复原图像，所述判定部通过将多个所述复原图像分别与所述检查图像进行比较，来判定检查对象物是正常还是异常。

本申请的第三发明是第二发明的信息处理装置，在所述复原图像与所述检查图像的差异大于预定的容许值的情况下，所述判定部将所述被隐藏的一部分的位置决定为所述缺陷的位置，所述输出部还输出与所述缺陷的位置相关的信息。

本申请的第四发明是在第一发明至第三发明中的任意一项发明的信息处理装置中，所述图像复原部执行如下处理：编码处理，从所述检查图像提取出特征来生成潜在变量；以及解码处理，从所述潜在变量生成所述复原图像。

本申请的第五发明是在第四发明的信息处理装置中，在所述学习中，所述图像复原部通过卷积神经网络调整了所述编码处理和所述解码处理的参数。

本申请的第六发明是使用正常的检查对象物的图像数据的集合来检测出有缺陷的异常的检查对象物的信息处理方法，该方法具有如下步骤：a)通过深度学习来学习如下处理：从多个学习图像各自的一部分被隐藏的图像数据，生成复原了所述被隐藏的一部分的复原图像，所述学习图像是对正常的检查对象物进行拍摄而得的图像；b)将复原图像与检查图像进行比较，来判定检查对象物是正常还是异常，所述复原图像是使用在所述步骤a)中学习的处理，从检查图像的一部分被隐藏的图像数据复原的图像，所述检查图像是对不确定是正常还是异常的检查对象物进行拍摄而得的图像；以及c)输出所述步骤b)的判定结果。

本申请的第七发明是一种信息处理程序，使用正常的检查对象物的图像数据的集合来检测出有缺陷的异常的检查对象物，所述信息处理程序使计算机执行如下处理：a)图像复原处理，从检查图像的一部分被隐藏的图像数据，生成复原了所述被隐藏的一部分的复原图像，所述检查图像是对不确定是正常还是异常的检查对象物进行拍摄而得的图像；b)判定处理，将所述复原图像与所述检查图像进行比较，来判定检查对象物是正常还是异常；以及c)输出处理，输出所述判定处理的判定结果，在所述图像复原处理中，通过深度学习来完成学习，以便能够从多个学习图像各自的一部分被隐藏的图像数据，高精度地生成复原了所述被隐藏的一部分的复原图像，所述学习图像是对正常的检查对象物进行拍摄而得的图像。

本申请的第八发明是一种学习方法，为了检测出有缺陷的异常的检查对象物，通过深度学习来学习如下处理：从多个学习图像各自的一部分被隐藏的图像数据，生成复原了所述被隐藏的一部分的复原图像，所述学习图像是对正常的检查对象物进行拍摄而得的图像。

本申请的第九发明是通过深度学习来学习了如下处理的已学习模型：为了检测出有缺陷的异常的检查对象物，从多个学习图像各自的一部分被隐藏的图像数据，生成复原了所述被隐藏的一部分的复原图像，所述学习图像是对正常的检查对象物进行拍摄而得的图像。

本申请的第十发明是在第一发明至第五发明中的任意一项发明的信息处理装置中，检查对象物是片剂。

发明效果

根据本申请的第一发明～第十发明，通过使用能够容易地取得多个没有缺陷的正常的检查对象物的图像进行机器学习，能够检测出有缺陷的异常的检查对象物。由此，能够高精度地检测出检查对象物中的包含未知的缺陷的多种多样的缺陷。

特别是，根据本申请的第三发明，作业员等能够基于缺陷的位置所涉及的信息，通过目视容易地再次确认检查图像或检查对象物主体中的缺陷。由此，能够进一步提高有缺陷的检查对象物的检测精度。

特别是，根据本申请的第四发明或第五发明，即使在检查图像中的检查对象物的位置稍微偏移的情况下，也能够高精度地检测出有缺陷的检查对象物。

附图说明

图1是表示片剂印刷装置的结构的图。

图2是输送滚筒附近的立体图。

图3是喷头的仰视图。

图4是检查照相机附近的立体图。

图5是表示控制部与片剂印刷装置内的各部的连接的框图。

图6是概念性地表示片剂印刷装置内的控制部的功能的一部分的框图。

图7是表示拍摄正常的片剂而得的学习图像的示例的图。

图8是表示从学习图像中的一部分被隐藏的图像数据，生成复原图像的方式的概要图，学习图像是拍摄正常的片剂而得的图像。

图9是表示从检查图像中的一部分被隐藏的图像数据，生成复原图像的方式的概要图，检查图像是拍摄不确定是正常还是异常的片剂而得的图像。

图10是表示从检查图像中的一部分被隐藏的图像数据，生成复原图像的方式的概要图，检查图像是拍摄不确定是正常还是异常的片剂而得的图像。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。在本发明的一个实施方式中，作为检查对象物，以作为医药品的片剂为例进行说明。然后，说明在片剂的表面以喷墨方式记录了产品名等图像之后，能够检查有无片剂的污垢、伤痕等缺陷，检测具有缺陷的异常的片剂的装置、方法以及程序。

＜1.片剂印刷装置的整体结构＞

参照图1，对本发明的一实施方式的片剂印刷装置1的整体构成进行说明，该片剂印刷装置1包含检测片剂9的缺陷的后述的信息处理装置200。图1是表示片剂印刷装置1的结构的图。片剂印刷装置1是输送多个片剂9的同时，在各片剂9的表面以作为产品的识别为目的，以喷墨方式印刷产品名、产品代码、公司名、标记等图像的装置。本实施方式的片剂9具有圆盘形状(参照后述的图4)。但是，片剂9的形状也可以是椭圆形状等其他形状。另外，在以下的说明中，将输送多个片剂9的方向称为“输送方向”，将相对于输送方向垂直且水平的方向称为“宽度方向”。

另外，在片剂9上形成有用于将片剂9分割成一半的槽状的割线90。以下，将片剂9中的形成割线90的面称为“割线面”。割线90通过割线面的中心，笔直地延伸至割线面的两端。此外，在本实施方式中，假定仅在形成圆盘形状的片剂9的上表面以及下表面的面中的一面形成有割线90的情况。即，在本实施方式中，片剂9的上表面及下表面中的仅一面为割线面。但是，割线90也可以形成于形成圆盘形状的片剂9的上表面以及下表面的面的两面。即，割线90也可以形成于片剂9的表面背面双面。而且，在本实施方式中，仅对片剂9的与割线面相对的面，沿着位于背面侧的割线90的方向印刷产品名等。但是，片剂9中的印刷位置并不限定于此。

如图1所示，本实施方式的片剂印刷装置1具有料斗10、送料(feeder)部20、输送滚筒(drum)30、第一印刷部40、第二印刷部50、搬出传送带(conveyor)60以及控制部70。通过料斗10、送料部20、输送滚筒30、第一印刷部40的第一输送传送带41、第二印刷部50的第二输送传送带51以及搬出传送带60，形成沿着预定的输送路径输送片剂9的输送机构。

料斗10是用于将多个片剂9一并收进装置内的投入部。料斗10配置在片剂印刷装置1的壳体100的最上部。料斗10具有位于壳体100的上表面的开口部11、向下方逐渐收敛的漏斗状的倾斜面12。投入到开口部11的多个片剂9沿着倾斜面12流入到直进送料器21。

送料部20是将投入到料斗10的多个片剂9输送到输送滚筒30的机构。本实施方式的送料部20具有直进送料器21、旋转送料器22以及供给送料器23。直进送料器21具有平板状的振动槽211。从料斗10供给到振动槽211的多个片剂9因振动槽211的振动而输送至旋转送料器22侧。旋转送料器22具有圆盘状的旋转台221。从振动槽211落到旋转台221的上表面的多个片剂9因由旋转台221的旋转产生的离心力而向旋转台221的外周部附近聚集。

供给送料器23具有从旋转台221的外周部铅垂向下延伸到输送滚筒30的多个筒状部231。图2是输送滚筒30附近的立体图。如图2所示，多个筒状部231相互平行地排列。在图2的例子中，排列有8个筒状部231。输送至旋转台221的外周部的多个片剂9分别被供给到多个筒状部231中的任意1个，在筒状部231内落下。然后，在各筒状部231内层叠有多个片剂9。这样，多个片剂9被分散供给至多个筒状部231，从而排列为多个输送列。然后，各输送列的多个片剂9从下端的片剂开始依次供给至输送滚筒30。

输送滚筒30是从供给送料器23向第一输送传送带41交付多个片剂9的机构。输送滚筒30具有大致圆筒形状的外周面。输送滚筒30通过从电动机得到的动力，以在宽度方向上延伸的旋转轴为中心，向图1以及图2中的箭头的方向旋转。如图2所示，在输送滚筒30的外周面设置有多个保持部31。保持部31是从输送滚筒30的外周面向内侧凹陷的凹部。在与上述的多个输送列分别对应的宽度方向位置，在输送滚筒30的外周面沿着周向排列有多个保持部31。另外，在各保持部31的底部设置有吸附孔32。

在输送滚筒30的内部设有吸引机构。若使吸引机构动作，则在多个吸附孔32分别产生比大气压低的负压。保持部31通过该负压，对从供给送料器23供给的片剂9逐个进行吸附保持。另外，在输送滚筒30的内部设有送风机构。送风机构从输送滚筒30的内侧向后述的第一输送传送带41侧局部地吹送被加压的气体。由此，在不与第一输送传送带41相对的保持部31中，维持片剂9的吸附状态，并且仅在与第一输送传送带41相对的保持部31中，解除片剂9的吸附。这样，输送滚筒30吸附保持从供给送料器23供给的多个片剂9的同时进行旋转，能够将这些片剂9交付给第一输送传送带41。

在与输送滚筒30的外周面相对的位置设置有第一状态检测照相机33。第一状态检测照相机33是对保持于输送滚筒30的片剂9的状态进行拍摄的拍摄部。第一状态检测照相机33对由输送滚筒30输送的片剂9进行拍摄，并将所得到的图像发送至控制部70。控制部70基于接收到的图像，检测各保持部31上有无片剂9、保持于保持部31的片剂9的表面背面以及割线90的方向。

第一印刷部40是用于在片剂9的一个面上印刷图像的处理部。如图1所示，第一印刷部40具有第一输送传送带41、第二状态检测照相机42、第一喷头单元43、第一检查照相机44以及第一定影部45。

第一输送传送带41具有一对第一带轮(pulley)411和架设在一对第一带轮411之间的环状的第一输送带412。第一输送带412被配置成其一部分与输送滚筒30的外周面接近并相对。一对第一带轮411中的一方通过从电动机得到的动力而旋转。由此，第一输送带412向图1和图2中的箭头的方向转动。此时，一对第一带轮411中的另一方随着第一输送带412的转动而从动旋转。

如图2所示，在第一输送带412上设置有多个保持部413。保持部413是从第一输送带412的外侧的面向内侧凹陷的凹部。在与多个输送列分别对应的宽度方向位置，沿输送方向排列有多个保持部413。即，多个保持部413在宽度方向和输送方向上分别隔开间隔地排列。第一输送带412中的多个保持部413的宽度方向的间隔与输送滚筒30中的多个保持部31的宽度方向的间隔相等。

在各保持部413的底部设置有吸附孔414。另外，第一输送传送带41在第一输送带412的内侧具有吸引机构。若使吸引机构动作，则在多个吸附孔414分别产生比大气压低的负压。保持部413通过该负压，对从输送滚筒30交付的片剂9逐个进行吸附保持。由此，第一输送传送带41以在宽度方向上隔开间隔的排列成多个输送列的状态保持多个片剂9的同时进行输送。并且，在第一输送带412上设置有送风机构。若使送风机构动作，则在与后述的第二输送传送带51相对的保持部413中，吸附孔414成为比大气压高的正压。由此，该保持部413上的片剂9的吸附被解除，片剂9从第一输送传送带41交付给第二输送传送带51。此外，在输送到第一输送带412的多个片剂9中，混合存在有从割线面侧保持于保持部413的片剂9和从与割线面相对的面侧保持于保持部413的片剂9。而且，各片剂9在从第一输送传送带41向第二输送传送带51交付时，表面背面反转。

第二状态检测照相机42是在比第一喷头单元43更靠近输送方向的上游侧，对保持于第一输送传送带41的片剂9的状态进行拍摄的拍摄部。第一状态检测照相机33和第二状态检测照相机42对片剂9的彼此相反侧的面进行拍摄。将在第二状态检测照相机42中得到的图像从第二状态检测照相机42发送给控制部70。控制部70基于接收到的图像，检测各保持部413上有无片剂9、保持于保持部413的片剂9的表面背面以及割线90的方向。

第一喷头单元43是向由第一输送传送带41输送的片剂9的上表面喷出墨滴的喷墨方式的喷头单元。第一喷头单元43具有沿着输送方向排列的4个第一喷头431。4个第一喷头431向多个片剂9中的、从割线面侧保持于保持部413的片剂9的上表面喷出互不相同的颜色的墨滴。例如，4个喷头431喷出青色、品红色、黄色以及黑色的各色的墨滴。通过由这些各色形成的单色图像的重叠，在片剂9的表面印刷多色图像。此外，从各第一喷头431喷出的墨水使用由日本药典、食品卫生法等认可的原料制造的可食性墨水。

图3是1个第一喷头431的仰视图。在图3中，用双点划线表示第一输送带412和保持于第一输送带412的多个片剂9。如图3中放大所示，在第一喷头431的下表面设置有能够喷出墨滴的多个喷嘴430。在本实施方式中，在第一喷头431的下表面，沿输送方向以及宽度方向二维地排列有多个喷嘴430。各喷嘴430在宽度方向上错开位置而排列。这样，如果二维地配置多个喷嘴430，则能够使各喷嘴430在宽度方向上的位置相互接近。但是，多个喷嘴430也可以沿着宽度方向排列成一列。

从喷嘴430喷出墨滴的喷出方式，例如使用所谓的压电方式，即，通过对压电元件施加电压而使其变形，从而对喷嘴430内的墨水进行加压后喷出。但是，墨滴的喷出方式也可以是通过对加热器通电而使喷嘴430内的墨水加热膨胀来喷出的所谓的热方式。

图4是第一检查照相机44附近的立体图。第一检查照相机44是用于确认第一喷头单元43进行的印刷的好坏以及片剂9的缺陷的有无的拍摄部。第一检查照相机44在比第一喷头单元43更靠近输送方向的下游侧，对输送至第一输送带412的片剂9的上表面进行拍摄。另外，第一检查照相机44将得到的图像发送给控制部70。控制部70基于接收到的图像，检查在各片剂9的上表面是否有伤痕、污垢、印刷位置的偏移、或者点缺失等缺陷。关于这些缺陷的检测方法，将在后面详细叙述。

另外，在本实施方式中，8个第一检查照相机44配置在与第一输送带412上的在宽度方向上排列的8个片剂9分别对应的位置。各第一检查照相机44在宽度方向上对1个片剂9进行拍摄。另外，各第一检查照相机44依次拍摄沿输送方向输送的多个片剂9。但是，也可以考虑8个第一检查照相机44的配置空间，在输送方向上相互错开位置地配置它们。

第一定影部45是使从第一喷头单元43喷出的墨水定影于片剂9的机构。在本实施方式中，在比第一检查照相机44更靠近输送方向的下游侧配置有第一定影部45。但是，也可以在第一喷头单元43与第一检查照相机44之间配置第一定影部45。第一定影部45例如使用向由第一输送传送带41输送的片剂9吹送热风的热风干燥式的加热器。附着于片剂9的表面的墨水通过热风而干燥，而定影于片剂9的表面。

第二印刷部50是用于在第一印刷部40的印刷后，在片剂9的另一面印刷图像的处理部。如图1所示，第二印刷部50具有第二输送传送带51、第三状态检测照相机52、第二喷头单元53、第二检查照相机54、第二定影部55以及次品回收部56。

第二输送传送带51保持从第一输送传送带41交付的多个片剂9的同时进行输送。第三状态检测照相机52在比第二喷头单元53更靠近输送方向的上游侧，对由第二输送传送带51输送的多个片剂9进行拍摄。第二喷头单元53向由第二输送传送带51输送的片剂9的上表面喷出墨滴。第二检查照相机54在比第二喷头单元53更靠近输送方向的下游侧，对由第二输送传送带51输送的多个片剂9进行拍摄。第二定影部55使从第二喷头单元53的各喷头531喷出的墨水定影于片剂9。

第二输送传送带51、第三状态检测照相机52、第二喷头单元53、第二检查照相机54及第二定影部55具有与上述的第一输送传送带41、第二状态检测照相机42、第一喷头单元43、第一检查照相机44及第一定影部45相同的结构。

次品回收部56基于从上述的第一检查照相机44及第二检查照相机54得到的拍摄图像Ip，回收判定为次品的片剂9。次品回收部56具有配置于第二输送传送带51的内侧的送风机构和回收箱561。当判定为次品的片剂9被输送至次品回收部56时，送风机构从第二输送传送带51的内侧向该片剂9吹送被加压的气体。由此，该片剂9从第二输送传送带51脱落，被回收箱561回收。

搬出传送带60是将判定为良品的多个片剂9搬出至片剂印刷装置1的壳体100的外部的机构。搬出传送带60的上游侧的端部位于第二输送传送带51的第二带轮511的下方。搬出传送带60的下游侧的端部位于壳体100的外部。搬出传送带60例如使用带输送机构。通过了次品回收部56的多个片剂9因吸附孔的吸引被解除，而从第二输送传送带51落到搬出传送带60的上表面。然后，利用搬出传送带60将多个片剂9搬出至壳体100的外部。

控制部70对片剂印刷装置1内的各部进行动作控制。图5是表示控制部70与片剂印刷装置1内的各部的连接的框图。如图5中概念性地示出的那样，控制部70由具有CPU等处理器701、RAM等存储器702、硬盘驱动器等存储装置703、接收部704以及发送部705的计算机构成。在存储装置703内存储有用于执行片剂9的印刷处理以及检查的计算机程序P以及数据D。但是，也可以与控制部70分开地设置接收部704和发送部705。

此外，计算机程序P从存储有该程序P的存储介质M读出，并存储于控制部70的存储装置703。作为存储介质M的例子，能够列举CD-ROM、DVD-ROM、闪存等。但是，程序P也可以经由网络输入到控制部70。

另外，如图5所示，控制部70经由接收部704以及发送部705，与上述的直进送料器21、旋转送料器22、输送滚筒30(包括电动机、吸引机构以及送风机构)、第一状态检测照相机33、第一输送传送带41(包括电动机、吸引机构以及送风机构)、第二状态检测照相机42、第一喷头单元43(包括各第一喷头431的多个喷嘴430)、第一检查照相机44、第一定影部45、第二输送传送带51、第三状态检测照相机52、第二喷头单元53(包括各第二喷头531的多个喷嘴430)、第二检查照相机54、第二定影部55、次品回收部56以及搬出传送带60分别以能够进行以太网(注册商标)等有线通信、蓝牙(Bluetooth，注册商标)或者Wi-Fi(注册商标)等无线通信的方式连接。

控制部70在从各部经由接收部704接收到信息时，将存储装置703中存储的计算机程序P和数据D暂时读出到存储器702中，处理器701基于该计算机程序P和数据D进行运算处理。并且，控制部70经由发送部705向各部进行指令，由此对上述各部进行动作控制。由此，进行针对多个片剂9的各处理。

＜2.控制部内的数据处理＞

图6是概念性地表示片剂印刷装置1内的控制部70的功能的一部分的框图。如图6所示，本实施方式的控制部70具有角度识别部71、喷头控制部72以及检查部。这些功能通过将存储装置703中存储的计算机程序P和数据D暂时读出到存储器702中，处理器701基于该计算机程序P和数据D进行运算处理来实现。另外，作为检查部的功能通过由控制部70的一部分或全部机械要素构成的信息处理装置200来实现。在信息处理装置200中安装有预先通过机器学习生成的已学习的学习模型。

角度识别部71具有用于识别输送的各片剂9的旋转角度(割线90的方向)的功能。角度识别部71取得第一状态检测照相机33及第二状态检测照相机42的拍摄图像，基于该拍摄图像，识别由第一输送传送带41输送的各片剂9的旋转角度。另外，角度识别部71取得第三状态检测照相机52的拍摄图像，基于该拍摄图像，识别由第二输送传送带51输送的各片剂9的旋转角度。

如上所述，在本实施方式中，仅对片剂9的与割线面相对的面，沿着位于背面侧的割线90的方向印刷产品名等。因此，角度识别部71基于从第一状态检测照相机33及第二状态检测照相机42得到的拍摄图像，针对每个片剂9，识别通过第一喷头单元43时的旋转角度(割线90的方向)。同样地，角度识别部71基于从第三状态检测照相机52得到的拍摄图像，针对每个片剂9，识别通过第二喷头单元53时的旋转角度(割线90的方向)。

另外，输送的多个片剂9的表面和背面并不固定。因此，如图4所示，存在从割线面侧保持于保持部413的片剂9和从与割线面相对的面侧保持于保持部413的片剂9混合输送的情况。在这样的情况下，角度识别部71对于一部分的片剂9，基于从第一状态检测照相机33得到的拍摄图像，识别通过第一喷头单元43时的旋转角度，对于其他的片剂9，基于从第二状态检测照相机42得到的拍摄图像，识别通过第一喷头单元43时的旋转角度即可。另外，对于一部分的片剂9，基于从第三状态检测照相机52得到的拍摄图像，识别通过第二喷头单元53时的旋转角度，对于其他的片剂9，基于从第二状态检测照相机42得到的拍摄图像，识别通过第二喷头单元53时的旋转角度即可。

喷头控制部72具有用于对第一喷头单元43以及第二喷头单元53进行动作控制的功能。如图6所示，喷头控制部72具有第一存储部721。第一存储部721的功能例如通过上述的存储装置703来实现。在第一存储部721中存储有包含与印刷于片剂9的图像相关的信息的印刷图像数据D1。该图像是产品名、产品代码、公司名、标记等，例如由包含字母和数字的字符串形成(参照图4和后述的图7)。但是，该图像也可以是字符串以外的标记或插图。并且，在片剂9的与割线面相对的面上，沿着位于背面的割线90印刷该图像。但是，图像也可以沿着割线90印刷于片剂9的割线面。印刷图像数据D1也包含这样的指定片剂9上的图像的印刷位置以及印刷方向的信息。

在对作为产品的片剂9的表面进行印刷时，喷头控制部72从第一存储部721读出印刷图像数据D1。另外，喷头控制部72使读出的印刷图像数据D1根据在角度识别部71中识别出的旋转角度进行旋转。并且，喷头控制部72基于旋转后的印刷图像数据D1，控制第一喷头431、第二喷头531。由此，在片剂9的表面，沿着割线90将印刷图像数据D1所表示的图像进行印刷。

关于检查部的功能，将在后面详细叙述。

＜3.关于信息处理装置200＞

接下来，对信息处理装置200的结构进行说明。如上所述，作为控制部70内的检查部的功能，通过由控制部70的一部分或全部机械要素构成的信息处理装置200来实现。在信息处理装置200中安装有预先通过机器学习生成的已学习的学习模型。信息处理装置200是能够检查片剂9上有无损伤等缺陷，并检测出有缺陷的异常的片剂9的装置。如图6所示，信息处理装置200作为功能包括图像复原部201、判定部202和输出部203。

首先，对通过机器学习生成安装于信息处理装置200的学习模型的步骤进行说明。在图6中用虚线概念性地图示了该学习时的流程。在学习时，预先准备拍摄正常的片剂9而得的多个学习图像Io(参照图7)。具体而言，在比第一喷头单元43更靠近输送方向的下游侧，通过第一检查照相机44对输送至第一输送带412的片剂9中没有伤痕等缺陷的片剂9进行多次摄像。然后，准备多张拍摄到的片剂9的上表面的图像作为正常的片剂9的学习用的图像(学习图像Io)。在本实施方式中，准备1000张学习图像Io。另外，通常机器学习本身在片剂印刷装置1的外部实施。多张学习图像Io被输入到图像复原部201。

当学习图像Io被输入到图像复原部201时，图像复原部201将各学习图像Io分割为多个区域(参见图8)。在本实施方式中，分割为纵4个区域、横4个区域的合计16个区域(区域S1～区域S16)。并且，分割学习图像Io的数量不限于此。另外，在本实施方式中，分割的区域S1～区域S16的大小彼此相等。但是，也可以将学习图像Io分割为大小相互不同的多个区域。

接着，图像复原部201生成各学习图像Io的区域S1～区域S16中的1个区域被隐藏的图像数据Ih。在图8的上部，作为例子，图示了学习图像Io的区域S1～区域S16中的区域S2被隐藏的图像数据Ih。另外，本实施方式的图像复原部201从区域S1起依次隐藏区域S1～区域S16中的1个区域的同时，针对各学习图像Io生成16张图像数据Ih。图像复原部201针对1000张学习图像Io分别生成16张、即合计16000张图像数据Ih。但是，图像复原部201也可以使用随机生成器，随机地隐藏区域S1～区域S16中的1个区域的同时，针对各学习图像Io生成预定张数的图像数据Ih。

接着，图像复原部201进行基于深度学习的学习处理，以便能够从各图像数据Ih高精度地生成复原了被隐藏的一部分的复原图像Ir。具体而言，图像复原部201将生成各图像数据Ih的原来的学习图像Io作为训练数据，并且对用于高精度地生成复原图像Ir的图像复原处理所涉及的学习模型X(a，b，c…)进行机器学习。这里，训练数据即是正确的数据。另外，作为例子，图8图示了从图像数据Ih高精度地生成复原了被隐藏的区域S2的复原图像Ir的情形。

此时，图像复原部201通过卷积神经网络反复执行从图像数据Ih提取特征而生成潜在变量的编码处理和从潜在变量生成复原图像Ir的解码处理。作为卷积神经网络，例如可举出U-Net或Fusion Net等。然后，使用误差反向传播法或者梯度下降法等，调整编码处理以及解码处理的参数并更新保存，以使解码处理后的复原图像Ir与生成了编码处理前的图像数据Ih的原来的学习图像Io的像素值的差异最小化。在此，编码处理以及解码处理的参数表示学习模型X(a，b，c…)中的多个参数a，b，c…。另外，图像复原部201既可以使用各图像数据Ih进行1次学习，也可以进行多次学习。

但是，对高精度地生成复原图像Ir的图像复原处理进行机器学习的方法并不限定于此。例如，图像复原部201除了具有生成复原图像Ir的学习模型X(a，b，c…)以外，还可以具有将所生成的复原图像Ir与学习图像Io进行比较来判定哪一个是本来的图像的学习模型Y(p，q，r…)。而且，也可以具有根据学习模型X(a，b，c…)的生成结果以及学习模型Y(p，q，r…)的判定结果，使用误差反向传播法，一边使学习模型X(a，b，c…)和学习模型Y(p，q，r…)相互竞合一边交替地进行机器学习的敌对生成网络。作为敌对生成网络，例如可以举出GANs或pix 2pix等。

通过以上，当机器学习完成时，在信息处理装置200中安装学习完毕的学习模型X(a，b，c…)。而且，片剂印刷装置1能够使用该学习模型X(a、b、c…)来进行片剂9的缺陷检测。在进行片剂9的缺陷检测时，首先，片剂印刷装置1内的信息处理装置200从第一检查照相机44取得在比第一喷头单元43更靠近输送方向的下游侧被输送到第一输送带412的片剂9的拍摄图像Ip。另外，从第二检查照相机54，在比第二喷头单元53更靠近输送方向的下游侧，取得输送到第二输送带512的片剂9的拍摄图像Ip。然后，根据在角度识别部71中识别出的旋转角度使拍摄图像Ip旋转，生成检查图像Ii。检查图像Ii是拍摄了不明确有无缺陷、即不明确是正常还是异常的片剂9的图像。另外，在以下的说明中，假定在片剂9的检查图像Ii的位于后述的区域S15的位置具有缺陷De的情况。另外，在本实施方式中，作为缺陷De，假定损伤。但是，缺陷De也可以是由墨水引起的污染、印刷位置的偏移、或者点缺失等。

接着，图像复原部201将各检查图像Ii分割为与学习时相同的纵4个区域、横4个区域的合计16个区域(区域S1～区域S16)。接着，图像复原部201制作各检查图像Ii的区域S1～区域S16中的1个区域被隐藏的图像数据Ih。图9以及图10分别图示了从图像数据Ih高精度地生成复原了被隐藏的1个区域的复原图像Ir的情形。特别是，在图9中，图示了从隐藏了区域S1的图像数据Ih(为了容易说明，以下称为“图像数据Ih1”)，高精度地生成复原了区域S1的复原图像Ir(为了容易说明，以下称为“复原图像Ir1”)的情形。另外，在图10中，图示了从隐藏了区域S15的图像数据Ih(为了容易说明，以下称为“图像数据Ih15”)，高精度地生成复原了区域S15的复原图像Ir(为了容易说明，以下称为“复原图像Ir15”)的情形。另外，由于区域S15被隐藏，所以图像复原部201无法识别缺陷De，但为了便于说明，在图10的图像数据Ih中，用白色显示缺陷De。

接着，图像复原部201与学习时同样地，通过卷积神经网络，执行从隐藏了检查图像Ii的一部分的图像数据Ih提取特征而生成潜在变量的编码处理、和从潜在变量生成复原图像Ir的解码处理，并且使用在学习时学习完毕的学习模型X(a，b，c…)，依次变更被隐藏的一部分的位置的同时，从图像数据Ih生成多个复原图像Ir。

具体而言，图像复原部201首先根据从检查图像Ii隐藏了区域S1的图像数据Ih1，使用学习模型X(a，b，c…)，生成复原了区域S1的复原图像Ir1，并向判定部202输出。接着，图像复原部201根据从检查图像Ii隐藏了区域S2的图像数据Ih2，使用学习模型X(a，b，c…)，生成复原了区域S2的复原图像Ir2，并向判定部202输出。图像复原部201一边依次变更被隐藏的一部分位置，一边反复执行这样的复原处理。不久，图像复原部201根据从检查图像Ii隐藏了区域S15的图像数据Ih15，使用学习模型X(a，b，c…)，生成复原了区域S15的复原图像Ir15，并向判定部202输出。最后，图像复原部201根据从检查图像Ii隐藏了区域S16的图像数据Ih16，使用学习模型X(a，b，c…)，生成复原了区域S16的复原图像Ir16，并向判定部202输出。

在此，如上所述，在学习时学习完毕的学习模型X(a、b、c…)是调整了用于从拍摄没有缺陷De的正常的片剂9而得的图像的一部分被隐藏的图像数据Ih生成复原了被隐藏的一部分的复原图像Ir的参数的模型。因此，如图9所示，在图像复原部201根据隐藏了检查图像Ii中的不存在缺陷De的区域S1的图像数据Ih1使用学习模型X(a，b，c…)来生成复原图像Ir1的情况下，在检查图像Ii中的没有缺陷De的位置，高精度地复原包含没有缺陷De的区域S1的复原图像Ir1。另一方面，如图10所示，在图像复原部201根据隐藏了检查图像Ii中的存在缺陷De的区域S15的图像数据Ih15使用学习模型X(a，b，c…)来生成复原图像Ir15的情况下，图像复原部201无法识别缺陷De。因此，虽然在检查图像Ii中的区域S15中存在缺陷De，但图像复原部201在未识别出存在缺陷De的状态下，生成没有缺陷De的复原图像Ir15。

接着，当从图像复原部201依次输入多个复原图像Ir时，判定部202通过将多个复原图像Ir分别与检查图像Ii进行比较，来判定片剂9是没有缺陷De的正常的片剂还是具有缺陷De的异常的片剂，并将判定结果Dr输出至输出部203。具体而言，判定部202首先对图像复原部201生成的复原图像Ir1与检查图像Ii进行比较，判定复原图像Ir1与检查图像Ii的像素值的差异是否大于预定的容许值。接着，判定部202对图像复原部201生成的复原图像Ir2与检查图像Ii进行比较，判定复原图像Ir2与检查图像Ii的像素值的差异是否大于预定的容许值。判定部202对所有复原图像Ir执行这样的判定处理。不久，判定部202对图像复原部201生成的复原图像Ir15与检查图像Ii进行比较，判定复原图像Ir15与检查图像Ii的像素值的差异是否大于预定的容许值。最后，判定部202对图像复原部201生成的复原图像Ir16与检查图像Ii进行比较，判定复原图像Ir16与检查图像Ii的像素值的差异是否大于预定的容许值。

如上所述，在图像复原部201生成的复原图像Ir15中不存在缺陷De。另一方面，在检查图像Ii中的位于区域S15的位置存在缺陷De。因此，复原图像Ir15与检查图像Ii的像素值的差异与其他比较结果不同，成为大幅变大的值。这样，判定部202在复原图像Ir与检查图像Ii的差异大于预定的容许值的情况下，将成为该复原图像Ir的源的图像数据Ih中被隐藏的位置决定为存在缺陷De的位置。然后，判定部202将有无缺陷De以及缺陷De的位置所涉及的判定结果Dr向输出部203输出。

此外，判定部202也可以在从图像复原部201输入多个复原图像Ir时，将在成为多个复原图像Ir各自的源的图像数据Ih中被隐藏的区域的、复原后的图像相互接合，在此基础上，与检查图像Ii整体进行比较，判定像素值的差异是否大于预定的容许值。

通过以上，判定输送到第一输送传送带41的片剂9及输送到第二输送传送带51的片剂9有无缺陷De，完成所有片剂9的检查。若从判定部202输入判定结果Dr，则输出部203将片剂9中的有无缺陷De及缺陷De的位置所涉及的信息输出至监视器或扬声器等，并且向次品回收部56发送与具有缺陷De的片剂9相关的信息而使其回收。此外，输出部203也可以在由判定部202判定为片剂9中没有缺陷De的情况下，进一步显示该意思。

如上所述，在本实施方式中，通过使用能够容易地获取多个的没有缺陷De的正常的片剂9的图像进行机器学习，能够检测出具有缺陷De的异常的片剂9。由此，能够高精度地检测出片剂9中的包含未知的缺陷的多种多样的缺陷De。

另外，从输出部203输出有无缺陷De以及与缺陷De的位置相关的信息。由此，作业人员等能够使用与该缺陷De的位置相关的信息，容易地再次确认判定为具有缺陷De的片剂9。由此，能够进一步提高具有缺陷De的片剂9的检测精度。

另外，本实施方式的图像复原部201通过卷积神经网络，反复执行从图像数据Ih提取特征而生成潜在变量的编码处理和从潜在变量生成复原图像Ir的解码处理。因此，即使在检查图像Ii或学习图像Io中的片剂9的位置稍微偏离的情况下，或者在检查图像Ii或学习图像Io中包含一些噪声的情况下，也能够高精度地检测出具有缺陷De的片剂9。

＜4.变形例＞

以上，对本发明的主要的实施方式进行了说明，但本发明并不限定于上述的实施方式。

在上述的实施方式中，使用对片剂9进行印刷处理后的片剂9的上表面的图像，进行学习以及片剂9中的缺陷De的检测。然而，也可以使用对片剂9进行印刷处理之前的片剂9的图像来进行学习以及片剂9中的缺陷De的检测。另外，也可以使用从倾斜方向拍摄片剂9而得到的图像，进行学习以及片剂9中的缺陷De的检测。由此，不仅能够检测片剂9的表面和背面，还能够检测存在于片剂9的侧面的缺陷De。

在上述的实施方式中，将在片剂印刷装置1的外部预先完成了机器学习的学习模型X(a、b、c…)安装到信息处理装置200内，进行片剂9中的缺陷De的检测。然而，也可以在已将学习模型X(a、b、c…)安装于片剂印刷装置1内的信息处理装置200的状态下进行机器学习，进而直接进行片剂9中的缺陷De的检测。

在上述的实施方式中，作为检查对象物的例子，使用了作为医药品的片剂9。而且，上述的实施方式的信息处理装置200判定作为检查对象物的片剂9中的损伤、污染、印刷位置的偏移、或者点缺失等缺陷De的有无以及缺陷De的位置。然而，检查对象物可以是在各种印刷装置中进行印刷处理的膜、纸等基材、或者印刷基板等，也可以是在各种装置中使用的部件等。即，检查对象物只要是在正常的情况下具有大致恒定的外观的物体即可。而且，信息处理装置200也可以判定该检查对象物中的外观上的缺陷De的有无以及缺陷De的位置。

即，本发明的信息处理装置是使用正常的检查对象物的图像数据的集合来检测出有缺陷的异常的检查对象物的信息处理装置，该信息处理装置具备：图像复原部，其从检查图像的一部分被隐藏的图像数据，生成复原了被隐藏的一部分的复原图像，所述检查图像是对不确定是正常还是异常的检查对象物进行拍摄而得的图像；判定部，其将复原图像与检查图像进行比较，来判定检查对象物是正常还是异常；以及输出部，其输出判定部的判定结果，图像复原部通过深度学习来完成学习，以便能够从多个学习图像各自的一部分被隐藏的图像数据，高精度地生成复原了被隐藏的一部分的复原图像，所述学习图像是对正常的检查对象物进行拍摄而得的图像。另外，图像复原部在学习完成时，例如只要通过卷积神经网络调整编码处理以及解码处理的参数即可。

另外，本发明的信息处理方法是使用正常的检查对象物的图像数据的集合来检测出有缺陷的异常的检查对象物的信息处理方法，该方法具有如下步骤：a)通过深度学习来学习如下处理：从多个学习图像各自的一部分被隐藏的图像数据，生成复原了被隐藏的一部分的复原图像，所述学习图像是对正常的检查对象物进行拍摄而得的图像；b)将复原图像与检查图像进行比较，来判定检查对象物是正常还是异常，所述复原图像是使用在步骤a)中学习的处理，从检查图像的一部分被隐藏的图像数据复原的图像，所述检查图像是对不确定是正常还是异常的检查对象物进行拍摄而得的图像；以及c)输出所述步骤b)的判定结果。

另外，本发明的信息处理装置所执行的信息处理程序是使用正常的检查对象物的图像数据的集合来检测出有缺陷的异常的检查对象物的信息处理程序，该程序使计算机执行以下处理即可：a)图像复原处理，从检查图像的一部分被隐藏的图像数据，生成复原了被隐藏的一部分的复原图像，所述检查图像是对不确定是正常还是异常的检查对象物进行拍摄而得的图像；b)判定处理，将复原图像与检查图像进行比较，来判定检查对象物是正常还是异常；以及c)输出处理，输出判定处理的判定结果，在图像复原处理中，通过深度学习来完成学习，以便能够从多个学习图像各自的一部分被隐藏的图像数据，高精度地生成复原了被隐藏的一部分的复原图像，所述学习图像是对正常的检查对象物进行拍摄而得的图像。

另外，本发明中，为了检测出有缺陷的异常的检查对象物，只要通过深度学习来学习如下处理即可：从学习图像的一部分被隐藏的图像数据，生成复原了被隐藏的一部分的复原图像，所述学习图像是对正常的检查对象物进行拍摄而得的图像。

另外，本发明中，为了检测出有缺陷的异常的检查对象物，只要具有已学习模型即可，该已学习模型通过深度学习来学习如下处理：为了检测出有缺陷的异常的检查对象物，从多个学习图像各自的一部分被隐藏的图像数据，生成复原了被隐藏的一部分的复原图像，所述学习图像是对正常的检查对象物进行拍摄而得的图像。

由此，通过使用能够容易地取得多个没有缺陷的正常的检查对象物的图像进行机器学习，能够检测出有缺陷的异常的检查对象物。由此，能够高精度地检测出检查对象物中的包含未知的缺陷的多种多样的缺陷。

此外，在上述的实施方式中，在第一印刷部40以及第二印刷部50上分别设置有4个喷头。然而，各印刷部40、50所包含的喷头的数量可以是1～3个，也可以是5个以上。

另外，关于片剂印刷装置1的细节部分的结构，也可以与本申请的各图不同。另外，也可以在不产生矛盾的范围内适当地组合在上述的实施方式、变形例中出现的各要素。

符号说明

1 片剂印刷装置

9 片剂

10 料斗

20 送料部

30 输送滚筒

33 第一状态检测照相机

40 第一印刷部

41 第一输送传送带

42 第二状态检测照相机

43 第一喷头单元

44 第一检查照相机

45 第一定影部

50 第二印刷部

51 第二输送传送带

52 第三状态检测照相机

53 第二喷头单元

54 第二检查照相机

55 第二定影部

56 次品回收部

60 搬出传送带

70 控制部

71 角度识别部

90 割线

100 壳体

200 信息处理装置

201 图像复原部

202 判定部

203 输出部

411 第一带轮

412 第一输送带

431 第一喷头

511 第二带轮

512 第二输送带

531 第二喷头

561 回收箱

701 处理器

702 存储器

703 存储装置

704 接收部

705 发送部

D 数据

D1 印刷图像数据

De 缺陷

Dr 判定结果

Ih 图像数据

Ii 检查图像

Io 学习图像

Ip 拍摄图像

Ir 复原图像

P 计算机程序

X 学习模型

Y 学习模型。