学习数据收集装置、学习数据收集系统以及学习数据收集方法

技术领域

本公开涉及一种收集用于图像识别的学习数据的学习数据收集装置、学习数据收集系统以及学习数据收集方法。

背景技术

近年来，通过使用了深度学习(深层学习)等的机器学习，从摄像机的摄影图像等中识别出对象物的图像识别技术迅速地发展起来。在利用了机器学习的图像识别中，收集更多的以对象物(识别对象)为被摄体的摄影图像的数据来作为学习数据，通过使学习器对其进行学习，能够提高利用学习完毕模型识别未知的摄影图像中的对象物的精度。

在收集这样的学习数据的过程中产生花费工夫的作业，如为了详尽地收集包括对象物的图像的摄影图像，适当地设定多个摄影条件(包括摄像机设定、照明设定、对象物的配置等)来进行摄影。

因此，开发了一种用于简易地生成这种学习数据的技术，例如已知如下一种技术：学习数据生成装置具备：摄影处理单元，其一边变更至少包含与摄像机相对于被摄体的位置有关的信息的摄影条件，一边使在各摄影条件下生成的各物体摄影图像与包含表示摄影时的摄影条件的信息的摄影环境信息相关联；以及物体区域提取单元，其从各物体摄影图像中提取拍进了物体的区域即物体区域，其中，物体区域提取单元使用摄影条件与被设为物体区域的提取源的第一物体摄影图像不同的第二物体摄影图像，来从第一物体摄影图像中提取物体区域(参照专利文献1)。

专利文献1：日本特开2014-178957号公报

发明内容

另外，用于更多地收集如上述那样的学习数据的对象物的摄影未必全部被恰当地实施，因此在通过摄影得到的摄影图像中可能包括未必适合于学习的不恰当的摄影图像(例如，未恰当地拍摄对象物)。如果在学习数据中包含很多这样的不恰当的摄影图像，则导致基于学习完毕模型的图像识别的精度降低。

然而，在如上述专利文献1所记载的现有技术中，虽然能够得到与对象物的朝向的变化对应的摄影图像，但是没有考虑到可能包含不适合于学习的不恰当的摄影图像的情况。

本公开是鉴于这样的现有技术的问题而提出的，其主要目的在于提供一种能够在收集用于图像识别的学习数据的过程中抑制收集不适合于学习的不恰当的摄影图像的学习数据收集装置、学习数据收集系统以及学习数据收集方法。

本公开的学习数据收集装置将由用于摄影者拍摄对象物的摄影装置生成的摄影图像作为用于图像识别的学习数据来进行收集，所述学习数据收集装置具备执行收集所述学习数据的处理的处理器，所述处理器从所述摄影装置获取所述摄影图像，所述处理器判定所述摄影图像是否适合于所述学习数据，所述处理器针对被判定为不适合于所述学习数据的所述摄影图像，执行用于催促所述摄影者进行再次摄影的通知处理。

本公开的学习数据收集系统的特征在于，具备所述学习数据收集装置和所述摄影装置。

本公开的学习数据收集方法是由学习数据收集装置执行的学习数据收集方法，所述学习数据收集装置将由用于摄影者拍摄对象物的摄影装置生成的摄影图像作为用于图像识别的学习数据来进行收集，所述学习数据收集方法的特征在于，从所述摄影装置获取所述摄影图像，判定所述摄影图像是否适合于所述学习数据，在从所述摄影装置获取到被判定为不适合于所述学习数据的所述摄影图像的情况下，执行用于催促所述摄影者针对该摄影图像进行再次摄影的通知处理。

根据本公开的学习数据收集装置、学习数据收集系统以及学习数据收集方法，能够在收集用于图像识别的学习数据的过程中抑制收集不适合于学习的不恰当的摄影图像。

附图说明

图1是本公开所涉及的学习数据收集系统的概要结构图。

图2是示出摄影装置的结构例的说明图。

图3是示出学习数据收集装置的硬件结构的说明图。

图4是示出由学习数据收集装置进行的学习数据的收集处理的流程的流程图。

图5是示出图4中的步骤ST102中的摄影数据登记处理的详情的流程图。

图6是示出图4所示的学习数据的收集处理中的、显示装置的向摄影者的画面显示的第一例的说明图。

图7是示出图4所示的学习数据的收集处理中的、显示装置的向摄影者的画面显示的第二例的说明图。

具体实施方式

为了解决上述问题而完成的第1发明是一种学习数据收集装置，将由用于摄影者拍摄对象物的摄影装置生成的摄影图像作为用于图像识别的学习数据来进行收集，所述学习数据收集装置的特征在于，具备执行收集所述学习数据的处理的处理器，所述处理器从所述摄影装置获取所述摄影图像，所述处理器判定所述摄影图像是否适合于所述学习数据，所述处理器针对被判定为不适合于所述学习数据的所述摄影图像，执行用于催促所述摄影者进行再次摄影的通知处理。

由此，在收集用于图像识别的学习数据的过程中，催促摄影者针对被判定为不适合于学习数据的摄影图像进行再次摄影，因此能够抑制收集不适合于学习的不恰当的摄影图像。

另外，第2发明涉及所述学习数据收集装置，其特征在于，还具备显示装置，所述显示装置基于所述处理器的控制来显示信息，作为所述通知处理，所述处理器将用于催促所述摄影者进行再次摄影的通知画面显示于所述显示装置。

由此，针对被判定为不适合于学习数据的摄影图像，能够简单且明确地催促摄影者进行再次摄影。

另外，第3发明涉及所述学习数据收集装置，其特征在于，所述处理器使用多个判定基准来判定各所述摄影图像是否适合于所述学习数据，所述处理器根据所述判定中使用的所述判定基准的种类，来执行多个不同的方式的所述通知处理。

由此，能够根据判定基准的种类来恰当地执行用于催促摄影者进行再次摄影的通知处理。

另外，第4发明涉及所述学习数据收集装置，其特征在于，还具备存储装置，所述存储装置基于所述处理器的控制来存储数据，所述通知处理包括与再次摄影指示有关的处理以及与再次摄影推荐有关的处理来作为所述多个不同的方式，在所述与再次摄影指示有关的处理中，禁止向所述存储装置存储与所述摄影图像有关的所述学习数据，在所述与再次摄影推荐有关的处理中，允许向所述存储装置存储与所述摄影图像有关的所述学习数据。

由此，即使在判定为摄影图像不适合于学习数据的情况下，也能够根据不适合程度(即，何种程度不适合)来设定可否存储该学习数据，因此能够避免过度地妨碍摄影者的摄影作业(进而妨碍学习数据的收集)。

另外，第5发明涉及所述学习数据收集装置，其特征在于，所述处理器在判定为所述摄影图像包含多个对象物的情况下，受理表示所述对象物是多个物体还是包括透明部分的物体的输入，所述处理器在受理了所述对象物是所述多个物体的意思的输入的情况下，进行所述与再次摄影指示有关的处理，所述处理器在受理了所述对象物是所述包括透明部分的物体的意思的输入的情况下，进行所述与再次摄影推荐有关的处理。

由此，即使在探测到多个物体的情况下，也能够根据该探测结果是否缘于包括透明部分来设定可否存储学习数据。因而，能够避免过度地妨碍摄影者的摄影作业(进而妨碍学习数据的收集)。

另外，第6发明涉及所述学习数据收集装置，其特征在于，所述处理器在判定各所述摄影图像是否适合于所述学习数据之前，将从所述摄影装置获取到的所述摄影图像作为所述学习数据存储到所述存储装置中，所述处理器在针对被判定为不适合于所述学习数据的所述摄影图像执行所述与再次摄影指示有关的处理的情况下，解除将该摄影图像作为所述学习数据进行的登记。

由此，不会过度地妨碍学习数据的收集处理，能够从学习数据中排除不适合于学习的不恰当的摄影图像。

另外，第7发明涉及所述学习数据收集装置，其特征在于，所述处理器从所述摄影装置获取同时从互不相同的方向拍摄所述对象物所得到的所述摄影图像的组，在所述摄影图像的组包括被判定为不适合于所述学习数据的至少一个所述摄影图像的情况下，所述处理器执行用于催促所述摄影者针对该摄影图像的组进行所述再次摄影的通知处理。

由此，能够获取由多个摄像机同时从互不相同的方向拍摄对象物所得到的摄影图像，并且能够抑制收集不适合于学习的不恰当的摄影图像。

另外，第8发明涉及所述学习数据收集装置，其特征在于，所述处理器获取使用预先准备的学习完毕模型来识别作为所述学习数据登记的所述摄影图像中的所述对象物所得到的结果，所述处理器在基于所述识别的结果判定为已学习与所述对象物类似的其它不同的物体的情况下，判定为该摄影图像不适合于所述学习数据。

由此，在已学习与摄影图像中包含的对象物类似的其它不同的物体的情况下，催促摄影者针对该摄影图像(即，以可能与其它不同的物体混淆的方式拍摄对象物所得到的图像)进行再次摄影，因此能够抑制收集不适合于学习的不恰当的摄影图像。

另外，第9发明是一种学习数据收集系统，其特征在于，具备所述学习数据收集装置和所述摄影装置。

由此，在收集用于图像识别的学习数据的过程中，催促摄影者针对被判定为不适合于学习数据的摄影图像进行再次摄影，因此能够抑制收集不适合于学习的不恰当的摄影图像。

另外，第10发明是一种由学习数据收集装置执行的学习数据收集方法，所述学习数据收集装置将由用于摄影者拍摄对象物的摄影装置生成的摄影图像作为用于图像识别的学习数据来进行收集，所述学习数据收集方法的特征在于，从所述摄影装置获取所述摄影图像，判定所述摄影图像是否适合于所述学习数据，在从所述摄影装置获取到被判定为不适合于所述学习数据的所述摄影图像的情况下，执行用于催促所述摄影者针对该摄影图像进行再次摄影的通知处理。

另外，第11发明涉及所述学习数据收集方法，其特征在于，作为所述通知处理，将用于催促所述摄影者进行再次摄影的通知画面显示于显示装置。

另外，第12发明涉及所述学习数据收集方法，其特征在于，使用多个判定基准来判定各所述摄影图像是否适合于所述学习数据，根据所述判定中使用的所述判定基准的种类，来执行多个不同的方式的所述通知处理。

另外，第13发明涉及所述学习数据收集方法，其特征在于，所述通知处理包括与再次摄影指示有关的处理以及与再次摄影推荐有关的处理来作为所述多个不同的方式，在所述与再次摄影指示有关的处理中，禁止向存储装置存储所述学习数据，在所述与再次摄影推荐有关的处理中，允许向存储装置存储所述学习数据。

另外，第14发明涉及所述学习数据收集方法，其特征在于，在判定为所述摄影图像包含多个对象物的情况下，受理表示所述对象物是多个物体还是包括透明部分的物体的输入，在受理了所述对象物是所述多个物体的意思的输入的情况下，进行所述与再次摄影指示有关的处理，在受理了所述对象物是所述包括透明部分的物体的意思的输入的情况下，进行所述与再次摄影推荐有关的处理。

另外，第15发明涉及所述学习数据收集方法，其特征在于，在判定各所述摄影图像是否适合于所述学习数据之前，将从所述摄影装置获取到的所述摄影图像作为所述学习数据存储到所述存储装置中，在针对被判定为不适合于所述学习数据的所述摄影图像执行所述与再次摄影指示有关的处理的情况下，解除将该摄影图像作为所述学习数据进行的登记。

另外，第16发明涉及所述学习数据收集方法，其特征在于，获取使用预先准备的学习完毕模型来识别作为所述学习数据登记的所述摄影图像中的所述对象物所得到的结果，在基于所述识别的结果判定为已学习与所述对象物相同或类似的物体的情况下，判定为该摄影图像不适合于所述学习数据。

另外，第17发明涉及所述学习数据收集方法，其特征在于，使用预先准备的学习完毕模型，来识别作为所述学习数据登记的所述摄影图像中的所述对象物，在判定为已学习与该对象物类似的其它不同的物体的情况下，判定为该摄影图像不适合于所述学习数据。

以下，参照附图来说明本公开的实施方式。

图1是本公开所涉及的学习数据收集系统1的概要结构图。

学习数据收集系统1主要具备：摄影装置2，其用于摄影者拍摄对象物6(参照图2)；学习数据收集装置3，其执行将由该摄影装置2生成的摄影图像作为用于图像识别的学习数据来进行收集的处理(以下称为“学习数据收集处理”)；以及识别装置4，其用于拍摄未知物体。

摄影装置2具有能够同时从互不相同的方向拍摄对象物6的多个摄像机5A-5C。设置不同方向的摄像机的理由是为了全面地捕捉对象物的外观的特征，即使对象物的姿势改变也能够利用识别装置4准确地实施识别。摄像机5A-5C是各自具有公知的摄影功能的摄像机，生成以对象物6为被摄体的摄影图像(运动图像或静止图像)。另外，摄影装置2具有公知的通信功能，将所生成的摄影图像依次发送到学习数据收集装置3。摄影装置2能够通过公知的通信线缆或无线通信连接于学习数据收集装置3，但不限于此，也可以经由公知的通信网络(LAN等)连接于学习数据收集装置3。

此外，由摄影装置2拍摄的对象物6不限定于本公开所示的对象物，是能够成为图像识别的对象的任意的物体。另外，作为由摄像机5A-5C生成的摄影图像，只要能够用于图像识别(对象物6的识别)，则能够采用任意的形式，例如也可以是，摄像机5A-5C具备RGB-D传感器，由此生成RGB图像和距离图像作为摄影图像。

学习数据收集装置3具有：图像获取部11，其依次获取由摄影装置2生成的摄影图像；图像判定部12，其依次判定所获取到的摄影图像是否适合于学习数据；通知处理部13，其针对由图像判定部12判定为不适合于学习数据的摄影图像执行用于催促摄影者进行再次摄影的通知处理；显示部14，其向摄影者显示必要的信息；以及输入部15，其用于用户(例如摄影者)对学习数据收集装置3进行输入操作。如后面详细叙述的那样，关于通知处理部13执行的通知处理，显示部14例如能够显示用于催促摄影者进行再次摄影的信息。

另外，学习数据收集装置3具有：存储部22，其存储通过机器学习进行的图像识别(对未知物体的识别)中使用的识别模型21；识别模型学习部23，其基于由图像判定部12判定为适合于学习数据的摄影图像来执行识别模型21的再次学习；以及图像识别部24，其利用识别模型21，来对摄影图像中包含的对象物6或由识别装置4拍摄到的未知物体进行识别。识别模型21是预先准备的学习完毕模型，通过将由学习数据收集装置3收集到的摄影图像用作学习数据，能够进一步提高与对未知物体的识别(图像识别)有关的正确率、精度。

识别装置4具有拍摄未知物体的识别用摄像机(未图示)，将由该识别用摄像机拍摄到的以未知物体为被摄体的摄影图像发送到学习数据收集装置3。由此，在学习数据收集装置3的图像识别部24中，能够进行利用识别模型21识别来自识别装置4的摄影图像中的未知物体的处理(以下，称为“物体识别处理”。)。识别用摄像机能够设为与上述摄像机5A-5C相同的结构。

此外，学习数据收集系统1中的物体识别处理的功能并不是系统1所必须的结构，也可以在其它系统中利用再次学习到的识别模型21。在该情况下，能够在学习数据收集系统1中省略识别装置4。

图2是示出图1所示的摄影装置2的结构例的说明图。

摄影装置2具有：大致平板状的基座部31，其被载置在地面或桌子上面等；大致平板状的第一臂部32，其从基座部31的一端侧沿大致铅垂方向延伸；大致平板状的第二臂部33，其从第一臂部32的上端朝向基座部31的另一端侧向斜上方延伸；以及第三臂部34，其从第二臂部33的上端朝向基座部31的另一端侧大致水平地延伸。此外，在图2中，虽然省略了图示，但摄影装置2具备内置电池(或电源线缆)、用于与学习数据收集装置3进行通信的无线通信部(或通信线缆)等。

基座部31具有被设置成绕铅垂方向的轴旋转自如的旋转台41。摄影者将对象物(这里是饮料容器)6配置在旋转台41上，在该状态下使旋转台41旋转期望的旋转角度，由此能够变更对象物6相对于摄像机5A-5C的方向(即，对象物6相对于摄像机5A-5C的配置)。

在第三臂部34的下表面侧配置有俯视摄像机5A。俯视摄像机5A的摄影方向朝向下方的旋转台41，能够拍摄与对象物6的俯视图大致相当的摄影图像46。

另外，在第二臂部33的下表面侧(内表面侧)配置有立体摄像机5B。摄像机5B的摄影方向朝向斜下方的旋转台41，能够拍摄与从对象物6的上侧观察到的立体图大致相当的摄影图像47。

另外，在第一臂部32的内表面侧(基座部31的另一端侧)配置有侧视摄像机5C。摄像机5C的摄影方向朝向大致水平方向(旋转台41的上方)，能够拍摄与对象物6的侧视图大致相当的摄影图像48。

此外，摄影装置2的结构(例如，摄像机的数量、摄影方向)不限于图2所示的结构，能够进行各种变更。摄影装置2只要是具有至少一个摄像机的装置即可。

图3是示出图1所示的学习数据收集装置3的硬件结构的说明图。

学习数据收集装置3由具有公知的硬件结构的计算机构成，具有处理器51、RAM52、ROM 53、存储装置54、显示装置55、输入装置56以及通信模块57等，其中，处理器51基于规定的控制程序来统一执行学习数据的收集处理(根据需要包括物体识别处理)，RAM 52是作为该处理器51的工作区域等发挥功能的易失性存储器，ROM 53是用于存储由处理器51执行的控制程序、数据的非易失性存储器，存储装置54由HDD、快闪存储器等构成，显示装置55由液晶监视器等构成，输入装置56由键盘、鼠标以及触摸面板等输入设备构成，通信模块57用于执行与其它装置的通信。

图1所示的学习数据收集装置中的显示部14、输入部15以及存储部22的功能能够分别通过图2所示的显示装置55、输入装置56以及存储装置54来实现。另外，学习数据收集装置3中的图像获取部11、图像判定部12、通知处理部13、识别模型学习部23以及图像识别部24的功能的至少一部分能够通过由处理器51执行控制程序来实现。此外，学习数据收集装置3并不一定限定于图3所示的结构，也可以由通过其它公知的硬件进行的处理来代替图1所示的学习数据收集装置3的功能的至少一部分。

图4是示出由学习数据收集装置3收集学习数据的收集处理的流程的流程图，图5是示出图4中的步骤ST102中的摄影数据登记处理的详情的流程图。

在学习数据收集系统1中，当摄影者利用摄影装置2拍摄对象物时，从摄影装置2向学习数据收集装置3发送包含该摄影图像及其关联信息(摄像机5A-5C的摄影条件等)的摄影数据，学习数据收集装置3接收(获取)该摄影数据(ST101)，在此，摄影者在将对象物6以期望的状态载置在旋转台41上并调整旋转台41的角度之后，在显示装置55显示的摄影画面61(参照图6的(A))上点击(按下)摄影按钮62，由此能够利用摄像机5A-5C执行摄影。

此外，在上述步骤ST101中，学习数据收集装置3获取包含由摄像机5A-5C同时拍摄到的摄影图像的组(三个摄影图像)的摄影数据，但不限于此，在学习数据收集系统1中，只要得到至少一个摄影图像即可。

接着，学习数据收集装置3执行将获取到的摄影数据作为学习数据进行登记的处理(以下称为“摄影数据登记处理”。)(ST102)。在此，摄影者能够通过在摄影画面61(参照图6的(A))上点击(按下)登记按钮63，来执行摄影数据登记处理。

在上述步骤ST102的摄影数据登记处理中，如图5所示，首先，学习数据收集装置3获取由摄影者针对所获取到的摄影图像(即，所拍摄的对象物)输入的标签的信息(ST201)。

接着，学习数据收集装置3通过公知的方法提取摄影图像中的前景图像来作为对象物的图像区域(ST202)。该前景图像能够根据例如与背景图像的差分来提取。

因此，学习数据收集装置3通过公知的方法从提取出的前景图像中提取特征量(ST203)。此时，学习数据收集装置3能够基于例如HOG(Histograms of OrientedGradients：方向梯度直方图)、SURF(Speeded-Up Robust Features：加速稳健特征)等方法、使用了深度学习的方法来提取特征量。

之后，学习数据收集装置3基于在步骤ST203中提取出的特征量，来执行识别模型21的再次学习(ST204)。此外，学习数据收集系统1中的再次学习的功能(识别模型学习部23)不是系统所必须的结构，也可以在其它系统中利用所收集到的学习数据。

再次参照图4，接着，学习数据收集装置3判定所获取到的摄影图像是否适合于学习数据(ST103)。

在该步骤ST103中，学习数据收集装置3能够在摄影图像适合与否的判定中使用如下所示的多个判定基准(1)-(7)。

(1)与类似物体的存在有关的判定

在学习数据收集装置3中，能够基于是否通过识别模型21登记有与对象物类似的其它不同的物体(特征量)，来判定摄影图像是否适合于学习数据。更详细地说，在学习数据收集装置3中，在由图像识别部24从摄影图像中检测到特征类似(例如，表示识别的准确度的分数超过规定的阈值)的物体、且所检测到的该物体与在上述步骤ST201中由摄影者输入的标签不同的情况下，在识别模型21中登记有可能与摄影图像中包含的对象物混淆的其它不同的物体，因此图像判定部12将该摄影图像(即，以可能与其它不同的物体混淆的方式拍摄对象物而得到的图像)判定为不恰当。

因此，作为上述通知处理的一个方式，学习数据收集装置3推荐摄影者进行再次摄影，以针对该对象物获取摄影条件不同的摄影图像。如在后面详述的那样，在与再次摄影推荐有关的处理中，允许向存储装置54存储与摄影图像有关的学习数据(在此是指识别模型21的再次学习)。由此，关于同一对象物，能够获取更易于提取该对象物的特征的摄影图像(学习数据)。其结果，能够进一步提高利用识别模型21对该对象物以及与其类似的其它不同物体识别的正确率、精度。

(2)与手的拍进有关的判定

在学习数据收集装置3中，能够基于摄影图像中是否存在人的手(例如摄影者的手)，来判定摄影图像是否适合于学习数据。更详细地说，在学习数据收集装置3中，在通过公知的方法判定为在摄影图像中存在人的手(例如，提取出人的手的特征点)的情况下，有可能在被作为学习数据提取出的对象物的特征量中包含手的特征，因此图像判定部12将该摄影图像判定为不恰当。

因此，学习数据收集装置3推荐摄影者进行再次摄影，以获取排除了人的手之后的摄影图像。由此，能够获取恰当的摄影图像。

(3)与透明的物体有关的判定

在学习数据收集装置3中，能够基于在摄影图像中是否存在至少一部分透明的物体(对象物)，来判定摄影图像是否适合于学习数据。更详细地说，在学习数据收集装置3中，在通过公知的方法判定为在摄影图像中存在至少一部分透明的物体(例如，无法提取对象物的整体的轮廓)的情况下，有可能该透明(包括半透明)的部位不被识别为对象物(即，被识别为背景)，因此图像判定部12将该摄影图像判定为不恰当。

因此，学习数据收集装置3推荐摄影者进行再次摄影，使得即使对象物的一部分透明也获取恰当的摄影图像。由此，摄影者能够通过例如变更对象物的配置来获取恰当的摄影图像。

(4)与多个物体的存在有关的判定

在学习数据收集装置3中，能够基于在摄影图像中是否存在多个物体(对象物)，来判定摄影图像是否适合于学习数据。更详细地说，在学习数据收集装置3中，在通过公知的方法判定为在摄影图像中存在多个物体(例如，被提取出多个分离的前景区域)的情况下，有可能在被作为学习数据提取出的对象物的特征量中包含其它物体的特征，因此图像判定部12将该摄影图像判定为不恰当。此外，在是如上述那样的一部分透明的物体(即，具有相互分离的多个不透明的部分的物体)的情况下，也可能被判定为在摄影图像中存在多个物体。

因此，作为上述通知处理的一个方式，学习数据收集装置3指示摄影者进行再次摄影，使得不拍摄多个对象物地获取恰当的摄影图像(即，执行与再次摄影指示有关的处理)。如在后面详述的那样，在与再次摄影指示有关的处理中，禁止向存储装置54存储与摄影图像有关的学习数据(在此是指识别模型21的再次学习)。由此，摄影者能够通过例如将摄影对象设为一个对象物(从摄影区域去除对象物以外的物体)或对一部分为透明的物体(即，具有相互分离的多个不透明部分的物体)的配置进行变更，来获取恰当的摄影图像。

(5)与照明条件(反射)有关的判定

在学习数据收集装置3中，能够基于在摄影图像中是否存在过曝光(日语：白とび)区域(几乎全白的区域)，来判定摄影图像是否适合于学习数据。更详细地说，在学习数据收集装置3中，在通过公知的方法判定为在摄影图像中存在的过曝光区域的比例(或面积)为规定的阈值以上的情况下，难以根据对象物的纹理提取特征，因此图像判定部12将该摄影图像判定为不恰当。

因此，学习数据收集装置3指示摄影者进行再次摄影，以抑制过曝光的发生而获取恰当的摄影图像。由此，摄影者能够通过例如变更照明的方向(或者对象物相对于照明光的配置)，来获取恰当的摄影图像。此外，在摄影图像中的过曝光区域的比例(或面积)小于预先决定的阈值的情况下，再次摄影并非必须的，因此学习数据收集装置3能够推荐再次摄影。

(6)与对象物的大小(小物体)有关的判定

在学习数据收集装置3中，能够基于摄影图像的对象物是否为小物体，来判定摄影图像是否适合于学习数据。更详细地说，在学习数据收集装置3中，在通过公知的方法判定为对象物的图像区域在摄影图像中所占的比例(或面积)小于规定的阈值的情况下，难以从对象物的图像区域提取特征量，因此图像判定部12将该摄影图像判定为不恰当。

因此，学习数据收集装置3推荐再次摄影，使得即使在对象物小的情况下也获取恰当的摄影图像。由此，摄影者能够通过例如利用摄像机5A-5C的变焦功能、变更对象物与摄像机5A-5C的距离等来放大对象物的图像区域，由此获取恰当的摄影图像。

(7)与低照度有关的判定

在学习数据收集装置3中，能够基于是否在低照度下得到摄影图像，或者基于是否存在曝光不足(日语：黒つぶれ)区域(几乎全黑的区域)，来判定摄影图像是否适合于学习数据。更详细地说，在学习数据收集装置3中，在通过公知的方法判定为摄影图像整体(或者对象物的图像区域)的明度小于规定的阈值或者在摄影图像中存在的曝光不足区域的比例(或面积)为预先决定的阈值以上的情况下，难以从对象物的图像区域中提取特征量，因此图像判定部12将该摄影图像判定为不恰当。

因此，学习数据收集装置3推荐再次摄影，以避免低照度下的摄影或者抑制发生曝光不足而获取恰当的摄影图像。由此，摄影者能够通过例如调整照明的明亮度(例如，使光源靠近对象物或者追加新的照明装置)，来获取恰当的摄影图像。

在学习数据收集装置3中，使用上述判定基准(1)-(7)的全部判定基准来执行上述步骤ST103。但是不限于此，在学习数据收集装置3中，也可以根据对象物的种类等选择上述判定基准(1)-(7)中的至少一个判定基准来使用。

另外，作为在学习数据收集装置3中使用了多个判定基准执行上述步骤ST103的情况下的通知处理，使指示再次摄影优先于推荐再次摄影。例如，在(1)与类似物体的存在有关的判定以及(4)与多个物体的存在有关的判定中均判定为摄影图像不恰当的情况下，使指示再次摄影的(4)与多个物体的存在有关的判定的结果优先。

并且，在学习数据收集装置3中使用了多个判定基准执行上述步骤ST103的情况下，如果不存在与指示再次摄影有关的判定结果而存在多个与推荐再次摄影有关的判定结果，则按照预先设定的优先级来使基于最上位的判定基准的判定结果优先。例如，能够按照(1)与类似物体的存在有关的判定、(2)与手的拍进有关的判定以及(3)与透明的物体有关的判定的顺序来设定优先级。

这样，学习数据收集装置3能够根据判定基准的种类来恰当地执行用于催促摄影者进行再次摄影的通知处理。另外，在学习数据收集装置3中，即使在判定为摄影图像不适合于学习数据的情况下，由于执行多种不同方式的通知处理(与再次摄影指示有关的处理、与再次摄影推荐有关的处理)，因此也能够根据不适合的程度(即，何种程度不适合)来设定可否存储该学习数据，从而能够避免过度地妨碍摄影者的摄影作业(进而妨碍学习数据的收集)。

之后，学习数据收集装置3在上述步骤ST103中判定为摄影图像不适合于学习数据(ST104：“否”)、且判定为应针对该摄影图像执行与再次摄影推荐有关的处理的情况下(ST105：“是”)，作为针对摄影者的通知处理，执行与再次摄影指示有关的处理(ST106)。

之后，学习数据收集装置3将通过步骤ST102的摄影数据登记处理而被登记为学习数据的摄影数据的登记解除(ST107)。由此，不会过度地妨碍学习数据的收集处理，能够从学习数据中去除不适合于学习的不恰当的摄影图像(从识别模型21中删除对应的数据)。

另一方面，学习数据收集装置3在上述步骤ST103中判定为摄影图像不适合于学习数据(ST104：“否”)、且判定为不应针对该摄影图像执行与再次摄影推荐有关的处理的情况下(ST105：“否”)，作为针对摄影者的通知处理，执行与再次摄影推荐有关的处理(ST108)。

在学习数据的收集处理中，每当摄影者拍摄对象物时，重复执行如上所述的一系列处理。另外，如针对图6和图7在后面叙述的那样，在学习数据的收集处理中，关于上述步骤ST105、ST106以及ST108等，在显示装置55中执行向摄影者的画面显示。

此外，关于步骤ST102中的摄影数据登记处理，不需要在步骤ST103之前执行，例如也可以在步骤ST104中判定为摄影图像适合于学习数据(“是”)之后执行，或者在步骤ST108之后执行。在这些情况下，由于在ST106的时间点还没有登记学习数据，因此省略ST106中的学习数据的登记解除的处理。另外，与上述的步骤ST106的情况同样地，步骤ST108中的处理不限定于在显示装置55中显示信息的结构。

这样，在学习数据收集系统1中，在收集用于图像识别的学习数据的过程中，针对被判定为不适合于学习数据的摄影图像，催促摄影者进行再次摄影，因此能够抑制收集不适合于学习的不恰当的摄影图像。

图6是示出图4所示的学习数据的收集处理中的、显示装置55的向摄影者的画面显示的第一例的说明图。在此，示出了以下情况的画面显示例，该情况是：在学习数据的收集处理中，基于(3)与透明的物体有关的判定或者(4)与多个物体的存在有关的判定，判定为摄影图像不适合于学习数据。

如上所述，在开始拍摄对象物时(参照图4中的步骤ST101)，在显示装置55中显示图6的(A)所示的摄影画面61，之后，在判定为摄影图像不适合于学习数据时(参照图4中的步骤ST104(“否”))，显示从该摄影画面61发生变化，关于图4中的步骤ST105，如图6的(B)所示那样显示包含用于催促摄影者确认从对象物的图像中探测到的物体(受理摄影者的输入)的消息的通知画面71。在该通知画面71中显示第一消息72，该第一消息72用于说明由于在摄影图像中探测到透明的物体或多个物体而需要摄影者的确认(是透明的物体还是多个物体的输入)。

因此，在摄影者确认了配置有多个对象物并点击第一消息72中的多个物体按钮73时，关于图4中的步骤ST106，如图6的(C)所示那样，在通知画面71中，将第二消息74作为向摄影者显示的新消息(指示再次摄影)进行显示，该第二消息74用于说明所发生的现象(这里是，不能同时拍摄多个物体)以及需要以更恰当的状态(这里是，将所配置的物体设为一个)进行再次摄影。

另一方面，在摄影者确认了是对象物的至少一部分透明并点击消息72中的透明物体按钮76时，关于图4中的步骤ST108，如图6的(D)所示那样，在通知画面71中，将第三消息77作为向摄影者显示的新消息(推荐再次摄影)进行显示，该第三消息77用于说明优选以更恰当的状态(这里是，改变对象物的放置方式)进行再次摄影。

如上所述，在基于图像来判定物体的数量的情况下，难以判定是探测到一部分透明的物体还是探测到多个物体。另一方面，在探测到多个物体的情况下，为了避免将多个物体的特征存储为一个物体的特征，必须进行再次摄影指示，如果进行再次摄影指示的处理直到探测到一部分透明的物体为止，则用户的负担变大。因此，在图6中例示了以下动作：在受理了是探测到多个物体还是探测到一部分透明的物体的判断之后，根据是哪种物体，来在是进行探测到一部分透明的物体的情况下的再次摄影推荐的处理、还是进行探测到多个物体的情况下的再次摄影指示的处理之间进行切换。

此外，在不需要摄影者确认从对象物的图像中探测到的物体的情况下，能够省略图6的(B)所示的通知画面71(用于催促摄影者进行确认的消息)，在该情况下，显示从图6的(A)变化为图6的(C)或图6的(D)。

另外，步骤ST105、ST106以及ST108等中的处理不限于如上述那样在显示装置55中显示包含规定的信息的画面的结构，例如还能够通过来自设置于摄影装置2或学习数据收集装置3的扬声器的声音输出，来通知摄影者需要进行再次摄影。或者，也可以通过设置于摄影装置2或学习数据收集装置3的警告灯的动作状态(点亮、闪烁等)，来通知摄影者需要进行再次摄影。

图7是示出图4所示的学习数据的收集处理中的、显示装置55的向摄影者的画面显示的第二例的说明图。在此，示出以下情况的画面显示例，该情况是：在学习数据的收集处理中，基于(1)与类似物体的存在有关的判定、(5)与照明条件有关的判定以及(7)与低照度有关的判定，分别判定为摄影图像不适合于学习数据。

与图6的情况同样地，在开始拍摄对象物时，在显示装置55中显示图7的(A)所示的摄影画面61，之后，在判定为摄影图像不适合于学习数据时，显示从该摄影画面61发生变化，如图7的(B)～图7的(D)中的任一者所示，显示包含用于催促摄影者进行再次摄影的消息的通知画面81。

在图6的(B)中，示出了基于上述的(1)与类似物体的存在有关的判定而判定为摄影图像不适合于学习数据的情况下的画面显示例，在通知画面81中，作为用于催促摄影者进行再次摄影的消息(推荐再次摄影)，显示第四消息82，该第四消息82用于说明所发生的现象(这里是，存在与对象物类似的其它不同的物体(即，已学习其它不同的物体))以及优选以更恰当的状态(例如，改变对象物的配置之后)对同一对象物进行再次摄影。

另外，在图6的(C)中示出基于上述的(5)与照明条件有关的判定而判定为摄影图像不适合于学习数据(这里是，摄影图像中的过曝光区域的比例(或面积)小于预先决定的阈值)的情况的画面显示例，在通知画面81中，作为用于催促摄影者进行再次摄影的消息(推荐再次摄影)，显示第五消息83，该第五消息83用于说明所发生的现象(这里是，在摄影图像中的物体中存在过曝光的部分)以及优选以更恰当的状态(这里是，改变照明条件)对对象物进行再次摄影。

此外，关于图6的(C)，在上述的(5)与照明条件有关的判定中，在摄影图像中的过曝光区域的比例(或面积)大于预先决定的阈值的情况下，在通知画面81中，作为用于催促摄影者进行再次摄影的消息(指示再次摄影)，显示用于说明需要对对象物进行再次摄影的消息。

另外，在图6的(D)中示出了基于上述的(7)与低照度有关的判定而判定为摄影图像不适合于学习数据的情况下的画面显示例，在通知画面81中，作为用于催促摄影者进行再次摄影的消息(推荐再次摄影)，显示第六消息84，该第六消息84用于说明所发生的现象(这里是，摄影图像的明亮度不够)以及优选以更适当的状态(这里是，改变照明条件)对对象物进行再次摄影。

以上，基于特定的实施方式说明了本发明，但这些实施方式只是例示，本公开并不限定于这些实施方式。另外，上述实施方式中示出的本公开所涉及的学习数据收集装置、学习数据收集系统以及学习数据收集方法未必全部是必须的，如果是本领域的技术人员，则只要至少不脱离本公开的范围，能够适当地进行选择取舍。

在上述的实施方式中，摄影装置2以固定的朝向具备各摄像机5A-5C，但还能够通过将一个摄像机设为可动式来得到同样的摄影图像。

在上述的实施方式中，在各判定中分别对应有允许存储学习数据和禁止存储学习数据中的某一个，但不限于此。例如，如果重视学习数据的质量，则也可以一律禁止学习数据的存储。但是，在上述的实施方式中，在对于学习结果的改善没有贡献的例子中禁止学习数据的存储，在其它例子中允许学习数据的存储。例如，如果在(4)与多个物体的存在有关的判定中存储了学习数据，则导致物体的组合的特征被作为一个物体的特征进行学习，因此如果利用以反映出该结果的方式构建的学习完毕模型的话，该一个物体的识别精度降低。另外，在(5)与照明条件(反射)有关的判定中的过曝光区域的比例(或面积)为规定的阈值以上的情况下，由于无法提取应学习的特征本身，因此即使存储了该学习数据，也不能对学习结果的提高作出贡献。

本公开所涉及的学习数据收集装置、学习数据收集系统以及学习数据收集方法能够在收集用于图像识别的学习数据的过程中抑制收集不适合于学习的不恰当的摄影图像，作为收集用于图像识别的学习数据的学习数据收集装置、学习数据收集系统以及学习数据收集方法等是有用的。

1：学习数据收集系统；2：摄影装置；3：学习数据收集装置；4：识别装置；5A-5C：摄像机；6：对象物；11：图像获取部；12：图像判定部；13：通知处理部；21：识别模型；22：存储部；23：识别模型学习部；24：图像识别部；41：旋转台；46～48：摄影图像；51：处理器；54：存储装置；55：显示装置；56：输入装置；57：通信模块；61：摄影画面；62：摄影按钮；63：登记按钮；71、81：通知画面；72：第一消息；74：第二消息；77：第三消息；82：第四消息；83：第五消息；84：第六消息。