信息处理装置、信息处理方法及程序

技术领域

本公开涉及信息处理装置、信息处理方法及程序。

背景技术

已研究了在超市或便利店之类的零售店店铺中，通过图像识别来确定商品的方法(例如，商品识别方法)(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2020-061164号公报

发明内容

但是，针对在商品识别中减小图像识别的误识别率的方法，尚有改善的余地。特别是，以往尚未研究预防在被误识别的物品的识别环境中误识别其他物品的方法。

本公开的非限定性的实施例有助于提供如下的信息处理装置、信息处理方法及程序，该信息处理装置、信息处理方法及程序在特定环境中的不同的物品会成为图像识别的对象的情况下，能够评估对于不同的物品的图像识别精度。

本公开的一个实施例的信息处理装置包括：生成电路，基于在第一环境中对第一物品进行拍摄所得的第一图像数据的属性信息，生成第二图像数据，所述第二图像数据重现在所述第一环境中配置有与所述第一物品不同的第二物品的图像；评估电路，基于所述第二图像数据，评估对于所述第二物品的图像识别精度；以及输出电路，输出所述精度的评估结果。

应予说明，这些总括性的或具体的方式可以由系统、装置、方法、集成电路、电脑程序或记录介质实现，也可以由系统、装置、方法、集成电路、电脑程序及记录介质的任意的组合实现。

根据本公开的一个实施例，在特定环境中的不同的物品会成为图像识别的对象的情况下，能够评估对于不同的物品的图像识别精度。

本公开的一个实施例的更多优点和效果将通过说明书和附图予以阐明。这些优点和/或效果分别由若干个实施方式、以及说明书及附图所记载的特征提供，但未必需要为了获得一个或一个以上的相同的特征而全部提供。

附图说明

图1是表示商品识别系统的结构例的图。

图2是表示商品识别系统的动作例的流程图。

图3是表示误识别风险的显示例的图。

图4是表示误识别风险的显示例的图。

图5是表示误识别风险的显示例的图。

图6是表示误识别风险的显示例的图。

图7是表示照明建议的导出例的图。

图8是表示误识别风险的显示例的图。

图9是表示误识别风险的显示例的图。

图10是表示电脑的硬件结构例的图。

具体实施方式

以下，参照附图来详细地说明本公开的各实施方式。

例如，研究了在设置于零售店店铺的结算台(或者，收银台)通过图像识别来识别商品的系统(例如，称为“商品识别系统”)。此外，“商品”是“物品”的一例。例如，图像识别的对象可以不限于商品。

在图像识别中，例如照明环境有可能按店铺而各不相同。例如，在照明环境和进行商品的模型学习的环境(例如，称为“学习环境”)不同的情况下，有可能会发生商品的误识别(例如，包含未识别的情况)。

在商品误识别的原因为学习环境与进行商品识别的环境(例如，称为“识别环境”)之间的差异的情况下，在相同的识别环境中，其他商品也有可能会发生误识别。更具体而言，当在识别环境中落在商品上的阴影等为误识别的原因的情况下，在其他商品也产生相同的阴影的可能性高。因此，在对于某个商品发生了误识别的情况下，有时想要评估(或者，估计)如下风险(例如，“误识别风险”)，该风险是指在误识别了该商品的识别环境中，对于其他商品的图像识别发生误识别的风险。换句话说，有时想要评估在某个商品发生了误识别的环境中，其他商品是否也会发生误识别。

此处，有时难以在对于与发生了误识别的商品不同的商品的误识别风险的评估中，忠实地重现发生了误识别的过去的识别环境(例如，照明环境)，另外，有时也难以评估在发生了误识别的定时的、其他商品的误识别风险。

在本公开的一个实施例中，例如说明如下方法，该方法判定(或者，评估)在发生了商品误识别的识别环境中的、对于与发生了误识别的商品不同的商品的误识别风险。

(实施方式1)

[商品识别系统的结构]

图1是表示本实施方式的商品识别系统1的结构例的图。

图1所示的商品识别系统1例如可以包括图像取得部11、商品识别部12、存储部13、误识别分析部14及结果显示部15。误识别分析部14例如也可以被替换为“误识别判定装置”、“图像识别装置”、“图像处理装置”或“信息处理装置”之类的其他名称。

图像取得部11例如取得包含由商品识别部12进行图像识别的地方(例如，结算台)的商品的图像数据(例如，商品图像数据)。例如，图像取得部11可以取得商品图像数据，该商品图像数据是利用相机(未图示)对存在于结算时进行图像识别的地方的商品进行拍摄而得的图像数据。例如从图像取得部11向商品识别部12发送所取得的商品图像数据。

商品识别部12例如可以对店铺的顾客所结算(例如，购买)的商品进行图像识别。商品识别部12例如可以基于存储部13所存储的商品的已学习完的识别模型(以下，称为“商品识别模型”)，识别与从图像取得部11输入的商品图像数据对应的商品。例如可以从商品识别部12向结果显示部15输出表示商品的识别结果的信息。

另外，商品识别部12例如可以判定商品的识别结果有无发生误识别。例如，商品识别部12可以基于结算时的用户(例如，店员或顾客)的判断，检测误识别的发生。更具体而言，商品识别部12可以在用户输入了已发生误识别这一内容的情况下，检测为发生了误识别。另外，商品识别部12例如也可以在结算时之外的定时，检测误识别的发生。例如，商品识别部12可以在汇总店铺的营业额数据时，实际库存和理论上的营业额无法取得一致的情况下，检测为发生了误识别。另外，在发生了误识别的情况下，例如可以从商品识别部12向误识别分析部14输出发生了误识别的商品的商品图像数据。

存储部13例如存储商品识别模型。在商品识别模型中，例如可以包含商品图像数据、以及商品名之类的与商品相关的信息。

误识别分析部14例如评估对于商品的图像识别精度。作为与精度相关的指标的一例，可以在误识别分析部14中决定(或者，判定或评估)表示误识别的可能性的指标(以下，称为“误识别风险”)。

例如，误识别分析部14可以基于商品识别部12中的在识别环境(例如，第一环境)中对商品进行拍摄所得的图像数据的属性信息(例如，也仅称为“属性”)，生成包含处于该识别环境(例如，第一环境)中的其他商品的图像数据，并基于所生成的图像数据，评估对于其他商品的图像识别精度。

图像数据的属性例如是与图像内的特征量相关的信息，且属性与特征量之间具有如下关系，即，若使属性变化，则图像的特征量会变化。例如，作为商品识别系统1中设定的属性的非限定性的一例，可列举照明的朝向、照明的强度、照明的色温、模糊的有无、识别对象(例如，商品)的朝向、反射的强度、识别对象的个体差异之类的属性。此外，属性的种类并不限定于这些属性，例如也可以包括与商品识别相关的其他特征。

例如，误识别分析部14可以取得已在商品识别部12的图像识别中被判定为误识别的商品的商品图像数据(以下，也称为“误识别图像数据”)。另外，误识别分析部14例如可以基于误识别图像数据的属性信息，变更与被判定为误识别的商品不同的商品的商品图像数据(例如，也称为“评估图像数据”)的属性信息。接着，误识别分析部14例如可以基于变更属性信息后的图像数据(以下，“虚拟评估图像数据”)，评估对于该商品的图像识别精度。

误识别分析部14例如可以向结果显示部15输出与图像识别精度的评估结果相关的信息。

结果显示部15(或者，输出部)例如可以显示(或者，输出)从商品识别部12输入的商品的识别结果。另外，结果显示部15例如可以显示(或者，输出)与误识别分析部14所判定出的误识别风险相关的信息。结果显示部15中的误识别风险的显示方法的一例将在下文中叙述。

此外，图像取得部11、商品识别部12、存储部13及结果显示部15中的至少一者可以包含于误识别分析部14，也可以不包含于误识别分析部14。

[误识别分析部14的结构例]

误识别分析部14例如可以包括性能评估用图像数据库(DB)141、图像编码部142、属性操作部143、图像生成部144及评估部145。例如，属性操作部143及图像生成部144可以对应于生成电路。

性能评估用图像DB 141例如存储店铺有可能经办的商品的图像数据(例如，评估图像数据)。

图像编码部142例如对从商品识别部12输入的误识别图像数据进行编码。另外，图像编码部142例如对性能评估用图像DB 141所存储的至少一个评估图像数据进行编码。图像编码部142例如可以基于商品图像编码模型，对误识别图像数据及评估图像数据进行编码。图像编码部142例如向属性操作部143输出误识别图像及评估图像的编码信息(例如，与至少一个属性相关的编码)。

作为商品图像编码模型(或者，编码方法)的一例，例如可列举如深度学习的编码器那样通过图像卷积获得某个维度的实向量的方法、或者如下方法，该方法使用图像生成模型从编码(例如，实向量)进行图像生成，并搜索用于获得更接近于误识别图像的图像的编码。

属性操作部143例如可以对从图像编码部142输入的评估图像数据的编码信息中的属性信息进行操作。另外，属性操作部143例如可以对从图像编码部142输入的误识别图像数据的编码信息中的属性进行操作。属性操作部143例如可以基于生成图像属性操作模型，进行属性操作。此外，“操作”这一用语也可以替换为“调整”、“变更”之类的其他用语。

另外，属性操作部143例如可以将误识别图像数据的编码信息所含的属性信息中的与照明环境(例如，照明条件)相关的属性信息(例如，第一属性)应用(或者，反映)于评估图像数据。例如，属性操作部143可以混合误识别图像数据的与照明环境相关的属性信息、和评估图像数据的与照明环境相关的属性信息，也可以将评估图像数据的与照明环境相关的属性信息替换为误识别图像数据的与照明环境相关的属性信息。

另外，属性操作部143例如也可以对于评估图像数据，调整与照明环境相关的属性信息(例如，第一属性)，并调整与不同于照明环境的特征量相关的属性(例如，与作为识别对象的物品相关的第二属性)中的至少一者。此外，第二属性也可以是与既不同于照明也不同于物品的周围环境相关的属性。

属性操作部143例如向图像生成部144输出对属性进行了操作后的评估图像的编码信息。

图像生成部144例如基于从属性操作部143输入的评估图像的编码信息，生成(换句话说，解码)图像数据(例如，虚拟评估图像数据)。图像生成部144例如可以基于商品图像生成模型进行图像生成。图像生成部144例如也可以使用深度学习中的生成器来生成虚拟评估图像数据。图像生成部144例如向评估部145输出所生成的虚拟评估图像数据。

评估部145可以基于存储部13所存储的商品识别模型，评估对于从图像生成部144输入的虚拟评估图像数据的商品的识别精度。例如，评估部145也可以基于商品识别结果，决定与虚拟评估图像数据对应的、评估对象商品的误识别风险。评估部145例如可以向结果显示部15输出与对于虚拟评估图像数据的评估结果相关的信息。

[商品识别系统1的动作例]

接着，说明上述商品识别系统1的动作的一例。

图2是表示流程图的图，该流程图表示商品识别系统1的误识别分析部14的动作例。误识别分析部14例如可以在商品识别部12检测出发生了商品误识别的定时，进行图2所示的处理。

在图2中，误识别分析部14例如对从商品识别部12输入的误识别图像数据进行编码(S101)。

误识别分析部14例如可以对于至少一个评估图像(换句话说，至少一个商品的图像)，进行以下的S102～S107的与识别精度的评估相关的处理，另外，可以针对至少一个属性操作(例如，属性操作的条件)，进行以下的S102～S107的与识别精度的评估相关的处理。例如，可以预先决定作为识别精度评估对象的商品，也可以通过接受用户的输入来选择作为识别精度评估对象的商品。另外，可以预先决定识别精度评估中所应用的属性操作的条件，也可以通过接受用户的输入来选择识别精度评估中所应用的属性操作的条件。

误识别分析部14例如对评估图像数据进行编码(S102)。

误识别分析部14例如可以对误识别图像数据的编码信息进行至少一个属性操作(例如，转换或调整属性)(S103)。

误识别分析部14例如可以对评估图像数据的编码信息进行至少一个属性操作(S104)。

例如，误识别分析部14可以对误识别图像及评估图像中的至少一个图像进行预先决定的属性操作。在属性操作中，例如可以包含对于照明的朝向、照明的强度、照明的色温、反射的强度、作为评估对象的物品(例如，商品)的朝向或物品的个体差异之类的属性的操作。

例如，误识别分析部14也可以在S103的处理中，对于误识别图像数据的编码信息，调整与照明环境相关的属性(例如，照明的朝向、强度或色温)。通过该调整，例如能够虚拟地重现与照明相关的比实际环境暗的环境、或比实际环境亮的环境。

另外，例如误识别分析部14也可以在S104的处理中，对于评估图像数据的编码信息，调整与作为评估对象的物品相关的属性(例如，物品的朝向或个体差异)。通过该调整，能够重现商品的多种多样的状态。

此外，误识别分析部14例如也可以不进行S103及S104中的某一者或两者中的属性操作的处理。

误识别分析部14例如使与误识别图像数据相关的信息反映到与评估图像数据相关的信息中(S105)。例如，误识别分析部14可以将误识别图像数据的编码信息所含的属性信息中的与图像识别的照明环境相关的属性信息(或者，称为“照明环境信息”)，反映到评估图像数据的编码信息(例如，照明环境信息)中。此外，“反映”这一用语也可以替换为“更新”、“改写”、“设定”、“应用”、“混合”之类的其他用语。例如，误识别分析部14也可以在误识别图像数据的照明环境信息(或者，编码)与评估图像数据的照明环境信息(或者，编码)之间，进行样式混合(styleMixing)之类的处理。

误识别分析部14例如基于反映了误识别图像数据的照明环境信息的、评估图像数据的编码信息，生成虚拟评估图像数据(S106)。换句话说，评估图像数据基于误识别图像数据而被转换为虚拟评估图像数据。

误识别分析部14例如基于虚拟评估图像数据，评估对于与评估图像数据对应的商品的识别精度(例如，识别成功率或误识别风险)(S107)。

误识别分析部14例如向结果显示部15输出识别精度的评估结果(S108)。

[虚拟评估图像数据的生成方法]

以下，说明虚拟评估图像数据的生成方法的例子。

＜生成方法1＞

在生成方法1中，例如可以通过对评估图像数据整体进行规定的图像处理，生成虚拟评估图像数据。例如，误识别分析部14可以对评估图像数据进行伽马校正或高斯噪声的添加(或者，去除)之类的图像处理，生成虚拟评估图像数据。

例如，误识别分析部14可以通过调整为误识别图像数据中的伽马校正值或高斯噪声的值(例如，误识别图像数据的与亮度相关的属性信息)，生成虚拟地重现了与误识别图像数据对应的照明环境的虚拟评估图像数据。

在生成方法1中，因为能够通过简单的过程生成虚拟评估图像数据，所以能够抑制生成虚拟评估图像数据的处理量(或者，处理负荷)。

＜生成方法2＞

在生成方法2中，例如误识别分析部14可以使用三维模型来生成虚拟评估图像数据。例如，误识别分析部14可以生成作为评估对象的物品(例如，商品)的三维模型，并基于与误识别图像数据对应的识别环境(例如，与被判定为误识别的识别环境相关的属性信息)，生成控制了三维模型中的照明环境的虚拟评估图像数据。

例如，误识别分析部14可以基于与误识别图像数据对应的识别环境，在三维模型中重现照明的数量、种类、位置或强度之类的照明环境、以及进行商品识别的地方的周边的物体(例如，墙壁或镜子)的位置、颜色、材质之类的周边环境。另外，误识别分析部14例如可以基于评估图像数据，在三维模型中重现作为识别精度的评估对象的商品。

在生成方法2中，例如为了重现照明环境，除了照明的状态之外，还生成进行商品识别的地方的周边的物体的三维模型。而且，重现存在于现实中的多个照明的光源位置及光量中的至少一者。另外，为了重现商品的个体差异，即使是相同的商品，也会针对各个识别对象物分别生成单独的三维模型。由此，在生成方法2中，只要能够准确地收集这些数据，就能够重现准确地反映了周边的环境、光源、识别对象物的高质量的虚拟评估图像数据。

＜生成方法3＞

在生成方法3中，例如误识别分析部14对评估图像数据进行编码，并通过反映对误识别图像数据进行编码所得的属性，生成虚拟评估图像数据。在反映该属性时，误识别分析部14可以使用生成对抗网络(GAN：Generative Adversarial Networks)，对评估图像数据进行转换(换句话说，生成虚拟评估图像数据)。GAN是基于深度学习之类的使用神经网络的机器学习模型的图像生成技术之一。在本实施方式中，误识别分析部14例如使用GAN来生成虚拟评估图像数据。换句话说，在本实施方式中，GAN可以用于生成评估数据，而非用于生成机器学习中的训练数据。

误识别分析部14例如可以基于误识别图像数据的属性，调整评估图像数据的至少一个属性的设定值(例如，特征量)，由此，生成虚拟评估图像数据。例如，误识别分析部14可以通过调整与照明环境相关的属性，虚拟地变更评估图像数据中的照明环境。另外，例如误识别分析部14可以通过调整与物品的朝向相关的属性，虚拟地变更评估图像数据中的物品的朝向。此外，也可以是，误识别分析部14不仅对评估用图像数据反映误识别图像数据的属性，而且还对评估用图像数据应用由用户指定的朝向或照明环境等任意的属性。

在生成方法3中，例如因为可对多个属性中的各个属性独立地进行变更，所以与生成方法1相比，能够更细致地调整对于评估图像数据的照明环境。另外，在生成方法3中，例如因为可变更拍摄角度(例如，商品的朝向)、照明的朝向或识别对象的个体差异之类的属性，所以能够重现生成方法1所无法重现的状态。

另外，在生成方法3中，例如可通过操作与照明环境相关的属性(例如，编码信息的一部分的编码)来生成虚拟评估图像数据。另外，在生成方法3中，可无需训练数据而通过属性操作来生成虚拟评估图像数据。因此，在生成方法3中，即使未准备庞大的数据，也可生成虚拟评估图像数据。由此，生成方法3与生成方法2相比，能够容易地评估对于与被判定为误识别的商品不同的商品的图像识别精度，从而能够减小生成虚拟评估图像数据的处理量(或者，处理负荷)。

此外，生成方法3中的用于生成虚拟评估图像数据的机器学习模型并不限定于GAN，也可以是其他模型。

[误识别风险的显示例]

误识别分析部14例如可以向结果显示部15输出用于显示与多个评估图像数据对应的商品的误识别风险(或者，与识别精度相关的指标)的评估结果的信号。例如，误识别分析部14中的用于显示评估结果的信号可以从评估部145向结果显示部15输出，也可以从未图示的输出部向结果显示部15输出。

结果显示部15可以基于来自误识别分析部14的信号，显示商品的误识别风险(或者，与识别精度相关的指标)的评估结果。显示方式并无限定。作为非限定性的一例，可以应用图表显示，也可以应用列表显示(一览显示)。

以下，说明误识别风险的显示例。

＜显示例1＞

图3、图4、图5及图6是表示显示例1中的误识别风险的显示画面的一例的图。

在图3、图4、图5及图6所示的画面中，例如可以包含用于选择与识别性能评估相关的条件的区域(例如，“识别性能评估条件选择”区域)、用于显示识别性能评估的结果的区域(例如，“识别性能评估结果”区域)、以及显示照明环境的建议结果的区域(例如，“照明建议结果”区域)。

在“识别性能评估条件选择”区域中，例如可以包含如下区域，该区域用于提示用户选择要重现其照明条件的误识别图像。此外，与用户对于画面的操作(例如，触摸、点击之类的选择操作)对应的信号(可以称为“操作信号”)输入至结果显示部15(或者，也可以是误识别分析部14)，从而，与操作信号对应的处理(例如，可以包含显示控制)被执行。

另外，在“识别性能评估条件选择”区域中，例如可以包含如下区域，该区域用于选择要显示其识别性能评估的结果的评估图像。在显示识别性能评估的结果的评估图像中，例如可以包含性能评估用图像DB 141所保存的评估图像(例如，称为“原始性能评估用图像”)、以及对性能评估用图像DB 141所保存的评估图像应用了发生误识别的照明环境的条件(例如，称为“误识别条件”)所得的评估图像(例如，称为“误识别条件应用图像”)。

另外，误识别条件应用图像例如也可以包括应用了与误识别条件不同的属性操作的评估图像数据。在图3～图6所示的例子中，作为属性操作，可选择：对象物体的朝向、对象物体的个体差异、照明的朝向、照明的强度、照明的色温、以及反射的强度之类的属性。此外，可选择的属性并不限定于这些属性，也可以是其他属性。例如，在选择了某个属性操作的情况下，针对该属性操作，误识别分析部14可以应用预先决定的设定值(或者，也称为“属性操作强度”)，也可以通过接受用户的输入(例如，利用其他画面进行的输入)来决定设定值。

另外，在“识别性能评估条件选择”区域中，例如可以包含如下区域，该区域用于提示用户对是否执行照明环境建议进行选择(或者，决定)。

例如，用户可以在画面中选择重现其误识别条件的误识别图像数据(在图3～图6中，文件名：false_images)、以及作为识别性能评估对象的评估图像，并按下“执行”按钮。另外，例如用户可以在画面中选择执行照明环境建议，并按下“执行”按钮。误识别分析部14例如可以在检测出用户按下执行按钮后，开始与识别性能评估相关的处理(例如，虚拟评估图像数据的生成、以及识别性能评估)。

如图3～图6所示，对于评估图像的识别性能的评估结果例如可以是表示如下成功识别的概率的信息(例如，“识别率”或“识别正确率”)，即，表示在商品识别中在评估图像数据中成功识别对应的商品的概率的信息。例如，识别率越低，则对于相关商品的误识别的可能性(换句话说，误识别风险或识别失败率)越高。

例如，可以根据如下识别结果是否与正确的商品一致，来计算识别率，该识别结果是在利用商品识别模型对虚拟评估图像数据进行识别的情况下所获得的结果。例如，若由商品识别模型评估为与虚拟评估图像数据之间的相似度最高的商品与正确的商品一致，则误识别分析部14可以将识别率设定得较高。相反地，若由商品识别模型评估为与虚拟评估图像数据之间的相似度最高的商品与正确的商品不一致，则有可能识别为错误的商品，因此，误识别分析部14可以将识别率设定得较低。

另外，即使被评估为相似度最高的商品与正确的商品一致，若对于其他商品的识别分数也高，则只要环境稍微改变，就有可能导致误识别为其他商品。因此，误识别分析部14可以将相似度对于多个商品都高的情况下的误识别率，设定得高于相似度仅对于正确的商品高的情况下的误识别率。另外，在相似度对于全部商品均低(例如，低于规定的阈值)的情况下，因为商品识别模型对于商品的识别本身难以进行，所以误识别分析部14可以将低识别率设定得较低。

此外，识别性能的评估结果并不限定于识别率，也可以是其他参数。作为其他参数的例子，可列举表示商品的识别失败的概率的信息(例如，“误识别率”)或上述的相似度等。

误识别分析部14例如可以判定各商品(例如，也称为“品类”)的识别率是否高于规定的阈值(在图3～图6中，识别率：95％)。例如，也可以将与识别率低于阈值的商品相关的信息(例如，不合格品类的数量)进行画面显示。在图3～图6的例子中，误识别分析部14可以向结果显示部15输出用于将对于各商品的评估结果(例如，识别率)进行图表显示的信号。通过图表显示，用户例如能够横跨性地确认对于应用了误识别条件的多个商品的识别性能。

另外，例如，如图4及图5所示，误识别分析部14也可以向结果显示部15输出用于进行与识别率为阈值以下的商品对应的图表的强调显示(例如，着色或添加纹理之类的高亮显示)的信号。通过强调显示，使得用户容易辨别误识别的可能性高的商品。

另外，例如，如图3～图6所示，也可以当在各商品的识别率的图表显示中，通过鼠标悬停或点击之类的操作选择了某个商品的图表(例如，图3～图6中的商品A的图表)的情况下，显示商品名及识别率之类的与商品相关的信息。

此外，对于各商品的识别率的显示不限于图表显示，也可以是列表显示之类的其他显示。另外，阈值并不限定于95％，也可以是其他的值。例如，也可以基于商品识别系统1的运用所要求的识别精度来决定阈值。另外，还可以将阈值以可变的方式设置。

另外，误识别分析部14向结果显示部15输出的信号并不限定于用于强调显示的信号，也可以输出如下信号，该信号用于区分地显示与识别率超过规定阈值的商品相关的信息、和与识别率未超过规定阈值的商品相关的信息。

以下，使用图3～图6来说明显示画面的例子。在这些例子中，用户可分别对于“选择要重现其照明条件的误识别图像”、“选择识别性能评估图像”及“照明建议的选择”进行输入。此处，“选择要重现其照明条件的误识别图像”是接受对于如下图像的选择的输入部，该图像是用于提取应反映到各商品的性能评估用图像中的照明条件的图像。“选择识别性能评估图像”是接受如下选择的输入部，该选择是针对在评估识别性能时，是使用原始的图像(原始性能评估用图像)，还是使用应用了误识别条件的图像(误识别条件应用图像)的选择。此外，在选择了“误识别条件应用图像”的情况下，能够进一步选择要应用或要修正的各属性。“照明建议的选择”是接受是否需要自动建议这一选择的输入部，该自动建议是有关不易发生误识别的照明的自动建议。

图3所示的显示画面的例子是用户选择了原始性能评估用图像而未选择误识别条件应用图像，且未选择照明建议的情况下的例子。此外，由于图3是未对性能评估用图像应用误识别图像的属性的例子，所以在图3中，例如也可以不选择要重现其照明条件的误识别图像。

在图3的情况下，误识别分析部14例如可以不对原始性能评估用图像应用基于误识别图像的误识别条件而评估原始性能评估用图像的识别率。

商品识别模型例如使用了如下模型，该模型是使用原始性能评估用图像进行评估所得的结果为识别率高的模型，因此，对于原始性能评估用图像的识别率容易高于规定的阈值(例如，95％)。另外，由此，例如，如图3所示，作为对于原始性能评估用图像的识别性能的评估结果，会显示全部商品的识别率高于阈值(95％)，不合格品类为0个。

图4所示的显示画面的例子是用户选择了误识别条件应用图像而未选择原始性能评估用图像，且未选择照明建议的情况下的例子。另外，在图4中，例如选择了要重现其照明条件的误识别图像(文件名：false_images)。此外，在图4中，因为设想直接应用误识别图像的属性，所以未对各个“属性操作”单独打勾。

在图4的情况下，误识别分析部14例如可以对原始性能评估用图像应用基于所选择的误识别图像的误识别条件(例如，照明环境信息)，来生成虚拟评估图像数据，并评估对于虚拟评估图像数据的商品识别的性能(例如，识别率)。

在图4所示的例子中，作为对于虚拟评估图像数据的识别性能的评估结果，显示包含商品A在内的三个商品的识别率为阈值(95％)以下，不合格品类为3个。根据图4所示的显示画面，用户能够横跨性地确认对于如下照明环境中的多个商品的识别性能(例如，误识别风险)，该照明环境和对于与误识别图像对应的商品的照明环境相同。在图4所示的例子中，用户能够确认包含商品A在内的三个商品的识别率为阈值以下，误识别风险增加。

图5所示的显示画面的例子是用户选择了误识别条件应用图像而未选择原始性能评估用图像，且未选择照明建议的情况下的例子。另外，在图5中，作为一例，选择属性操作“照明强度”被选择。另外，在图5中，例如选择了要重现其照明条件的误识别图像(文件名：false_images)。由此，在图5中，显示重现了误识别图像的属性中的被选择的属性(图5中的照明强度)的情况下的误识别风险。

在图5的情况下，误识别分析部14例如可以对原始性能评估用图像应用照明强度的属性操作、以及基于所选择的误识别图像的误识别条件(例如，照明环境信息)，来生成虚拟评估图像数据，并评估对于虚拟评估图像数据的商品识别的性能(例如，识别率)。

在图5所示的例子中，作为对于虚拟评估图像数据的识别性能的评估结果，显示包含商品A在内的四个商品的识别率为阈值(95％)以下，不合格品类为4个。根据图5所示的显示画面，用户除了能够横跨性地确认对于与如下照明环境(误识别条件)相同的照明环境中的多个商品的识别性能(例如，误识别风险)之外，还能够横跨性地确认与该误识别条件不同的条件(在图5中，变更照明强度)下的多个商品的识别性能(例如，误识别风险)，上述照明环境(误识别条件)是指对于与误识别图像对应的商品的照明环境。在图5所示的例子中，用户能够确认对于误识别条件进一步变更了照明强度的情况下的误识别风险(例如，潜在的误识别风险)。

此外，虽然在图5中示出了选择一个属性操作的例子，但是也可以选择多个属性操作。

此外，虽然在图3、图4及图5中说明了在识别性能评估图像的选择中，选择原始性能评估用图像及误识别条件应用图像中的某一个图像的情况，但是并不限定于此，也可以选择原始性能评估用图像及误识别条件应用图像这两个图像。在此情况下，例如也可以显示图3所示的选择了原始性能评估用图像的情况下的图表显示、和图4或图5所示的选择了误识别条件应用图像的情况下的图表显示。例如，可以将图3所示的识别性能评估的结果、与图4或图5的识别性能评估的结果并排地显示在画面中，也可以通过画面切换而单独地显示，还可以是，以可区分的方式叠加而显示。

由此，用户能够认识到以下条件的不同所致的误识别风险的差异，该条件的不同是指，有无应用误识别条件、以及有无通过属性操作应用追加的条件。

图6所示的画面是用户了选择误识别条件应用图像而未选择原始性能评估用图像，且选择了照明建议的情况下的例子。另外，在图6中，例如选择了要重现其照明条件的误识别图像(文件名：false_images)。在图6中，显示了在重现基于误识别图像的照明条件之后，进一步反映了与照明建议对应的照明的情况下的误识别风险。

在图6的情况下，误识别分析部14例如可以对原始性能评估用图像应用基于所选择的误识别图像的误识别条件(例如，照明环境信息)，生成虚拟评估图像数据，并评估对于虚拟评估图像数据的商品识别的性能(例如，识别率)。

例如，评估的结果是会存在识别率为阈值以下的商品。误识别分析部14例如可以通过对于与照明相关的属性(例如，照明的朝向、强度及色温中的至少一者)的操作，决定(例如，搜索)使多个商品(例如，规定数量的商品或全部商品)的识别率变得高于阈值的、与属性相关的设定值的候选，并向结果显示部15输出用于显示照明建议结果的信号，该照明建议结果包含已决定的候选设定值(例如，建议的值)。在图6所示的例子中，对于所建议的照明环境中的评估图像，作为的其识别性能评估结果，显示全部的识别率高于阈值(95％)，不合格品类为0个。另外，在图6所示的例子中，作为与建议的照明环境相关的结果(例如，属性的设定值)，分别显示照明的朝向、强度及色温。

根据图6所示的显示画面，用户能够确认针对如下照明环境的、减小误识别风险的照明调整方法(例如，照明的新增设置、或照明的朝向、强度或色温的调整)，该照明环境是和对于与误识别图像对应的商品的照明环境(误识别条件)相同的照明环境。

此外，照明建议的条件并不限定于使多个(例如，全部)商品的识别率变得高于阈值这样的条件，例如，条件也可以是使基于与照明相关的属性操作的识别率为阈值以下的商品数更少(例如，以达到最小或阈值以下为条件)。另外，例如在有多个使基于与照明相关的属性操作的识别率高于阈值的属性操作(例如，属性操作的组合)的情况下，误识别分析部14也可以将使多个商品的识别率的平均值更高(例如，最大)的属性操作用于照明建议结果。

另外，例如，误识别分析部14也可以基于用户的指定、商品的金额、营业额或广告的内容等，进行使特定商品的识别率变高的照明建议。例如，昂贵的商品与其他商品相比，发生误识别时的影响大。另外，就畅销的商品或登出广告的商品而言，因为成为商品识别对象的次数增加，所以若识别率低，则会发生大量的误识别。因此，即使是在会使其他商品的识别率稍微下降的情况下，仍进行使这些商品的识别率提高的照明建议，由此，能够减少对于店铺整体的营业额或运营造成的不良影响。

另外，关于图6中误识别分析部14的照明建议所建议的属性操作(例如，属性的候选设定值)，决定这些属性操作的参数可以由用户选择(换句话说，基于手动的方法)，也可以由误识别分析部14预先决定(换句话说，基于自动的方法)。

图7的(a)表示手动地搜索照明环境的搜索例，图7的(b)是表示自动地搜索照明环境的搜索例的图。

图7的(a)是可由用户进行与照明环境相关的候选属性(例如，照明的朝向、照明的强度及照明的色温)的选择的显示画面的例子。例如，当在图6中，由用户选择了照明建议的情况下，也可以过渡至图7的(a)所示的显示画面。

在图7的(a)中，用户例如可以分别指定与对于作为评估对象的商品的照明的朝向(例如，360°方向中的某一个方向)、照明强度(例如，0～100中的某一个强度。0表示关闭照明，100表示照明的最大强度)、以及照明的色温(例如，最小值～最大值中的某一个值)相关的参数，并按下“执行”按钮。误识别分析部14例如也可以在检测出执行按钮被按下后，基于通过接受用户的输入而选择的照明条件，生成虚拟评估图像数据，并向结果显示部15输出用于显示对于虚拟评估图像数据的识别性能的评估结果(例如，识别率为阈值(95％)以下的商品数)的信号。由此，用户例如能够基于与照明条件的指定对应的识别率的显示，指定更适当的照明条件(例如，识别率更高的条件)。

例如，也可以如图6所示，将基于图7的(a)中决定的照明条件的多个商品的识别率进行图表显示。

图7的(b)是表示与照明环境相关的候选属性(例如，照明的朝向、照明的强度及照明的色温)的组合例的图。在图7的(b)所示的例子中，照明的候选朝向为8个朝向，照明的候选强度为5个强度，照明的候选色温为5个色温。

误识别分析部14例如可以针对与照明环境相关的属性的组合(图7的(b)中的200(＝8×5×5)个组合)的一部分或全部，生成虚拟评估图像数据，并对于虚拟评估图像数据评估识别性能(例如，识别率)。误识别分析部14例如可以将与照明环境相关的属性的多个组合中的使识别率为阈值以下的商品数更少(例如，最小或规定值以下)的组合决定为照明建议结果。

这样，通过显示照明建议结果，误识别分析部14能够提示用户进行用于减小误识别风险的、照明环境的调整。由此，例如能够不进行成本比对商品识别进行评估更高的追加学习(或者，重新学习)而减小误识别风险。

此外，误识别分析部14所决定的照明建议的数量不限于一个，也可以是多个。另外，与照明环境相关的属性的组合(或者，候选数)并不限定于200个，也可以是其他个数。另外，例如也可以是，图7的(b)所示的属性(例如，照明的朝向、强度及色温)的至少一个值为固定值。

另外，虽然在图6中说明了未选择属性操作的例子(例如，与图4相同)，但是也可以与图5同样地选择一个或多个属性操作。

另外，虽然在图6中说明了将基于照明建议结果的各商品的识别率进行图表显示的例子，但是并不限定于此。例如，也可以显示基于照明建议结果的各商品的识别率、以及应用了误识别条件的情况下的各商品的误识别率(例如，与图4或图5相同)。由此，用户能够在视觉上确认通过照明建议实现的误识别风险的减小。

＜显示例2＞

在显示例2中，例如，误识别分析部14可以向结果显示部15输出用于显示对于新的虚拟评估图像数据的评估结果(例如，识别率、误识别风险或后述的识别分数)的信号，该新的虚拟评估图像数据是通过对于应用了与如下照明环境相关的属性信息的虚拟评估图像数据，进一步调整关于与该照明环境不同的特征量的属性信息中的至少一者而生成的虚拟评估图像数据，上述照明环境是对于与误识别图像对应的商品的照明环境。

作为一例，误识别分析部14可以向结果显示部15输出用于进行如下一览显示的信号，该一览显示是指，针对通过对评估图像数据的属性信息分别进行不同的变更(换句话说，调整或属性操作)而生成的多个新的虚拟评估图像数据，一览显示与该多个虚拟评估图像数据分别对应的评估结果(例如，识别率、误识别风险或后述的识别分数)。

图8是表示显示例2中的误识别风险的显示画面的一例的图。

在图8所示的显示画面中，例如包含“误识别图像”、“评估图像”(例如，注册评估图像)、“属性操作”、“属性操作强度”、“虚拟评估图像”、“识别分数”、“识别结果”及“新增到学习中”的区域。

在“误识别图像”区域中，例如可以显示已由商品识别部12判定为误识别的商品的图像数据。

在“注册评估图像”区域中，例如可以显示性能评估用图像DB 141中注册的评估图像中的、作为评估对象的图像。例如，可以根据由误识别分析部14和用户中的至少一者进行的选择，来决定成为注册评估图像的对象的商品(评估图像数据)。例如，可以针对显示例1中的识别率为阈值(例如，95％)以下的商品，如显示例2这样，显示基于不同属性操作的识别分数的一览。或者，也可以进行用于提示进行如下选择的显示，该选择是从显示例1中的显示了识别率的多个商品中，选出显示例2的画面显示的对象商品的选择。

在“属性操作”区域中，例如可以显示对于评估图像有无可进行操作的属性及可进行操作的属性的种类。虽然在图8中示出了针对各评估图像显示一个属性的例子，但是也可以显示多个属性。

在“属性操作强度”区域中，例如可以显示“属性操作”区域中显示的属性操作的强度。属性操作的强度例如可以示出表示属性操作的多个候选强度中的某一个强度的值(等级)，也可以示出各属性操作中设定的实际的值(例如，照明朝向[度]、照明强度[lx]、色温[K])。

此外，操作对象的属性及该属性操作的强度可以通过接受用户的输入而被选择，也可以由误识别分析部14预先决定。

在“虚拟评估图像”区域中，例如可以显示对评估图像应用误识别条件(例如，与照明环境相关的条件)、和“属性操作”及“属性操作强度”所显示的属性操作所得的虚拟评估图像。例如，在图8中，可以显示应用了与塑料瓶饮料的误识别图像对应的照明条件、以及与“属性操作”和“属性操作强度”对应的属性操作所得的虚拟评估图像数据。例如，在图8中，当对于杯面的评估图像数据的属性操作为“无”的情况下，可以显示应用了与塑料瓶饮料的误识别图像对应的照明条件所得的杯面的虚拟评估图像数据。另外，例如在图8中，当对于杯面的评估图像数据的属性操作为“朝向变化”的情况下，可以显示应用了与塑料瓶饮料的误识别图像对应的照明条件且变更了朝向所得的杯面的虚拟评估图像数据。同样地，例如在图8中，当对于杯面的评估图像数据的属性操作为“反射”的情况下，可以显示应用了与塑料瓶饮料的误识别图像对应的照明条件且变更了光的反射强度所得的杯面的虚拟评估图像数据。

在“识别分数”区域中，例如可以显示对于虚拟评估图像的评估结果。作为评估结果的一例，可以显示如下识别分数，该识别分数是表示针对虚拟评估图像而估计的正确品类(正确商品)的识别的可靠性的指标。误识别分析部14例如可以针对虚拟评估图像的商品识别结果的多个(例如，全部)品类，决定表示各品类各自的可靠性的识别分数。识别分数例如可以是多个品类的识别分数的相加结果为1的值(换句话说，正态化到0至1的范围的值)。例如，品类的识别分数越接近于1，则该品类的识别结果越可靠。换句话说，识别分数越接近于0，则误识别风险越高。

例如，在图8中，误识别分析部14可以分别决定对于杯面的评估图像数据的商品识别结果中的多个品类(例如，包含杯面、点心、杂货或饮料在内的多个品类)的识别分数，并在画面中，显示多个品类的识别分数中的正确品类即杯面的识别分数。

在“识别结果”区域中，例如可以显示“误识别”及“正确识别”中的某一者作为误识别分析部14的评估结果。例如，误识别分析部14可以在多个品类的识别分数中的正确品类的识别分数最高的情况下，判定为“正确识别”，并在与正确品类不同的品类的识别分数最高的情况下，判定为“误识别”。

在“新增到学习中”区域中，例如可以包含在一览显示中，提示进行如下信息的输入的显示，该信息是决定是否使用多个虚拟评估图像数据进行重新学习(或者，追加学习)(例如，新增到训练数据中)的信息。例如，用户也可以选择“新增到学习中”栏所显示的勾选框，来决定将相关的虚拟评估图像数据新增到训练数据中。或者，误识别分析部14也可以将识别结果为误识别的虚拟评估图像数据新增到训练数据中(例如，选择“新增到学习中”的勾选框)。或者，误识别分析部14还可以将识别分数为阈值以下的虚拟评估图像数据新增到训练数据中(例如，选择“新增到学习中”的勾选框)。将识别结果为误识别或者识别分数为阈值以下的虚拟评估图像数据作为发生误识别的可能性高的图像而新增到训练数据中，由此，能够更准确地判定误识别。

另外，也可以自动地选择满足预定条件的虚拟评估图像数据的“新增到学习中”的勾选框，或设置接受自动地选择勾选框这一指示的按钮等，来减轻由用户进行勾选所花费的工夫。另外，也可以无需用户确认而自动地将虚拟评估图像数据新增到训练数据中，由此，将训练数据的选择自动化。在此情况下，也可以将勾选框的显示本身省略。作为自动地进行选择的基准，例如可列举识别结果为误识别或者识别分数为阈值以下这一基准。

例如，误识别分析部14可以在检测出未图示的“输出”按钮被按下的情况下，将在“新增到学习中”栏选择的虚拟评估图像数据新增到训练数据中。

此处，虚拟评估图像数据的正确品类的识别分数越低，则通过重新学习来提高识别率的效果越大，因此，期待将该虚拟评估图像数据新增到训练数据中。例如，在“识别分数”的值为阈值以下的情况下，误识别分析部14也可以向结果显示部15输出用于如图9所示地强调显示识别分数的区域的信息。此外，强调显示的区域并不限定于识别分数，也可以包含相关的虚拟评估图像数据的其他区域。通过进行强调显示，误识别分析部14能够提示用户将相关的虚拟评估图像数据新增到训练数据中。

此外，也可以将被判定为“正确识别”的虚拟评估图像数据作为正确品类的数据而进行追加学习。一般而言，识别率越高，则越难以提高，因此，若判定为“正确识别”的阈值足够高，则虽然效果会减弱，但通过这样的追加学习也仍能够期待精度的提高。

这样，根据显示例2，对于有误识别的可能性的识别对象，显示新增到训练数据中的候选图像。由此，用户例如容易将误识别风险更高的图像(例如，识别分数更低的图像)新增到训练数据中，能够通过追加学习来提高商品的识别精度，减小误识别风险。

另外，例如虚拟评估图像数据的误识别风险越高，则越容易被新增到训练数据中。由此，虚拟评估图像数据的误识别风险越低，则越难以被新增到训练数据中，因此，例如能够抑制对处理成本比商品识别的评估高的学习处理新增的商品图像数据的增加，提高重新学习的效率。

此外，图8及图9所示的显示内容是一例，并不限定于这些显示内容。例如，可以显示图8及图9所示的误识别图像、注册评估图像、属性操作、属性操作的强度、虚拟评估图像、识别分数、识别结果及新增到学习中之类的信息中的一部分的信息，也可以除了显示一部分的信息之外，还显示其他信息。

以上，说明了误识别风险的显示例。

这样，误识别分析部14例如基于在发生了商品误识别的环境中对商品进行拍摄所得的误识别图像数据的属性信息，虚拟地生成发生了误识别的环境(例如，照明环境)中的其他商品的图像数据(换句话说，重现配置有其他商品的图像)，评估对于其他商品的图像识别精度(例如，误识别风险)，并输出用于显示(可视化)图像识别精度的评估结果的信号。

由此，误识别分析部14例如能够判定(或者，评估)在发生了商品误识别的环境中的、对于与发生了误识别的商品不同的商品的误识别风险。由此，例如在特定环境中的不同的物品会成为图像识别的对象的情况下，误识别分析部14能够评估对于不同的物品的图像识别精度。

例如，用户除了针对在与学习环境不同的照明环境中被误识别的商品，还能够针对其他商品，确认发生了误识别的照明环境中的误识别风险，并能够根据误识别风险，例如采取追加学习及照明环境的调整之类的措施。由此，根据本实施方式，能够预防在被误识别的物品的识别环境中，误识别其他物品，并能够减小图像识别的误识别率。

此外，商品识别系统1进行商品识别的地方并不限定于室内(例如，店铺内)，还可以是室外。例如，误识别分析部14也可以基于与由照明环境及太阳光中的至少一者形成的光环境相关的属性(例如，误识别条件)，对评估图像数据进行转换。

另外，虽然在图3～图6中说明了将误识别风险(例如，识别率)进行图表显示的情况，但是误识别风险的显示方式并不限定于图表显示，也可以是其他的显示方式(例如，列表显示)。

另外，虽然在图3～图6中说明了在一个画面中显示“识别性能评估条件选择”、“识别性能评估结果”及“照明建议结果”的各区域的例子，但是并不限定于此，也可以将“识别性能评估条件选择”、“识别性能评估结果”及“照明建议结果”中的至少一个区域在其他画面中显示。

另外，例如商品识别系统1所含的结构要素可以设置于进行商品识别的地方(例如，店铺)。或者，例如也可以是，商品识别系统1所含的结构要素中的图像取得部11及结果显示部15设置于进行商品识别的地方(例如，店铺)，其他的结构要素设置于与图像取得部11及结果显示部15物理分离的地方(例如，至少一个服务器)。例如，误识别风险评估的至少一个处理可以在服务器中进行。

另外，虽然在上述实施方式中，作为误识别风险的评估对象(或者，图像识别对象)的物品的一例，说明了陈列于店铺的商品，但是误识别风险的评估对象的物品并不限定于商品。即，只要是在误识别条件下评估与图像识别中被误识别的物品不同的物品的误识别风险这一状况，则本实施方式的公开内容也能够应用于除了店铺以外的设施或除了商品以外的物品。

另外，也可以利用与上述实施方式中说明的生成方法1～生成方法3不同的一般的图像处理技术，生成虚拟评估图像数据。具体而言，可列举利用几何变换的对商品形状或朝向的转换、以及彩度或色调的转换等。在这些情况下，只要从被判定为误识别的图像数据中提取形状或色彩的分布等，并用作属性即可。

另外，虽然在上述实施方式中说明了将被判定为误识别的图像数据的与照明环境相关的属性应用于评估图像数据的情况，但是并不限定于被判定为误识别的图像数据，例如也可以将未被判定为误识别的图像数据(例如，被判定为正确识别的图像数据)的与照明环境相关的属性应用于评估图像数据。由此，能够不进行实际环境中的拍摄，而通过图像处理(例如，属性操作)而重现对于多种多样的识别环境中的多个物品的图像数据，因此，能够容易地评估对于多个物品的图像识别精度。

另外，上述实施方式中的“…部”这一表述也以可替换为“…电路(circuitry)”、“…组件”、“设备”、“单元”或“模块”之类的其他表述。

以上，虽然参照附图详述了本公开的实施方式，但是上述商品管理系统1的功能可通过电脑程序实现。

图10是表示通过程序实现各装置的功能的电脑的硬件结构的图。该电脑1100包括键盘或鼠标、触控板等输入装置1101、显示器或扬声器等输出装置1102、CPU(CentralProcessing Unit，中央处理器)1103、GPU(Graphics Processing Unit，图形处理器)1104、ROM(Read Only Memory，只读存储器)1105、RAM(Random Access Memory，随机存取存储器)1106、硬盘装置或SSD(Solid State Drive，固态驱动器)等存储装置1107、从DVD-ROM(Digital Versatile Disk Read Only Memory，数字通用光盘只读存储器)或USB(Universal Serial Bus，通用串行总线)存储器等记录介质读取信息的读取装置1108、经由网络进行通信的收发装置1109，各部分通过总线1110连接。

而且，读取装置1108从记录有用于实现上述各装置的功能的程序的记录介质读取该程序，并将该程序存储于存储装置1107。或者，收发装置1109与连接于网络的服务器装置进行通信，将从服务器装置下载的用于实现上述各装置的功能的程序存储于存储装置1107。

接着，CPU1103将存储装置1107所存储的程序复制到RAM1106，从RAM1106依次读取并执行该程序所含的命令，由此，实现上述各装置的功能。

本公开能够通过软件、硬件或在与硬件协作下的软件实现。

在上述实施方式的说明中使用的各功能块部分地或整体地被实现为作为集成电路的LSI(Large Scale Integration，大规模集成电路)，在上述实施方式中说明的各过程也可部分地或整体地由一个LSI或由LSI的组合控制。LSI可以由各个芯片构成，也可以是以包含功能块的一部分或全部的方式由一个芯片构成。LSI也可包括数据的输入和输出。LSI根据集成度的不同，也可以称为“IC(Integrated Circuit，集成电路)”、“系统LSI(SystemLSI)”、“超大LSI(Super LSI)”、“特大LSI(Ultra LSI)”。

集成电路化的方法不限于LSI，也可以由专用电路、通用处理器或专用处理器实现。另外，也可以利用LSI制造后能够编程的FPGA(Field Programmable Gate Array，现场可编程门阵列)、或可以对LSI内部的电路块的连接或设定进行重新构置的可重构处理器(Reconfigurable Processor)。本公开也可以被实现为数字处理或模拟处理。

再有，如果随着半导体技术的进步或者其他技术的派生，出现了代替LSI的集成电路化的技术，当然也可以利用该技术来实现功能块的集成化。还存在应用生物技术等的可能性。

本公开可在具有通信功能的所有种类的装置、设备、系统(总称为“通信装置”)中实施。通信装置也可以包含无线收发机(transceiver)和处理/控制电路。无线收发机也可以包含接收部和发送部，或者发挥这些部分的功能。无线收发机(发送部、接收部)也可以包含RF(Radio Frequency，射频)模块和一个或多个天线。RF模块也可以包含放大器、RF调制器/解调器、或类似于这些的装置。通信装置的非限定性的例子包括：电话(手机、智能手机等)、平板电脑、个人电脑(PC)(膝上型电脑、台式机、笔记本电脑等)、相机(数码照相机、数码摄像机等)、数码播放器(数码音频/视频播放器等)、可穿戴设备(可穿戴相机、智能手表、跟踪设备等)、游戏机、电子书阅读器、远程健康/远程医疗(远程保健/医学处方)设备、带有通信功能的交通工具或交通运输工具(汽车、飞机、轮船等)、以及上述各种装置的组合。

通信装置并不限定于可携带或可移动的装置，也包含无法携带或被固定的所有种类的装置、设备、系统。例如包括：智能家居设备(家电设备、照明设备、智能电表或计量器、控制面板等)、自动售货机、以及其他可存在于IoT(Internet of Things，物联网)网络上的所有“物体(Things)”。

另外，近年来，在IoT(Internet of Things，物联网)技术中，利用物理空间(Physical Space)与信息空间(Cyberspace)的信息协作来产出新的附加价值的新概念即CPS(Cyber Physical Systems，信息物理系统)受到关注。在上述实施方式中，也能够采用该CPS概念。

即，作为CPS的基本结构，例如可经由网络连接配置于物理空间的边缘服务器、与配置于信息空间的云端服务器，并利用两个服务器所搭载的处理器，使处理分散而进行处理。此处，边缘服务器或云端服务器所产生的各处理数据优选在标准化后的平台上产生，通过使用此种标准化平台，能够提高构建包含各种各样的传感器组或IoT应用软件的系统时的效率。

在上述实施方式中，例如边缘服务器也可以配置于店铺，并进行商品识别处理及商品的误识别风险评估处理。云端服务器例如也可以使用经由网络从边缘服务器接收到的数据进行模型学习。或者，例如也可以是，边缘服务器配置于店铺，并进行商品识别处理，云端服务器使用经由网络从边缘服务器接收到的数据，进行商品的误识别风险评估处理。

通信除了包含通过蜂窝系统、无线LAN(Local Area Network，局域网)系统、通信卫星系统等进行的数据通信之外，还包含通过这些系统的组合进行的数据通信。

另外，通信装置也包含与执行本发明中记载的通信功能的通信设备连接或连结的、控制器或传感器等设备。例如，包含产生执行通信装置的通信功能的通信设备所使用的控制信号或数据信号的控制器或传感器。

另外，通信装置包含与上述非限定性的各种装置进行通信或对上述各种装置进行控制的基础设施设备，例如，基站、接入点、以及其他所有的装置、设备、系统。

以上，虽然参照附图说明了各种实施方式，但是本公开当然不限定于此例。本领域技术人员应当了解，在权利要求书所记载的范畴内，能想到各种变更例或修正例是显而易见的，这些当然也属于本公开的技术范围。另外，也可在不脱离公开主旨的范围内，将上述实施方式中的各构成要素任意组合。

以上，虽然详细地说明了本公开的具体例，但是这些具体例仅是例示，并不对权利要求书进行限定。在权利要求书所记载的技术中，包含对以上所例示的具体例进行各种变形、变更后的技术。

本公开的一个实施例的信息处理装置包括：生成电路，基于在第一环境中对第一物品进行拍摄所得的第一图像数据的属性信息，生成第二图像数据，所述第二图像数据重现在所述第一环境中配置有与所述第一物品不同的第二物品的图像；评估电路，基于所述第二图像数据，评估对于所述第二物品的图像识别精度；以及输出电路，输出所述精度的评估结果。

在本公开的一个实施例中，所述评估结果包含表示在所述图像识别中在所述第二图像数据中成功识别所述第二物品的概率的信息；所述输出电路输出用于显示如下信息的信号，所述信息是表示在所述第二图像数据中成功识别所述第二物品的概率的信息。

在本公开的一个实施例中，所述输出电路输出如下信号，所述信号用于区分地显示在所述第二图像数据中成功识别所述第二物品的概率超过规定阈值的所述第二物品的信息、和所述概率未超过所述规定阈值的所述第二物品的信息。

在本公开的一个实施例中，所述生成电路基于所述第一图像数据的属性信息，变更对所述第二物品进行拍摄所得的图像数据的属性信息，来生成所述第二图像数据。

在本公开的一个实施例中，所述生成电路将所述第一图像数据的属性信息中的与所述图像识别的照明环境相关的第一属性信息应用于对所述第二物品进行拍摄所得的图像数据，来生成所述第二图像数据。

在本公开的一个实施例中，所述评估结果包含表示在所述图像识别中在所述第二图像数据中成功识别所述第二物品的概率的信息；在所述概率为阈值以下的情况下，所述输出电路输出如下信号，所述信号用于显示使所述概率变得大于所述阈值的、所述第一属性信息的候选设定值。

在本公开的一个实施例中，用于决定所述候选设定值的参数是被预先决定或由用户选择的。

在本公开的一个实施例中，所述生成电路针对所述第二图像数据，进一步调整与不同于所述照明环境的特征量相关的第二属性信息中的至少一者，来生成新的第二图像数据；所述输出电路输出用于显示对于所述新的第二图像数据的所述评估结果的信号。

在本公开的一个实施例中，所述输出电路输出如下信号，所述信号用于针对通过对所述第二属性信息分别进行不同的调整而生成的多个所述新的第二图像数据，一览显示与多个所述新的第二图像数据分别对应的所述评估结果。

在本公开的一个实施例中，所述输出电路输出用于在所述一览显示中进行如下显示的信号，该显示提示进行如下信息的输入，该信息是决定是否使用进行所述变更后的所述多个第二图像数据进行重新学习的信息。

在本公开的一个实施例中，所述生成电路使用生成对抗网络即GAN：GenerativeAdversarial Networks，来生成所述第二图像数据。

在本公开的一个实施例的信息处理方法中，信息处理装置进行以下步骤：基于在第一环境中对第一物品进行拍摄所得的第一图像数据的属性信息，生成第二图像数据，所述第二图像数据重现在所述第一环境中配置有与所述第一物品不同的第二物品的图像；基于所述第二图像数据，评估对于所述第二物品的图像识别精度；以及输出所述精度的评估结果。

本公开的一个实施例的程序使电脑执行基于在第一环境中对第一物品进行拍摄所得的第一图像数据的属性信息，生成第二图像数据的处理，所述第二图像数据重现在所述第一环境中配置有与所述第一物品不同的第二物品的图像；基于所述第二图像数据，评估对于所述第二物品的图像识别精度的处理；以及输出所述精度的评估结果的处理。

在2021年4月30日申请的特愿2021-077603的日本专利申请所包含的说明书、附图及说明书摘要的公开内容，全部引用于本申请。

工业实用性

本公开的一个实施例对于商品识别系统是有用的。

附图标记说明

1 商品识别系统

11 图像取得部

12 商品识别部

13 存储部

14 误识别分析部

15 结果显示部

141 性能评估用图像数据库

142 图像编码部

143 属性操作部

144 图像生成部

145 评估部