数据创建系统、学习系统、估计系统、处理设备、评估系统、数据创建方法和程序

技术领域

本公开总体上涉及数据创建系统、学习系统、估计系统、处理设备、评估系统、数据创建方法和程序。更具体地，本公开涉及一种用于创建图像数据以用作学习数据来生成关于对象的学习模型的数据创建系统、用于生成该学习模型的学习系统、以及使用该学习模型的估计系统。本公开还涉及一种用于在数据创建系统中使用的处理设备和包括该处理设备的评估系统。本公开还涉及一种用于创建图像数据以用作学习数据来生成关于对象的学习模型的数据创建方法和程序。

背景技术

专利文献1公开了一种训练数据增强设备。专利文献1教导了通过减少出于机器学习的目的而在真实环境中要收集的数据量来缩短收集数据所花费的时间。

专利文献1还教导了训练数据增强设备如何基于苹果的真实训练数据和梨的真实训练数据结合表示它们在当苹果和梨在存储A、B和C处被拍摄时的亮度范围内的色调的特征量来生成新的训练数据。

作为用于当对象需要在本地被识别时创建各种学习数据的技术，如在专利文献1的训练数据增强设备中一样，仅改变对象(诸如苹果或梨)的整体亮度值和色调的组合可能是不够的。因此，这可以导致识别对象的性能下降。

引用列表

专利文献

专利文献1：WO 2020/070876A1

发明内容

鉴于上述背景，因此本公开的目的是提供一种数据创建系统、学习系统、估计系统、处理设备、评估系统、数据创建方法和程序，所有这些被配置或设计为提高识别对象的性能。

根据本公开的一方面的数据创建系统基于第一图像数据来创建第二图像数据以用作学习数据来生成关于对象的学习模型。数据创建系统包括处理器。处理器基于包括作为表示所述对象的像素区域的第一区域和与所述第一区域相邻的第二区域的所述第一图像数据通过以下方式来生成所述第二图像数据：引起关于所述第一区域的高度的变形，使得感兴趣的点越靠近所述第一区域内的参考点，所述第一区域相对于参考平面的高度的变化越大，而所述感兴趣的点越靠近所述第一区域与所述第二区域之间的边界，所述第一区域相对于所述参考平面的高度的变化越小。

根据本公开的另一方面的另一数据创建系统基于第一图像数据和参考图像数据创建第二图像数据以用作学习数据来生成关于对象的学习模型。数据创建系统包括处理器。处理器基于包括作为表示对象的像素区域的第一区域和与第一区域相邻的第二区域的第一图像数据，通过基于参考图像数据的第四区域相对于第二参考平面的高度引起第二区域相对于第一参考平面的高度的变形来生成第二图像数据。参考图像数据包括作为表示对象的像素区域的第三区域和与第三区域相邻的第四区域。当从第二区域的外边缘到第二区域中的第一参考点的距离是第一距离，从第一区域与第二区域之间的边界到第一参考点的距离是第二距离，以及参考图像数据的第四区域中满足第二参考平面上的第一距离与第二距离的比率的位置是第二参考点时，第一参考点处的变化是基于第二参考点处的相对于第二参考平面的高度的量。

根据本公开的又一方面的学习系统使用学习数据集来生成学习模型。学习数据集包括作为由上述数据创建系统中的任一个创建的第二图像数据的学习数据。

根据本公开的又一方面的估计系统使用由上述学习系统生成的学习模型来估计作为要识别对象的对象的特定状态。

根据本公开的又一方面的另一数据创建系统基于第一图像数据来创建第二图像数据以用作学习数据来生成关于对象的学习模型。数据创建系统包括确定器和变形器。确定器针对包括作为表示对象的像素区域的第一区域和与第一区域相邻的第二区域的第一图像数据确定作为第一区域相对于参考平面的高度的变化的高度变化，使得感兴趣的点越靠近第一区域内的参考点，高度变化越大，而感兴趣的点越靠近第一区域与第二区域之间的边界，高度变化越小。变形器基于由确定器确定的高度变化通过引起对第一图像数据的关于第一区域的高度的变形来生成第二图像数据。

根据本公开的又一方面的处理设备用作上述数据创建系统的第一处理设备和第二处理设备中的第一处理设备。第一处理设备包括确定器。第二处理设备包括变形器。

根据本公开的又一方面的另一处理设备用作上述数据创建系统的第一处理设备和第二处理设备中的第二处理设备。第一处理设备包括确定器。第二处理设备包括变形器。

根据本公开的又一方面的评估系统包括处理设备和学习系统。处理设备基于包括作为表示对象的像素区域的第一区域和与第一区域相邻的第二区域的第一图像数据，确定作为第一区域相对于参考平面的高度的变化的高度变化，使得感兴趣的点越靠近第一区域内的参考点，高度变化越大，而感兴趣的点越靠近第一区域与第二区域之间的边界，高度变化越小。处理设备输出指示如此确定的高度变化的信息。学习系统生成学习模型。学习模型响应于第二图像数据或第二图像数据中的第一区域而输出与第一图像数据经受关于对象的特定状态所做的估计的情形类似的估计结果。第二图像数据是基于高度变化通过引起对第一图像数据的关于第一区域的变形而生成的。

根据本公开的又一方面的另一评估系统包括处理设备和估计系统。处理设备基于包括作为表示对象的像素区域的第一区域和与第一区域相邻的第二区域的第一图像数据，确定作为第一区域相对于参考平面的高度的变化的高度变化，使得感兴趣的点越靠近第一区域内的参考点，高度变化越大，而感兴趣的点越靠近第一区域与第二区域之间的边界，高度变化越小。处理设备输出指示如此确定的高度变化的信息。估计系统使用学习模型来估计作为要识别对象的对象的特定状态。学习模型响应于第二图像数据或第二图像数据中的第一区域而输出与第一图像数据经受关于对象的特定状态所做的估计的情形类似的估计结果。第二图像数据是基于高度变化通过引起对第一图像数据的关于第一区域的变形而生成的。

根据本公开的又一方面的另一数据创建系统基于第一图像数据和参考图像数据创建第二图像数据以用作学习数据来生成关于对象的学习模型。第一图像数据包括：第一区域，作为表示对象的像素区域；第二区域，与第一区域相邻；以及第一参考平面。参考图像数据包括：第三区域，作为表示对象的像素区域；第四区域，与第三区域相邻；以及第二参考平面。数据创建系统包括确定器和变形器。确定器基于参考图像数据的第四区域相对于参考图像数据的第二参考平面的高度来确定作为高度的变化的高度变化。变形器基于由确定器确定的高度变化通过引起对第一图像数据的关于第二区域相对于第一参考平面的高度的变形来生成第二图像数据。当从第二区域的外边缘到第二区域中的第一参考点的距离是第一距离，从第一区域与第二区域之间的边界到第一参考点的距离是第二距离，以及参考图像数据的第四区域中满足第二参考平面上的第一距离与第二距离的比率的位置是第二参考点时，确定器确定高度变化，使得第一参考点处的变化是基于第二参考点处的相对于第二参考平面的高度的量。

根据本公开的又一方面的另一处理设备用作上述数据创建系统的第一处理设备和第二处理设备中的第一处理设备。第一处理设备包括确定器。第二处理设备包括变形器。

根据本公开的又一方面的另一处理设备用作上述数据创建系统的第一处理设备和第二处理设备中的第二处理设备。第一处理设备包括确定器。第二处理设备包括变形器。

根据本公开的又一方面的另一评估系统包括处理设备和学习系统。处理设备针对第一图像数据和参考图像数据基于第四区域相对于第二参考平面的高度来确定作为高度的变化的高度变化，第一图像数据包括作为表示对象的像素区域的第一区域、与第一区域相邻的第二区域、以及第一参考平面，并且参考图像数据包括作为表示对象的像素区域的第三区域、与第三区域相邻的第四区域、以及第二参考平面。当从第二区域的外边缘到第二区域中的第一参考点的距离是第一距离，从第一区域与第二区域之间的边界到第一参考点的距离是第二距离，以及参考图像数据的第四区域中满足第二参考平面上的第一距离与第二距离的比率的位置是第二参考点时，处理设备确定高度变化，使得第一参考点处的变化是基于第二参考点处的相对于第二参考平面的高度的量。处理设备输出指示如此确定的高度变化的信息。学习系统生成学习模型。学习模型响应于第二图像数据或第二图像数据中的第一区域而输出与第一图像数据经受关于对象的特定状态所做的估计的情形类似的估计结果。第二图像数据是基于高度变化通过引起对第一图像数据的关于第二区域的变形而生成的。

根据本公开的又一方面的另一评估系统包括处理设备和估计系统。处理设备针对第一图像数据和参考图像数据基于第四区域相对于第二参考平面的高度来确定作为高度的变化的高度变化，第一图像数据包括作为表示对象的像素区域的第一区域、与第一区域相邻的第二区域、以及第一参考平面，并且参考图像数据包括作为表示对象的像素区域的第三区域、与第三区域相邻的第四区域、以及第二参考平面。当从第二区域的外边缘到第二区域中的第一参考点的距离是第一距离，从第一区域与第二区域之间的边界到第一参考点的距离是第二距离，以及参考图像数据的第四区域中满足第二参考平面上的第一距离与第二距离的比率的位置是第二参考点时，处理设备确定高度变化，使得第一参考点处的变化是基于第二参考点处的相对于第二参考平面的高度的量。处理设备输出指示如此确定的高度变化的信息。估计系统使用学习模型来估计作为要识别对象的对象的特定状态。学习模型响应于第二图像数据或第二图像数据中的第一区域而输出与第一图像数据经受关于对象的特定状态所做的估计的该情形类似的估计结果。第二图像数据是基于高度变化通过引起对第一图像数据的关于第二区域的变形而生成的。

根据本公开的又一方面的数据创建方法是一种用于基于第一图像数据来创建第二图像数据以用作学习数据来生成关于对象的学习模型的方法。该数据创建方法包括处理步骤。处理布置包括基于包括作为表示对象的像素区域的第一区域和与第一区域相邻的第二区域的第一图像数据通过以下方式来生成第二图像数据：引起关于第一区域的高度的变形，使得感兴趣的点越靠近第一区域内的参考点，第一区域相对于参考平面的高度的变化越大，而感兴趣的点越靠近第一区域与第二区域之间的边界，第一区域相对于参考平面的高度的变化越小。

根据本公开的又一方面的另一数据创建方法是一种用于基于第一图像数据和参考图像数据创建第二图像数据以用作学习数据来生成关于对象的学习模型的方法。该数据创建方法包括处理步骤。处理步骤包括：基于包括作为表示对象的像素区域的第一区域和与第一区域相邻的第二区域的第一图像数据，通过基于参考图像数据的第四区域相对于第二参考平面的高度引起第二区域相对于第一参考平面的高度的变形来生成第二图像数据。参考图像数据包括作为表示对象的像素区域的第三区域和与第三区域相邻的第四区域。当从第二区域的外边缘到第二区域中的第一参考点的距离是第一距离，从第一区域与第二区域之间的边界到第一参考点的距离是第二距离，以及参考图像数据的第四区域中满足第二参考平面上的第一距离与第二距离的比率的位置是第二参考点时，第一参考点处的变化是基于第二参考点处的相对于第二参考平面的高度的量。

根据本公开的又一方面的程序被设计为使一个或多个处理器执行上述数据创建方法中的任一种。

附图说明

图1是示出了根据示例性实施例的包括数据创建系统的整体估计系统的示意性配置的框图；

图2A示出了要输入到数据创建系统的示例性第一图像数据；

图2B示出了数据创建系统基于图2A中所示的第一图像数据所生成的第二图像数据；

图3A示出了要输入到数据创建系统的另一示例性第一图像数据；

图3B示出了数据创建系统基于图3A中所示的第一图像数据所生成的第二图像数据；

图4示出了数据创建系统如何执行变形处理；

图5示出了数据创建系统在参考点处的倾斜角度不为零度的情况下如何执行变形处理；

图6示出了数据创建系统在边界处的变化不为零的情况下如何执行变形处理；

图7示出了数据创建系统在边界处的倾斜角度不为零度的情况下如何执行变形处理；

图8A和图8B示出了数据创建系统如何重新设置边界；

图9示出了数据创建系统的操作的过程的流程图；

图10示出了包括数据创建系统的第一变型的整体评估系统的示意性配置的框图；

图11A至图11C示出了在第一变型中如何执行变形处理；

图12A至图12C示出了数据创建系统的第二变型如何执行变形处理；

图13是示出了数据创建系统的第三变型的示意性配置的框图；以及

图14是示出了数据创建系统的第四变型的示意性配置的框图。

具体实施方式

(1)概览

实施例的以下描述中所参考的附图均为示意性表示。因此，附图上所示的各个构成元件的尺寸(包括厚度)的比例并不总是反映它们的实际尺寸比例。

根据示例性实施例的数据创建系统1基于第一图像数据D11来创建第二图像数据D12以用作学习数据来生成关于对象4(参考图2A、图2B、图3A和和图3B)的学习模型M1，如图1所示。换言之，第二图像数据D12是用于通过机器学习来生成模型的学习数据。如本文所使用的，“模型”是指被设计为响应于关于要识别的对象(对象4)的数据的输入而估计要识别对象的状态并输出估计的结果(识别结果)的程序。此外，如本文所使用的，“学习模型”是指完成使用学习数据的机器学习的模型。此外，“学习数据(集)”是指组合包括要针对模型输入的输入信息(图像数据D1)和附加到该输入信息的标签的数据集，即所谓的“训练数据”。也就是说，在该实施例中，学习模型M1是已经通过监督学习进行机器学习的模型。

在该实施例中，作为要识别对象的对象4例如可以是如图2A、图2B、图3A和图3B中所示的焊道B10。当两个或更多个焊接基材(例如，该示例中的第一基材B11和第二基材B12)经由金属焊接材料B13焊接在一起时，焊道B10形成在第一基材B11和第二基材B12之间的边界B14(焊点)中。在图2A、图2B、图3A和图3B中，作为示例，第一基材B11和第二基材B12均是矩形金属板。焊道B10的尺寸和形状主要取决于焊接材料B13。因此，当输入覆盖焊道B10的要识别对象图像数据D3时，学习模型M1估计焊道B10的状态(特定状态)并输出估计结果。具体地，作为估计的结果，学习模型M1输出指示焊道B10是缺陷产品还是无缺陷(即，良好)产品的信息以及如果焊道B10是缺陷产品时关于缺陷的类型的信息。也就是说，使用学习模型M1来确定焊道B10是否是良好产品。换言之，使用学习模型M1进行焊缝外观测试以确定焊接是否已经正确完成。

可以取决于例如焊道B10的长度、焊道B10的高度、焊道B10的仰角、焊道B10的喉深、焊道B10的多余金属、焊道B10的焊点的移位(包括焊道B10起点的偏移的程度)是否落入它们各自的容差范围内来做出关于焊道B10是良好的还是有缺陷的决定。例如，如果以上列举的这些参数中的至少一个未能落入其容差范围内，则焊道B10被确定为是缺陷产品。备选地，也可以取决于例如焊道B10是否具有任何底切、焊道B10是否具有任何凹坑、焊道B10是否具有任何溅射、以及焊道B10是否具有任何凸起来做出关于焊道B10是良好的还是有缺陷的决定。例如，如果发现以上列举的这些缺陷中的至少一个，则焊道B10被确定为是缺陷产品。

为了进行关于模型的机器学习，需要收集关于要识别对象(包括缺陷产品)的大量图像数据项作为学习数据。然而，如果要识别的对象以低出现频率证明是有缺陷的，则生成具有高可识别性的学习模型M1所需的学习数据往往很短。因此，为了克服该问题，可以通过执行关于通过使用图像捕获设备6实际拍摄焊道B10而获得的学习数据(下文中被称为“第一图像数据D11”或“原始学习数据”)的数据增强处理来增加学习数据项的数量来进行关于模型的机器学习。如本文所使用的，数据增强处理是指例如通过使学习数据经受诸如平移、放大或缩小(扩展或收缩)、旋转、翻转和噪声的添加之类的各种类型的处理(变换处理)来扩展学习数据的处理。

第一图像数据D11可以是例如距离图像数据，并且包括对应于高度分量的像素值。图像捕获设备6包括距离图像传感器。如本文所使用的，“高度”是指相对于参考平面H1(其可以是虚拟平面或基材的表面，以适当者为准)的高度。换言之，与“高度”相对应的像素值作为表示从拍摄目标到距离图像传感器的距离的像素值而被包括在第一图像数据D11中。

如图1所示，根据该实施例的实现的数据创建系统1包括处理器10。处理器10基于第一图像数据D11通过导致关于第一区域51相对于参考平面H1的高度的变形来生成第二图像数据D12，该第一图像数据D11包括作为表示对象4的像素区域的第一区域51和与第一区域51相邻的第二区域52。处理器10通过以下方式来生成第二图像数据D12：引起关于第一区域51的高度的变形，使得感兴趣的点越靠近第一区域51内的参考点P1，第一区域51的高度的变化越大，而感兴趣的点越靠近第一区域51与第二区域52之间的边界C1，第一区域51的高度的变化越小。

在该实施例中，第一区域51是表示焊接区域(例如，焊道B10)的像素区域，该焊接区域是通过将要焊接的两个基材(即，第一基材B11和第二基材B12)焊接在一起而形成的。第二区域52是表示两个基材(即，第一基材B11或第二基材B12)中的任一个的像素区域。

在该实施例中，通过焊接第一基材B11和第二基材B12形成的焊接区域(即，焊道B10)是对象4，因此，第一图像数据D11中存在两个第二区域52。在以下描述中，表示第一基材B11的像素区域在下文中将被称为“第一基材区域521”，并且表示第二基材B12的像素区域在下文中将被称为“第二基材区域522”(参考图4)。

参考点P1可以是预先已经设置在第一区域51内的预定位置处的点或根据由用户输入的命令而任意设置的点，以适当者为准。

图4示意性地示出了作为第二曲线G2的临时沿图3B中的平面A-A截取的截面中的焊道B10(相对于参考平面H1)的轮廓高度，示出了通过引起对焊道B10、第一基材B11和第二基材B12的变形而创建的第二图像数据D12。为了使第二曲线G2易于比较，将图3A中尚未变形的焊道B10的轮廓高度也示出为图4中的第一曲线G1。

在该实施例中，感兴趣的点越靠近第一区域51内的参考点P1，第一区域51的高度的变化越大，而感兴趣的点越靠近第一区域51与第二区域52之间的边界C1，第一区域51的高度的变化越小。这使得更容易创建具有通过增加第一图像数据D11的第一区域51的高度而形成的山形或通过降低第一图像数据D11的第一区域51的高度而形成的谷形的第二图像数据D12。因此，这使得能够增加学习数据的多样性，从而有助于提高识别对象4的性能。

此外，根据该实施例的学习系统2(参考图1)使用包括作为由数据创建系统1创建的第二图像数据D12的学习数据的学习数据集来生成学习模型M1。这使得能够提供有助于提高识别对象4的性能的学习系统2。用于生成学习模型M1的学习数据可以不仅包括第二图像数据D12(增强数据)而且还可以包括原始第一图像数据D11。换言之，根据该实施例的图像数据D1至少包括第二图像数据D12，并且可以包括第一图像数据D11和第二图像数据D12两者。

根据该实施例的估计系统3(参考图1)使用由学习系统2生成的学习模型M1来估计作为要识别对象的对象4(例如，该示例中的焊道B10)的特定状态。这使得能够提供有助于提高识别对象4的性能的估计系统3。

根据该实施例的数据创建方法是一种用于基于第一图像数据D11来创建第二图像数据D12以用作学习数据来生成关于对象4的学习模型M1的方法。该数据创建方法包括处理步骤。处理步骤包括基于第一图像数据D11通过引起关于第一区域51相对于参考平面H1的高度的变形来生成第二图像数据D12，该第一图像数据D11包括作为表示对象4的像素区域的第一区域51和与第一区域51相邻的第二区域52。处理步骤包括通过以下方式来生成第二图像数据D12：引起关于第一区域51的高度的变形，使得感兴趣的点越靠近第一区域51内的参考点P1，第一区域51的高度的变化越大，而感兴趣的点越靠近第一区域51与第二区域52之间的边界C1，第一区域51的高度的变化越小。

这使得能够提供有助于提高识别对象4的性能的数据创建方法。该数据创建方法在计算机系统(数据创建系统1)上使用。也就是说，数据创建方法也可以作为程序来实现。根据该实施例的程序被设计为使一个或多个处理器执行根据该实施例的数据创建方法。

(2)细节

接下来，现在将参考图1至图9详细描述包括根据该实施例的数据创建系统1的整体系统(下文中被称为“评估系统100”)。

(2.1)整体配置

如图1所示，评估系统100包括数据创建系统1、学习系统2、估计系统3、以及一个或多个图像捕获设备6(图1中仅示出其中一个)。

数据创建系统1、学习系统2和估计系统3应该被实现为例如服务器。本文使用的“服务器”应该被实现为单个服务器设备。也就是说，数据创建系统1、学习系统2和估计系统3的主要功能应该针对单个服务器设备提供。

备选地，“服务器”也可以被实现为多个服务器设备。具体地，数据创建系统1、学习系统2和估计系统3的功能可以分别针对不同的三个服务器设备提供。备选地，可以针对单个服务器设备提供这三个系统中的两个。可选地，这些服务器设备可以形成例如云计算系统。

此外，服务器设备可以安装在作为执行焊接的地方的工厂内部或工厂外部(例如，在服务总部处)，以适当者为准。如果数据创建系统1、学习系统2和估计系统3的相应功能是针对三个不同的服务器设备提供的，则这些服务器设备中的每一个优选地连接到其他服务器设备以准备好与其他服务器设备进行通信。

数据创建系统1被配置为创建图像数据D1以用作学习数据来生成关于对象4的学习模型M1。如本文所使用的，“创建学习数据”不仅可以指与原始学习数据分开生成新学习数据，而且可以指通过更新原始学习数据来生成新学习数据。

本文使用的学习模型M1可以包括例如使用神经网络的模型或者通过使用多层神经网络的深度学习而生成的模型。神经网络的示例可以包括卷积神经网络(CNN)和贝叶斯神经网络(BNN)。学习模型M1可以通过例如将学习神经网络安装到诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)之类的集成电路中来实现。然而，学习模型M1不必须是通过深度学习生成的模型。备选地，学习模型M1也可以是例如由支持向量机或决策树生成的模型。

在该实施例中，数据创建系统1具有通过对原始学习数据(第一图像数据D11)执行数据增强处理来扩展学习数据的功能，如上所述。在以下描述中，使用包括数据创建系统1的评估系统100的人在下文中将被简称为“用户”。用户可以是例如在工厂中监视诸如焊接工艺步骤的制造过程的操作员或主管管理员。

如图1所示，数据创建系统1包括处理器10、通信接口15、显示设备16和操作构件17。

在图1中所示的示例中，在数据创建系统1的外部设置了用于存储学习数据(图像数据D1)的存储设备。然而，这仅是示例，并且不应被解释为限制。备选地，数据创建系统1还可以包括存储设备。在这种情况下，存储设备也可以是内置在处理器10中的存储器。用于存储图像数据D1的存储设备包括可编程的非易失性存储器，例如电可擦除可编程只读存储器(EEPROM)。

可选地，数据创建系统1的一些功能可以分布在具有与服务器进行通信的能力的电信设备中。本文使用的“电信设备”的示例可以包括个人计算机(包括膝上型计算机和台式计算机)和移动电信设备(例如，智能电话和平板计算机)。在该实施例中，显示设备16和操作构件17的功能是针对由用户使用的电信设备提供的。允许电信设备与服务器进行通信的专用应用软件程序预先安装在电信设备中。

处理器10可以被实现为包括一个或多个处理器(微处理器)和一个或多个存储器的计算机系统。也就是说，一个或多个处理器可以通过执行存储在一个或多个存储器中的一个或多个程序(应用)来执行处理器10的功能。在该实施例中，程序预先存储在处理器10的存储器中。备选地，程序也可以经由诸如互联网的通信线路来下载，或者在已经存储在诸如存储卡的非暂时性存储介质中之后进行分发。

处理器10执行控制通信接口15、显示设备16和操作构件17的处理。处理器10的功能应该由服务器来执行。此外，处理器10还具有执行图像处理的功能。如图1所示，处理器10包括获取器11、变形器12和确定器13。处理器10的各个构成元件将在下一部分中详细描述。

显示设备16可以被实现为液晶显示器或有机电致发光(EL)显示器。显示设备16是针对如上所述的电信设备提供的。可选地，显示设备16也可以是触摸屏面板显示器。显示设备16显示(输出)关于第一图像数据D11和第二图像数据D12的信息。此外，除了第一图像数据D11和第二图像数据D12之外，显示设备16还显示关于学习数据的生成的各种类型的信息。

通信接口15是用于直接地或经由例如具有生产管理系统的功能的另一服务器间接地与一个或多个图像获取设备6进行通信的通信接口。在该实施例中，通信接口15的功能以及处理器10的功能应该是针对同一个服务器提供的。然而，这仅是示例，并且不应被解释为限制。备选地，通信接口15的功能也可以例如是针对电信设备提供的。通信接口15从图像捕获设备6接收第一图像数据D11作为原始学习数据。

第一图像数据D11可以是例如如上所述的距离图像数据，并且包括表示对象4的像素区域。备选地，第一图像数据D11也可以是亮度图像数据。如上所述，对象4可以是例如焊道B10，当第一基材B11和第二基材B12经由焊接材料B13焊接在一起时，该焊道B10形成在第一基材B11和第二基材B12之间的边界B14中。也就是说，第一图像数据D11是由图像捕获设备6的距离图像传感器捕获并且包括表示焊道B10的像素区域的数据。

根据例如用户的命令从关于用图像捕获设备6拍摄的对象4的大量图像数据项中选择第一图像数据D11作为数据增强处理的目标。评估系统100优选地包括接受用户关于他或她的选择的命令的用户界面(其可以是操作构件17)。

操作构件17的示例包括鼠标、键盘和指向设备。操作构件17是针对如上所述的要由用户使用的电信设备提供的。如果显示设备16是电信设备的触控屏面板显示器，则显示设备16也可以具有操作构件17的功能。

学习系统2使用包括由数据创建系统1创建的多个图像数据项D1(包括多个第二图像数据项D12)的学习数据集来生成学习模型M1。学习数据集是通过将指示良好产品或缺陷产品的标签或指示关于缺陷产品的缺陷的类型和位置的标签附加到多个图像数据项D1中的每一个来生成的。缺陷的类型的示例包括底切、凹坑和溅射。用户经由诸如操作构件17的用户界面在评估系统100上执行附加标签的工作。在一个变型中，附加标签的工作也可以由具有向图像数据D1附加标签的功能的学习模型来执行。学习系统2通过使用学习数据集进行关于对象4(例如，焊道B10)的状态(包括良好状态、不良状态、缺陷的类型和缺陷的位置)的机器学习来生成学习模型M1。

可选地，学习系统2可以尝试通过使用包括新获取的学习数据的学习数据集进行重新学习来改进学习模型M1的性能。例如，如果在对象4(例如，焊道B10)中发现了新类型的缺陷，则可以使学习系统2进行关于新类型的缺陷的重新学习。

估计系统3使用由学习系统2生成的学习模型M1来估计作为要识别对象的对象4的特定状态(包括良好状态、不良状态、缺陷的类型和缺陷的位置)。估计系统3被配置为准备好直接地或经由具有生产管理系统的功能的另一服务器间接地与一个或多个图像捕获设备6进行通信。估计系统3接收通过用图像捕获设备6拍摄通过实际经历焊接工艺步骤形成的焊道B10而生成的要识别对象图像数据D3。

估计系统3基于学习模型M1来确定要识别对象图像数据D3中拍摄的对象4是良好产品还是缺陷产品，并且如果对象4是缺陷产品，则估计缺陷的类型和位置。估计系统3向例如由用户使用的电信设备或生产管理系统输出关于要识别对象图像数据D3的识别结果(即，估计结果)。这允许用户通过电信设备检查估计的结果。可选地，生产管理系统可以在焊接部件被运输并经受下一个处理步骤之前控制生产设施丢弃已经基于由生产管理系统获取的估计结果被确定为缺陷产品的焊接部件。

(2.2)数据增强处理

处理器10具有执行作为一种数据增强处理的至少关于高度的“变形处理”的功能。具体地，处理器10包括获取器11、变形器12和确定器13，如图1所示。

获取器11被配置为获取作为变形的目标而输入的第一图像数据D11。用户经由例如操作构件17将作为变形的目标的第一图像数据D11输入到数据创建系统1中。

变形器12基于包括第一区域51(焊接区域)和第二区域52(包括第一基材区域521和第二基材区域522)的第一图像数据D11，通过(在变形步骤中)引起关于第一区域51相对于参考平面H1的高度的变形来生成第二图像数据D12。变形器12根据由确定器13做出的决定来引起关于高度的变形。

确定器13确定变化(即，高度变化)，使得感兴趣的点越靠近第一区域51内的参考点P1，第一区域51(焊接区域)的高度的变化越大，而感兴趣的点越靠近第一区域51与第二区域52之间的边界C1，第一区域51的高度的变化越小(在确定步骤中)。

接下来，将参考图2A至图4具体描述数据增强处理。

图2A示出了通过从对象4的上方倾斜地拍摄对象4而生成的示例性第一图像数据D11。图2B示出了通过引起对图2A中所示的第一图像数据D11的关于高度的变形而生成的示例性第二图像数据D12。第一基材B11和第二基材B12总体上沿一个方向(即，横向)并排布置。在图2A和图2B中，将第一基材B11和第二基材B12焊接在一起，使得它们各自的表面之间形成的角度(即，焊接角度)是例如小于180度的钝角。然而，焊接角度不限于任何特定角度。

图3A示出了与图2A中所示的第一图像数据D11不同的另一示例性焊接数据(第一图像数据D11)。图3A示出了通过从对象4的正上方拍摄对象4而生成的第一图像数据D11。图3B示出了通过引起对图3A中所示的第一图像数据D11的关于高度的变形而生成的示例性第二图像数据D12。

接下来，将主要参考图3A和图3B描述变形处理。在图3A和图3B中，第一基材B11和第二基材B12沿X轴(即，横向)并排布置，并且焊道B10已经形成为沿Y轴(即，竖直地)伸长。

第一区域51是表示作为焊道B10的对象4的像素区域。也就是说，第一区域51是涉及通过将要焊接的第一基材B11和第二基材B12焊接在一起而形成的焊接区域的像素区域。

第二区域52是表示基材的像素区域。在该示例中，第二区域52是不存在作为焊道B10的对象4的像素区域。形成第二区域52的第一基材区域521和第二基材区域522中的每一个分别与第一区域51相邻。在图4中所示的示例中，第一基材区域521、第一区域51和第二基材区域522在X轴的正侧上按照该顺序并排布置。

图4是为了使“关于第一区域51的高度的变形”的概念容易理解而提供的图。图4仅示出了作为实曲线的焊道B10在如上所述临时沿图3B中所示的平面A-A截取的焊道B10的截面中的轮廓。在图4中，出于比较的目的，经变形的焊道B10的轮廓由粗曲线(如第二曲线G2)来指示，并且尚未变形的焊道B10的轮廓由细曲线(如第一曲线G1)来指示。

在图4中，横坐标轴指示与参考平面H1对齐的方向(与焊道B10的宽度相对应的方向)，并且纵坐标轴指示与焊道B10相对于参考平面H1的高度相对应的方向。换言之，图4中所示的横坐标轴对应于图3A和图3B中所示的X轴，并且图4中所示的纵坐标轴对应于图3A和图3B中所示的Z轴。参考平面H1是与图3A和图3B中的X-Y平面平行的虚拟平面。也就是说，第一区域51的高度(即，对象4的高度)是在与X-Y平面垂直的方向上的分量，并且是从参考平面H1测量的高度。参考平面H1不必须是虚拟平面，而是例如也可以是在拍摄时其上安装有对象4的安装平面(例如，检查台的表面)或第一基材B11或第二基材B12的表面。参考平面H1也可以是设置在与图像捕获设备6间隔开预定距离的位置处的虚拟平面。参考平面H1可以是例如预先设置在处理器10的存储器中的固定平面、或可以根据用户经由操作构件17输入的命令而改变的平面。

第一图像数据D11和第二图像数据D12例如可以是距离图像数据。因此，可以说，表示第一区域51的高度的像素值是与从拍摄目标到距离图像传感器的距离相对应的像素值。在变形处理中，与图4中所示的“高度”相对应的像素值在图3A中所示的X-Y平面上被转换。接下来，将更具体地描述“变形处理”。

首先，确定器13从图3A中所示的第一图像数据D11中提取关于第一区域51(焊接区域)、第一基材区域521和第二基材区域522的信息(在下文中被称为“区域信息”)。例如，用户可以用肉眼检查显示设备16在屏幕上显示的第一图像数据D11，以确定焊道B10、第一基材B11和第二基材B12的相应位置和其他参数。然后，用户使用操作构件17输入指定焊道B10、第一基材B11和第二基材B12的相应位置和其他参数的信息。

确定器13根据由用户输入的信息从第一图像数据D11中提取区域信息，并将该区域信息存储在例如处理器10的存储器中。确定器13可以具有将用于指定焊道的信息存储在例如处理器10的存储器中并通过参考该信息以及通过执行图像处理(诸如边缘检测处理)从第一图像数据D11中自动地提取区域信息的功能。

接下来，确定器13根据区域信息来设置参考点P1。多个参考点P1沿与第一区域51和第二区域52的布置方向(即，第一方向A1；参考图3B)相交的方向(例如，在该示例中为平行于第二方向A2的方向；参见图3B)并排布置。在该实施例中，确定器13设置沿第二方向A2并排布置的多个参考点P1。在图3A和图3B中，第一方向A1是与X轴对齐的方向，并且第二方向A2是与Y轴对齐的方向。第二方向A2是焊道B10被焊接的方向。例如，确定器13设置并排布置在与第二方向A2(即，焊接方向)平行的参考线V1(参考图3A)上的多个参考点P1(图3B中仅示出其中一个)，并确定基于参考点P1的变化。确定器13可以基于并排布置在参考线V1上的每个像素来设置参考点P1。在图3B中，参考线V1是平行于第二方向A2(即，Y轴)绘制以在道缝B10的两个纵向端部之间延伸的单线(虚拟线)。然而，参考线V1不必须是严格意义上的直线。

在该实施例中，参考点P1设置在第一区域51中的在第一区域51和第二区域52的布置方向(即，第一方向A1)上的中间处，如图3A至图4所示。确定器13在第一区域51中的在第一区域51和第二区域52的布置方向(即，第一方向A1)上的中间处设置参考点P1。换言之，其上并排布置有多个参考点P1的参考线V1被设置在焊道B10的宽度的中间处。然而，各个参考点P1不必须设置在中间处，只要参考点P1落入第一区域51内即可。也就是说，可以根据例如用户经由操作构件17输入的命令来任意地改变参考点P1中的每一个的位置，只要参考点P1落入第一区域51内即可。

确定器13确定针对多个参考点P1中的每个参考点的变化。为了便于描述，以下描述将集中于设置在参考线V1上的多个参考点P1中的单个参考点P1。在图3A至图4中，仅示出感兴趣的单个参考点P1。

此外，确定器13还根据区域信息来设置边界C1。在该实施例中，确定器13在焊道B10(对象)和第一基材B11之间的边界处以及焊道B10和第二基材B12之间的边界处设置边界C1。换言之，确定器13在焊道B10的轮廓与相应基材之间的相应边界处设置边界C1。

具体地，边界C1包括第一边界(线)C11和第二边界(线)C12。第一边界C11设置在焊道B10和第一基材B11之间的边界处。第二边界C12设置在焊道B10和第二基材B12之间的边界处。

第一边界C11包括第一边界点C110。第二边界C12包括第二边界点C120。第一边界点C110位于第一边界C11与通过感兴趣的参考点P1(并且平行于X轴)的线A-A之间的交点处。第二边界点C120位于第二边界C12与A-A线之间的交点处。在该示例中，参考平面H1被设置为与X-Y平面平行且通过第一边界点C110与第二边界点C120的平面(参考图4)。

确定器13基于如此设置的参考点P1、第一边界点C110和第二边界点C120来确定变化。本文使用的“变化”是指第一图像数据D11中的第一区域51(焊接区域)(在变形之前)的高度的变化(即，高度变化)(参见图4中的第一曲线G1)。

例如，确定器13确定使参考点P1处的相对于参考平面H1的高度超过最大点P2的变化，最大点P2相对于参考平面H1的高度在变形之前在第一区域51内是最大的。换言之，引起关于第一区域51的高度的变形以使参考点P1处的相对于参考平面H1的高度超过最大点P2，最大点P2相对于参考平面H1的高度在变形之前在第一区域51内是最大的。在图4中所示的示例中，对象4是焊道B10，因此其截面具有山形，该山形是相对于参考平面H1的凸起并且具有最大点P2(作为其峰)。在图4中所示的示例中，最大点P2位于焊道B10在第一方向A1上的中间与第二边界点C120之间的中点处。也就是说，尚未变形的焊道B10(如第一曲线G1所示)具有山形，该山形的峰相对于参考点P1向X轴的正侧偏移。

在该实施例中，变化例如可以是尚未变形的焊道B10(如第一曲线G1所示)的高度沿增加方向改变的量。确定器13对于相对于参考点P1位于X轴的负侧的范围确定相对于第一曲线G1的增加幅度(即，变化)，使得感兴趣的点越靠近参考点P1，增加幅度越大，而感兴趣的点越靠近第一边界点C110，增加幅度越小。以相同方式，确定器13对于相对于参考点P1位于X轴的正侧的范围确定相对于第一曲线G1的增加幅度(即，变化)，使得感兴趣的点越靠近参考点P1，增加幅度越大，而感兴趣的点越靠近第二边界点C120，增加幅度越小。确定器13确定相对于第一曲线G1的增加幅度(即，变化)，以绘制具有使得当作为整体观察第一区域51时使参考点P1成为新峰的山形的第二曲线G2。从图4中可以看出，相对于参考点P1在X轴的负侧的相对于第一曲线G1的增加幅度与相对于参考点P1在X轴的正侧的相对于第一曲线G1的增加幅度不同。增加幅度的差异例如可以取决于尚未变形的焊道B10的截面的轮廓形状(参见图4中所示的第一曲线G1)来设置。确定器13可以使用例如β分布来计算高度变化(即，确定相对于第一曲线G1的增加幅度)。

以这种方式，确定器13确定与多个参考点P1一样多的沿X轴通过第一边界点C110、参考点P1和第二边界点C120的一条曲线的高度相对于尚未变形的焊道B10(如第一曲线G1所示)的高度的增加幅度。

可选地，参考点P1也可以是由用户适当(直接)指定的点。在这种情况下，处理器10的获取器11优选地被配置为获取指定信息以指定参考点P1在第一区域51中的位置。指定信息可以由用户经由例如操作构件17来输入。获取器11可以获取例如指定要由参考点P1的位置相对于沿第一区域51的宽度的两端定义的比率的指定信息。具体地，如果该比率是“0:1”，则参考点P1设置在第一区域51的在X轴的负侧的一端处(即，在图3B中的左端处)。如果该比例是“0.5:0.5”，则参考点P1设置在第一区域51的中间处。如果该比例为“1:0”，则参考点P1设置在第一区域51的在X轴的正侧的另一端处(即，在图3B中的右端处)。然后，处理器10根据指定信息来设置参考点P1。

指定信息可以包括关于参考点P1的像素位置(即，X-Y坐标)的信息。指定信息可以由用户通过使用例如鼠标作为操作构件17来输入。例如，用户可以在用肉眼检查由显示设备16在屏幕上显示的第一图像数据D11的同时通过使用鼠标作为操作构件17来指定参考点P1的像素位置(即，X-Y坐标)。可选地，与感兴趣的参考点P1具有相同Y坐标的第一边界点C110和第二边界点C120也可以由用户使用鼠标作为操作构件17来指定。确定器13基于已经输入的参考点P1、第一边界点C110和第二边界点C120来计算高度变化，使得感兴趣的点越靠近参考点P1，高度变化越大，而感兴趣的点越靠近第一边界点C110或第二边界点C120，高度变化越小。然后，确定器13使显示设备16在屏幕上显示其中如此计算的高度变化被引入第一图像数据D11的图像。用户用肉眼检查由显示设备16显示的图像，并且当没有问题时，通过使用鼠标选择由显示设备16在屏幕上显示的输入按钮以确定相对于该参考点P1的高度变化。对于其他参考点P1(即，具有不同Y坐标的参考点P1)，高度变化也可以以相同的方式来确定。可以看出，数据创建系统1可以包括指定器18(包括操作构件17和获取器11的组合)，用于根据由用户输入的操作命令来指定第一区域51内的参考点P1。可选地，确定器13可以计算多个高度变化(作为相对于第一曲线G1的增加幅度)，并且用户在检查通过将如此计算的多个高度变化应用于第一图像数据D11而分别生成的多个图像的同时，可以确定应选择多个图像中的哪一个(即，多个高度变化中的哪一个)。

变形器12基于由确定器13做出的决定(关于增加幅度)通过引起对第一图像数据D11的关于第一区域51相对于参考平面H1的高度的变形来生成第二图像数据D12。也就是说，变形器12针对形成通过多个参考点P1中的每个参考点P1的一条线的多个像素，将其在变形之前的像素值改变为与已经添加由确定器13确定的增加幅度(即，高度变化)的高度相对应的像素值。以这种方式，变形器12基于第一图像数据D11通过引起对第一图像数据D11的关于第一区域51相对于参考平面H1的高度的变形来生成第二图像数据D12。已经变形的焊道B10的截面的轮廓形状(参见图4中所示的第二曲线G2)具有与尚未变形的焊道B10的截面的轮廓形状(参见图4中所示的第一曲线G1)不同的峰位置和不同的高度，但相对于尚未变形的焊道B10的截面的轮廓形状(参见图4中所示的第一曲线G1)保持一定程度的相关性。

变形器12可以通过进一步引起另一类型的变形(例如，通过仿射变换或投影变换进行放大或缩小、旋转或翻转)以及关于对象4的高度的变形来创建第二图像数据D12。

如图5所示，已经变形的焊道B10可以具有带尖峰(表示参考点P1)的形状。然而，实际上，通过焊接工艺步骤形成的焊道B10不太可能具有带这种尖峰的山形。也就是说，取决于对象4的类型，包括具有尖峰形状的第一区域51的第二图像数据D12可以是表示不真实形状的数据。因此，根据该实施例，确定器13确定使参考点P1处的相对于参考平面H1的倾斜角度(由已经变形的焊道B10的轮廓限定)落入包括零度的预定角度范围内的变化。换言之，引起关于第一区域51的高度的变形，以使参考点P1处的相对于参考平面H1的倾斜角度落入包括零度的预定角度范围内。假定预定角度范围可以是例如从–10度至+10度的范围。然而，该范围仅是示例，并且可以适当地改变。例如，确定器13可以确定绘制平滑曲线使得参考点P1处(第一区域51的高度)的微分值变得等于零的变化。如本文所使用的，微分值是指在参考点P1处计算的沿高度方向(朝向Z轴的正侧)的位移量与沿参考平面H1朝向X轴的正侧的位移量的比率(即，梯度)。以这种方式确定使倾斜角度落入包括零度的预定角度范围内的变化减少了第二曲线G2在参考点P1处具有尖形状的机会，从而基本上防止了所创建的图像数据表示不真实形状。

此外，已经变形的焊道B10的截面的轮廓(如第二曲线G2所示)可以作为整体上升以在边界C1附近(即，在第一边界点C110和第二边界点C120周围)本身与参考平面H1分离，如图6所示。也就是说，有可能第一区域51(表示焊接区域)和第二区域52(基材区域)在边界C1处具有显著不同的高度，因此可能生成不连续的第二图像数据D12。包括这种不连续区域的第二图像数据D12可以是表示不真实对象的数据。因此，根据该实施例，确定器13确定使边界C1处的变化落入包括零的指定范围内的变化。换言之，引起关于第一区域51的高度的变形，以使边界C1处的变化落入包括零的指定范围内。假定指定范围是例如参考点P1相对于参考平面H1的高度的–3％至+3％的范围。然而，该范围仅是示例，并且可以适当地改变。以这种方式确定使边界C1处的变化落入包括零的指定范围内的变化减少了引起边界C1处的高度的差异的机会，从而基本上防止所生成的图像数据表示不真实形状。

此外，已经变形的焊道B10的截面的轮廓(如第二曲线G2所示)可以从边界C1周围(即，从第一边界点C110和第二边界点C120周围)急剧增加其相对于参考平面H1的高度，如图7所示。也就是说，可以生成表示第一区域51(焊接区域)与第二区域52(基材区域)之间的边界C1处的凹陷边缘的第二图像数据D12。具有这种凹陷区域的第二图像数据D12可以是表示不真实对象的数据。因此，根据该实施例，确定器13确定使边界C1处的相对于参考平面H1的倾斜角度(由已经变形的焊道B10的轮廓限定)落入包括零度的预定角度范围内的变化。换言之，引起关于第一区域51的高度的变形，以使边界C1处的相对于参考平面H1的倾斜角度落入包括零度的预定角度范围内。假定预定角度范围是例如从–10度至+10度的范围。然而，该范围仅是示例，并且可以适当地改变。以这种方式确定使边界C1处的倾斜角度落入包括零度的预定角度范围内的变化减少了引起边界C1处的这种凹陷边缘的机会，从而基本上防止所生成的图像数据表示不真实形状。

在一些情况下，底切可以作为一种缺陷(即，作为可以在焊接区域和基材区域之间的基材表面上形成的凹陷而引起的缺陷)存在于第一图像数据D11中的边界C1附近。图8A是从对象4的斜上方拍摄对象4(即，该示例中为焊道B10)而生成的第一图像数据D11的主要部分的放大图。在图8A中，各自具有(特定形式的)底切的特定区域T1由单点划线框来指示。在这种情况下，如果相对于边界C1在第一区域51上存在底切，如图8A所示，则引起第一区域51的高度的变形将也引起底切的高度的增加，因此可能使底切成为平缓的凹陷。包括具有这种具有增加高度的底切的特定区域T1的第二图像数据D12(参考图8B)可以是表示不真实对象的数据。因此，根据该实施例，如果相对于边界C1在第一区域51上存在具有这种特定形式的任何特定区域T1，则变形器12通过引起对除了特定区域T1之外的第一区域51的变形来生成第二图像数据D12。换言之，如果相对于边界C1在第一区域51上存在具有这种特定形式的任何特定区域T1，则对除了特定区域T1之外的第一区域51引起关于第一区域51的高度的变形。例如，变形器12可以设置与边界C1分开的辅助边界C2(如图8A中的单点划线所示)以使特定区域T1被包括在第二区域52中(即，使特定区域T1脱离变形处理的目标)。因此，这减少了特定区域T1的高度由于变形而改变的机会。也就是说，这使得能够通过在将底切部分保持在第一图像数据D11的状态的同时引起关于焊道B10的高度的变形来生成第二图像数据D12。

特定区域T1可以通过例如接受由用户经由操作构件17输入的操作命令来设置。

在上述示例中，特定区域T1中的特定形式是作为一种缺陷的底切。然而，这仅是示例，并且不应被解释为限制。备选地，特定形式也可以是任何其他类型的缺陷，例如凹坑。相反，即使相对于边界C1在第一区域51上存在缺陷部分，考虑到关于缺陷的图像数据的多样性，使缺陷部分经受变形处理而不设置任何辅助边界C2也是选项。

(2.3)操作

接下来，将参考图9描述数据创建系统1的示例性操作。注意，以下要描述的操作的过程仅是示例，并且不应被解释为限制。

为了执行数据增强处理，数据创建系统1的处理器10获取第一图像数据D11作为原始学习数据(在S1中)。例如，第一图像数据D11可以是表示具有底切的处于“缺陷(状态)”的焊道B10的数据。

处理器10从第一图像数据D11中提取关于第一区域51(焊接区域)、第一基材区域521和第二基材区域522的区域信息(S2)。此外，处理器10还提取关于具有底切的特定区域T1的底切信息(在S3中)。

接下来，处理器10基于区域信息和底切信息来设置多个参考点P1和边界C1(辅助边界C2)(在S4中)。然后，处理器10确定关于除了特定区域T1之外的第一区域51(焊接区域)的高度的变化(在S5中)。

随后，处理器10基于如此确定的变化通过引起关于高度的变形(即，改变像素值)来生成第二图像数据D12(在S6中)。

然后，处理器10输出如此生成的第二图像数据D12(在S7中)。将与原始第一图像数据D11相同的标签“缺陷(底切)”附加到第二图像数据D12，然后将第二图像数据D12作为学习数据(图像数据D1)存储在存储设备中。

[优点]

从前述描述中可以看出，根据该实施例的数据创建系统1使得更容易创建具有通过增加第一图像数据D11的第一区域51的高度而形成的山形或通过降低第一图像数据D11的第一区域51的高度而形成的谷形的第二图像数据D12。因此，这使得能够增加学习数据的多样性，从而有助于提高识别对象4的性能。

此外，根据该实施例，多个参考点P1被设置为沿与第一区域51和第二区域52的布置方向(即，第一方向A1)相交的方向(即，第二方向A2)并排布置。这允许形成由多个参考点P1定义的脊形或谷形的第一区域51。这使得甚至更容易创建具有通过增加第一图像数据D11的第一区域51的高度而形成的山形或通过降低第一图像数据D11的第一区域51的高度而形成的谷形的第二图像数据D12。

此外，根据该实施例，确定器13在第一区域51的中间处设置参考点P1(峰)。这使得例如如果第一区域51的峰从原始第一图像数据D11的中间偏移，则能够创建其中峰位置已经移位的图像数据。因此，这进一步增加了学习数据的多样性。如上所述，在该实施例中，参考点P1设置在第一区域51的沿焊道B10的宽度(即，沿X轴)的中间处。然而，这仅是示例，并且不应被解释为限制。备选地，多个参考点P1中的一个参考点P1可以设置在第一区域51的沿焊道B10的宽度的中间处，并且其他参考点P1可以设置在通过所述一个参考点P1的线上(即，沿Y轴)。备选地，多个参考点P1中的每一个可以逐个地设置在第一区域51的沿焊道B10的宽度的中间处。

(3)变型

注意，上述实施例仅是本公开的各种实施例中的示例性实施例，并且不应被解释为限制。相反，在不脱离本公开的范围的情况下，可以根据设计选择或任何其他因素以各种方式容易地修改示例性实施例。此外，根据上述示例性实施例的数据创建系统1的功能也可以被实现为数据创建方法、计算机程序、或其上存储有计算机程序的非暂时性存储介质。

接下来，将逐一列举示例性实施例的变型。注意，可以适当地组合采用下面要描述的变型。在以下描述中，上述示例性实施例在下文中将有时被称为“基本示例”。

根据本公开的数据创建系统1包括计算机系统。计算机系统可以包括作为其主要硬件组件的处理器和存储器。可以通过使处理器执行计算机系统的存储器中存储的程序来执行根据本公开的数据创建系统1的功能。程序可以预先被存储在计算机系统的存储器中。备选地，也可以通过通信线路下载程序，或者将程序记录在诸如存储卡、光盘或硬盘驱动器的一些非暂时性存储介质(其中的任一个是计算机系统可读的)中之后进行分发。计算机系统的处理器可以由包括半导体集成电路(IC)或大规模集成电路(LSI)的单个或多个电子电路组成。如本文所使用的，诸如IC或LSI的“集成电路”根据其集成度被称为不同的名称。集成电路的示例包括系统LSI、超大规模集成电路(VLSI)和特大规模集成电路(ULSI)。可选地，还可以采用在制造LSI之后进行编程的现场可编程门阵列(FPGA)或者允许重新配置LSI内部的连接或电路部分的可重配置逻辑设备作为处理器。这些电子电路可以一起集成在单个芯片上或分布在多个芯片上，以适当者为准。这些多个芯片可以一起聚集在单个设备中或分布在多个设备中，而没有限制。如本文所使用的，“计算机系统”包括微控制器，该微控制器包括一个或多个处理器和一个或多个存储器。因此，微控制器也可以被实现为包括半导体集成电路或大规模集成电路的单个或多个电子电路。

此外，在上述实施例中，数据创建系统1的多个功能一起聚集在单个外壳中。然而，这不是数据创建系统1的必要配置。备选地，数据创建系统1的这些构成元件可以分布在多个不同的外壳中。

相反，数据创建系统1的多个功能可以一起聚集在单个外壳中。备选地，数据创建系统1的至少一些功能(例如，数据创建系统1的一些功能)可以例如被实现为云计算系统。

(3.1)第一变型

接下来，将参考图10以及图11A至图11C描述本公开的第一变型。在以下描述中，第一变型的与根据上述基本示例的数据创建系统1的对应部分具有基本相同功能的任何构成元件将由与该对应部分的附图标记相同的附图标记来指定，并且本文将适当地省略其描述。

在上述基本示例中，作为表示对象4的像素区域的第一区域51是应该引起关于高度的变形的目标区域。在该变型中，应引起关于高度的变形的目标区域是第二区域52，这是与基本示例的不同之处。此外，在该变型中，不仅第一图像数据D11而且参考图像数据D4(作为样本数据；参考图10和图11B)用作输入图像数据，这是与基本示例的另一不同之处。

具体地，根据该变型的数据创建系统1A基于第一图像数据D11和参考图像数据D4创建第二图像数据D12以用作学习数据来生成关于对象4的学习模型M1。如图10所示，数据创建系统1A包括处理器10。处理器10包括变形器12A和确定器13A。

如在上述基本示例中一样，第一图像数据D11也包括作为表示对象4(焊道B10)的像素区域的第一区域51(焊接区域)和与第一区域51相邻的第二区域52(第一基材区域521和第二基材区域522)。在该变型中，第二区域52是不存在作为焊道B10的对象4的像素区域。第一图像数据D11例如是用图像捕获设备6实际捕获的图像数据。

如在上述基本示例中一样，第一图像数据D11中拍摄的两种基材(第一基材B11和第二基材B12)均是平坦的金属板。在基本示例中，第一图像数据D11是表示将第一基材B11和第二基材B12焊接在一起以在它们之间形成小于180度的钝角的数据。在该变型中，为了便于描述，假定将第一基材B11和第二基材B12以基本齐平的方式焊接在一起。图11A示意性地示出了第一区域51(焊接区域)和两个第二区域52(基材区域)在沿通过第一图像数据D11中的第一区域51的参考点P1并与X轴对齐的平面截取的截面上的相应高度。

参考图像数据D4包括作为表示对象4的像素区域的第三区域53和与第三区域53相邻的第四区域54(即，第三基材区域54A和第四基材区域54B)(参考图11B)。在该变型中，参考图像数据D4中拍摄的对象4也是焊道B10A。第三区域53是表示焊道B10A的像素区域。第一区域51和第三区域53两者是焊接区域，并且两者具有与Y轴对齐的焊接方向。存在两个第四区域54(即，第三基材区域54A和第四基材区域54B)，其中每一个是表示要焊接的基材的像素区域。在该变型中，第四区域54是不存在作为焊道B10A的对象4的像素区域。第二区域52和第四区域54两者是基材区域。然而，参考图像数据D4中拍摄的两种基材都不是平坦的金属板，而是两种基材都是金属管，这是与第一图像数据D11的不同之处。也就是说，参考图像数据D4是表示管焊接的图像数据。在两个第四区域54中，第三基材区域54A对应于第三基材B3的管形状的区域，并且第四基材区域54B对应于第四基材B4的管形状的区域(参考图11B)。图11B还示意性地示出了第三区域53(焊接区域)和两个第四区域54(基材区域)在沿通过参考图像数据D4中的第三区域53中的一个参考点并与X轴对齐的平面截取的截面上的相应高度。参考图像数据D4例如是用图像捕获设备6实际捕获的图像数据。备选地，参考图像数据D4也可以是其中对象和基材被渲染的CG图像。备选地，参考图像数据D4也可以通过将实际拍摄的图像局部地填充到CG图像中来创建。

在第一图像数据D11中，参考平面(第一参考平面J1)被定义为是与X-Y平面平行且通过两个边界C1(边界点)的平面，如图11A所示。在该变型中，第一参考平面J1与第一基材B11和第二基材B12的彼此基本齐平的相应表面基本对齐。在第一图像数据D11中，基材是平坦的金属板。因此，第一基材B11和第二基材B12相对于第一参考平面J1的相应高度均为零。

在参考图像数据D4中，参考平面(第二参考平面J2)被定义为是与X-Y平面平行且通过两个边界C1A(边界点)的平面，如图11B所示。在参考图像数据D4中，第三基材B3和第四基材B4是金属管。因此，第三基材B3和第四基材B4相对于第二参考平面J2的相应高度大于零。在图11B中，示意性地示出了作为金属管的第三基材B3和第四基材B4的相应部分(大致圆弧形状的部分)的高度。

根据该变型的处理器10基于参考图像数据D4中第四区域54相对于第二参考平面J2的高度通过引起关于第二区域52相对于第一参考平面J1的高度的变形来生成第二图像数据D12。确定器13A基于参考图像数据D4中第四区域54相对于第二参考平面J2的高度来确定关于第二区域52的高度的变化。在该变型中，确定器13A确定关于第一基材区域521的高度变化，使得表示第一基材B11的第一基材区域521的高度(包括峰位置)与表示管焊接的第三基材B3的第三基材区域54A的高度一致。此外，确定器13A还确定关于第二基材区域522的高度变化，使得表示第二基材B12的第二基材区域522的高度(包括峰位置)与表示管焊接的第四基材B4的第四基材区域54B的高度一致。

根据该变型的变形器12A通过引起对第一图像数据D11的关于第二区域52相对于第一参考平面J1的高度的变形来生成第二图像数据D12。变形器12A通过将第一基材区域521和第二基材区域522的像素值中的每一个改变为添加了由确定器13A确定的变化(增加幅度)的像素值来生成第二图像数据D12。因此，在第二图像数据D12中，焊道B10的高度和形状与由第一图像数据D11表示的高度和形状保持相同。同时，第二图像数据D12将是其中第一基材B11和第二基材B12被替换为金属管的图像数据，好像图像表示的管焊接(参考图11C)。

可以看出，基于与第一图像数据D11不同的另一图像数据(即，参考图像数据D4)引起关于基材的高度的变形能够进一步增加学习数据的多样性，从而有助于提高识别对象4的性能。

(3.2)第二变型

接下来，将参考图12A至图12C描述本公开的第二变型。该变型是上述第一变型的又一示例。在以下描述中，第二变型的与根据上述第一变型的数据创建系统1A的对应部分具有基本相同功能的任何构成元件将由与该对应部分的附图标记相同的附图标记来指定，并且本文将适当地省略其描述。

在上述第一变型中，第二图像数据D12是通过引起使第二区域52的高度(包括其峰位置)简单地与参考图像数据D4中的第四区域54的高度一致的这种变形来生成的。

根据该变型的数据创建系统1A基于参考图像数据D4中的第四区域54通过引起关于第二区域52的高度的变形同时使第二区域52的高度和峰位置与第四区54的高度和峰位置不同来生成第二图像数据D12。

具体地，首先，确定器13A在两个第二区域52中的一个中设置第一参考点Q1(参考图12A)。为了便于描述，以下描述将仅集中于关于两个第二区域52中的第二基材区域522的高度引起的变形。尽管在以下描述中未详细描述，但关于第一基材区域521的高度引起的变形也应该以相同的方式执行。

多个第一参考点Q1以及基本示例的参考点P1也沿焊接方向(即，沿Y轴)设置。以下描述将集中于如图12A所示的单个第一参考点Q1。每个第一参考点Q1在X轴方向上的位置不限于任何特定位置，只要第一参考点Q1落入第二基材区域522(第二区域52)内即可。相反，每个第一参考点Q1在X轴方向上的位置可以如由用户经由例如操作构件17指定地任意设置。

确定器13A将从第二区域52的外边缘X1到第一参考点Q1的距离定义为第一距离L1，并且还将从第一区域51与第二区域52之间的边界C1到第一参考点Q1的距离定义为第二距离L2，如图12A所示。第二区域52的外边缘X1例如可以是第一图像数据D11内的第二基材区域522(第二区域52)的外边缘。

确定器13A将参考图像数据D4的第四区域54中的在第二参考平面J2上满足第一距离L1与第二距离L2的比率的位置定义为第二参考点Q2，如图12B所示。在这种情况下，将在X轴方向上从第四基材区域54B(第四区域54)的外边缘X2到第二参考点Q2的距离定义为第三距离L3。另一方面，将在X轴方向上从第三区域53(焊接区域)与第四基材区域54B(第四区域54)之间的边界C1A到第二参考点Q2的距离定义为第四距离L4。在这种情况下，确定第二参考点Q2在X轴方向上的位置，使得第一距离L1和第二距离L2的比率与第三距离L3和第四距离L4的比率一致。也就是说，第二参考点Q2并不总是第四区域54中的高度的峰。

确定器13A基于第二参考点Q2处的相对于第二参考平面J2的高度来确定第一参考点Q1处的变化。换言之，第一参考点Q1处的变化是基于第二参考点Q2处的相对于第二参考平面J2的高度的量。在该变型中，确定器13A确定第二基材区域522的高度变化，使得第一参考点Q1在X轴方向上的位置变成第二基材区域522的峰位置并且第二基材区域522中的第一参考点Q1的高度与第二参考点Q2的高度一致。注意，对于第一基材区域521，确定器13A也设置第一参考点Q1和第二参考点Q2，并且以与上述相同的方式确定第一基材区域521的高度变化。

变形器12A通过将第一基材区域521和第二基材区域522的相应像素值改变为添加了由确定器13A确定的变化(即，增加幅度；高度变化)的像素值来生成第二图像数据D12。因此，在第二图像数据D12中，焊道B10的高度和形状与由第一图像数据D11表示的高度和形状保持相同。同时，第二图像数据D12将是其中第一基材B11和第二基材B12被替换为金属管的图像数据，好像图像表示的管焊接(参考图12C)。在变形之后第二区域52的截面的轮廓形状(参见图12C中所示的曲线)具有与参考图像数据D4中的第四区域54的截面的轮廓形状(参见图12B中所示的曲线)不同的峰位置和不同的高度，但相对于参考图像数据D4中的第四区域54的截面的轮廓形状(参见图12B中所示的曲线)保持一定程度的相关性。

该变型基于参考图像数据D4中的第四区域54的高度通过引起关于第一图像数据D11中的第二区域52的高度的变形，使得更容易创建第二图像数据D12。因此，这使得能够进一步增加学习数据的多样性，从而有助于提高识别对象4的性能。

在该变型中，如在上述基本示例中一样，第一参考点Q1也可以由用户适当地指定。在这种情况下，获取器11(指定器18)可以获取指定信息以指定第一参考点Q1的位置。

指定信息可以由用户使用例如鼠标(用作指定器18)作为操作构件17来输入。例如，用户可以在用肉眼检查由显示设备16在屏幕上显示的第一图像数据D11的同时通过使用鼠标作为操作构件17来指定第一参考点Q1的像素位置(即，X-Y坐标)。可选地，在第一图像数据D11中与感兴趣的第一参考点Q1具有相同的Y坐标的第一区域51与第二区域52之间的边界C1(即，边界点)和第二区域52的外边缘X1(即，外边缘点)也可以由用户使用鼠标作为操作构件17来指定。此外，可选地，在参考图像数据D4中，第三区域53与第四区域54之间的边界C1A(即，边界点)和第四区域54的外边缘X2(即，外边缘点)也可以是由用户使用鼠标作为操作构件17来指定。确定器13A基于第一距离L1与第二距离L2的比率、边界C1A(边界点)、以及第四区域54的外边缘X2(外边缘点)来设置参考图像数据D4中的第二参考点Q2，并且基于第二参考点Q2处的相对于第二参考平面J2的高度来计算第一参考点Q1处的高度变化。然后，确定器13A使显示设备16在屏幕上显示其中如此计算的高度变化被添加到第一图像数据D11的图像。例如，确定器13A可以计算高度变化以使第一参考点Q1相对于第一参考平面J1的高度等于第二参考点Q2处的相对于第二参考平面J2的高度。用户用肉眼检查由显示设备16显示的图像，并且当没有问题时，通过使用鼠标选择由显示设备16在屏幕上显示的输入按钮以确定相对于该参考点Q1的高度变化。高度变化也可以以与另一第一参考点Q1(即，具有不同Y坐标的第一参考点Q1)相同的方式来确定。可以看出，数据创建系统1A可以包括指定器18(包括操作构件17和获取器11)，用于根据由用户输入的操作命令来指定第一图像数据D11内的第一参考点Q1。

根据该变型的数据创建系统1A的功能也可以被实现为数据创建方法、计算机程序或其上存储有计算机程序的非暂时性存储介质。具体地，根据该变型的数据创建方法是一种用于基于第一图像数据D11和参考图像数据D4创建第二图像数据D12以用作学习数据来生成关于对象4的学习模型M1的方法。该数据创建方法包括处理步骤。处理步骤包括基于第一图像数据D11通过引起关于第二区域52相对于第一参考平面J1的高度的变形来生成第二图像数据D12，该第一图像数据D11包括作为表示对象4的像素区域的第一区域51和与第一区域52相邻的第二区域52。处理步骤包括基于参考图像数据D4的第四区域54相对于第二参考平面J2的高度通过引起关于第二区域52相对于第一参考平面J1的高度的变形来生成第二图像数据D12。参考图像数据D4包括作为表示对象4的像素区域的第三区域53和与第三区域53相邻的第四区域54。当从第二区域52的外边缘X1到第二区域52中的第一参考点Q1的距离是第一距离L1，从第一区域51和第二区域52之间的边界C1到第一参考点Q1的距离是第二距离L2，以及在参考图像数据D4的第四区域54中满足第二参考平面J2上的第一距离L1与第二距离L2的比率的位置是第二参考点Q2时，第一参考点Q1处的变化是基于第二参考点Q2处的相对于第二参考平面J2的高度的量。

(3.3)第三变型

在数据创建系统1中，包括确定器13的处理设备(在下文中被称为“第一处理设备”)110和包括变形器12的处理设备(在下文中被称为“第二处理设备”)120可以是两个不同的设备。

例如，如图13所示，第一处理设备110包括处理器(下文中被称为“第一处理器”)101、通信接口(下文中被称为“第一通信接口”)151、显示设备16和操作构件17。第一处理设备110的第一处理器101包括获取器(在下文中被称为“第一获取器”)111和确定器13。第一处理设备110包括指定器18(包括操作构件17和第一获取器111)。

第一获取器111获取第一图像数据D11。此外，第一获取器111(指定器18)也可以获取指定信息(即，指定参考点P1在第一区域51中的位置的信息)。

确定器13确定相对于第一图像数据D11的关于第一区域51的高度的变化(即，高度变化)。确定器13确定高度变化，使得感兴趣的点越靠近第一区域51内的参考点P1，高度变化越大，而感兴趣的点越靠近第一区域51和第二区域52之间的边界，高度变化越小。

第一通信接口151(发送器)向第二处理设备120输出(发送)指示由确定器13确定的高度变化的信息D20。

第二处理设备120包括处理器(下文中被称为“第二处理器”)102和通信接口(下文中被称为“第二通信接口”)152。第二处理设备120的第二处理器102包括获取器(在下文中被称为“第二获取器”)112和变形器12。

第二获取器112获取第一图像数据D11。

第二通信接口152(接收器)接收指示高度变化的信息D20。第二获取器112获取指示高度变化的信息D20。

变形器12基于高度变化通过引起对第一图像数据D11的关于第一区域的高度的变形来生成第二图像数据D12。

第二处理设备120例如可以使第二通信接口152向第一处理设备110发送如此生成的第二图像数据D12。在这种情况下，用户可以使学习系统2使用如此接收的第二图像数据D12来生成学习模型M1。

第二处理设备120可以向包括学习系统的外部服务器发送如此生成的第二图像数据D12。外部服务器的学习系统使用包括作为第二图像数据D12的学习数据的学习数据集来生成学习模型M1。该学习模型M1响应于第二图像数据D12(即，基于高度变化通过引起对第一图像数据D11的关于第一区域51的高度的变形而生成的第二图像数据D12)或第二图像数据D12中的第一区域51来输出与第一图像数据D11经受关于对象4的特定状态所做的估计的情形类似的估计结果。用户可以从外部服务器接收如此生成的学习模型M1。

(3.4)第四变型

在数据创建系统1A中，包括确定器13A的处理设备(在下文中被称为“第一处理设备”)110A和包括变形器12A的处理设备(在下文中被称为“第二处理设备”)120A可以是两个不同的设备。

例如，如图14所示，第一处理设备110A包括处理器(在下文中被称为“第一处理器”)101、通信接口(在下文中被称为“第一通信接口”)151、显示器设备16和操作构件17。第一处理设备110的第一处理器10包括获取器(在下文中被称为“第一获取器”)111和确定器13A。第一处理设备110A包括指定器18(包括操作构件17和第一获取器111)。

第一获取器111获取第一图像数据D11和参考图像数据D4。此外，第一获取器111(指定器18)也可以获取指定信息(即，指定第一参考点Q1在第二区域52中的位置的信息)。

确定器13A基于参考图像数据D4的第四区域54相对于第二参考平面J2的高度来确定作为高度的变化的高度变化。更具体地，确定器13A确定高度变化以使得第一参考点Q1处的变化是基于第二参考点Q2处的相对于第二参考平面J2的高度的量。在这种情况下，第二参考点Q2是参考图像数据D4的第四区域54中满足第二参考平面J2上的第一距离L1与第二距离L2的比率的位置。第一距离L1是从第二区域52的外边缘X1到第二区域52中的第一参考点Q2的距离。第二距离L2是从第一区域51与第二区域52之间的边界C1到第一参考点Q1的距离。

第一通信接口151(发送器)向第二处理设备120输出(发送)指示由确定器13A确定的高度变化的信息D20A。

第二处理设备120A包括处理器(下文中被称为“第二处理器”)102和通信接口(下文中被称为“第二通信接口”)152。第二处理设备120的第二处理器102包括获取器(在下文中被称为“第二获取器”)112和变形器12A。

第二获取器112获取第一图像数据D11。

第二通信接口152(接收器)接收指示高度变化的信息D20A。第二获取器112获取表示高度变化的信息D20A。

变形器12A基于高度变化通过引起对第一图像数据D11的关于第二区域52相对于第一参考平面J1的高度的变形来生成第二图像数据D12。

第二处理设备120例如可以使第二通信接口152向第一处理设备110发送如此生成的第二图像数据D12。在这种情况下，用户可以使学习系统2使用如此接收的第二图像数据D12来生成学习模型M1。

第二处理设备120A可以向包括学习系统的外部服务器发送如此生成的第二图像数据D12。外部服务器的学习系统使用包括作为第二图像数据D12的学习数据的学习数据集来生成学习模型M1。该学习模型M1响应于第二图像数据D12(即，基于高度变化通过引起对第一图像数据D11的关于第二区域52的变形而生成的第二图像数据D12)或第二图像数据D12中的第一区域51来输出与第一图像数据D11经受关于对象4的特定状态所做的估计的情形类似的估计结果。用户可以从外部服务器接收如此生成的学习模型M1。

(3.5)其他变型

接下来，将逐一列举其他变型。

本文使用的“图像数据”不必须是由图像传感器获取的图像数据，而是也可以是诸如CG图像的二维数据或通过布置由距离图像传感器获取的多项一维数据而形成的二维数据，如已经针对基本示例描述的。备选地，“图像数据”也可以是三维或更高维图像数据。此外，本文使用的“像素”不必须是用图像传感器实际捕获的图像的像素，而是也可以是二维数据的各个元素。

此外，在上述基本示例中，第一图像数据D11是用图像捕获设备6实际捕获的图像数据。然而，这仅是示例，并且不应被解释为限制。备选地，第一图像数据D11也可以包括其中焊道B10、第一基材B11和第二基材B12的至少一部分被示意性渲染的CG图像。

此外，在上述基本示例中，变化是指示相对于具有山形的第一区域51的高度的增加的增加幅度。然而，这仅是示例，并且不应被解释为限制。备选地，变化也可以是减少幅度。例如，如果对象4没有凸起(如在焊道B10中)而是凹陷(例如，金属板上留下的划痕)，则变化也可以是指示相对于具有谷形的第一区域51的高度的减小(即，深度的增加，除非另外说明)的减小幅度。

此外，在上述基本示例中，确定器13确定使参考点P1处的相对于参考平面H1的高度超过最大点P2的变化，最大点P2相对于参考平面H1的高度在变形之前在第一区域51内是最大的。然而，这仅是示例，并且不应被解释为限制。备选地，确定器13可以确定使参考点P1处的相对于参考平面H1的高度低于最大点P2的变化，最大点P2相对于参考平面H1的高度在变形之前在第一区域51内是最大的。换言之，可以引起关于第一区域51的高度的变形以使参考点P1处的相对于参考平面H1的高度低于最大点P2，最大点P2相对于参考平面H1的高度在变形之前在第一区域51内是最大的。这使得更容易创建甚至更多种第二图像数据D12。

在上述基本示例中，作为要识别对象的对象4是焊道B10。然而，对象4不必须是焊道B10。学习模型M1不必须用于进行焊缝外观测试以确定焊接是否已经正确完成。可选地，第一图像数据D11也可以是由例如飞机或无人机设备在空中捕获的图像数据，并且对象4也可以是例如山或建筑物(例如，办公楼)。在这种情况下，第一区域51可以是表示山的像素区域，并且第二区域52可以是表示平地或道路的像素区域。通过使用第二图像数据D12生成的学习模型M1可以用于执行关于地理空间的识别工作。

根据基本示例的数据创建系统1可以不仅具有引起关于第一区域51(焊接区域)的高度的变形的功能，而且具有引起关于第二区域52(基材区域)的高度的变形的功能，如针对第一变型和第二变型所描述的。根据第一变型和第二变型的基材的高度变化可以仅应用于两种基材之一。这使得能够创建关于两种不同基材(例如，金属板和金属管)的焊接的图像数据。

此外，在上述基本示例中，第一区域51中的参考点P1设置在第一区域51的沿焊道B10的宽度(即，沿X轴方向)的中间处。然而，这仅是示例，并且不应被解释为限制。备选地，参考点P1也可以设置在除了中间之外的任意位置处。

评估系统100可以仅包括数据创建系统1的构成元件中的一些。例如，评估系统100也可以仅包括数据创建系统1的第一处理设备110和第二处理设备120(参考图13)中的第一处理设备110和学习系统2。第一处理设备110的功能和学习系统2的功能也可以是针对单个设备提供的。备选地，评估系统100例如可以仅包括数据创建系统1的第一处理设备110和第二处理设备120中的第一处理设备110和估计系统3。第一处理设备110的功能和估计系统3的功能也可以是针对单个设备提供的。

评估系统100可以仅包括数据创建系统1A的构成元件中的一些。例如，评估系统100也可以仅包括数据创建系统1A的第一处理设备110A和第二处理设备120A(参考图14)中的第一处理设备110A和学习系统2。备选地，评估系统100例如可以仅包括数据创建系统1A的第一处理设备110A和第二处理设备120A中的第一处理设备110A和估计系统3。

(4)概括

从前述描述可以看出，根据第一方面的数据创建系统(1)基于第一图像数据(D11)来创建第二图像数据(D12)以用作学习数据来生成关于对象(4)的学习模型(M1)。数据创建系统(1)包括处理器(10)。处理器(10)基于包括作为表示对象(4)的像素区域的第一区域(51)和第二区域(52)的第一图像数据(D11)通过引起第一区域(51)相对于参考平面(H1)的高度的变形来生成第二图像数据(D12)。第二区域(52)与第一区域(51)相邻。处理器(10)生成第二图像数据(D12)，使得感兴趣的点越靠近第一区域(51)内的参考点(P1)，第一区域(51)相对于参考平面(H1)的高度的变化越大，而感兴趣的点越靠近第一区域(51)和第二区域(52)之间的边界(C1)，第一区域(51)相对于参考平面(H1)的高度的变化越小。

该方面使得更容易创建具有通过增加第一图像数据(D11)的第一区域(51)的高度而形成的山形或通过降低第一图像数据(D11)的第一区域(51)的高度而形成的谷形的第二图像数据(D12)。因此，这使得能够增加学习数据的多样性，从而有助于提高识别对象(4)的性能。

在根据可以与第一方面结合实现的第二方面的数据创建系统(1)中，引起关于第一区域(51)的高度的变形以使参考点(P1)处的相对于参考平面(H1)的倾斜角度落入包括零度的预定角度范围内。

该方面可以减少参考点(P1)具有尖锐形状并且所创建的图像数据变成不真实图像数据的机会。

在根据可以与第一方面或第二方面结合实现的第三方面的数据创建系统(1)中，参考点(P1)包括沿与第一区域(51)和第二区域(52)的布置方向(第一方向A1)相交的方向(第二方向A2)并排布置的多个参考点(P1)。

该方面使得更容易创建具有通过增加第一图像数据(D11)的第一区域(51)的高度而形成的山形或通过降低第一图像数据(D11)的第一区域(51)的高度而形成的谷形的第二图像数据(D12)。

在根据可以与第一方面至第三方面中的任一方面结合实现的第四方面的数据创建系统(1)中，按照以下方式引起关于第一区域(51)的高度的变形。具体地，引起关于第一区域(51)的高度的变形，以使参考点(P1)处的相对于参考平面(H1)的高度超过最大点(P2)，最大点(P2)相对于参考平面(H1)的高度在变形之前在第一区域(51)内是最大的。

该方面使得更容易创建更多种第二图像数据(D12)。

在根据可以与第一方面至第三方面中的任一方面结合实现的第五方面的数据创建系统(1)中，按照以下方式引起关于第一区域(51)的高度的变形。具体地，引起关于第一区域(51)的高度的变形，以使参考点(P1)处的相对于参考平面(H1)的高度低于最大点(P2)，最大点(P2)相对于参考平面(H1)的高度在变形之前在第一区域(51)内是最大的。

该方面使得更容易创建更多种第二图像数据(D12)。

在根据可以与第一方面至第五方面中的任一方面结合实现的第六方面的数据创建系统(1)中，参考点(P1)设置在第一区域(51)的在第一区域(51)和第二区域(52)的布置方向(第一方向A1)上的中间处。

该方面可以进一步增加学习数据的多样性。

在根据可以与第一方面至第六方面中的任一方面结合实现的第七方面的数据创建系统(1)中，引起关于第一区域(51)的高度的变形以使边界(C1)处的变化落入包括零的预定义范围内。

该方面可以减少引起边界(C1)处的高度的差异的机会，从而减少创建不真实图像数据的机会。

在根据可以与第一方面至第七方面中的任一方面结合实现的第八方面的数据创建系统(1)中，引起关于第一区域(51)的高度的变形以使边界(C1)处的相对于参考平面(H1)的倾斜角度落入包括零度的预定角度范围内。

该方面可以减少形成边界(C1)处的高度的边缘的机会，从而减少创建不真实图像数据的机会。

在根据可以与第一方面至第八方面中的任一方面结合实现的第九方面的数据创建系统(1)中，按照以下方式引起关于第一区域(51)的高度的变形。具体地，当相对于边界(C1)在第一区域(51)中存在显示特定形式的任何特定区域(T1)时，对除了特定区域(T1)之外的第一区域(51)引起变形。

该方面可以减少使特定区域(T1)在其高度方面变形的机会。

在根据可以与第一方面至第九方面中的任一方面结合实现的第十方面的数据创建系统(1)中，第一区域(51)是表示通过将要焊接的两种基材(即，第一基材B11和第二基材B12)焊接在一起而形成的焊接区域的像素区域。第二区域(52)是表示两种基材中的任意一种的像素区域。

该方面可以增加关于焊接区域的学习数据的多样性。因此，这有助于提高识别焊接区域的性能。

在根据可以与第一方面至第十方面中的任一方面结合实现的第十一方面的数据创建系统(1)中，处理器(10)包括获取器(11)，该获取器(11)获取指定参考点(P1)在第一区域(51)中的位置的指定信息。

该方面可以进一步增加学习数据的多样性。

根据第十二方面的数据创建系统(1A)基于第一图像数据(D11)和参考图像数据(D4)创建第二图像数据(D12)以用作学习数据来生成关于对象(4)的学习模型(M1)。数据创建系统(1A)包括处理器(10)。处理器(10)基于包括作为表示对象(4)的像素区域的第一区域(51)和第二区域(52)的第一图像数据(D11)通过引起第二区域(52)相对于第一参考平面(J1)的高度的变形来生成第二图像数据(D12)。第二区域(52)与第一区域(51)相邻。处理器(10)基于参考图像数据(D4)的第四区域(54)相对于第二参考平面(J2)的高度通过引起关于第二区域(52)相对于第一参考平面(J1)的高度的变形来生成第二图像数据(D12)。参考图像数据包括作为表示对象(4)的像素区域的第三区域(53)和第四区域(54)。第四区域(54)与第三区域(53)相邻。当从第二区域(52)的外边缘(X1)到第二区域(52)中的第一参考点(Q1)的距离是第一距离(L1)，从第一区域(51)和第二区域(52)之间的边界(C1)到第一参考点(Q1)的距离是第二距离(L2)，以及参考图像数据(D4)的第四区域(54)中满足第二参考平面(J2)上的第一距离(L1)与第二距离(L2)的比率的位置是第二参考点(Q2)时，第一参考点(Q1)处的变化是基于第二参考点(Q2)处的相对于第二参考平面(J2)的高度的量。

该方面使得更容易基于参考图像数据(D4)的第四区域(54)的高度通过引起关于第一图像数据(D11)的第二区域(52)的高度的变形来创建第二图像数据(D12)。因此，这使得能够增加学习数据的多样性，从而有助于提高识别对象(4)的性能。

根据第十三方面的学习系统(2)使用学习数据集来生成学习模型(M1)。学习数据集包括作为由根据第一方面至第十二方面中的任一方面的数据创建系统(1)创建的第二图像数据(D12)的学习数据。

该方面使得能够提供有助于提高识别对象(4)的性能的学习系统(2)。

根据第十四方面的估计系统(3)使用由根据第十三方面的学习系统(2)生成的学习模型(M1)来估计作为要识别对象的对象(4)的特定状态。

该方面使得能够提供有助于提高识别对象(4)的性能的估计系统(3)。

根据第十五方面的数据创建方法是一种用于基于第一图像数据(D11)来创建第二图像数据(D12)以用作学习数据来生成关于对象(4)的学习模型(M1)的方法。该数据创建方法包括处理步骤。处理步骤包括：基于包括作为表示对象(4)的像素区域的第一区域(51)和第二区域(52)的第一图像数据(D11)通过引起第一区域(51)相对于参考平面(H1)的高度的变形来生成第二图像数据(D12)。第二区域(52)与第一区域(51)相邻。处理步骤包括：生成第二图像数据(D12)，使得感兴趣的点越靠近第一区域(51)内的参考点(P1)，第一区域(51)相对于参考平面(H1)的高度的变化越大，而感兴趣的点越靠近第一区域(51)和第二区域(52)之间的边界(C1)，第一区域(51)相对于参考平面(H1)的高度的变化越小。

该方面使得能够提供有助于提高识别对象(4)的性能的数据创建方法。

根据第十六方面的数据创建方法是一种用于基于第一图像数据(D11)和参考图像数据(D4)创建第二图像数据(D12)以用作学习数据来生成关于对象(4)的学习模型(M1)的方法。该数据创建方法包括处理步骤。处理步骤包括：基于包括作为表示对象(4)的像素区域的第一区域(51)和第二区域(52)的第一图像数据(D11)通过引起第二区域(52)相对于第一参考平面(J1)的高度的变形来生成第二图像数据(D12)。第二区域(52)与第一区域(51)相邻。处理步骤包括：基于参考图像数据(D4)的第四区域(54)相对于第二参考平面(J2)的高度通过引起关于第二区域(52)相对于第一参考平面(J1)的高度的变形来生成第二图像数据(D12)。参考图像数据(D4)包括作为表示对象(4)的像素区域的第三区域(53)和第四区域(54)。第四区域(54)与第三区域(53)相邻。当从第二区域(52)的外边缘(X1)到第二区域(52)中的第一参考点(Q1)的距离是第一距离(L1)，从第一区域(51)和第二区域(52)之间的边界(C1)到第一参考点(Q1)的距离是第二距离(L2)，以及参考图像数据(D4)的第四区域(54)中满足第二参考平面(J2)上的第一距离(L1)与第二距离(L2)的比率的位置是第二参考点(Q2)时，第一参考点(Q1)处的变化是基于第二参考点(Q2)处的相对于第二参考平面(J2)的高度的量。

该方面使得能够提供有助于提高识别对象(4)的性能的数据创建方法。

根据第十七方面的程序被设计为使一个或多个处理器执行根据第十五方面或第十六方面的数据创建方法。

该方面使得能够提供有助于提高识别对象(4)的性能的功能。

根据第十八方面的数据创建系统(1)基于第一图像数据(D11)创建第二图像数据(D12)以用作学习数据来生成关于对象(4)的学习模型(M1)。数据创建系统(1)包括确定器(13)和变形器(12)。确定器(13)针对第一图像数据(D11)确定作为第一区域(51)相对于参考平面(H1)的高度的变化的高度变化，该第一图像数据(D11)包括作为表示对象(4)的像素区域的第一区域(51)和与第一区域(51)相邻的第二区域(52)。确定器(13)确定高度变化，使得感兴趣的点越靠近第一区域(51)内的参考点(P1)，高度变化越大，而感兴趣的点越靠近第一区域(51)和第二区域(52)之间的边界(C1)，高度变化越小。变形器(12)基于由确定器(13)确定的高度变化通过引起对第一图像数据(D11)的关于第一区域(51)的高度的变形来生成第二图像数据(D12)。

该方面使得更容易创建具有通过增加第一图像数据(D11)的第一区域(51)的高度而形成的山形或通过降低第一图像数据(D11)的第一区域(51)的高度而形成的谷形的第二图像数据(D12)。因此，这使得能够增加学习数据的多样性，从而有助于提高识别对象(4)的性能。

根据可以与第十八方面结合实现的第十九方面的数据创建系统(1)包括第一处理设备(110)和第二处理设备(120)。第一处理设备(110)包括确定器(13)。第二处理设备(120)包括变形器(12)。第一处理设备(110)向第二处理设备(120)发送指示高度变化的信息(D20)。

在根据可以与第十九方面结合实现的第二十方面的数据创建系统(1)中，第一处理设备(110)还包括指定器(18)，该指定器(18)根据由用户输入的操作命令来指定第一图像数据(D11)中的参考点(P1)。

根据第二十一方面的处理设备用作根据第十九方面或第二十方面的数据创建系统(1)的第一处理设备(110)。

根据第二十二方面的处理设备用作根据第十九方面或第二十方面的数据创建系统(1)的第二处理设备(120)。

根据第二十三方面的评估系统(100)包括处理设备(110)和学习系统(2)。处理设备(110)基于包括作为表示对象(4)的像素区域的第一区域(51)和与第一区域(51)相邻的第二区域(52)的第一图像数据(D11)，确定作为第一区域(51)相对于参考平面(H1)的高度的变化的高度变化，使得感兴趣的点越靠近第一区域(51)内的参考点(P1)，高度变化越大，而感兴趣的点越靠近第一区域(51)和第二区域(52)之间的边界(C1)，高度变化越小。处理设备(110)输出指示如此确定的高度变化的信息(D20)。学习系统(2)生成学习模型(M1)。学习模型(M1)响应于第二图像数据(D12)或第二图像数据(D12)中的第一区域(51)而输出与第一图像数据(D11)经受关于对象(4)的特定状态所做的估计的情形类似的估计结果。第二图像数据(D12)是基于高度变化通过引起对第一图像数据(D11)的关于第一区域(51)的变形而生成的。

根据第二十四方面的评估系统(100)包括处理设备(110)和估计系统(3)。处理设备(110)基于包括作为表示对象(4)的像素区域的第一区域(51)和与第一区域(51)相邻的第二区域(52)的第一图像数据(D11)，确定作为第一区域(51)相对于参考平面(H1)的高度的变化的高度变化，使得感兴趣的点越靠近第一区域(51)内的参考点(P1)，高度变化越大，而感兴趣的点越靠近第一区域(51)和第二区域(52)之间的边界(C1)，高度变化越小。处理设备(110)输出指示如此确定的高度变化的信息(D20)。估计系统(3)使用学习模型(M1)来估计作为要识别对象的对象(4)的特定状态。学习模型(M1)响应于第二图像数据(D12)或第二图像数据(D12)中的第一区域(51)而输出与第一图像数据(D11)经受关于对象(4)的特定状态所做的估计的情形类似的估计结果。第二图像数据(D12)是基于高度变化通过引起对第一图像数据(D11)的关于第一区域(51)的变形而生成的。

根据第二十五方面的数据创建系统(1A)基于第一图像数据(D11)和参考图像数据(D4)创建第二图像数据(D12)以用作学习数据来生成关于对象(4)的学习模型(M1)。第一图像数据(D11)包括：第一区域(51)，作为表示对象(4)的像素区域；第二区域(52)，与第一区域(51)相邻；以及第一参考平面(J1)。参考图像数据(D4)包括：第三区域(53)，作为表示对象(4)的像素区域；第四区域(54)，与第三区域(53)相邻；以及第二参考平面(J2)。数据创建系统(1A)包括确定器(13A)和变形器(12A)。确定器(13A)基于参考图像数据(D4)的第四区域(54)相对于参考图像数据(D4)的第二参考平面(J2)的高度来确定作为高度的变化的高度变化。变形器(12A)基于由确定器(13A)确定的高度变化通过引起对第一图像数据(D11)的关于第二区域(52)相对于第一参考平面(J1)的高度的变形来生成第二图像数据(D12)。确定器(13A)确定高度变化，使得第一参考点(Q1)处的变化是基于第二参考点(Q2)处的相对于第二参考平面(J2)的高度的量。第二参考点(Q2)是参考图像数据(D4)的第四区域(54)中满足第二参考平面(J2)上的第一距离(L1)与第二距离(L2)的比率的位置。第一距离(L1)是从第二区域(52)的外边缘(X1)到第二区域(52)中的第一参考点(Q1)的距离。第二距离(L2)是从第一区域(51)与第二区域(52)之间的边界到第一参考点(Q1)的距离。

该方面使得更容易基于参考图像数据(D4)的第四区域(54)的高度通过引起关于第一图像数据(D11)的第二区域(52)的高度的变形来创建第二图像数据(D12)。因此，这使得能够增加学习数据的多样性，从而有助于提高识别对象(4)的性能。

根据可以与第二十五方面结合实现的第二十六方面的数据创建系统(1A)包括第一处理设备(110A)和第二处理设备(120A)。第一处理设备(110A)包括确定器(13A)。第二处理设备(120A)包括变形器(12A)。第一处理设备(110A)向第二处理设备(120A)发送指示高度变化的信息(D20A)。

在根据可以与第二十六方面结合实现的第二十七方面的数据创建系统(1A)中，第一处理设备(110A)还包括指定器(18)，该指定器(18)根据由用户输入的操作命令来指定第一图像数据(D11)中的第一参考点(Q1)。

根据第二十八方面的处理设备用作根据第二十六方面或第二十七方面的数据创建系统(1A)的第一处理设备(110A)。

根据第二十九方面的处理设备用作根据第二十六方面或第二十七方面的数据创建系统(1A)的第二处理设备(120A)。

根据第三十方面的评估系统(100)包括处理设备(110A)和学习系统(2)。处理设备(110A)针对第一图像数据(D11)和参考图像数据(D4)基于第四区域(54)相对于第二参考平面(J2)的高度来确定作为高度的变化的高度变化，第一图像数据(D11)包括作为表示对象(4)的像素区域的第一区域(51)、与第一区域(51)相邻的第二区域(52)、以及第一参考平面(J1)，并且参考图像数据(D4)包括作为表示对象(4)的像素区域的第三区域(53)、与第三区域(53)相邻的第四区域(54)、以及第二参考平面(J2)。处理设备(110)确定高度变化，使得第一参考点(Q1)处的变化是基于第二参考点(Q2)处的相对于第二参考平面(J2)的高度的量。第二参考点(Q2)是参考图像数据(D4)的第四区域(54)中满足第二参考平面(J2)上的第一距离(L1)与第二距离(L2)的比率的位置。第一距离(L1)是从第二区域(52)的外边缘(X1)到第二区域(52)中的第一参考点(Q1)的距离。第二距离(L2)是从第一区域(51)与第二区域(52)之间的边界(C1)到第一参考点(Q1)的距离。处理设备(110A)输出指示如此确定的高度变化的信息(D20)。学习系统(2)生成学习模型(M1)。学习模型(M1)响应于第二图像数据(D12)或第二图像数据(D12)中的第一区域(51)而输出与第一图像数据(D11)经受关于对象(4)的特定状态所做的估计的情形类似的估计结果。第二图像数据(D12)是基于高度变化通过引起对第一图像数据(D11)的关于第二区域(52)的变形而生成的。

根据第三十一方面的评估系统(100)包括处理设备(110A)和估计系统(3)。处理设备(110A)针对第一图像数据(D11)和参考图像数据(D4)基于第四区域(54)相对于第二参考平面(J2)的高度来确定作为高度的变化的高度变化，第一图像数据(D11)包括作为表示对象(4)的像素区域的第一区域(51)、与第一区域(51)相邻的第二区域(52)、以及第一参考平面(J1)，并且参考图像数据(D4)包括作为表示对象(4)的像素区域的第三区域(53)、与第三区域(53)相邻的第四区域(54)、以及第二参考平面(J2)。处理设备(110)确定高度变化，使得第一参考点(Q1)处的变化是基于第二参考点(Q2)处的相对于第二参考平面(J2)的高度的量。第二参考点(Q2)是参考图像数据(D4)的第四区域(54)中满足第二参考平面(J2)上的第一距离(L1)与第二距离(L2)的比率的位置。第一距离(L1)是从第二区域(52)的外边缘(X1)到第二区域(52)中的第一参考点(Q1)的距离。第二距离(L2)是从第一区域(51)与第二区域(52)之间的边界(C1)到第一参考点(Q1)的距离。处理设备(110A)输出指示如此确定的高度变化的信息(D20)。估计系统(3)使用学习模型(M1)来估计作为要识别对象的对象(4)的特定状态。学习模型(M1)响应于第二图像数据(D12)或第二图像数据(D12)中的第一区域(51)而输出与第一图像数据(D11)经受关于对象(4)的特定状态所做的估计的情形类似的估计结果。第二图像数据(D12)是基于高度变化通过引起对第一图像数据(D11)的关于第二区域(52)的变形而生成的。

注意，根据第二方面至第十一方面以及第二十方面、第二十六方面和第二十七方面的构成元件不是用于数据创建系统(1)的必要构成元件，而是可以被适当省略。

附图标记列表

1、1A数据创建系统

10处理器

12、12A变形器

13、13A确定器

2 学习系统

3 估计系统

4 对象

51 第一区域

52 第二区域

53 第三区域

54 第四区域

100 评估系统

110、110A第一处理设备

120、120A第二处理设备

B11第一基材(基材)

B12第二基材(基材)

C1 边界

D11 第一图像数据

D12 第二图像数据

D4 参考图像数据

D20、D20A指示高度变化的信息

H1 参考平面

J1 第一参考平面

J2 第二参考平面

L1 第一距离

L2 第二距离

M1 学习模型

P1 参考点

P2 最大点

Q1 第一参考点

Q2 第二参考点

T1 特定区域

X1外边缘。