信息处理设备、信息处理方法和存储介质

技术领域

本发明涉及从图像中检测作为检测对象的物体等的信息处理技术。

背景技术

近年来，基于机器学习的学习模型已经经常被用作从图像中检测作为检测对象的物体等的信息处理。在用于从图像中检测作为检测对象的物体等的学习模型中，要输入到学习模型的数据的大小是预定的。因而，对图像进行诸如缩小或分割等的预处理以满足预定的输入大小。学习模型可以针对作为检测对象的物体的大小与输入图像的大小的比例而具有检测精度高的范围。

在日本特开2018-22340和日本特开2020-149565中描述的技术考虑了检测对象的大小与输入图像的大小的比例。日本特开2018-22340公开了如下的技术：将拍摄图像分割为不同大小的小区域以使得检测对象的大小与小区域的大小的比例大致恒定，并且缩小各个小区域的图像以满足学习模型的输入大小。日本特开2020-149565公开了如下的技术：在允许分割区域彼此重叠的状态下分割拍摄图像，使得检测对象的大小与各个分割区域的大小的比例在正确率高的范围内。

然而，例如当作为检测对象的物体存在于分割区域的边界线上时，可以获得可靠性较低的检测结果。例如，一个物体可能被错误检测为两个物体，或者可能未检测到任何物体。可以对各个分割区域再次进行检测处理，但是这增加了处理负荷(处理成本)。另外，例如当未检测到物体时，不进行重新检测处理。在这种情况下，获得检测结果“未检测到”。

发明内容

本发明旨在抑制为了从图像中对检测对象进行检测而生成的处理负荷的增加的同时，减少错误检测和未检测状态等的发生。根据本发明的一个实施例的信息处理设备包括：图像获取单元，其被配置为获取图像；大小获取单元，其被配置为获取所述图像中的各个位置处的检测对象大小；区域设置单元，其被配置为针对所述图像设置多个检测区域；以及检测单元，其被配置为从所述图像获取单元所获取的图像中检测各个检测区域中的检测对象。所述区域设置单元被配置为基于所述大小获取单元所获取的各个位置处的检测对象大小，来设置所述图像中的各个位置处的检测区域的大小以及相邻检测区域之间的重叠范围。

通过参照附图对示例性实施例的以下描述，本发明的进一步特征将变得明显。

附图说明

图1是示出信息处理设备的示例配置的图。

图2是示出信息处理设备的示例功能配置的图。

图3A、图3B和图3C是物体的检测结果、整合处理和错误检测的示例的说明图。

图4是用于进行物体检测的整个信息处理的流程图。

图5是检测区域设置处理的流程图。

图6是示出根据第一实施例的面部大小及其分布的示例的图。

图7是根据第一实施例的第一行中的检测区域的设置的示例的说明图。

图8是根据第一实施例的第二行中的检测区域和重叠范围的说明图。

图9是根据第一实施例的第三行中的检测区域和重叠范围的说明图。

图10A、图10B和图10C是根据第一实施例的各行中的检测区域的数量和重叠范围的说明图。

图11是示出根据第一实施例的所有检测区域的布置的示例的图。

图12A、图12B和图12C是根据第一实施例的检测区域的调整的说明图。

图13是根据第二实施例的第一个检测区域的设置的说明图。

图14是图13的示例中的检测区域之后的检测区域的设置的说明图。

图15是根据第二实施例的检测对象范围的下侧处的检测区域的设置的说明图。

图16是根据第二实施例的检测对象范围的上侧处的下一检测区域的设置的说明图。

图17是图16的示例中的检测区域之后的检测区域的设置的说明图。

图18是根据第二实施例的检测对象范围中的所有检测区域的说明图。

图19是示出根据第三实施例的面部大小及其分布的示例的图。

图20是根据第三实施例的第一行中的检测区域的设置的示例的说明图。

图21是根据第三实施例的第二行中的检测区域和重叠范围的说明图。

图22是根据第三实施例的第三行中的检测区域和重叠范围的说明图。

图23A、图23B和图23C是根据第三实施例的各行中的检测区域的数量和重叠范围的说明图。

图24是根据第三实施例的所有检测区域的布置的示例的说明图。

图25是根据第三实施例的检测区域的调整的说明图。

图26是根据第四实施例的整合检测结果的处理的说明图。

具体实施方式

下文中，将参照附图描述本发明的实施例。下面描述的实施例并不旨在限制本发明，并且实施例中所描述的特征的组合并非全部都是根据本发明的解决方案必需的。可以根据本发明所适用于的设备的规格和各种条件(使用条件、使用环境等)来适当地修改或改变各个实施例的配置。以下实施例的一些特征可以适当组合。在以下实施例中，相同组件由相同附图标记来表示。

第一实施例

图1是示出根据本实施例的信息处理设备100的硬件配置的示例的图。

根据本实施例的信息处理设备100包括中央处理单元(CPU)101、存储器102、通信接口(I/F)单元103、显示单元104、输入单元105和存储单元106。CPU 101、存储器102、通信I/F单元103、显示单元104、输入单元105和存储单元106经由系统总线彼此连接以使得能够彼此通信。根据本实施例的信息处理设备100还可以包括其他组件。

CPU 101控制整个信息处理设备100。例如，CPU 101控制经由系统总线而连接的各个功能单元的操作。存储器102存储由CPU 101进行处理所使用的数据和程序等。存储器102还用作CPU 101的主存储器和工作区等。CPU 101根据存储在存储器102中的根据本实施例的信息处理程序来执行处理，从而实现下面将描述的图2所示的信息处理设备100的功能配置、以及下面将描述的图4和图5所示的流程图的处理。可以使用图形处理单元(GPU)代替CPU，或者CPU和GPU可以适当地共享它们的角色并且彼此协作地操作。

通信I/F单元103是将信息处理设备100连接到网络的接口。可以以有线方式或无线方式进行向网络的连接。显示单元104包括诸如液晶显示器等的显示装置，并且显示图像、CPU 101所进行的处理的结果、以及图形用户界面(GUI)等。输入单元105包括诸如鼠标或按钮等的操作装置，并且将用户操作输入到信息处理设备100。存储单元106例如存储CPU101根据程序进行处理所需的各种数据。存储单元106例如存储通过CPU 101根据程序所进行的处理而获得的各种数据。可以将CPU 101进行处理所使用的数据和程序等存储在存储单元106中而非存储器102中。

根据本实施例的信息处理设备100能够执行信息处理。信息处理包括在诸如监视照相机等的摄像设备所拍摄的图像中检测或跟踪作为检测对象的物体等、并估计物体的属性的图像分析。信息处理还包括使用图像分析的结果对物体数量的估计。在本实施例中，将人物面部用作作为检测对象的物体的示例。本实施例不限于该示例，并且可适用于检测诸如车辆和动物等的作为检测对象的各种物体的任何系统。

本实施例描述了使用基于机器学习的学习模型从图像中检测作为检测对象的物体(人物面部)的示例。在使用学习模型来检测物体等的情况下，如上所述，进行缩小或分割图像的处理以满足针对学习模型预定的输入大小。如上所述，学习模型针对作为检测对象的物体的大小与输入图像的大小的比例而具有物体检测精度高的范围。因而，在本实施例中，考虑到物体检测的精度高的范围，分割或缩小图像以满足学习模型的输入大小，并且设置用于检测作为检测对象的物体的检测区域。

图2是示出根据本实施例的信息处理设备100的示例功能配置的功能框图。根据本实施例的信息处理设备100包括图像获取单元201、检测单元202、大小获取单元203、区域设置单元204、整合单元205、输出单元206、范围设置单元207、上限设置单元208和存储单元209。

图像获取单元201获取要经过物体检测的图像。在本实施例中，假设要经过物体检测的图像是诸如监视照相机等摄像设备所拍摄的图像，并且是通过通信I/F单元103从外部获取的。在下文中，由诸如监视照相机等的摄像设备拍摄并由图像获取单元201获取的图像数据将被适当地称为“拍摄图像”。拍摄图像例如是1080×720像素的RGB图像，该RGB图像在水平方向(横向)上的宽度为1080像素、以及在垂直方向(纵向)上的高度为720像素。图像获取单元201所获取的图像不限于1080×720像素的RGB图像，并且任何图像都可以用作输入图像。例如，水平方向上的宽度或垂直方向上的高度可以是不同的。另外，拍摄图像不限于直接从摄像设备获取的图像，并且可以是在临时记录在记录介质等上之后读出的图像、或存在于网络上的图像。

大小获取单元203获取在图像获取单元201所获取的拍摄图像上的各个像素的位置处假设的检测对象大小的分布(即，图像上的各个位置处的检测对象的物体大小的分布)。大小获取单元203可以通过响应于用户经由图1所示的输入单元105对图像上的若干位置处的面部大小的指定而通过插值对图像上的某位置处的面部的平均面部大小进行估计，来获取面部大小的分布。大小获取单元203可以从拍摄图像中检测面部，根据检测的结果、通过插值对图像上的某位置处的平均面部大小进行估计，并获取面部大小的分布。大小获取单元203可以通过使用其他方法获取面部大小及其分布。在使用插值来估计面部大小的方法中，例如当图像上的坐标(x，y)处的面部大小由s表示时，假设面部大小s可以由坐标x和y以及一个或多于一个未知参数来表示。例如，假设s＝ax+by+c成立。在该示例中，a、b和c是未知参数。大小获取单元203通过使用用户所指定的面部的位置和大小的集合、或通过面部检测所检测到的面部的位置和大小的集合，来通过例如使用诸如最小二乘法等的统计处理计算未知参数。

区域设置单元204在拍摄图像上设置多个检测区域。此时，区域设置单元204设置检测区域，使得相邻检测区域彼此无遗漏地重叠。虽然下面将描述细节，但是根据本实施例的区域设置单元204基于大小获取单元203所获取的假设位于各个位置处的检测对象大小(面部大小)的分布，来设置检测区域的大小和相邻检测区域之间的重叠范围。下文中，在本实施例中，基于区域设置单元204所设置的检测区域从拍摄图像中切出的图像(即，在后续阶段中由检测单元202进行物体检测的检测区域的图像)将被称为“检测区域图像”。区域设置单元204将从拍摄图像中针对各个检测区域切出的检测区域图像输入到检测单元202。

检测单元202从区域设置单元204所设置的各个检测区域的检测区域图像中检测作为检测对象的物体(在本实施例中为人物面部)。在本实施例中，检测单元202通过使用基于机器学习的学习模型从各个检测区域图像中检测人物面部的区域，并且输出针对各个检测区域的面部检测结果。在本实施例中，假设检测单元202对输入到检测单元202的检测区域图像进行与多个属性(类)有关的物体检测。本实施例描述了如下的示例：检测单元202通过使用利用机器学习进行训练以使得能够检测包括在检测区域图像中的“佩戴眼镜的面部”和“未佩戴眼镜的面部”的学习模型，来输出面部检测结果。“佩戴眼镜的面部”和“未佩戴眼镜的面部”的检测可以通过例如应用J.Redmon,A.Farhadi，“YOLO9000:Better FasterStronger”，Computer Vision and Pattern Recognition(CVPR)2016中所描述的技术来实现。

在本实施例中，检测单元202所输出的检测结果是指示所检测到的面部的位置和大小、面部的属性(类)、以及检测结果的可靠性的信息。指示面部的位置和大小的信息例如是用于定义包围面部的矩形框的坐标(例如，矩形的左上坐标(x1，y1)和右下坐标(x2，y2))。指示面部的属性的信息是指示面部是“佩戴眼镜的面部”还是“未佩戴眼镜的面部”的信息。例如，将指示检测结果的可靠性的信息作为0到1的实数的值来输出，其中0表示最低可靠性，并且1表示最高可靠性。在以下描述中，包围面部的矩形框将被称为“检测框”，面部的属性将被称为“属性”，并且检测结果的可靠性将被称为“可靠性”。检测结果不限于这些示例，并且只要所检测到的面部的位置和大小、面部的属性和检测结果的可靠性是可识别的,检测结果就可以是任何形式的信息。

检测单元202的检测精度与检测区域图像中的面部大小相关。具体地，例如如果面部大小相对于检测区域图像的大小过小，则当检测区域图像缩小到要输入到检测单元202的大小时，检测区域图像的像素被损坏(crush)，并且检测精度降低。另一方面，如果面部大小大于检测区域图像，则在某些情况下在检测区域图像中不包括指示诸如眼睛或鼻子等的面部特征的部分，并且检测精度降低。

在机器学习中，通过使用学习图像进行学习以提高检测精度。因而，如果相对于检测区域图像的面部大小接近相对于学习图像的大小的面部大小，则检测精度增加。换句话说，在学习模型中，在作为检测对象的面部的大小与检测区域图像的大小的比例中，存在检测精度高的范围。因而，区域设置单元204确定要布置在拍摄图像上的各个位置处的检测区域的大小，使得各个检测区域中的面部大小是相对于检测区域的大小(检测区域图像的大小)能够获得高精度检测结果的大小。

例如，当面部存在于检测区域的边界部分中时(即，当面部跨检测区域的边界部分而被切断时)，检测精度可能降低。当面部存在于检测区域的边界部分中时，例如面部的一部分可能在检测区域外，眼镜可能在检测区域外，或面部可以位于跨多个检测区域的位置。例如，当面部的一部分在检测区域外时，指示诸如眼睛或鼻子等的面部特征的部分不在检测区域内，或面部的轮廓不可检测，因而检测精度可能降低。另外，例如当用作判断面部是“佩戴眼镜的面部”还是“未佩戴眼镜的面部”的基准的眼镜在检测区域外时，无法判断属性。此外，例如当面部位于跨多个检测区域的位置时，可以针对一个面部输出各个检测区域的检测结果。

在面部存在于检测区域的边界部分中(面部跨边界部分而被切断)的情况下，检测精度可能降低。在这种情况下，为了提高在检测区域的边界处的属性和检测框的精度、或之后针对一个面部整合多个检测结果，再次进行物体检测是有效的。然而，当存在许多检测对象时，存在许多要经过再检测处理的部分，并且检测处理的次数是不定的。另外，再检测处理增加了处理负荷(处理成本)。此外，例如当未检测到面部时，不进行再检测处理，因而获得检测结果“未检测到”。

因而，在例如通过分割拍摄图像来设置多个检测区域的情况下，根据本实施例的信息处理设备100基于在图像中的各个位置处假设的检测对象大小，来设置各个检测区域的大小以及相邻检测区域之间的重叠范围。在本实施例中，区域设置单元204设置相邻检测区域之间的重叠范围，使得检测区域彼此重叠了相对于在相应位置处的检测对象大小具有预定比例的宽度。在本实施例中，假设预定比例为100％。即，区域设置单元204将相邻检测区域彼此重叠的重叠范围的宽度设置为能够包括具有相应位置处的大小的检测对象的宽度。在本实施例中，检测对象是面部，因而区域设置单元204在相邻检测区域之间设置能够包括位于相邻检测区域之间的边界部分处的面部的大小的重叠范围。因此，位于相邻检测区域之间的边界部分中的面部被包括在相邻检测区域其中至少之一中。这可以防止出现指示诸如眼睛或鼻子等的面部特征的部分不在检测区域内、或面部的轮廓不可检测的情形，并且检测精度增加。下面将描述检测区域和重叠范围的细节。

区域设置单元204设置多个检测区域以覆盖拍摄图像上的整个检测对象范围。在本实施例中，检测对象范围是区域设置单元204所设置的多个检测区域全部布置在拍摄图像中的范围，并且是进行面部检测处理的范围。范围设置单元207响应于例如用户的指定而进行设置检测对象范围。下面将描述检测对象范围的细节。

上限设置单元208设置检测区域的数量的上限。可以由用户设置检测区域的数量的上限，或如果针对每个检测区域进行检测处理的时间是已知的，则可以根据允许用于整个检测处理的处理时间来计算检测区域的数量的上限。下面将描述检测区域的数量的上限的细节。

整合单元205对检测单元202针对各个检测区域所获得的检测结果进行整合。

即，整合单元205基于区域设置单元204所设置的检测区域的布置，对检测单元202所检测到的检测对象的检测结果进行整合。在本实施例中，各个检测区域的检测结果的整合具有两个阶段：同一位置处的检测区域内的整合、以及相邻检测区域之间的整合。下面将描述整合处理的细节。

图3A至图3C是用于描述整合单元205所进行的检测结果整合处理的图。

首先，将参照图3A描述对图像中的各个位置中的相同位置处的检测区域的检测结果进行整合的处理。

在使用学习模型的检测处理中，可以在针对检测区域301中的作为一个检测对象的物体302输出多个检测框303和304。在这样的情况下，整合单元205计算多个检测结果的重叠率。如果重叠率大于或等于预定阈值，则整合单元205判断为检测结果指示同一面部，并且对检测框进行整合。在本实施例中，重叠率通过交并比(intersection over union，IoU)来计算，并且阈值例如为0.5。也就是说，如果通过将两个检测框303和304的共同部分除以检测框303和304的并集而获得的商大于或等于0.5，则整合单元205判断为两个检测结果指示同一面部，并对这两个检测结果进行整合。

整合方法例如可以是非极大值抑制(non-maximum suppression，NMS)，该非极大值抑制排除了除具有最高可靠性的检测结果之外的检测结果。

接下来，将参照图3B描述相邻检测区域之间的整合处理。

在本实施例中，如上所述，在相邻检测区域之间存在重叠范围。因而，当存在至少部分地包括在重叠范围中的面部时，检测单元202输出针对各个检测区域的检测结果。IoU可能不适合用于整合这些检测结果。在本实施例中，相邻检测区域被设置成彼此重叠了与在该位置处假设的面部大小相对应的量。因而，在图3B所示的检测区域305和检测区域306之间存在重叠范围。在图3B的示例中，面部307的一部分被包括在检测区域305和306之间的重叠范围中，在检测区域305中获得检测框308，并且在检测区域306中获得检测框309。在这样的情况下，检测框308和309的IoU具有小值，并且尽管检测结果指示同一面部，但检测框308和309的IoU未达到用于对检测框进行整合的阈值。因而，不进行整合处理。因此，整合单元205例如基于两个检测框之间的包含关系来进行排除包括在一个检测框中的另一检测框的处理，而不使用IoU对相邻检测区域之间的重叠范围中的检测结果进行整合。也就是说，在图3B的示例中时，排除包括在检测框309中的检测框308。此外，除了两个检测框之间的包含关系之外，整合单元205还可以使用可靠性。例如，当检测框309中所包括的检测框308的可靠性低于检测框309的可靠性时，可以排除所包括的检测框308。在该示例中，当通过从用以包括的检测框309的可靠性减去被包括的检测框308的可靠性而获得的差值大于预定阈值时，可以判断为将进行基于包含关系的整合处理。

关于错误检测的判断，可以将相邻检测区域的结果包括在判断基准中。图3C示出检测单元202错误地检测到除了作为检测对象的人物面部以外的物体的示例。如图3C所示，例如假设在跨检测区域310的边缘的位置处检测到检测框311。检测框311小于在该位置处假设的面部大小。在被检测为面部的检测框的大小明显小于在该位置处假设的面部大小的情况下，检测区域310仅包括面部的一部分的可能性高。在这种情况下，应当在与检测区域310相邻的检测区域312中检测包括检测框311中所检测到的面部的检测框。然而，如果在相邻检测区域312中未检测到面部，则可以判断为检测区域310中所检测到的检测框311是指示其他物体的一部分的错误检测结果。也就是说，如果在共享在检测区域310中检测到检测框311的重叠范围的相邻检测区域312中没有检测到面部，则整合单元205判断为检测框311是错误检测到的框。在这样的情况下，认为检测区域310的检测结果的可靠性低，或检测框311的长宽比与正常面部的检测结果的长宽比不同。因而，这些也可以用作判断基准。

整合单元205以上述方式进行对检测单元202所获得的检测结果进行整合的处理。

输出单元206将从检测单元202的检测和整合单元205的整合获得的检测结果叠加在图像获取单元201所获取的拍摄图像上，并且输出拍摄图像。在本实施例中，输出单元206例如输出通过将基于检测结果并与属性相对应的检测框叠加在拍摄图像上而获得的图像。

存储单元209存储用于在图2所示的信息处理设备100的功能单元(201至208)中进行处理所使用的数据、以及作为处理结果而获得的数据等。

接下来，将参照图4中的流程图来描述信息处理设备100所进行的信息处理的全体流程。

首先，在S401中，如上所述，图像获取单元201获取要经过物体检测的拍摄图像。

随后，在S402中，如上所述，大小获取单元203获取在图像获取单元201所获取的拍摄图像中的各个位置处假设的面部大小的分布。

此外，在S403中，区域设置单元204基于从大小获取单元203获得的面部大小的分布、范围设置单元207所设置的检测对象范围、以及上限设置单元208所设置的区域数量的上限，来设置包括上述重叠范围的多个检测区域。

随后，在S404中，检测单元202从根据区域设置单元204所设置的检测区域而切出的检测区域图像中检测作为检测对象的物体的面部。

此外，在S405中，检测单元202判断是否对区域设置单元204所设置的所有检测区域进行了物体检测处理。如果存在未经处理的检测区域，则处理返回到S404。另一方面，如果对所有检测区域进行了物体检测处理，则信息处理设备100的处理前进到S406。

在S406中，整合单元205以上述方式对检测单元202针对各个检测区域所获得的检测结果进行整合。

此后，在S407中，输出单元206输出通过将通过整合单元205所进行的整合而获得的检测结果叠加在图像获取单元201所获取的拍摄图像上而获得的图像。

接下来，将参照图5中的流程图描述区域设置单元204所进行的检测区域设置处理的详细流程。在以下描述中，假设范围设置单元207所设置的检测对象范围是整个拍摄图像。因而，区域设置单元204在整个拍摄图像上无遗漏地设置检测区域。在本实施例中，假设输入到基于机器学习的学习模型的图像是正方形的，并且检测区域被设置为正方形区域。因而，在以下描述中，检测区域的大小由正方形检测区域的一侧的像素数量来表示。

首先，在S431中，区域设置单元204从大小获取单元203获取各个位置处的面部大小的分布。这里，假设如上所述大小获取单元203通过基于用户在各个位置处设置的若干点处的面部大小、或图像上的各个位置处所检测到的面部，通过插值对图像上的某位置处的平均面部大小进行估计，来获取面部大小的分布。在本实施例中，为了简化描述，假设面部大小仅取决于图像上的y轴方向(垂直方向)上的y坐标系，并且x轴方向(水平方向)上的x坐标系中的面部大小没有变化。也就是说，在使用插值的估计处理中，假设面部大小s由s＝by+c表示，其中s是图像上的y轴方向上的面部大小。在这种情况下，b和c是未知参数。大小获取单元203通过使用用户所指定的面部的位置和大小的集合、或从图像中检测到的面部的位置和大小的集合，来通过诸如最小二乘法等的统计处理计算未知参数。

图6是示出拍摄图像501中根据y坐标的面部大小s的分布的示例的图。

在本实施例中，假设图像获取单元201所获取的拍摄图像是通过安装在高于地面或地板表面的位置处的摄像设备(诸如监视照相机等)从俯视作为检测对象的物体(人物)的位置拍摄到的图像。因而，在拍摄图像501中，出现在上侧附近的人物是远离摄像设备的人，而出现在下侧附近的人物是接近摄像设备的人物。也就是说，在拍摄图像501中，出现在上侧附近的人物的面部502的大小小于出现在下侧附近的人物的面部503的大小。面部大小的长宽比在拍摄图像的任何位置处是恒定的，并且值(长宽比)为1。也就是说，各个位置处的面部大小的垂直宽度等于作为面部的水平宽度的面部大小s。因而，作为获取拍摄图像中各个位置处的面部大小的水平宽度的分布的结果，可以根据预先确定的面部大小的长宽比来计算各个位置处的面部大小的垂直宽度。在本实施例中，当用户将设置某位置处的面部大小时，用户可以通过使用输入单元105将面部502或面部503拖动到某位置并改变面部的位置和大小，或者可以输入指示位置和大小的数值。

随后，在S432中，区域设置单元204基于被假设为图像上侧的面部大小的最小面部大小来确定沿着图像上侧的区域中的检测区域的大小。在本实施例中，将沿着图像上侧的区域视为最上行，并且区域设置单元204基于被假设为该最上行中最小面部大小来确定该最上行中所要设置的检测区域的大小。

如上所述，检测单元202中的面部的检测精度与检测区域图像中的面部大小相关。当面部大小相对于检测区域图像的大小过小时，检测精度降低。使得检测精度不会显著降低的最小面部大小取决于在检测处理中使用的学习模型。在本实施例中，假设当面部大小的水平宽度大于或等于检测区域的大小的1/4时，检测精度不会显著降低。在本实施例中，为了便于说明，面部大小的水平宽度是检测区域大小的1/4。然而，实际上，当学习模型的输入具有数百个像素时，在许多情况下适当的面部大小约为1/10(即数十个像素)。因而，使得检测精度不会显著降低的最小面部大小可以是数十个像素(其约为检测区域大小的1/10)。

图7是示出将具有在图像上侧附近的位置处假设的面部大小的四倍的大小的区域设置为沿着上侧的最上行中的检测区域的状态的图。即，区域设置单元204基于拍摄图像的上侧的面部502的大小，将具有面部502的大小的四倍的大小的区域设置为最上行中的检测区域601。在S432中确定最上行中的检测区域的大小之后，区域设置单元204前进到S433。

在S433中，区域设置单元204判断以上述方式设置的检测区域是否达到检测对象范围的下端(即，拍摄图像的下端)。根据以上描述，仅设置了最上行中的检测区域。因而，区域设置单元204在S433中判断为检测区域未达到检测对象范围的下端，并前进到S434。

在S434中，区域设置单元204设置最上行的下一行(第二行，这是因为最上行是第一行)中的检测区域。在本实施例中，区域设置单元204基于第一行(最上行)中设置的检测区域中所包括的面部中最大的面部大小(最大面部大小)来设置第二行中的检测区域。具体地，区域设置单元204在第二行中设置的检测区域具有上端，该上端与在第一行中设置的检测区域中所包括的面部中的、在第一行(最上行)中的检测区域的最下端的位置处假设的面部的顶部相对应，并且所述在第二行中设置的检测区域具有作为面部的大小的最小面部大小。

图8是示出设置了第二行中的检测区域的状态的图。即，区域设置单元204将检测区域702设置为第二行中的检测区域。检测区域702具有第一行中的检测区域601中所包括的、并且在检测区域601的最下端处假设的面部701的大小的四倍的大小，并且检测区域702具有与面部701的顶部相对应的上端。如图8中的示例可以看出，在第一行中设置的检测区域601与第二行中设置的检测区域702之间，在y轴方向上存在与面部701的大小相对应的重叠范围。区域设置单元204在S434中确定第二行中的检测区域702的大小，然后返回到S433。

当在设置了第二行中的检测区域之后处理前进到S433时，区域设置单元204与上述类似地判断所设置的检测区域是否达到检测对象范围的下端(即，拍摄图像的下端)。根据以上描述，设置了第一行和第二行中的检测区域，但是检测区域没有达到检测对象范围的下端。因而，区域设置单元204前进到S434。

在S434中，区域设置单元204设置第二行下一行(第三行)中的检测区域。此时由区域设置单元204设置的第三行中的检测区域具有上端，该上端对应于第二行中的检测区域中所包括的面部中的、在第二行中的检测区域的最下端处假设的面部的顶部，并且所述第三行中的检测区域具有作为面部的大小的最小检测大小。

图9是示出设置了第三行中的检测区域的状态的图。即，区域设置单元204将检测区域802设置为第三行中的检测区域。检测区域802具有第二行中的检测区域702中所包括的、并且位于检测区域702的最下端处的面部801的大小的四倍的大小，并且检测区域802具有与面部801的顶部相对应的上端。

如图9中的示例所示，第三行中的检测区域802达到检测对象范围的下端(即，拍摄图像的下端)。因而，区域设置单元204在S433中判断为检测区域达到检测对象范围的下端，并前进到S435。

在S435中，区域设置单元204基于以上述方式针对各行设置的检测区域中所包括的面部大小的最大值，在第一行至第三行中的各行中设置在x轴方向(水平方向)上相邻的检测区域之间的重叠范围。此外，区域设置单元204基于针对各行设置的在x轴方向上相邻的检测区域之间的重叠范围，来计算针对各行设置的在x轴方向上的检测区域的数量。在本实施例中，区域设置单元204所设置的检测区域的数量是满足了用于根据检测对象(面部)的大小来设置重叠范围的预定条件、以及用于设置检测区域的大小的预定条件的最小数量。在本实施例中，设置重叠范围的预定条件是用于确定重叠范围的宽度的条件，并且是相对于图像中的各个位置处的检测对象大小(面部大小)具有预定比例的宽度。在本实施例中，如上所述，相对于各个位置处的检测对象大小的预定比例是100％。在本实施例中，用于设置检测区域的大小的预定条件是与能够基于检测对象大小和检测区域的大小之间的关系来确保检测精度的大小相关的条件。在本实施例中，如上所述，能够基于检测对象大小和检测区域的大小之间的关系来确保检测精度的大小是能够在使用学习模型的检测中维持精度的大小。

图10A是示出在最上行(第一行)中计算在x轴方向(水平方向)上的检测区域的数量、并且在x轴方向上布置该数量的检测区域的示例的图。如图10A所示，在最上行(第一行)中的检测区域601中所包括的面部中，具有最大大小的面部是在检测区域601的最下端的位置处假设的面部701。因而，区域设置单元204基于在检测区域601的最下端的位置处假设的面部701的大小，来确定在x轴方向上相邻的检测区域之间的重叠范围的宽度。即，区域设置单元204设置最上行中在x轴方向上相邻的检测区域之间的重叠范围的宽度，使得该宽度能够包括具有最大面部大小的面部701的水平宽度，其中该最大面部大小能够被包括在检测区域601中。作为以这种方式设置重叠范围的宽度的结果，最上行(第一行)包括至少一个检测区域，该至少一个检测区域包括在面部701上方的位置处假设的面部。图10A示出设置了在x轴方向上具有重叠范围的六个检测区域的示例。

区域设置单元204通过使用下式(1)计算最上行(第一行)中的检测区域的数量n。在式(1)中，s是面部701的水平宽度，w是拍摄图像的水平宽度(检测对象范围的水平宽度)，并且d是检测区域601的大小。另外，ceil()是ceiling(上取整)函数。

n ＝ ceil((w - s)/(d - s)) 式(1)

在第二行中，与第一行(最上行)类似地设置在x轴方向上相邻的检测区域之间的重叠范围和检测区域的数量。

图10B是示出在第二行中在x轴方向上相邻的检测区域702之间设置重叠范围、计算检测区域的数量、并在x轴方向上布置检测区域的示例的图。也就是说，在第二行中，检测区域702中所包括的具有最大面部大小的面部是检测区域702的最下端的位置处的面部801。因而，区域设置单元204基于面部801的大小来确定在x轴方向上相邻的检测区域之间的重叠范围的宽度。

另外，区域设置单元204通过使用式(1)计算第二行中的检测区域的数量n，其中s是面部801的水平宽度，并且d是检测区域702的大小。因此，第二行包括至少一个检测区域，该至少一个检测区域包括在面部801上方的位置处假设的面部。图10B示出设置了在x轴方向上具有重叠范围的五个检测区域的示例。

在第三行中，与上述类似，设置在x轴方向上相邻的检测区域之间的重叠范围和检测区域的数量。图10C是示出在第三行中在x轴方向上相邻的检测区域802之间设置重叠范围、计算检测区域的数量、并在x轴方向上布置检测区域的示例的图。用于计算图10C所示的第三行中的检测区域的数量的面部的水平宽度不是在第三行中的检测区域的下端的位置处假设的面部大小，而是在检测对象范围的最下端处假设的最大面部503的大小。图10C示出设置了在x轴方向上具有重叠范围的四个检测区域的示例。

图11是示出满足如下的状态的图：与面部大小相对应的重叠范围宽度和检测区域大小的条件的最小数量的检测区域601、702和802全部以上述方式布置在第一行至第三行中的各行中使得覆盖检测对象范围。

在以上述方式设置用于检测对象范围的所有检测区域之后，区域设置单元204在S436中调整各个检测区域，使得所有检测区域601、702和802落入检测对象范围(拍摄图像501的范围)内。具体地，区域设置单元204在各行中布置检测区域，使得两端的检测区域与检测对象范围(拍摄图像)的两端的位置对准，然后进行调整以等间隔地布置其余的检测区域。

图12A是示出在各行中进行了S436中的调整处理之后的检测区域1061、1072和1082的布置状态的图。为供参照，图12A还示出在各行中设置相邻检测区域之间的重叠范围所使用的面部701、801和503。

如图12A所示，作为第三行的最下行中的检测区域1082可以延伸离开检测对象范围的下侧。能够在最下行的检测区域1082中准确检测的最小面部大小是在检测区域1082的上端侧的位置处假设的面部801的大小。因而，如果最下行的检测区域1082向上移动以与检测对象范围的下侧对准，则可以在检测区域1082中包括比具有在设置检测区域1082的大小时的最小面部大小的面部801小的面部。在这种情况下，如果在检测区域1082中检测到比面部801小的面部，则精度可能降低。

另一方面，在检测对象范围内在x轴方向上布置检测区域时，如上面给出的式(1)中那样，基于检测对象范围的水平宽度(w)来计算检测区域的数量，最下行的两端的检测区域位于检测对象范围的两端，并且等间隔地布置其余的检测区域以调整位置。

因而，如图12A所示，针对最下行的检测区域1082中可以包括的具有最大面部大小的面部503的水平宽度，可以在x轴方向上的重叠范围宽度1003中产生一定量的裕度。换句话说，可以在最下行的各个检测区域1082中产生可缩减的裕度。

因而，区域设置单元204在满足根据检测对象大小(面部大小)的重叠范围的宽度以及上述检测区域大小的条件的范围内，缩小检测区域(面部)的大小。在这种情况下，区域设置单元204在维持最下行中的各个检测区域的重叠范围的宽度不小于在最下行的位置处具有最大面部大小的面部503的水平宽度的条件的同时，缩小各个检测区域，使得检测区域落入检测对象范围内。

图12B是示出在维持与检测对象范围的最下端的位置处的面部大小相对应的重叠范围宽度的同时、缩小了作为最下行的第三行中的检测区域1082的状态的图。这里，图12B中的最下行的检测区域1082比图12A中的最下行的检测区域1082小，因而在检测区域中可准确检测的面部的大小相应地小。因而，能够准确地检测比面部801小的面部。即使当检测区域1082向上移动使得检测区域1082的下侧与检测对象范围的下侧对准时，检测精度也不会降低。然而，在使最下行中的检测区域向上移动的情况下，需要满足如下的条件：使检测区域仅向上移动到检测对象范围的最下行被包括在检测区域中的、并且各个检测区域中所包括的面部的大小大于或等于检测区域的大小的1/4的位置。由于这种情况，可能发生如下的情况：无法使最下行中的所有检测区域向上移动到检测区域与检测对象范围的下侧对准的位置。在这种情况下，如将在下面的变形例中描述的，可以通过在增加检测区域的数量、或允许检测区域中包括的面部的大小小于或等于检测区域大小的1/4的同时，使检测区域向上移动，来将整个检测区域包括在检测对象范围中。

图12C是示出在已使最下行(第三行)中的检测区域向上移动以与检测对象范围的下侧对准之后的状态的图。

区域设置单元204对检测区域进行上述调整处理，从而使得所有检测区域落入检测对象范围内。此后，区域设置单元204结束图5中的流程图的处理。

在以上述方式进行调整以使最下行中的检测区域向上移动从而使得检测区域与检测对象范围的下侧对准之后，区域设置单元204可以对第二行和第一行中的检测区域与在第三行中进行的调整处理类似地进行缩小检测区域或使检测区域向上移动的调整。也就是说，当对第二行或第一行中的检测区域进行与第三行中的缩小处理类似的缩小处理时，缩小处理之后的检测区域的大小小于当在S432中设置检测区域时假设的最小面部大小。因而，在S432中假设的最小面部大小的检测精度增加。在本实施例中，在缩小检测区域或使检测区域向上移动的情况下，从不具有下面的行且不必考虑重叠范围的最下行中的检测区域起，进行缩小或向上移动。然而，可以从任意行起进行缩小或向上移动。然而，在这种情况下，针对下面的行中的检测区域的重叠范围的宽度需要覆盖在该位置处假设的面部大小。为了满足重叠范围的宽度的条件，期望进行调整使得下面的行中的检测区域缩小并向上移动。

如上所述，根据第一实施例的信息处理设备100基于拍摄图像(检测对象范围)中的各个位置处假设的检测对象大小(面部大小)来设置检测区域的大小以及相邻检测区域之间的重叠范围。因此，不太可能发生错误检测和未检测状态等。结果，能够在多个检测区域中的物体检测以及整合检测结果的处理中最终输出适当的检测结果。即，根据本实施例，在从拍摄图像中检测作为检测对象的物体的情况下，可以在抑制从图像中对检测对象进行检测的处理负荷的增加的同时，减少错误检测和未检测状态等。

变形例1

在上述图5的流程图中的S436中的检测区域调整处理中，在维持在S435中计算出的检测区域的数量的同时，调整检测区域。可替代地，例如可以增加检测区域的数量，这是因为可以通过增加检测区域的数量来缩小检测区域的大小。即，区域设置单元204可以在满足根据检测对象(面部)的大小的重叠范围的宽度的条件、检测区域的大小的条件和检测区域的数量的上限的条件的范围内，增加检测区域的数量并缩小检测区域的大小。然而，检测区域的数量的增加增加了处理时间。因而，在允许的处理时间的范围内增加检测区域的数量。同样在该示例中，由上限设置单元208设置检测区域的数量的上限。

在第一实施例中，描述了面部大小仅取决于y坐标的示例。因而，例如在增加检测区域的数量的情况下，从检测精度的角度来看，在检测区域的大小与该检测区域中假设的最小面部大小之间的比例最小的行中，使检测区域的数量增加是高效的。然而，在检测区域的数量增加的行中，使检测区域的大小缩小。为了维持设置在检测区域的上侧和下侧的重叠范围的宽度，需要使该行下方的检测区域向上移动。因而，需要注意是否满足所有检测区域都在检测对象范围内的条件。也就是说，在不满足所有检测区域都在检测对象范围内的条件的情况下，如果允许处理时间的增加，则可以在原最下行下方的行中添加检测区域。此时，要在下面的行中添加的检测区域的大小大于原最下行中的检测区域的大小。因而，要添加的检测区域的数量小于或等于原最下行中的检测区域的数量。

变形例2

在上述实施例中，在设置检测区域的处理中，当拍摄图像中的面部大小小时或当y轴方向上的面部大小的变化大时，需要更大数量的检测区域。然而，因为处理时间随着检测区域的数量的增加而增加，所以如果在图5的流程图中的检测区域设置处理中获得的检测区域的数量超过根据可允许处理时间而计算出的检测区域的数量的上限，则可以提供预定警告。即，在这种情况下，如果在设置要包括在检测对象范围中的检测区域以满足根据检测对象(面部)的大小的重叠范围的宽度的条件以及检测区域的大小的条件时，检测区域的数量超过上限，则区域设置单元204输出预定警告信息。警告信息可以是用于在显示单元104上显示警告的信息、或用于从扬声器等(未示出)输出警告声音的信息。

如果根据可允许处理时间而计算出的检测区域的数量超过上限，则可以通过例如使重叠范围的宽度小于面部大小的等倍、或相对于最小面部大小而增大检测区域的大小，来减少所需的检测区域的数量。然而，在检测精度和检测区域的数量之间存在折中。因而，如果检测区域的大小和检测精度之间的关系、以及重叠范围的宽度和检测精度之间的关系是已知的，则当检测区域的数量超过上限时，可以放宽重叠范围的条件或检测区域的大小的条件。即，如果在根据检测对象大小设置检测区域以在满足重叠范围的宽度和检测区域的大小的条件的同时、将检测区域包括在检测对象范围中时，检测区域的数量超过上限，则区域设置单元204放宽重叠范围的宽度和检测区域的大小的条件。在这种情况下，可以在检测区域的数量在上限内的范围内自动重置具有最高精度的检测区域的布置。可替代地，在如上所述提供警告时，可以显示GUI等以使得用户能够选择是否重置检测区域的布置。此外，可以由用户指定重叠范围的宽度与面部大小之间的比例、以及最小面部大小与检测区域的大小之间的比例，并且可以使用用户所指定的比例来重置检测区域。

变形例3

在上述实施例中，根据在设置检测区域的位置处假设的面部大小来确定检测区域的大小。因而，当在设置检测区域的位置处假设的面部大小小时，检测区域小。另一方面，由学习模型确定要输入到检测单元202的图像的大小。因而，当检测区域的大小小于要输入到检测单元202的图像的大小时，需要放大并输入检测区域。在这种情况下，如果放大率过大(即，如果检测区域被过多地放大)，则检测区域图像中的面部变得不清楚，因而检测精度可能降低。因而，范围设置单元207可以基于在各个位置处假设的检测对象大小来设置检测对象范围。即，范围设置单元207基于大小获取单元203所获取的面部大小的分布，将面部大小大于或等于预定最小值的范围设置为检测对象范围。作为以这种方式设置检测对象范围的结果，由区域设置单元204设置在检测对象范围内的检测区域是面部大小大于或等于预定最小值的检测区域。结果，维持了检测单元202的检测精度。面部大小的预定最小值可以由用户设置，或可以是从根据检测单元202中使用的学习模型的放大率和检测精度之间的关系、以及在学习模型中可准确检测到的最小面部大小而计算出的值。

第二实施例

在第一实施例中，面部大小仅取决于y坐标。因而，确定各行中的检测区域大小和在y轴方向上的重叠范围，然后确定在x轴方向上的重叠范围宽度和检测区域的数量。然而，本发明不限于此。例如，即使当拍摄图像中的面部大小取决于x坐标时，也可以设置检测区域。也就是说，即使当拍摄图像中的面部大小取决于x坐标时，也可以设置检测区域以覆盖整个检测对象范围并且包括最终在检测对象范围中的各个位置处假设的面部。当拍摄图像中的面部大小取决于x坐标时，例如可以从尚未设置检测区域的区域中具有最小面部大小的位置起依次分配检测区域。此外，不仅在面部大小仅取决于y坐标和x坐标中的任一者时，而且还在面部大小取决于y坐标和x坐标这两者时，可以设置检测区域。

在第二实施例中，将给出在面部大小不仅取决于y坐标而且还取决于x坐标的情况下设置检测区域的示例的描述。根据第二实施例的信息处理设备100的配置与上述图1和图2所示的配置类似，因而省略对其的例示和描述。在第二实施例中，大小获取单元203获取在图像的x轴方向和y轴方向这两者上的各个位置处的检测对象大小(面部大小)的分布。根据第二实施例的区域设置单元204基于在x轴方向和y轴方向这两者上的各个位置处的检测对象大小的分布，来设置在各个位置处的检测区域的大小、以及相邻检测区域之间的重叠范围。

图13至图18是用于描述在面部大小不仅取决于y坐标而且还取决于x坐标的情况下的设置检测区域的示例的图。同样在第二实施例的描述中，如上所述，检测对象范围例如是拍摄图像501的整个区域。为了使描述便于理解，假设面部大小在y轴方向和x轴方向的正方向上增加，并且面部大小最小的位置是拍摄图像501的左上端处的坐标(x，y)＝(0，0)的位置。

首先，区域设置单元204将整个检测对象范围设置为尚未设置检测区域的未设置区域。在本实施例中，区域设置单元204在未设置区域的左上端处设置检测区域，并重复将在下面描述的更新设置完成区域的处理，以在整个检测对象范围内设置检测区域。

图13是在未设置区域的左上端处设置第一个检测区域、并在该检测区域中对设置完成区域进行设置的示例的说明图。此时，整个拍摄图像501(整个检测对象范围)是未设置区域。因而，区域设置单元204将检测区域1802设置在拍摄图像501的左上端(即，未设置区域的左上端)处。设置检测区域的大小，使得在未设置区域的左上端的位置处假设的面部大小1801是不会导致检测精度降低的最小面部大小。在第一实施例中，不会导致检测精度降低的最小面部大小是检测区域的大小的1/4。在第二实施例中，只要面部大小是检测区域的大小的1/8以上，就将在假设检测精度不降低的情况下给出描述。即，在该示例中，区域设置单元204设置具有不会导致检测精度降低的最小面部大小的八倍的大小的检测区域1802。

此外，区域设置单元204沿着第一个检测区域1802的右侧和下侧设置与稍后设置的相邻检测区域重叠的各个重叠范围。各个重叠范围的宽度与在检测区域1802的右下端的位置处假设的面部大小1803相对应。在本实施例中，假设面部大小在y轴和x轴的正方向上增大，因而检测区域1802的右下端处的面部大小1803是检测区域1802中假设的最大面部大小。因而，区域设置单元204将沿着检测区域1802的右侧和下侧设置的各个重叠范围的宽度设置为与面部大小1803相对应的宽度。另外，区域设置单元204将检测区域1802中除重叠范围之外的区域设置为设置完成区域1804。在检测区域1802中，除设置完成区域1804之外的区域此时是未设置区域。

随后，区域设置单元204沿着第一个检测区域1802的下侧设置第二个检测区域。区域设置单元204将第二个检测区域设置在除已设置的第一个检测区域1802的设置完成区域1804之外的未设置区域处。

图14是用于描述沿着第一个检测区域1802的下侧在未设置区域处设置第二个检测区域的状态的图。区域设置单元204在沿着第一个检测区域1802的下侧的未设置区域处设置第二个检测区域1806，具体是在沿着设置完成区域1804的下侧的未设置区域的左上端处设置第二个检测区域1806。在设置第二个检测区域1806的情况下，与设置上述第一个检测区域的情况类似，将检测区域1806的大小设置为在未设置区域的左上端的位置处假设的面部大小1805的八倍。对于检测区域1806的重叠范围，与第一个检测区域的情况类似，沿着检测区域1806的右侧和下侧设置重叠范围，并且各个重叠范围的宽度是与在检测区域1806的右下端的位置处假设的面部大小1807相对应的宽度。另外，区域设置单元204将检测区域1806中除重叠范围之外的区域设置为设置完成区域1808。在检测区域1806中，除设置完成区域1808之外的区域此时是未设置区域。

图15是示出以上述方式顺次设置各自与所设置的检测区域的下端相邻的检测区域、并确定各检测区域的设置完成区域的状态的图。如果作为以上述方式顺次设置检测区域的结果，检测区域延伸离开检测对象范围的下侧，则区域设置单元204将延伸离开检测对象范围的下侧的检测区域布置在检测对象范围内。图15中的检测区域1809是被布置在检测对象范围内的检测区域。此时，区域设置单元204不设置沿着布置在检测对象范围内的检测区域1809的下侧的重叠范围，并且设置仅沿着检测区域1809的右侧的重叠范围。沿着检测区域1809的右侧设置的重叠范围的宽度是与在检测区域1809的右下端的位置处假设的面部大小1810相对应的宽度。区域设置单元204将检测区域1809中除重叠范围之外的区域设置为设置完成区域1811。在检测区域1809中，除设置完成区域1811之外的区域此时是未设置区域。

在以上述方式将设置完成区域1811设置在检测对象范围的下侧部分中之后，区域设置单元204将用于设置下一检测区域的位置设置在上述第一个检测区域1802的右侧。

图16是用于描述沿着第一个检测区域1802的右侧设置下一检测区域的状态的图。如图16所示，区域设置单元204沿着第一个检测区域1802的右侧设置下一检测区域1812。此时，区域设置单元204设置检测区域1812，使得检测区域1812与第一个检测区域1802重叠了沿着检测区域1802的右侧设置的重叠范围。此外，区域设置单元204沿着检测区域1812的右侧和下侧设置与稍后设置的相邻检测区域重叠的各个重叠范围。各个重叠范围的宽度与在检测区域1812的右下端的位置处假设的面部大小相对应。区域设置单元204将检测区域1812中除重叠范围之外的区域设置为设置完成区域1813。在检测区域1812中，除设置完成区域1813和已设置的设置完成区域之外的区域此时是未设置区域。

在设置检测区域1812之后，区域设置单元204沿着检测区域1812中的设置完成区域1813的下侧设置下一检测区域。

图17是用于描述沿着设置完成区域1813的下侧设置检测区域1815的状态的图。此时，区域设置单元204基于沿着图16所示的设置完成区域1813的下侧的未设置区域的左上端的位置、以及该位置处的面部大小1814，来设置检测区域1815。即，区域设置单元204将检测区域1815的大小设置为面部大小1814的八倍。此外，区域设置单元204沿着检测区域1815的右侧和下侧设置与稍后设置的相邻检测区域重叠的各个重叠范围。各个重叠范围的宽度与在检测区域1815的右下端的位置处假设的面部大小1816相对应。区域设置单元204将检测区域1815中除重叠范围之外的区域设置为设置完成区域1817。在检测区域1815中，除设置完成区域1817和已设置的设置完成区域之外的区域此时是未设置区域。

区域设置单元204重复上述处理，从而将所有检测区域布置成覆盖检测对象范围。

图18是示出检测区域已被布置成覆盖整个检测对象范围、并且整个检测对象范围已成为设置完成区域的布置示例的图。当检测区域已被布置成覆盖整个检测对象范围时，区域设置单元204判断为已完成所有检测区域的设置。

利用上述处理，根据本实施例的信息处理设备即使在面部大小不仅取决于y坐标而且还取决于x坐标时，也能够设置检测区域的大小和相邻检测区域之间的重叠范围，并且设置覆盖整个检测对象范围的检测区域。

第三实施例

接下来，将描述根据第三实施例的信息处理设备100。根据第三实施例的信息处理设备100的配置与上述图1和图2所示的配置类似，因而将省略对其的例示和描述。在第三实施例中，如前述第一实施例中那样，将给出面部大小仅取决于y坐标、并且当面部大小的水平宽度大于或等于检测区域的大小的1/4时检测精度不会显著降低的示例的描述。

在上述第一实施例中，给出了如下示例：面部大小s由s＝by+c表示，并且具有针对y坐标唯一确定的值。例如，当摄像设备的俯角(depression angle)浅时，如图19所示，面部大小可以具有在相同y坐标处大不相同的分布。图19示出如下示例：面部1101具有在y＝y0的位置处假设的最小面部大小，面部1102具有在y＝y1的位置处假设的最小面部大小，面部1103具有在y＝y0的位置处假设的最大面部大小，并且面部1104具有在y＝y1的位置处假设的最大面部大小。

在第三实施例中，大小获取单元203获取在具有相同y坐标的相同位置处假设的检测对象(面部)的最大大小(最大面部大小)和最小大小(最小面部大小)。在第三实施例中，面部大小仅取决于y坐标，因而作为面部大小的最小值的最小大小ss可以由ss＝dy+e表示，并且作为面部大小的最大值的最大大小sl可以由sl＝fy+g表示，其中最小大小和最大大小是在相同y坐标的位置处假设的。

因而，根据第三实施例的区域设置单元204基于大小获取单元203所获取的各个位置处的检测对象(面部)的最小大小和最大大小，来设置检测区域的大小以及相邻检测区域之间的重叠范围。

在第三实施例中，将参照在第一实施例中使用的图5的流程图来描述设置检测区域的方法。当摄像设备的俯角浅时，在许多情况下，在拍摄图像501的上侧附近不出现面部。因而，在第三实施例中，如图19所示，y坐标大于或等于y0(y≥y0)的区域被视为检测对象范围1105。

在第三实施例中，在图5的流程图中的S431中，区域设置单元204从大小获取单元203获取的面部大小的分布是如图19所示的y≥y0(y坐标为y0以上)的检测对象范围1105中的面部大小的分布。在第三实施例中，如上所述，在拍摄图像501的各个位置处假设的面部的最小大小由ss＝dy+e表示，并且面部的最大大小由sl＝fy+g表示，其中面部的最小大小和最大大小仅取决于y坐标。

在下文中，在各个位置处具有最小大小ss的最小面部将被称为“最小面部”，并且在各个位置处具有最大大小sl的最大面部将被称为“最大面部”。在第三实施例中，面部大小具有1的长宽比。也就是说，各个位置处的面部的垂直宽度等于作为面部的水平宽度的面部大小。

同样在第三实施例的示例中，当用户设置某位置处的面部大小时，用户可以通过使用输入单元105将面部502或面部503拖动到某位置并改变面部的位置和大小，或可以输入指示该位置和大小的数值。在第三实施例中，对最大面部和最小面部进行这样的设置输入。

随后，在S432中，区域设置单元204基于检测对象范围1105中的最小面部(即，位置y＝0处的最小面部1101)来确定最上行(第一行)中的检测区域的大小。如上所述，检测单元202的检测精度与检测区域图像中的面部大小相关。如果当面部大小的水平宽度大于或等于检测区域大小的1/4时，检测精度没有显著降低，则区域设置单元204将检测区域大小设置为最小面部的大小的四倍。

图20是示出将具有检测对象范围1105的最上行中的最小面部的四倍的大小的检测区域设置在该最上行中的状态的图。即，区域设置单元204基于y＝y0处的最小面部1101的宽度1201，将具有最小面部1101的大小的四倍的大小的区域设置为最上行中的检测区域1202。

随后，在S433中，区域设置单元204判断以上述方式设置的检测区域是否达到检测对象范围1105的下端。在图20所示的时间点处，仅设置了第一行中的检测区域。因而，区域设置单元204判断为检测区域未达到检测对象范围的下端，并前进到S434。

在S434中，区域设置单元204设置第二行中的检测区域。此时，区域设置单元204将如下的区域设置为第二行中的检测区域，其中该区域具有与位于第一行中的检测区域的最下端处的最大面部的顶部相对应的上端、并且具有使得位于在y坐标中与该最大面部相同的位置处的最小面部具有精确检测到的最小面部大小的大小。

图21是示出设置了第二行中的检测区域的状态的图。区域设置单元204设置检测区域1303，该检测区域1303具有最小面部1302的大小的四倍的大小，并且具有与最小面部1302的顶部相对应的上端，其中该最小面部1302的上端位于在y坐标中与位于在S432中设置的第一行中的检测区域1202的最下端处的最大面部1301的顶部相同的位置处。此后，区域设置单元204将处理返回到S433。在图21所示的时间点，与上述类似，第二行中的检测区域没有达到检测对象范围1105的下端，因而区域设置单元204再次从S433前进到S434。

图22是示出设置了第三行中的检测区域的状态的图。在设置第三行中的检测区域的情况下，区域设置单元204设置检测区域1403，使得该检测区域1403的上端与最小面部1402的顶部对准。检测区域1403具有最小面部1402的大小的四倍的大小，该最小面部1402的上端与位于第二行中的检测区域1303的最下端处的最大面部1401的顶部对准。在以这种方式设置检测区域之后，区域设置单元204再次前进到S433。在这种情况下，第三行中的检测区域达到检测对象范围1105的下端，因而区域设置单元204从S433前进到S435。

在S435中，区域设置单元204基于各行中的检测区域中所包括的最大面部的大小来计算x轴方向上的重叠范围的宽度，并且进一步计算各行中的x轴方向上的检测区域的数量。

在下文中，将参照图23A至图23C给出计算各行中的x轴方向(水平方向)上的检测区域的数量、以及在x轴方向上布置该数量的检测区域的状态的描述。

图23A是示出第一行中的检测区域的数量的计算和该检测区域的布置的示例的图。

在假设被包括在第一行中的检测区域1202中的面部中，最大面部是检测区域1202的最下端处的最大面部1301。因而，x轴方向上的重叠范围的宽度是最大面部1301的水平宽度。作为以这种方式设置重叠范围的宽度的结果，检测对象范围1105包括至少一个检测区域，该至少一个检测区域包括被包括在y≤y2的范围内的面部。

此时，第一行中的检测区域的数量n由下式(2)表示，其中sl是最大面部1301的水平宽度(最大大小)，w是拍摄图像的水平宽度，并且d是检测区域的大小。在式中，ceil()是上取整函数。

n ＝ ceil((w - sl)/(d - sl)) 式(2)

对于第二行和第三行，以与第一行中类似的方式确定重叠范围和检测区域的数量。

图23B是示出在第二行中确定x轴方向上的重叠范围和检测区域的数量、并且布置该数量的检测区域1303的示例的图。图23C是示出在第三行中确定x轴方向上的重叠范围和检测区域的数量、并且布置该数量的检测区域1403的示例的图。为了计算图23C所示的第三行中的检测区域的数量而使用的最大面部的水平宽度不是第三行的检测区域中的最大面部的大小，而是检测对象范围1105的下侧的最大面部的大小。

图24是示出将以上述方式针对第一行至第三行中的各行确定的检测区域的数量的所有检测区域1202、1303和1403布置在检测对象范围1105中的状态的图。在以上述方式将检测区域设置为覆盖检测对象范围的整个区域之后，区域设置单元204在S436中调整检测区域，使得所有检测区域1202、1303和1403落入检测对象范围1105内。调整检测区域的处理与第一实施例中描述的处理类似。即，区域设置单元204布置检测区域使得两端的检测区域位于各行的检测对象范围的两端处，然后等间隔地布置其余的检测区域。

图25是示出对各行中的检测区域进行S436的结果的图。为供参照，图25还示出为了确定各行中的x轴方向上的重叠范围而使用的面部1301、1401和1104。随后的处理与第一实施例中的处理类似，因而省略了对其的描述。

如上所述，在第三实施例中，检测区域的大小受最小面部的大小的限制，并且检测区域的重叠范围受最大面部的大小的限制。因此，在根据第三实施例的信息处理设备100中，即使面部大小在各个位置处不同，也可以基于面部大小的分布来确定检测区域的大小以及相邻检测区域之间的重叠范围。结果，在根据第三实施例的信息处理设备100中，能够在多个检测区域中的物体检测以及整合检测结果的处理中最终输出适当检测结果。

在第三实施例中，面部大小仅取决于y坐标。因而，确定各行中的图像大小和y坐标，然后确定x轴方向上的重叠范围宽度和检测区域的数量。同样在第三实施例中，与上述类似，即使当面部大小仅取决于x坐标时也可以设置检测区域。也就是说，当检测对象范围1105中的面部大小取决于x坐标时，例如可以从未检测区域中最小面部的大小最小的位置起依次分配检测区域。

同样在第三实施例中，可应用在第一实施例的变形例1中描述的缩小检测区域的处理以及在变形例2中描述的增加检测区域的处理。注意，在第一实施例的变形例2中，重叠范围的宽度被设置为小于面部大小的等倍，或相对于面部的最小大小而增大检测区域的大小。相反，在第三实施例中，可以根据检测对象的最大大小和最小大小之间的差来改变检测区域之间的重叠范围的宽度和检测区域的大小。也就是说，当最大面部的大小和最小面部的大小之间的差大时，放宽重叠范围的条件或检测区域大小的条件是有效的。因而，最大面部的大小和最小面部的大小之间的差可以是用于使这些条件放宽的条件。特别地，即使面部不在检测区域内，也能够准确地检测具有大的大小的面部。因而，当最大面部的大小和最小面部的大小之间的差大于或等于预定值时，使重叠范围的宽度小于最大面部的大小的等倍也是有效的。

此外，同样在第三实施例中，与上述第二实施例中的示例类似，当面部大小不仅取决于y坐标而且还取决于x坐标时，可以设置检测区域。也就是说，在第三实施例中，与上述类似，可以设置检测区域，使得在检测对象范围中的任意位置处的面部具有包括该面部的检测区域，并且检测区域覆盖整个检测对象范围。

第四实施例

接下来，将描述根据第四实施例的信息处理设备100。根据第四实施例的信息处理设备100的配置与上述的图1和图2所示的配置类似，因而将省略对其的描述。同样在第四实施例中，如前述第一实施例中那样，将给出面部大小仅取决于y坐标、并且当面部大小的水平宽度大于或等于检测区域的大小的1/4时检测精度不会显著降低的示例的描述。

在上述第三实施例中，给出了通过使用分布中的最小面部和最大面部来设置检测区域以覆盖检测对象范围的示例的描述，这是因为当摄像设备的俯角浅时，如图19所示，面部大小可能针对相同y坐标而大不相同。如上所述，第一行中的检测区域的数量n可以由式(2)表示，其中d是检测区域的大小，sl是最大面部的水平宽度(最大大小)，并且w是拍摄图像的水平宽度。检测区域的大小d是最小面部的大小的四倍。因而，当使用最小面部的水平宽度(最小大小ss)时，d＝4×ss成立。因此，检测区域的数量n可以由下式(3)表示。

n ＝ ceil((w/sl - 1)/(4 × ss/sl - 1)) 式(3)

这里，例如，当面部大小的分布宽、并且最大面部的大小相对于最小面部的大小大时，式(3)中的ss/sl的值小，因而分母小。结果，第一行中的检测区域的数量n的值大。此外，例如当sl≥4×ss成立时，重叠范围的宽度大于或等于检测区域的大小，并且无法通过第三实施例中所描述的区域设置处理来设置检测区域。

因而，在各个位置处假设的检测对象(面部)的最大大小和最小大小之间的差大于或等于预定值时，根据第四实施例的区域设置单元204分割面部大小的分布。此外，区域设置单元204基于通过分割而获得的多个分布中的各个位置处假设的最小大小和最大大小，来确定检测区域的大小以及相邻检测区域之间的重叠范围。区域设置单元204将针对多个分布所设置的检测区域的组合设置为检测区域。

在第四实施例中，区域设置单元204基于大小获取单元203所获取的面部大小的分布来设置中间大小sm的分布，其中在取决于y坐标的任何位置处，ss

因此，在第四实施例中，即使在面部大小的分布中最大面部的大小相对于最小面部的大小大时，也可以适当地设置检测区域的数量和检测区域的大小。

在上述示例中，面部大小的分布被分割为两个分布(即，从最小大小到中间大小的分布以及从中间大小到最大大小的分布)。可替代地，例如当不满足条件sm<4×ss且sl<4×sm时，可以将分布分割为三个或多于三个分布。可以预先确定在对分布进行分割时的分割数量和分割比例，或者可以根据所获取的分布来优化。可以针对通过分割所获得的多个分布来设置检测对象范围。例如，在y坐标小的范围中，最大面部和最小面部之间的差小。因而，可以通过仅在一个检测区域组中设置检测区域来减少检测区域的总数。

在第四实施例中，在面部大小的分布已被分割为多个分布之后，进行与第三实施例中所描述的区域设置处理类似的区域设置处理。因而，第一实施例的变形例可适用于第四实施例。如第二实施例中那样，第四实施例还可适用于面部大小不仅取决于y坐标而且还取决于x坐标的情况。

在第四实施例中，如上所述，面部大小的分布例如被分割为两个分布，并且针对这两个分布中的各个分布设置检测区域组。因而，检测单元202获得针对各个检测区域组的检测结果。因而，根据第四实施例的整合单元205不仅进行第一实施例中所描述的整合处理，而且还进行对检测区域组的检测结果进行整合的处理。第一实施例中所描述的相同位置处的检测区域中的整合处理和相同位置处的检测区域组中的相邻检测区域之间的整合处理与上述类似，因而将省略对其的描述。

在下文中，将给出第四实施例中的对两个检测区域组的检测结果进行整合的处理的描述。与第一实施例中的整合处理类似的整合处理可以用作对两个检测区域组的检测结果进行整合的处理。然而，在第四实施例中，进行基于两个检测区域组之间的检测结果的大小与检测区域的大小之间的比例的整合处理。

图26是用于描述基于两个检测区域组之间的检测结果的大小与检测区域的大小之间的比例的整合处理的图。

在第四实施例中，如上所述，面部大小的分布被分割为两个分布，并且设置针对这两个分布的两个检测区域组。也就是说，检测区域组之一对应于从最小大小到中间大小的分布，而另一检测区域组对应于从中间大小到最大大小的分布。因而，在检测对象范围中，属于一个检测区域组的小检测区域1701和属于另一检测区域组的大检测区域1702被布置成彼此重叠。

因而，例如在小面部1703的情况下，检测单元202所检测到的检测框是检测区域1701中的检测框1704和检测区域1702中的检测框1705，并且这些检测框被输出到整合单元205。这里，假设检测框1705的大小小于相对于检测区域1702的大小能够准确检测的面部的最小大小(小于检测区域1702的大小的1/4)。另一方面，假设检测框1704的大小大于或等于相对于检测区域1701的大小能够准确检测的面部的最小大小(大于或等于检测区域1701的大小的1/4)。在这种情况下，因为检测框1705的大小小于相对于检测区域1702的大小能够准确检测的面部的最小大小，所以整合单元205从整合中排除检测框1705。另一方面，因为检测框1704的大小大于或等于相对于检测区域1701的大小能够准确检测的面部的最小大小，所以整合单元205采用检测框1704。

例如，在大面部1706的情况下，检测单元202所检测到的检测框是检测区域1701中的检测框1707和检测区域1702中的检测框1708，并且这些检测框被输出到整合单元205。假设检测框1708的大小大于或等于相对于检测区域1702的大小能够准确检测的面部的最小大小，并且检测框1708位于检测区域1702的中心附近。另一方面，假设检测框1707的大小大于或等于相对于检测区域1701的大小能够准确检测的面部的最小大小，但是检测框1708和检测区域1701之间的阴影部分所示的共同部分1709的IoU具有大值。在这种情况下，因为检测框1708和检测区域1701之间的共同部分1709的IoU具有大值，所以整合单元205判断为检测框1707是检测框1708中检测到的面部的一部分，并排除检测框1707。在这种情况下，整合单元205可以使用可靠性作为排除的判断基准，例如可以仅在检测框1707的可靠性低于检测框1708的可靠性时判断为排除检测框1707。在该示例中，整合单元205采用检测框1708。

第四实施例中的整合处理的顺序可以是进行相同位置处的检测区域内的整合处理、进行相同位置处的检测区域组内的相邻检测区域之间的整合处理、然后进行检测区域组之间的整合处理的顺序，但不限于该顺序。

当在分布中各个位置处的检测对象的最大大小和最小大小之间的差大时，根据第四实施例的信息处理设备100基于通过分割分布所获得的多个分布来确定检测区域的大小和相邻检测区域之间的重叠范围。因此，根据第四实施例的信息处理设备100能够用更小数量的检测区域覆盖整个检测对象范围。此外，在第四实施例中，根据检测区域组之间的检测结果的检测框是小于、还是等于或大于相对于检测区域组之间的检测区域大小能够精确检测的最小大小的比例，来进行采用或排除该检测框的整合处理。在第四实施例中，基于检测区域组之间的检测结果的检测框的共同部分的IoU值或可靠性，来进行采用或排除检测框的整合处理。因此，在第四实施例中，能够在多个检测区域中的物体检测以及对检测结果进行整合的处理中最终输出适当的检测结果。

本发明可通过如下处理来实现，其中用于实现上述实施例的一个或多于一个功能的程序经由网络或存储介质供给到系统或设备，并且该系统或设备的计算机中的一个或多于一个处理器读取并执行该程序。本发明还可通过用于实现一个或多于一个功能的电路(例如，专用集成电路(ASIC))来实现。

上述实施例中的各个实施例仅仅是用于执行本发明的具体示例，并且本发明的技术范围不应被这些实施例以限制方式解释。也就是说，本发明可在不背离其技术构思或主要特征的情况下以各种形式实现。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围应被给予最广泛的解释，以涵盖所有这样的修改以及等同的结构和功能。