图像识别装置、图像识别装置的方法及图像识别装置程序

技术领域

本发明涉及一种图像识别装置。

背景技术

随着网络照相机的普及，大多利用从拍摄到的拍摄图像中检测出人或物体等的技术。在从拍摄图像中检测出人的情况下，有时将形状与人类似的物体或拍摄图像内的形状的组合误检测为人。若此种误检测经常发生，则无法进行适当的图像识别。

在专利文献1中，公开了如下技术：通过根据距鱼眼图像中的基准位置的距离而将特定大小的物体检测为检测对象的物体，从而提高检测对象的物体的检测精度。

现有技术文献

专利文献

专利文献1：日本专利特开2019-159739号公报

发明内容

发明所要解决的问题

然而，在如上所述的现有技术中，需要预先登记应判定为人的检测物体的大小与检测物体的距基准位置的距离的关系。因此，用户需要事先输入与照相机的拍摄环境相关的信息、例如照相机的设置高度、检测对象的高度、距图像中的中心(基准位置)的距离与实际空间上的距离的关系等信息。此种输入作业给用户带来很大的负担。

因此，本发明的一实施例的目的在于实现一种图像识别装置，所述图像识别装置不需要用户进行复杂的事先的输入作业，而精度更良好地检测出所期望的物体。

解决问题的技术手段

为了解决所述课题，本发明的一实施例的图像识别装置包括：图像获取部，获取拍摄图像；检测部，通过图像识别从所述拍摄图像中检测出规定种类的物体作为检测物体；记录控制部，进行用于记录由所述检测部检测出的所述检测物体在所述拍摄图像中的位置及大小的历史的控制；指标制作部，基于所述历史制作用于判定所述检测物体是否为检测对象的目标物体的指标；以及判定部，通过对由所述检测部检测出的所述拍摄图像中的所述检测物体的位置及大小与所述指标进行比较，来判定所述检测物体是否为所述目标物体。

另一实施例的图像识别装置的方法包括：图像获取步骤，获取拍摄图像；检测步骤，通过图像识别从所述拍摄图像中检测出规定种类的物体作为检测物体；记录控制步骤，进行用于记录由所述检测步骤检测出的所述检测物体在所述拍摄图像中的位置及大小的历史的控制；指标制作步骤，基于所述历史制作用于判定所述检测物体是否为检测对象的目标物体的指标；以及判定步骤，通过对由所述检测步骤检测出的所述拍摄图像中的所述检测物体的位置及大小与所述指标进行比较，来判定所述检测物体是否为所述目标物体。

发明的效果

通过本发明的一实施例，可实现一种图像识别装置，所述图像识别装置不需要用户进行复杂的事先的输入作业，而更准确地检测出所期望的物体。

附图说明

图1是表示实施方式1的图像识别系统的主要部分的结构的框图。

图2是表示将照相机安装于上方并以俯视方向进行拍摄的情况的模型图。

图3是表示将照相机安装于上方并以俯视方向进行拍摄时的拍摄图像的时间变化的图。

图4是表示将照相机安装于下方并以仰视方向进行拍摄的情况的模型图。

图5是表示将照相机安装于下方并以仰视方向进行拍摄时的拍摄图像的时间变化的图。

图6是在将照相机安装于上方的情况下检测出错误的物体的事例。

图7是在将照相机安装于下方的情况下检测出错误的物体的事例。

图8是表示检测物体的位置(Y坐标)与大小的相关关系的图。

图9是表示实施方式1的图像识别系统的动作例的流程图。

具体实施方式

〔实施方式1〕

以下，基于附图对本发明的一方面的实施方式(以下，也表述为“本实施方式”)进行说明。此外，对图中相同或相当的部分标注相同的符号而不重复其说明。

§1.应用例

图1是表示实施方式1的图像识别系统100的主要部分的结构的框图。图像识别系统100包括照相机20及图像识别装置1，所述图像识别装置1获取由照相机20拍摄的拍摄图像并进行图像识别。照相机20一旦安装，则视场角及拍摄方向不变化，是一定的。

图像识别装置1中，由检测部12从利用图像获取部11获取的拍摄图像中检测出规定种类的物体，关于检测出的检测物体，由判定部15判定所述检测物体是否为检测对象的目标物体。在利用判定部15进行判定时，基于由记录控制部13获取的指标来判定检测物体是否为目标物体。

在所述指标中，预先定义拍摄图像中的检测物体的位置与所述位置处的目标物体的大小的对应关系。因此，在检测物体的大小接近指标中的、与所述检测物体在拍摄图像中的位置对应的大小的情况下，可将所述检测物体判定为目标物体。

§2.结构例

(图像识别装置1的结构)

图像识别装置1包括图像获取部11、检测部12、记录控制部13、存储部131、指标制作部14、以及判定部15。

图像获取部11获取由照相机20拍摄的拍摄图像。将拍摄图像输出到检测部12。

检测部12通过图像识别来检测出所输入的拍摄图像中的规定种类的物体。作为物体，人具有代表性，但并不限定于人，也可为任意的物体。将作为由检测部12所得的检测结果的检测物体的位置与大小输出到记录控制部13及判定部15。

此处，检测物体的位置是包围检测物体的框(检测框)的中心。检测物体的位置的导出方法并不限定于所述方法，也可为检测框上的任意点或检测出的检测物体的重心等其他导出方法。

另外，作为检测物体的大小，可为检测框的各种长度。作为检测框的长度的例子，可列举对角线的长度、上下方向上的长度、左右方向上的长度、上下方向及左右方向上的任意长的长度、上下方向及左右方向的任意短的长度等。另外，作为检测物体的大小，也可为检测框的面积。进而，在确定检测物体自身所占的区域的情况下，作为检测物体的大小，也可为所述区域的各种长度或面积。

记录控制部13对记录有图像识别装置1的程序、各种参数的存储部131控制记录的数据。具体而言，记录控制部13将检测物体的位置与大小的对应关系作为检测历史(历史)记录于存储部131中。记录控制部13将记录于存储部131中的检测历史输出到指标制作部14。

存储部131并不限定于图像识别装置1的功能块，也可配备于外部的装置中。即，记录控制部13也可经由各种通信单元访问配备于外部装置中的存储部131，进行检测历史的记录以及检测历史的获取。

指标制作部14基于检测历史来制作表示检测物体的位置与大小的分布倾向的指标。指标例如是以函数的形式表示的信息，用于判定检测物体是否为目标物体。指标制作部14将制作的指标输出到判定部15。

判定部15基于由指标制作部14制作的指标来判定检测部12检测出的检测物体是否为目标物体。判定部15输出所判定的结果。作为由判定部15所得的判定结果的输出目的地，可列举未图示的显示装置的显示控制部、或用于经由通信网络向任意的服务器或终端装置发送的通信控制部等。

(伴随照相机20的安装的拍摄图像)

图2是表示将照相机20安装于上方并以俯视方向进行拍摄的情况的模型图。图3是表示将照相机20安装于上方并以俯视方向进行拍摄时的拍摄图像的时间变化的图。图4是表示将照相机20安装于下方并以仰视方向进行拍摄的情况的模型图。图5是表示将照相机20安装于下方并以仰视方向进行拍摄时的拍摄图像的时间变化的图。

图像识别装置1从拍摄图像中检测假设为人的物体作为检测物体32。以后，以拍摄图像的左下有原点、左右方向有X轴、上下方向有Y轴的情况进行了说明。

首先，如图2所示，考虑将照相机20安装于上方并以俯视方向拍摄物体31的情况。如图3的图像41所示，远离照相机20的物体在拍摄图像的上部照得小，如图3的图像42所示，照相机20附近的物体在拍摄图像的下部照得大。

如图3所示，从照相机20的远方走到照相机20附近的检测物体32由于与照相机20的距离缩小，因此大小逐渐变大，并且拍摄图像中的位置从上方(Y坐标大)向下方(Y坐标小)移动。

另外，如图4所示，考虑将照相机20安装于下方并以仰视方向拍摄物体31的情况。如图5的图像43所示，远离照相机20的物体在拍摄图像的下部照得小，如图5的图像44所示，照相机20附近的物体在拍摄图像的上部照得大。

如图4所示，从照相机20的远方走到照相机20附近的检测物体32由于与照相机20的距离缩小，因此大小逐渐变大，并且拍摄图像中的位置从下方(Y坐标小)向上方(Y坐标大)移动。

即，不管照相机20的安装方法如何，检测物体的位置及大小根据检测物体的动作而变化。

(基于照相机20的误检测)

图6是在将照相机20安装于上方的情况下检测出错误的物体的事例。图7是在将照相机20安装于下方的情况下检测出错误的物体的事例。

如图6所示，在将照相机20安装于上方的情况下，图像识别装置1有时在检测框33所示的位置处错误地检测出并非人的物体。此情况例如在背景图像与人体的形状类似的情况下等发生。在错误地检测出并非人的物体的情况下，显示检测框33的位置(Y坐标)的大小成为与所述检测出人的状况不同的大小的可能性高。

同样地，如图7所示，在将照相机20安装于下方的情况下，图像识别装置1有时会在检测框33所示的位置处错误地检测出并非人的物体。

即，在图6中，在将照相机20安装于上方的情况下，在图像的下方显示检测框33。本来，由于检测框33的位置在图像的下方，因此检测框应该较大，但检测出的检测框33较小。同样地，在图7中，在将照相机20安装于下方的情况下，在图像的上方显示检测框33。本来，由于检测框33的位置在图像的上方，因此检测框应该较大，但检测出的检测框33较小。如此，误检测时的检测框的位置及大小与检测出人的情况不同的可能性高。因此，能够基于表示检测框的位置及大小的指标来判定误检测。

(检测物体32的位置与大小的相关关系)

图8是表示检测物体32的位置(Y坐标)与大小的相关关系的图。在存储部131中记录有将过去检测出的检测物体的位置与大小建立对应关系的检测历史。将所述检测历史作为检测历史分布绘制在双轴的散布图上的状态示于图8中。在所述检测历史分布中，横轴绘制检测物体的大小，纵轴绘制检测物体的位置(拍摄图像的上下方向上的位置(Y坐标))。多个点51表示某种程度的相关关系，成为离散的分布。

指标制作部14从存储部131获取检测历史，并基于多个点51导出近似曲线52。近似曲线52的导出方法例如可列举最小二乘法，但并不限定于此，可为任意的近似曲线导出方法。

此处，在制作检测历史的阶段中，在检测历史中包含误检测的数据的情况下，考虑有从近似曲线大幅偏离的点。然而，在所述大幅偏离的点相对于其他而言为少数的情况下，对近似曲线52的影响少，可忽视。即，在误检测的发生概率低的情况下，即使在制作检测历史的阶段中包含误检测数据，也能够制作充分适当的指标。此外，在检测历史的数量为一定数量以上之后，通过仅将由判定部15判定为检测物体是目标物体的数据追加到检测历史中，可消除由误检测的数据对指标制作的不良影响。

指标制作部14制作表示多个点51的分布倾向的近似曲线52，但并不限定于此，只要是成为任意的指标即可。例如，可列举函数等。表示函数的近似曲线52并不限定于连续的曲线，也可按照位置及大小的规定范围为不连续的曲线或直线。另外，函数也可以按照位置及大小的规定范围决定值的表形式来表示。

此处，在获得如上所述的指标的状态下对判定部15的判定处理进行说明。若检测出检测物体32，则判定部15将所述检测物体32的位置及大小与作为指标的所述函数加以比较。所述比较处理中，在概念上将所述检测物体32的位置及大小绘制在图8所示的点53上，计算出与近似曲线52的距离54，并与规定值进行比较。此处，距离54为点53点与近似曲线52的最短距离。此外，距离54也可为点53与近似曲线52的Y坐标中的差分。距离54的计算方法并不限制于这些，也可为任意的计算方法。

§3.动作例

图9是表示实施方式1的图像识别系统100的动作例的流程图。

在S11中，图像获取部11从照相机20获取拍摄图像。将所获取的拍摄图像输出到检测部12。检测部12从输入的拍摄图像中检测出物体31并作为检测物体32。

在S12中，检测部12判定是否检测出至少一个检测物体32。在未检测出至少一个检测物体32的情况下(在S12中为否(No))，进入S13。与此相对，在检测出至少一个检测物体32的情况下(在S12中为是(Yes))，进入S14。

在S13中，判定部15显示无检测物体32。

在S14中，记录控制部13判定检测历史是否为规定数量以上。在小于规定数量的情况下(在S14中为否)，进入S19。与此相对，在规定数量以上的情况下(在S14中为是)，进入S15。

在S15中，指标制作部14从存储部131中读出检测历史，并导出反映了检测历史的分布倾向的近似曲线52作为指标。

在S16中，计算出近似曲线52和与此次检测出的检测物体32的位置及大小对应的点53的距离54。在计算出的距离54为规定的阈值以上的情况下(在S16中为否)，进入S17。与此相对，在计算出的距离54小于规定的阈值的情况下(在S16中为是)，进入S18。

在S17中，判定部15判定为检测出的检测物体32并非人(目标物体)，而是误检测。

在S18中，判定部15判定为检测出的检测物体32是人。

在S19中，记录控制部13将检测物体的位置及大小存储于检测历史中。

在S20中，判定部15输出检测部12及判定部15各自的结果，并显示于显示装置。

此处，关于记录控制部13，由用户目视检测部12及判定部15的各自的结果，对于明显被认为是误检测或误判定的检测物体，通过设置表示误检测的标记，也可不用于检测历史分布中的近似曲线的生成。通过所述操作，检测物体中的目标物体的判定精度提高。

§4.作用、效果

无论是在将照相机20安装于上方并以俯视方向拍摄的情况下，还是在将照相机20安装于下方并以仰视方向拍摄的情况下，通过移动作为图像上的物体的检测物体，图像上的检测物体的位置与大小均发生变化。由于检测物体的位置与大小的变化具有关系性，因此根据由所述关系性获得的分布的倾向，导出指标。通过对所述指标比较检测物体的位置及大小，可判定所述检测物体是否为作为检测目标的目标物体。因此，可判定是否误检测出并非目标物体的物体，可提高目标物体的检测精度。

因此，检测出的物体自动被记录位置与大小，通过记录的位置与大小的组合的个数超过规定的数量，可判定检测物体是作为目标的物体(例如，人)还是其他物体。因此，可不按照与照相机20的安装位置对应的设置环境事先输入人的大小等信息而进行人的检测及判定，因此使用方便性良好。

通过将检测物体的位置与大小的历史集合规定数量，可知检测物体的位置与大小的分布倾向，可制作精度良好的指标。

特别是，所述指标可为函数，进而可为二维空间中的近似曲线，可仅考虑图像中的上下方向来判定检测物体是否为目标物体。

另外，以检测物体相对于上下方向而言的大小来考虑近似曲线，但并不限定于此，也可为检测物体相对于任意的单轴方向上的一维位置而言的大小。即，近似曲线可为检测物体相对于左右方向而言的大小，也可为检测物体相对于拍摄图像上的具有任意斜率的直线而言的大小，近似曲线可为从表示一维位置与检测物体的大小的点群获得的函数。例如，在照相机20设置于走廊的侧壁上的与人体大致相同的高度，并且拍摄方向被确定为走廊的远方为拍摄图像的左侧、走廊的附近为拍摄图像的右侧的情况下，目标物体的大小从拍摄图像的左侧朝向右侧变大。在所述情况下，只要将近似曲线设定为与检测物体相对于拍摄图像的左右方向而言的大小对应的曲线即可。

〔变形例1〕

在实施方式1中，在检测物体的位置处，仅考虑图像的上下方向，但在变形例1中，对考虑图像的上下左右方向的例子进行说明。即，将检测物体的大小与图像上的X坐标、Y坐标建立对应关系。

因此，检测历史分布以检测物体的X坐标、检测物体的Y坐标及检测物体的大小这三轴的散布图的形式获得。另外，由检测历史分布导出的指标为近似曲面。近似曲面也可由函数表示。另外，表示函数的近似曲面并不限定于连续的曲面，也可按照位置及大小的规定范围为不连续的曲面或平面。另外，函数也可以按照位置及大小的规定范围决定值的表形式来表示。

因此，在变形例1中，在三维中表示检测物体的X坐标、Y坐标及大小的新点相对于所述近似曲面可计算距离。在计算距离时，也可为与最接近新点的近似曲面上的点的距离。另外，也可为与新点的X坐标和Y坐标的大小所对应的近似曲面上的点的距离。若这些距离小于规定值，则判定为检测物体为目标物体(人)。

对于实施方式1，在变形例1中，由于检测历史分布通过三轴的散布图表示，因此可制作考虑了立体的深度的关系性的近似曲面。因此，即使是相同的Y坐标，只要X坐标不同，则也可对应于大小不同的情况等。

例如，在拍摄的空间中存在阶梯等高低差的情况下，有时根据拍摄图像的位置，目标物体的大小的变化倾向不同。在此种情况下，通过设定与高低差对应的近似曲面，能够准确地进行是否为目标物体的判断。

进而，在墙壁等物体无法侵入的区域位于拍摄图像的范围内的情况下，关于所述墙壁等区域，通过预先将检测物体的大小设置为0或极大值，也可明确地定义物体不可能存在的区域。其中，在所述情况下，需要用户事先输入与表示检测物体的位置与大小的关系的信息相关的信息。

另外，以检测物体相对于X坐标与Y坐标的二维空间而言的大小来考虑近似曲面，但并不限定于此，也可以检测物体相对于规定的双轴方向上的二维位置而言的大小来考虑。在所述情况下，函数可为检测物体的二维位置与检测物体的大小的三维中的近似曲面。

〔变形例2〕

在实施方式1中，照相机20相对于铅垂方向成角度，但在变形例2中，对光轴朝向铅垂方向的情况进行说明。例如，是将照相机20朝向正下方安装于顶部的情况等。

在此种情况下，一般使用鱼眼透镜或广角透镜等很常见。在这些透镜中，即使距离照相机20为等距离，位于相对于照相机20的光轴成角度的位置处的物体具有在拍摄图像中的像比位于光轴上的物体小的性质。

另外，拍摄图像具有以光轴为中心呈同心圆状地配置像的性质。因此，检测历史与实施方式1的倾向不同，检测物体的位置并非以Y坐标表示，而是以距中心位置的半径表示。

〔变形例3〕

在实施方式1中，根据近似曲线与检测物体的位置及大小的关系来判定检测物体是否为目标物体。在变形例3中，不使用近似曲线，根据检测历史分布与检测物体的位置及大小，通过人工智能(Artificial Intelligence，AI)来判定所述检测物体是否为目标物体。例如，也可进行用于偏离值判定的机器学习等。

在所述情况下，即使在相当于误检测的明显的偏离值混入检测历史分布的情况下，在学习阶段偏离值的影响被极小化，也不会成为问题。

〔总结〕

为了解决所述课题，本发明的一实施例的图像识别装置包括：图像获取部，获取拍摄图像；检测部，通过图像识别从所述拍摄图像中检测出规定种类的物体作为检测物体；记录控制部，进行用于记录由所述检测部检测出的所述检测物体在所述拍摄图像中的位置及大小的历史的控制；指标制作部，基于所述历史制作用于判定所述检测物体是否为检测对象的目标物体的指标；以及判定部，通过对由所述检测部检测出的所述拍摄图像中的所述检测物体的位置及大小与所述指标进行比较，来判定所述检测物体是否为所述目标物体。

通过所述结构，可基于检测物体的位置及大小的历史来制作指标，并根据检测物体相对于指标而言的位置及大小来判定检测物体是否为目标物体。因此，不需要用户根据环境事先输入信息等工夫，可提高目标物体的检测精度。

也可为，所述指标制作部制作表示所述检测物体的位置与所述检测物体的大小的关系的函数作为所述指标。

通过所述结构，可导出函数作为指标。通过使用函数，可唯一地导出任意的检测物体的位置处的检测物体的大小。

也可为，所述判定部在根据所述函数与所述拍摄图像中的所述检测物体的位置及大小确定的距离小于规定的阈值的情况下，判定为所述检测物体是所述目标物体。

通过所述结构，判定部可计算出由检测物体的位置及大小确定的点与函数的距离，通过距离小于规定的阈值，可判定检测物体是否为目标物体。

也可为，所述记录控制部进行用于记录所述拍摄图像中的在规定的单轴方向上的所述检测物体的一维位置与所述检测物体的大小的对应关系的控制，所述函数是所述检测物体的所述一维位置与所述检测物体的大小的二维中的近似曲线，所述距离是表示所述检测物体的所述一维位置与所述检测物体的大小的点、和所述近似曲线的距离。

通过所述结构，可仅考虑图像中的上下方向，来决定检测物体为目标物体的大小，并判定检测物体的误检测。

也可为，所述记录控制部进行用于记录所述拍摄图像中的在规定的双轴方向上的所述检测物体的二维位置与所述检测物体的大小的对应关系的控制，所述函数是所述检测物体的所述二维位置与所述检测物体的大小的三维中的近似曲面，所述距离是表示所述检测物体的所述二维位置与所述检测物体的大小的点、和所述近似曲面的距离。

通过所述结构，可考虑图像中的上下左右方向来判定检测物体的误检测。通过将左右方向也用于判定，即使在拍摄的空间中存在阶梯等高低差的情况下，也可精度良好地检测。

另一实施例的图像识别装置的方法包括：图像获取步骤，获取拍摄图像；检测步骤，通过图像识别从所述拍摄图像中检测出规定种类的物体作为检测物体；记录控制步骤，进行用于记录由所述检测步骤检测出的所述检测物体在所述拍摄图像中的位置及大小的历史的控制；指标制作步骤，基于所述历史制作用于判定所述检测物体是否为检测对象的目标物体的指标；以及判定步骤，通过对由所述检测步骤检测出的所述拍摄图像中的所述检测物体的位置及大小与所述指标进行比较，来判定所述检测物体是否为所述目标物体。

本发明的各实施例的图像识别装置也可由计算机实现，在所述情况下，通过使计算机作为所述图像识别装置所包括的各部(软件组件)进行动作，由计算机实现所述图像识别装置的图像识别装置的图像识别程序、以及记录所述程序的计算机可读取的记录介质也属于本发明的范畴。

〔通过软件实现的例子〕

图像识别装置1(以下称为“装置”)的功能可通过如下程序而实现，所述程序是用于使计算机作为所述装置发挥功能的程序，且用于使计算机作为所述装置的各控制块(特别是图像识别装置1中所包含的各部)发挥功能。

在所述情况下，所述装置包括具有至少一个控制装置(例如处理器)及至少一个存储装置(例如存储器)作为用于执行所述程序的硬件的计算机。通过由所述控制装置及存储装置执行所述程序，而实现在所述各实施方式中说明的各功能。

所述程序可记录于并非临时的且计算机可读取的一个或多个记录介质中。所述记录介质可包括所述装置，也可不包括。在后者的情况下，所述程序可经由有线或无线的任意的传输介质而供给给所述装置。

另外，所述各控制块的功能的一部分或全部也能够通过逻辑电路来实现。例如，形成有作为所述各控制块发挥功能的逻辑电路的集成电路也包含于本发明的范畴内。除此之外，例如也能够通过量子计算机实现所述各控制块的功能。

〔附记事项〕

本发明并不限定于所述各实施方式，在技术方案所示的范围内能够进行各种变更，将在不同的实施方式中分别公开的技术手段适宜组合而获得的实施方式也包含于本发明的技术范围内。

符号的说明

1：图像识别装置

11：图像获取部

12：检测部

13：存储部

14：指标制作部

15：判定部

20：照相机

31：物体

32：检测物体

33：误检测框

51：多个点

52：近似曲线(指标)

53：新点

54：距离

100：图像识别系统