信息处理装置、信息处理方法和程序

技术领域

本公开内容涉及信息处理装置、信息处理方法和程序。

背景技术

近年来，出现了根据用户的移动执行处理的许多装置。例如，存在允许角色在显示屏上与用户的移动同步地移动的游戏。在这样的用户持续执行操作的游戏中，用户可能过于沉浸在操作中而没有意识到周围环境，并且可能最终与周围对象碰撞。特别地，在用户享受佩戴头戴式显示器(HMD)进行播放的VR(虚拟现实)内容的情况下，由于用户对周围环境是假定完全看不见的，因此用户与真实对象碰撞的风险很高。

[引文列表]

[专利文献]

[专利文献1]

日本专利特许公开第2018-190432号

[专利文献2]

日本专利特许公开第2017-119032号

[专利文献3]

日本专利特许公开第2020-115353号

[非专利文献]

Denis Tome等人“xR-EgoPose:Egocentric 3D Human Pose from an HMDCamera”，国际计算机视觉会议(ICCV)，2019

发明内容

[技术问题]

为了确保用户的人身安全，需要识别用户不会与真实对象接触的安全区(区域)，并且保持用户待在该安全区域中。然而，目前，用户需要花费时间和精力来确定安全区域。例如，用户可以将控制器放在地面上，使用控制器绘制地面上被认为是安全的区域的边界线，从而指定安全区域。这样的方法涉及要求每次用户玩游戏时都要花时间和精力来指定边界线。为了避免麻烦，用户可能会无意识地采取先前的设置。然而，在已经移动或添加诸如家具的障碍物的情况下，使用紧接的先前的设置可能导致与障碍物无意碰撞的问题。

本公开内容提供了一种用于自动识别区域以省去用户指定该区域所需的时间和精力的装置和资源。

[问题的解决方案]

根据本公开内容的一个方面的信息处理装置包括分类部、区域识别部和允许区域确定部。分类部将在通过使用多个平面表示存在于三维空间中的对象的空间信息中所包括的多个平面至少分类为对应于底面的平面和对应于障碍物的平面。区域识别部计算与对应于底面的平面有关的底面区域和与对应于障碍物的平面有关的障碍物区域。允许区域确定部基于底面区域和障碍物区域计算允许所述三维空间中所存在的目标对象位于其中的允许区域。

上述信息处理装置自动地确定允许区域，从而省去了用户指定允许区域所需的时间和精力。

在替选配置中，分类部可以计算多个平面中的每一个平面的法线与重力方向之间的角度，基于计算出的角度从多个平面中选择被认为是水平面的平面，并且从被认为是水平的平面中选择底面。

在另一替选配置中，分类部可以计算在三维空间中被认为是水平的平面的高度，基于计算出的高度将被认为是水平的平面分类到多个组，并且选择属于多个组中具有最大数量的平面的组的平面作为底面。

在另一替选配置中，分类部可以计算三维空间中多个平面的高度，并且基于所计算的高度，将除了对应于底面的平面之外的多个平面分类到对应于障碍物的平面和不对应于障碍物的平面。

在另一替选配置中，信息处理装置还可以包括被配置成输出指示允许区域的图像的输出部。

在另一替选配置中，信息处理装置还可以包括被配置成在目标对象与允许区域的边界之间的距离等于或小于预定值的情况下输出给出警告的图像或声音的输出部。

在另一替选配置中，信息处理装置还可以包括被配置成输出关于目标对象的移动的指示的输出部，调整该指示以使得目标对象的移动保持在允许区域内。

在另一替选配置中，信息处理装置还可以包括被配置成生成空间信息的空间信息生成部。

在另一替选配置中，空间信息生成部可以根据由附接到目标对象的距离测量装置获取的、指示与周围对象的距离的距离测量信息生成空间信息。

在另一替选配置中，空间信息生成部可以根据由距离测量装置获取的距离测量信息生成空间信息，并且基于目标对象的位置，从距离测量信息或空间信息中移除对应于目标对象的信息。

在另一替选配置中，信息处理装置还可以包括：距离测量部，其被配置成通过测量到被摄体的距离来生成距离测量信息；空间信息生成部，其被配置成根据距离测量信息生成空间信息；重力方向获取部，其被配置成获取重力方向；以及输出部，其被配置成输出关于允许区域的信息。

在另一替选配置中，信息处理装置还可以包括未知区域确定部，该未知区域确定部被配置成基于占用网格地图确定未知区域。占用网格地图可以通过使用多个三维单元格来表示三维空间。多个单元格中的至少一个可以具有指示该单元格是否被对象占用是未知的未知信息。未知区域确定部可以基于具有未知信息的三维单元格的位置来确定未知区域。允许区域确定部可以防止未知区域被包括在允许区域中。

在另一替选配置中，未知区域确定部可以将至少预定数量的具有未知信息的三维单元格被竖直堆叠的位置包括在未知区域中。

在另一替选配置中，未知区域确定部可以不将下述位置包括在未知区域中：在该位置处，至少预定数量的具有未知信息的三维单元格被竖直地堆叠，但是至少预定数量的具有指示该单元格未被任何对象占用的未占用信息的三维单元格也被堆叠。

在另一替选配置中，信息处理装置还可以包括空区域识别部，该空区域识别部被配置成基于占用网格地图来识别空区域。占用网格地图可以通过使用多个三维单元格来表示三维空间。多个单元格中的至少一个可以具有指示该单元格未被任何对象占用的未占用信息。空区域识别部可以基于具有未占用信息的三维单元格的位置来确定空区域。允许区域确定部可以不将空区域包括在允许区域中。

在另一替选配置中，空区域识别部可以将具有未占用信息并且位于低于与底面对应的平面的三维单元格的位置包括到空区域中。

在另一替选配置中，信息处理装置还可以包括周围区域确定部，该周围区域确定部被配置成至少基于目标对象的位置计算构成底面区域的一部分并且包括目标对象的位置的区域作为周围区域。允许区域确定部可以还基于周围区域计算允许区域。

在另一替选配置中，周围区域确定部可以基于摄像装置的成像方向和重力方向调整周围区域的形状或大小。

在另一替选配置中，周围区域确定部可以基于关于目标对象的属性信息识别目标对象的一般尺寸，并且根据目标对象的一般尺寸进一步调整周围区域的形状或大小。

在另一替选配置中，周围区域确定部可以根据目标对象的姿势来调整周围区域的形状或大小。

根据本公开内容的另一方面，提供了一种信息处理方法，其包括以下步骤：将在通过使用多个平面表示存在于三维空间中的对象的空间信息中所包括的多个平面至少分类为对应于底面的平面和对应于障碍物的平面；计算与对应于底面的平面有关的底面区域和与对应于障碍物的平面有关的障碍物区域；以及基于底面区域和障碍物区域，计算允许三维空间中所存在的目标对象位于其中的允许区域。

根据本公开内容的另一方面，提供了一种用于由计算机执行的程序，该程序包括以下步骤：将在通过使用多个平面表示存在于三维空间中的对象的空间信息中所包括的多个平面至少分类为对应于底面的平面和对应于障碍物的平面；计算与对应于底面的平面有关的底面区域和与对应于障碍物的平面有关的障碍物区域；以及基于底面区域和障碍物区域，计算允许三维空间中所存在的目标对象位于其中的允许区域。

附图说明

[图1]图1是描绘根据第一实施方式的区域确定装置的示例性配置的图。

[图2]图2是描绘示例性允许区域的图。

[图3]图3是描绘示例性空间信息的图；

[图4]图4是描述示例性底面区域的图。

[图5]图5是描绘示例性障碍物区域的图。

[图6]图6是描绘示例性允许区域的图。

[图7]图7是由根据第一实施方式的区域确定装置执行的总体处理的示意性流程图。

[图8]图8是根据第一实施方式的区域计算处理的示意性流程图。

[图9]图9是描绘根据第二实施方式的区域确定装置的示例性配置的图。

[图10]图10是描绘示例性占用网格地图的图。

[图11]图11是说明如何计算未知区域的图。

[图12]图12是说明如何计算空区域的图。

[图13]图13是根据第二实施方式的区域计算处理的示意性流程图。

[图14]图14包括说明如何基于空区域减少允许区域的视图。

[图15]图15是描绘根据第三实施方式的区域确定装置的示例性配置的图。

[图16]图16是说明第三实施方式的假设使用的图。

[图17]图17是描绘周围区域被包括在允许区域中的示例。

[图18]图18是另一区域计算处理的示意性流程图。

具体实施方式

下面将参照附图来描述本公开内容的一些优选实施方式。

(第一实施方式)

图1是描绘根据第一实施方式的区域确定装置的示例性配置的图。在图1的示例中，区域确定装置(信息处理装置)1包括位置获取部11、空间信息生成部12、重力方向获取部13、区域计算部14和允许区域处理部(输出部)15。区域计算部14包括分类部141、区域识别部142和允许区域确定部143。

注意，该信息处理系统在配置上不限于图1中所描绘的这些。形成图1中描绘的信息处理装置的组成元件的一部分可以包括在除了区域确定装置1之外的装置中，或者可以作为独立装置存在。另外，图1中描绘的组成元件可以聚集在区域确定装置1中，也可以是分布式的。区域确定装置1可以包括未示出或说明的一个或多个组成元件。例如，在区域确定装置1中可以包括用于预先存储处理所需信息的至少一个存储器或存储装置。

本实施方式的信息处理系统确定用于目标对象的允许区域。该目标对象不限于任何识别的事物，可以是人、动物或机器。此外，允许区域是指允许目标对象位于其中的区域。例如，允许区域可以是允许目标对象在其中移动或允许目标对象的一部分在其中移动的区域。

图2是描绘示例性允许区域的图。在图2的示例中，佩戴头戴式显示器(HMD)的用户2被指示为目标对象。用户2可以在其中移动并且伸展手臂而不与障碍物碰撞的区域3被指示为允许区域。注意，如图2所描绘的，允许区域可以以将在地面上标记的虚线31与从虚线31竖直延伸的墙32组合的三维区域的形式来表达。替选地，允许区域可以被表达为仅由虚线31形成的二维区域。也就是说，允许区域可以是二维区域或三维区域。

迄今为止，允许区域由用户手动指定，因为在没有用户输入的情况下难以自动估计反映实际周围环境的允许区域。例如，通常的做法是，用户通过使用诸如游戏控制器的装置绘制其边界线来指定允许区域。另外，通常的做法是将预定范围(例如，以用户周围几米为半径)作为允许的区域。因此，本实施方式的区域确定装置1自动估计反映实际周围环境的允许区域，这减少了用户指定边界所花费的时间和精力。

在允许区域的另一示例中，车辆可以被视为目标对象，并且允许车辆在其中安全移动的范围可以被指定为允许区域。在另一示例中，允许安装在地面上的机器人手臂的手臂在其中自由移动的范围可以被指定为允许区域。

下面将说明组成区域确定装置1的组成元件中的每一个元件的处理。注意，作为用于确定允许区域的信息输入，本实施方式利用目标对象的位置、关于目标对象的周围的空间信息以及重力方向。因此，图1描绘了获取目标对象的位置的位置获取部11、生成空间信息的空间信息生成部12、以及获取重力方向的重力方向获取部13。注意，对于本实施方式，可以通过使用不限于任何特定事物的现有的方法来获取这些信息项。

位置获取部11获取目标对象在三维空间中的位置。例如，位置获取部11可以获取描绘目标对象及其周围环境的图像，并且基于所获取的图像，估计目标对象在目标对象周围的三维空间中的假定位置。在另一示例中，目标对象的位置可以从使用航空卫星的卫星定位系统获取。在后一种情况下，需要预先获取卫星定位系统在三维空间中的预定参考位置，以确定一方面目标对象与另一方面三维空间(例如，目标对象存在于其中的房间)之间的位置关系。

空间信息生成部12生成关于目标对象周围的三维空间的空间信息。本公开内容中的空间信息涉及使用多个平面来表示存在于三维空间中的对象。例如，3D网格或占用网格地图用作本公开内容的空间信息。图3是描绘示例性空间信息的图。图3指示3D网格4作为空间信息。3D网格4包括三角形单元平面(网格)41。注意，在空间信息中包括与目标对象有关的平面的情况下，基于目标对象的位置从空间信息中移除该平面。

生成用于空间信息的平面的方法不限于任何特定的事物。例如，空间信息生成部12可以从诸如三维传感器的距离测量装置获取距离测量信息(例如，指示到周围对象的距离的距离图像)并且使用诸如Kinect Fusion的方法，可以从距离测量信息生成3S网格。可以从立体摄像装置、根据ToF(飞行时间)原理操作的距离图像传感器等获取距离图像。替选地，可以从通过观察周围对象获得的点群数据生成平面。

注意，由此生成的空间信息不仅可以用于估计允许区域，还可以用于执行其他处理。例如，所生成的空间信息可以被显示以向佩戴HMD的用户呈现关于周围环境的信息。

重力方向获取部13获取重力方向。例如，可以使用IMU(惯性测量单元)等获得重力方向。

注意，获取用于生成用于确定允许区域的输入信息的信息的装置(例如，摄像装置、距离测量装置和IMU)可以被包括在保持区域确定装置1的相同壳体中。例如，这些装置和区域确定装置1可以被并入诸如图2所指示的HMD的可穿戴的终端中。在这种情况下，目标对象的位置与拍摄距离图像的三维传感器的位置一致。这省去了为估计目标对象的位置而准备用于拍摄目标对象的图像和周围环境的图像的摄像装置的时间和精力。此外，即使在准备了摄像装置的情况下，如果目标对象移动到摄像装置的成像范围之外，也不可能更新允许区域。出于这些原因，获得用于生成输入信息的信息的装置优选地附接到目标对象上，以在目标对象移动后重新确定允许区域。

注意，如上所述，位置获取部11、空间信息生成部12和重力方向获取部13可以位于区域确定装置1外部的装置中，并且区域确定装置1可以从外部装置获取信息。在这种情况下，当区域确定装置1获得关于目标对象的周围环境的占用网格地图时，不需要获取重力方向，因为占用网格地图的网格与重力方向平行并垂直地形成。

分类部141将包括在空间信息中的多个平面分类到至少对应于底面的平面和对应于障碍物的平面。

与墙壁等不同，底面是不构成障碍物并且不妨碍目标对象的移动的对象。例如，地面、剧院的舞台和道路都对应于底面。对于本实施方式，假定底面是与重力方向垂直的平面(即，水平平面)。然而，注意，底面不一定是精确的水平平面。如果平面的法线与重力方向之间的角度落入预定的阈值内，则可以将该平面视为水平平面。注意，只需要取决于区域确定装置1所要求的规格(例如，精度)来适当地确定阈值。

鉴于上述情况，分类部141计算一方面包括在空间信息中的每个平面(例如，图3中的单元平面41)的法线与另一方面重力方向之间的角度。将由此计算出的角度小于阈值的平面提取为水平平面。

提取的水平平面中的一些对应于底面；其他对应于障碍物。在对提取的水平平面进行分类时，本实施方式假设对应于底面的水平平面的数量大于对应于障碍物的水平平面的数量，并且对应于底面的水平平面与对应于障碍物的水平平面在高度上不同。基于这样的假设，可以计算提取的水平平面的高度，并且认为具有相同高度的最大数量的水平平面构成底面。注意，如果平面之间的高度差等于或小于预定值，则可以认为这些平面具有相同的高度。换言之，也可以说，提取的水平平面按高度分类为多个组，每个组具有预定的高度范围，并且被分类为形成最大的组的平面被视为对应于底面。这就是对应于底面的平面的提取方式。

在使用指示重力方向的矢量(a，b，c)将平面表达为ax+by+cz＝d的情况下，平面的高度的计算就是找到参数“d”的问题。可以使用诸如RANSAC(随机样本共识)的方法获得参数“d”。即使重力方向是未知的，诸如Efficient RANSAC的方法可以用于从3D网格本身估计平面。

注意，可以指定底面的高度。在这种情况下，在提取的水平平面中，具有指定高度的水平平面可以被视为对应于底面。例如，可以通过使用放置在底面上的标记来指定底面的高度。然而，优选的是，区域确定装置1计算底面的高度，因为不存在必须放置标记的麻烦。

分类部141还从诸如3D网格的空间信息中提取对应于障碍物的平面。不对应于底面的平面可以简单地被视为对应于障碍物。替选地，可以预先建立将平面视为障碍物的条件，并且不符合条件的平面可以被视为不对应于障碍物。

例如，假设目标对象的大小为1m，而平面的高度为距底面5米。在这种情况下，目标对象不与平面碰撞，因此可以确定平面不是目标对象的障碍物。可以另外地进行这种类型的确定，以防止目标对象周围不影响目标对象移动的这些区域不被视为允许区域。

在另一示例中，在目标对象是车辆并且包括多个平面的对象的体积等于或小于预定值的情况下，该对象被视为不影响车辆的行驶。然后，构成该对象的平面可以被确定为不是目标对象的障碍物。以这种方式，可以建立确定给定平面是否对应于障碍物的条件。

区域识别部142识别与对应于底面的平面有关的底面区域以及与对应于障碍物的平面有关的障碍物区域。例如，包括对应于障碍物的平面的三维形状可以被投影以获得二维区域。

图4是描绘示例性底面区域的图。图5是描绘示例性障碍物区域的图。在图4和图5的示例中，在鸟瞰图中分别指示了底面区域和障碍物区域。在图4的示例中，深色部分表示底面区域。在图5的示例中，深色部分表示障碍物区域。

注意，底面区域和障碍物区域可以部分地彼此交叠。例如，在存在诸如桌子的不覆盖底面的对象的情况下，该对象下方的底面也被指示为底面区域，并且与该对象相关的平面被指示为障碍物区域。因此，在图4和图5的鸟瞰图中，两个区域彼此交叠。

允许区域确定部143基于底面区域和障碍物区域确定允许区域。图6是描绘示例性允许区域的图。在图6的示例中，深色部分表示允许区域。

允许区域确定部143可以将通过从底面区域移除底面区域与障碍物区域之间的交叠部分而留下的区域确定为允许区域。为了增强安全性，可以减小其余区域的尺寸。在允许区域不是由连续区域而是由多个离散区域(如飞地)形成的情况下，可以删除多个区域中不包括目标对象的位置的那些区域。另外，可以部分地删除底面区域。例如，可能存在底面区域包括在尺寸上小于目标对象的部分的情况。则这样的部分可以被删除，因为目标对象不能通过它。此外，在通过删除该部分而分开的区域中，可以删除不包括目标对象的位置的区域。以这种方式，允许区域确定部143可以通过调整通过从底面区域中移除底面区域与障碍物区域之间的交叠部分而留下的区域来确定允许区域。此外，可以通过学习预先生成深度神经网络(DNN)，使得该网络将在输入对应于底面和对应于障碍物的平面时输出允许区域。然后，允许区域确定部143可以通过使用由此生成的DNN来计算允许区域。

允许区域确定部143可以计算如图2中虚线31所指示的允许区域的边界线。可以通过使用诸如行进方格(Marching Squares)的方法来计算边界线。注意，可以计算出多个边界。在这种情况下，考虑到边界的长度和边界到目标对象的距离来选择边界中的一个边界是足够的。此外，允许区域确定部143可以通过在重力方向上延伸边界线来计算诸如图2中的墙32的虚拟墙。

允许区域处理部15(输出部)使用由此确定的允许区域来执行处理。例如，允许区域处理部15可以简单地输出关于允许区域的信息。关于允许区域的信息可以是用于使目标对象认识允许区域的信息。例如，允许区域处理部15可以生成诸如图2和图6中的图像的指示允许区域及其边界线的图像，并且可以将所生成的图像输出至指定的显示单元。在目标对象是人的情况下，可以提示该人查看允许区域，以减少目标对象超出允许区域的危险。

优选的是，当目标对象接近允许区域的边界时，向目标对象警示危险。因此，在目标对象与允许区域的边界之间的距离等于或小于预定值的情况下，允许区域处理部15可以输出警告图像或声音，即给出警报。

替选地，允许区域处理部15可以输出关于目标对象的移动的指示。例如，当目标对象接近允许区域的边界时，允许区域处理部15可以给出按远离允许区域的边界的方式移动的指示。替选地，允许区域处理部15可以根据目标对象的位置来改变指示的内容。例如，在要发出向左移动1m的指示并且向左移动1m被认为太靠近允许区域的情况下，可以进行调整以发出向左移动0.5m的替选指示。可以以这种方式发出指示以使对象的移动保持在允许区域内。

可能存在认识了所估计的允许区域的用户希望修改允许区域的情况。鉴于这种情况，可以使信息处理装置接受对所估计的允许区域的修改并且相应地更新允许区域。这仍然通过省去了需要用户从一开始就手动指定允许区域来减少用户的麻烦。

下面说明了所涉及的处理的流程。图7是由根据第一实施方式的区域确定装置1执行的总体处理的示意性流程图。注意，该流程可以通过诸如时间的流逝、目标对象的移动以及附近对象的移动的触发因素而重复地执行。该流程与使用目标对象的位置、重力方向和空间信息的情况有关。

位置估计部获取目标对象的位置(S101)。重力方向获取部获取重力方向(S102)。空间信息生成部12基于目标对象的位置和距离测量信息生成空间信息(S103)。区域计算部14基于目标对象的位置、重力方向和空间信息执行区域计算处理(S104)。稍后将讨论区域计算处理的流程。对于通过区域计算处理确定的允许区域，允许区域处理部15基于允许区域输出信息(S105)。如上所述，允许区域处理部15可以输出使目标对象认识允许区域的信息，或者在不使目标对象意识到允许区域的情况下，输出关于防止目标对象超出允许区域的指示的信息。

图8是根据第一实施方式的区域计算处理的示意性流程图。该流程对应于上述总体处理中的S104的处理。

分类部141计算一方面空间信息中的每个平面的法线与另一方面重力方向之间的角度，并且基于计算出的角度，从平面中提取被认为是水平的那些平面(S201)。分类部141还计算每个平面的高度(S202)。注意，虽然总是获得被认为是水平的每个平面的高度，但仅需要根据需要获得不被认为是水平的那些平面的高度。

在被认为是水平的平面的高度的基础上，分类部141从水平平面中提取对应于底面的水平平面(S203)。在指定了底面的高度的情况下，仅将具有指定高度的平面视为对应于底面。在没有指定底面的高度的情况下，具有恒定高度并且被视为对应于底面的水平平面的数目被假定为这些平面中最大的。将被认为是水平的平面按高度分组，并且将属于最大组的平面确定为对应于底面，这是足够的。

分类部141还基于诸如高度的条件从不对应于底面的平面中提取对应于障碍物的平面(S204)。不对应于底面的平面可以简单地被视为对应于障碍物。不符合诸如面积和高度的条件的平面可以被视为不对应于障碍物。

区域识别部142从对应于底面的平面计算底面区域，并且从对应于障碍物的平面计算障碍物区域(S205)。然后，允许区域确定部143基于底面区域和障碍物区域计算允许区域(S206)。这完成了处理流程。

注意，本公开内容中的流程图仅是示例，所涉及的处理步骤可能不一定如上述流程中描述地执行。只要可以获得处理所需的数据，处理步骤可以切换顺序或彼此并行地执行。例如，仅需要在区域计算处理之前执行重力方向的获取(S102)。因此，可以获取在对象的位置之前进行重力方向的获取(S102)。(S101).

如上所述，第一实施方式自动地确定底面和允许区域。这省去了用户指定区域和底面的时间和精力。

通过输出描绘允许区域的图像和发出用于指示目标对象与允许区域之间的接近距离的警报，可以防止目标对象超出允许区域。也可以给目标对象不超出允许区域的指示。

在障碍物中，由于其高度不同而不妨碍目标对象的移动的障碍物可以被视为不是障碍物。这提高了允许区域的准确度。例如，在基于从上方拍摄的摄像装置图像确定允许区域的系统中，立交桥(overpass)下方或照明装置下方的区域被指定为不允许。可以通过第一实施方式来避免这种情况。

(第二实施方式)

图9是描绘根据第二实施方式的区域确定装置1的示例性配置的图。在图9的示例中，区域计算部14还包括未知区域确定部144和空区域识别部145。

注意，出于说明的目的，图9中的示例包括未知区域确定部144和空区域识别部145。替选地，可以仅包括两个部分中的一个。

在第一实施方式中，存在于空间中的对象被表达为包括在空间信息中的平面。在计算允许区域时，这些平面被分类为底面和障碍物。然而，例如，存在这样一种可能性，即由于摄像装置噪声的原因，存在于空间中的一些对象可能不会被指示为包括在空间信息中的平面。鉴于此，第二实施方式假设使用占用网格地图以附加地利用包括在占用网格地图中的信息的情况。

图10是描绘示例性占用网格地图的图。占用网格地图包括称为体素的立方体单元格。每个体素具有与体素区域中是否存在对象的概率有关的值。例如，可能存在由于摄像装置的振动引起的噪声而无法准确地检测对象的情况。因此，有一种做法是数字地呈现对象是否存在的概率。在占用网格地图中，基于这样的值和预定的阈值，将体素分类为占用体素(被对象占用)、空闲体素(未被对象占用)和未知体素(不知道是否存在对象)。例如，对象存在的概率高于第一阈值的体素被分类为占用体素；对象存在的概率低于第二阈值的体素被分类为空闲体素；并且对象存在的概率等于或低于第一阈值但等于或高于第二阈值的体素被分类为未知体素。因此，可以说占用网格地图中的每个体素具有以下三种信息之一：占用、空闲和未知。注意，在图10的示例中，省略了具有空闲体素信息的体素。

如上所述，空间信息涉及使用多个平面来表示存在于三维空间中的对象。因此，在通过使用占用网格地图生成空间信息的情况下，占用体素被用于生成空间信息。也就是说，第一实施方式使用占用体素，不使用空闲体素和未知体素。另一方面，第二实施方式在计算允许区域时还使用空闲体素和未知体素。

注意，尽管当前说明假设使用空间信息和占用网格地图二者，但空间信息可以通过使用3D网格生成，并且占用网格地图可以在确定未知区域和空区域时使用，这将在后面讨论。3D网格可以仅用于检测底面。

例如，与存在多个未知体素的位置对应的二维区域可能被推测为未知区域，该未知区域被排除在允许区域之外。图11是说明如何计算未知区域的图。图11的上部分指示与体素的宽度和高度平行的平面。图11的下部分描述了从上平面生成并且与体素的长度和宽度平行的未知区域。在上平面左起第一列、第二列和第十列的体素中的大部分具有未知的体素信息。出于该原因，在下侧的二维区域中，与左起第一列、第二列和第十列对应的部分被认为是未知区域。例如，通过从允许区域中移除未知区域，可以防止由于噪声等而未检测到的障碍物被包括在允许区域中。

如上所述，未知区域确定部144可以基于每个体素所拥有的信息来确定未知区域。注意，可以根据需要定义用于确定的条件。例如，如图11的上部分所指示的，至少预定数量的未知体素竖直堆叠的位置可以包括在未知区域中。至少预定数量的未知体素被竖直堆叠但至少预定数量的空闲体素也被堆叠的位置可以可选地被视为不构成未知区域。

可能存在底面涉及台阶的情况，例如，存在地面下的空间或楼梯的情况。也就是说，底面下方可能存在目标对象所处的平面。如结合第一实施方式说明的，在除底面之外的平面被认为是障碍物的情况下，底面下方的平面也被认为是障碍物，并且可能被视为不构成允许区域。然而，在大台阶将底面下方的平面从摄像装置遮挡住的情况下，与台阶有关的区域可能不被确定为障碍物区域。出于该原因，在底面下方发现空闲体素的区域可以被确定为空区域，该区域被排除在允许区域之外。

图12是说明如何计算空区域的图。图12的上部分描绘了与体素的宽度和高度平行的平面。图12的下部分指示从上平面生成的并且与体素的长度和宽度平行的空区域。上平面的第三行中的占用体素构成底面。在高度上与底面一致的占用体素可以被视为底面。底面的高度可以指定，或者可以通过上面讨论的分类部来估计。在上平面左起第一列至第三列中，底面下方存在空闲体素。因此，与下面的二维区域中左起第一列至第三列对应的部分被认为是空区域。例如，通过将空区域从允许区域中排除，可以减少目标对象落入洞中的风险。

如上所述，空区域识别部145可以基于位于底面下方的体素所拥有的信息来识别空区域。注意，可以根据需要调整用于识别的条件。

注意，允许区域确定部143可以首先基于底面区域和障碍物区域计算允许区域，然后基于未知区域和空区域扩大或缩小计算出的允许区域。替选地，允许区域确定部143可以首先计算影响允许区域的生成的所有区域，例如，底面区域、障碍物区域、未知区域和空区域，然后通过对所有计算出的区域执行逻辑运算(例如，并集、集合差和交集)来计算允许区域。

图13是根据第二实施方式的区域计算处理的示意性流程图；S201至S205中的处理与第一实施方式的流程图中相同。另一方面，流程图中的处理补充了由未知区域确定部144执行的未知区域计算处理(S301)和由空区域识别部145执行的空区域计算处理(S302)。注意，未知区域计算处理(S301)可以与S201至S205中的处理并行地执行。在预先指定底面的情况下，空区域计算处理(S302)可以与S201至S205中的处理并行地执行。如图13中的示例，在未指定底面的情况下，在底面被分类部识别之后执行空区域计算处理(S302)。然后，允许区域确定部143基于在前述处理中计算的区域计算允许区域(S303)。

注意，允许区域确定部143可以至少基于未知区域或空区域减少允许区域。例如，在未知区域和空区域被视为是危险的情况下，允许区域可以被减少到距未知区域和空区域预定距离的点。

图14包括说明如何基于空区域减少允许区域的视图。图14中的视图(A)描绘了像阁楼一样建造的房间；正面的地面没有延伸到背面。因此，在正面的地面被视为底面的情况下，在由包围线51包围的部分中没有底面，该部分是空的。如果目标对象在这样的位置移动，担心目标对象会坠落。在这种情况下，可以优选地减少允许区域。

图14中的视图(B)描绘了指示尚未减少的允许区域的边界的白色包围线。虽然比涂黑的底面区域小，但允许区域被建立成靠近与包围线51对应的空区域52。因此，在目标对象不慎超出允许区域的情况下，存在目标对象坠落的危险。

鉴于上述情况，基于距一方面不存在对象的区域(例如，空区域)与另一方面应该存在对象的区域(例如，底面区域)之间的边界的距离来减少允许区域。图14中的视图(C)描绘了指示基于距边界的距离减少的允许区域的白色包围线。与图14中的视图(B)中的允许区域的比较表明视图(C)中允许区域的边界并不那么接近深色位置与白色位置之间的边界。这意味着图14中视图(C)的情况下坠落的风险比视图(B)的情况小。

例如，可以取决于区域确定装置1的目的根据需要来确定要减少的距离。也可以根据需要选择减少距离的方法。例如，减少允许区域的一种方法可以涉及将二维区域划分为单元格，计算每个单元格的中心与边界之间的最短距离，并且排除其中最短距离等于或小于阈值的单元格。

如上所述，第二实施方式使用占用网格地图中的信息来识别不包括在允许区域中的区域(例如，未知区域和空区域)，从而确定不包括所识别的未知区域和空区域的允许区域。这提供了确保比第一实施方式更高的安全性的有利的效果。

(第三实施方式)

图15是描绘根据第三实施方式的区域确定装置1的示例性配置的图。在图15的示例中，区域计算部14还包括周围区域确定部146。注意，尽管图15中的示例是由补充了周围区域确定部146的第一实施方式形成的，但该示例可以替选地由补充了周围区域确定部146的第二实施方式形成。也就是说，周围区域确定部146可以与至少未知区域确定部144或空区域识别部145一起被包括在区域确定装置1中。

在第三实施方式中，目标对象的周围区域被包括在允许区域中。图16是说明第三实施方式的假设使用的图。如图16的左侧部分所指示的，配备有摄像装置的HMD被附接至目标对象。在这种情况下，摄像装置不拍摄目标对象的图像。这意味着非常靠近目标对象的区域可能不会被认识为允许区域。在没有摄像装置附接至目标对象的情况下，目标对象本身可能被视为障碍物，而目标对象的周围环境可能不被认识为允许区域。因此，周围区域确定部146可以计算距目标对象预定距离内的区域作为周围区域，并且允许区域确定部143可以基于由此计算的周围区域计算允许区域。

周围区域确定部146基于目标对象的位置，提取由分类部141计算的底面区域的一部分，并且将提取的部分确定为周围区域。注意，仅需要以类似于第一实施方式的方式获取目标对象的位置。也就是说，位置获取部11既可以直接从外部获取目标对象的位置，也可以从外部获得关于目标对象的位置的信息，以从所获得的信息计算目标对象的位置。例如，在摄像装置附接到目标对象的情况下，位置获取部可以首先获取摄像装置的位置，然后通过使用摄像装置位置和预定的计算方法来计算目标对象的位置。例如，在摄像装置以拍摄目标对象行进方向的图像的方式被附接的情况下，目标对象可能位于在与摄像装置的观察方向的相反方向上距摄像装置预定距离处，如图16的右边部分所指示的。可以预先确定这种计算方法。

可以根据需要确定周围区域的大小。例如，区域识别部142可以将以目标对象的位置为中心的具有预定半径的圆或反映目标对象的大小的形状识别作为周围区域。也就是说，可以取决于区域确定装置1的目的根据需要来限定目标对象的周围区域的形状。

例如，在目标对象是人的情况下，周围区域可以根据摄像装置角度被设置为椭圆的形状。其原因是，人体在横向方向上通常比在前后方向上更宽，并且人弯腰得越多，身体在前后方向上延伸得越多。例如，在周围区域被限定为椭圆的形状的情况下，将短轴的长度和长轴的长度准备为参数。接下来计算摄像装置的正面方向的矢量与重力方向的矢量之间的角度。然后可以通过使用通过相对于计算出的角度线性地改变短轴的长度获得的每个轴方向的长度来计算周围区域。

在另一示例中，在目标对象是生物的情况下，周围区域的大小可以从该生物的标准体形的记录中确定。例如，在区域确定装置1获取关于给定目标对象的数据的情况下，周围区域确定部146从所获取的数据预测目标对象的体部特征。例如，在接收到诸如目标对象的年龄、性别和国籍的数据之后，周围区域确定部146可以从合适的数据库等中获取关于符合所接收数据的目标对象的标准体型的数据，并且基于所获取的标准体型，可以确定周围区域的大小。

在另一示例中，周围区域的大小可以根据目标对象的姿势来确定。例如，已知由摄像装置成像的人的姿势可以通过使用现有的姿势估计技术来估计。然后可以将所估计的姿势投影到二维平面上以计算拟合圆或椭圆，从而允许计算周围区域。

注意，替选地，来自与用于成像障碍物的摄像装置不同的摄像装置的图像、来自传感器的测量结果等可以被用作用于计算周围区域的基础。例如，可能存在为了检测和跟踪目标对象的移动而将传感器附接至目标对象的情况。在这种情况下，来自所附接的传感器的测量结果可以用于确定周围区域的大小。

也可能存在实时地或以预定的间隔计算周围区域的情况。在多次计算周围区域的这种情况下，周围区域确定部可以以这样的方式执行计算，即，先前计算的周围区域被包括在这次要计算的周围区域中。也就是说，可以基于先前的周围区域生成新的周围区域，并且目标对象的移动的轨迹(locus)可以被包括在所生成的周围区域中。

图17是描绘其中周围区域被包括在允许区域中的示例的图。在图17的左侧部分，作为目标对象的用户2所位于的地面不包括在允许区域3中。在图17的右侧部分，另一方面，用户2所位于的地面被包括在允许区域3中。在使用计算出的允许区域进行二次处理的情况下，这使得可以防止根据允许区域中不存在目标对象而产生的问题。

图18是根据第三实施方式的区域计算处理的示意性流程图。S201至S205中的处理与第一实施方式的流程图中相同。在S205的处理之后，由周围区域识别部执行周围区域计算处理(S401)。除了底面区域和障碍物区域之外，允许区域确定部143至少基于周围区域计算允许区域(S402)。注意，显然，也可以基于未知区域和空区域计算允许区域。

注意，可能存在目标对象周围存在障碍物的情况或在目标对象周围错误地检测到障碍物的存在的情况。出于这些原因，区域确定装置1可以请求被指示关于是否将目标对象的周围包括在允许区域中，并且响应于该请求的给出指示确定是否将目标对象的周围包括在允许区域中。

如上所述，第三实施方式计算目标对象的周围区域，并且使计算出的周围区域包括在允许区域中。这提高了基于允许区域的二次处理的准确性。

构成本公开内容的实施方式的装置和设备的处理可以通过例如由CPU(中央处理单元)或由GPU(图形处理单元)执行的软件(程序)来实现。注意，替选地，所涉及的装置和设备的处理可以不完全由软件执行，而是部分地由硬件(例如，由专用电路)执行。

注意，上述实施方式是仅用于体现本公开内容的示例，其也可以在各种其他实施方式中实现。例如，在不背离本公开内容的主旨和范围的情况下，这些实施方式可以被修改、替换或简化，或者可以多样化地组合。以这种方式改变的实施方式也包括在本公开内容的范围内，以及所附权利要求或其等同物的范围内。

注意，本公开内容还可以采用以下配置。

(1)一种信息处理装置，包括：

分类部，其被配置成将在通过使用多个平面表示存在于三维空间中的对象的空间信息中所包括的多个平面至少分类为对应于底面的平面和对应于障碍物的平面；

区域识别部，其被配置成识别与对应于底面的平面有关的底面区域和与对应于障碍物的平面有关的障碍物区域；以及

允许区域确定部，其被配置成基于所述底面区域和所述障碍物区域计算允许所述三维空间中所存在的目标对象位于其中的允许区域。

(2)根据(1)所述的信息处理装置，

其中，所述分类部

计算所述多个平面中的每一个平面的法线与重力方向之间的角度，

基于所述角度，从所述多个平面中选择被认为是水平面的平面，以及

从被认为是水平的平面中选择所述底面。

(3)根据(2)所述的信息处理装置，

其中，所述分类部

计算所述三维空间中的被认为是水平的平面的高度，

基于所计算的高度，将被认为是水平的平面分类为多个组，并且

选择属于所述多个组中具有最大数量的平面的组的平面作为所述底面。

(4)根据(3)所述的信息处理装置，

其中，所述分类部

计算所述三维空间中的所述多个平面的高度，并且

基于所计算的高度，将除了所述底面之外的多个平面分类为对应于障碍物的平面和不对应于障碍物的平面。

(5)根据(1)至(4)中任一项所述的信息处理装置，还包括：

输出部，其被配置成输出指示所述允许区域的图像。

(6)根据(1)至(4)中任一项所述的信息处理装置，还包括：

输出部，其被配置成在所述目标对象与所述允许区域的边界之间的距离等于或小于预定值的情况下，输出给出警告的图像或声音。

(7)根据(1)至(4)中任一项所述的信息处理装置，还包括：

输出部，其被配置成输出关于所述目标对象的移动的指示，并且调整所述指示以使得所述目标对象的移动保持在所述允许区域内。

(8)根据(1)至(7)中任一项所述的信息处理装置，还包括：

空间信息生成部，其被配置成生成所述空间信息。

(9)根据(8)所述的信息处理装置，

其中，所述空间信息生成部根据由附接到所述目标对象的距离测量装置获取的、指示与周围对象的距离的距离测量信息生成所述空间信息。

(10)根据(9)所述的信息处理装置，

其中，所述空间信息生成部根据由所述距离测量装置测量的距离测量信息生成所述空间信息，并且

基于所述目标对象的位置，所述空间信息生成部从所述距离测量信息或所述空间信息中移除对应于所述目标对象的信息。

(11)根据(3)所述的信息处理装置，还包括：

距离测量部，其被配置成通过测量与被摄体的距离来生成距离测量信息；

空间信息生成部，其被配置成根据所述距离测量信息生成所述空间信息；

重力方向获取部，其被配置成获取重力方向；以及

输出部，其被配置成输出关于所述允许区域的信息。

(12)根据(1)至(11)中任一项所述的信息处理装置，还包括：

未知区域确定部，其被配置成基于占用网格地图确定未知区域，

其中，所述占用网格地图通过使用多个三维单元格来表示所述三维空间，

所述多个单元格中的至少一部分单元格具有未知信息，所述未知信息指示单元格是否被对象占用是未知的，

所述未知区域确定部基于具有所述未知信息的三维单元格的位置来确定所述未知区域，并且

所述允许区域确定部防止所述未知区域被包括在所述允许区域中。

(13)根据(12)所述的信息处理装置，

其中，所述未知区域确定部将至少预定数量的具有所述未知信息的三维单元格在竖直方向上堆叠的位置包括在所述未知区域中。

(14)根据(12)所述的信息处理装置，

其中，所述未知区域确定部不将下述位置包括在所述未知区域中：在该位置处，至少预定数量的具有所述未知信息的三维单元格在竖直方向上堆叠，但是至少预定数量的具有指示单元格未被对象占用的未占用信息的三维单元格也堆叠。

(15)根据(1)至(14)中任一项所述的信息处理装置，还包括：

空区域识别部，其被配置成基于占用网格地图来识别空区域，

其中，所述占用网格地图通过使用多个三维单元格来表示所述三维空间，

所述多个单元格中的至少一部分单元格具有未占用信息，所述未占用信息指示单元格未被对象占用，

所述空区域识别部基于具有所述未占用信息的三维单元格的位置来确定空区域，并且

所述允许区域确定部不将所述空区域包括在所述允许区域中。

(16)根据(15)所述的信息处理装置，

其中，所述空区域识别部将具有所述未占用信息并且位于低于与所述底面对应的平面的三维单元格的位置包括到所述空区域中。

(17)根据(1)至(16)中任一项所述的信息处理装置，还包括：

周围区域确定部，其被配置成至少基于目标对象的位置计算构成所述底面区域的一部分并且包括所述目标对象的位置的区域作为周围区域。

其中，所述允许区域确定部还基于所述周围区域计算所述允许区域。

(18)根据(17)所述的信息处理装置，

其中，所述周围区域确定部基于摄像装置的成像方向和重力方向调整所述周围区域的形状或大小。

(19)根据(17)或(18)所述的信息处理装置，

其中，所述周围区域确定部基于关于所述目标对象的属性信息识别所述目标对象的一般尺寸，并且根据所述目标对象的一般尺寸调整所述周围区域的形状或大小。

(20)根据(17)至(19)中任一项所述的信息处理装置，

其中，所述周围区域确定部根据所述目标对象的姿势来调整所述周围区域的形状或大小。

(21)一种信息处理方法，其包括以下步骤：

将在通过使用多个平面表示存在于三维空间中的对象的空间信息中所包括的多个平面至少分类为对应于底面的平面和对应于障碍物的平面；

计算与对应于底面的平面有关的底面区域和与对应于障碍物的平面有关的障碍物区域；以及

基于所述底面区域和所述障碍物区域，计算允许所述三维空间中所存在的目标对象位于其中的允许区域。

(22)一种用于由计算机执行的程序，所述程序包括以下步骤：

将在通过使用多个平面表示存在于三维空间中的对象的空间信息中所包括的多个平面至少分类为对应于底面的平面和对应于障碍物的平面；

计算与对应于底面的平面有关的底面区域和与对应于障碍物的平面有关的障碍物区域；以及

基于所述底面区域和所述障碍物区域，计算允许所述三维空间中所存在的目标对象位于其中的允许区域。

[附图标记列表]

1：区域确定装置(信息处理装置)

11：位置获取部

12：空间信息生成部

13：重力方向获取部

14：区域计算部

141：分类部

142：区域识别部

143：允许区域确定部

15：允许区域处理部(输出部)

2：用户

3：允许区域的示例

31：虚线

32：虚拟墙壁

4：3D网格

41：单元平面(网格)

51：包围线

52：空区域