标记物

技术领域

本发明涉及用于推定姿势的标记物。

背景技术

到目前为止，设计出能够通过利用单反相机进行拍摄来计测三维空间中的位置、姿势的平面图案，通常将其称为平面型标记物。

这样的平面型标记物在增强现实(Augmented Reality：AR)或机器人学的领域等中被粘贴于测定对象来使用，上述姿势根据平面型标记物的轮廓形状的外观上的变形并通过投影变换的原理来推定。

然而，根据条件的不同，平面型标记物M向图像上的投影相比图16A所示的透视投影而言更接近图16B所示的正投影，该平面型标记物相对于相机虽然具有图17所示的平面型标记物M1、M2的任一姿势，但是产生无法唯一地推定这样的姿势的不定性的问题。

在此，专利文献1记载的平面型标记物是为了解决这样的问题而设计出的方案，具有如下的结构：由柱状透镜和条纹纹样的组合构成且生成根据观察的角度而变化的莫尔条纹(干涉条纹)的RAS(旋转角度标度：Rotation Angle Scale)标记物单元沿着以往的某AR标记物的相邻的两条边分别附设。

需要说明的是，关于具有这样的结构的平面型标记物，非专利文献1中也有详细记载。

在先技术文献

专利文献

专利文献1：日本特开2012-145559号公报

非专利文献

非专利文献1：H.Tanaka,Y.Sumi,and Y.Matsumoto,“A Visual Marker forPrecise Pose Estimation based on Lenticular Lenses”,Proc.2012IEEEInternational Conference on Robotics and Automation(ICRA2012),pp.5222-5227,Saint Paul,USA.2012.

发明内容

发明的概要

发明要解决的课题

在上述那样的平面型标记物中，上述RAS标记物单元相对于观察的角度即观测方向具有周期性且对称性的结构，因此，能够唯一地推定出姿势的情况被限定为距标记物正对位置的角度在一定的范围内。

本发明为了解决上述那样的问题而作出，其目的在于通过提供在更宽的角度范围内唯一地推定出上述姿势的方案来实现更高精度的姿势推定。

用于解决课题的方案

为了解决上述课题，本发明提供一种标记物，其具备二维图案码以及由在绕中心轴180度的范围内的侧面上附有纹样的透明圆柱体构成且相互正交地设置在与上述二维图案码相同的平面上的至少两个姿势翻转检测图案。

在此，也可以取代上述透明圆柱体而通过具有剖面为半圆且在表面附有纹样的槽的基材和嵌合于上述槽的透明圆柱体来构成上述姿势翻转检测图案。

另外，为了解决上述课题，本发明提供一种标记物，其具备二维图案码以及由在半球面上附有纹样的透明球体构成且设置在与上述二维图案码相同的平面上的至少一个姿势翻转检测图案。

在此，也可以取代上述透明球体而通过具有在表面附有纹样的半球状的凹部的基材和嵌合于所述凹部的透明球体来构成上述姿势翻转检测图案。

发明效果

根据本发明，通过提供在更宽的角度范围内唯一地推定出姿势的方案，由此能够实现更高精度的姿势推定。

附图说明

图1是用于说明视线及视线角度的定义的图。

图2是表示本发明的实施方式的平面型标记物1的结构的图。

图3是表示图2所示的姿势翻转检测图案Fx、Fy的第一实施例的姿势翻转检测图案F1的基本结构的图。

图4是表示图3所示的透明圆柱体2的着色图案3的图。

图5A是图3所示的姿势翻转检测图案F1的立体图。

图5B是用于说明图5A所示的绕旋转轴ra的视线角度SA的定义的图。

图6是表示通过图3所示的姿势翻转检测图案F1生成的像的图。

图7是表示与视线角度SA对应的姿势翻转检测图案F1的观察方式的图，图7的(a)是表示视线角度SA为正值时的外观的图，图7的(b)是表示视线角度SA为0时的外观的图，图7的(c)是表示视线角度SA为负值时的外观的图。

图8是表示使用图2所示的平面型标记物1来推定附有平面型标记物1的对象物的位置及姿势的方法的流程图。

图9是表示图2所示的姿势翻转检测图案Fx、Fy的第二实施例的姿势翻转检测图案F2的结构的图。

图10是表示图2所示的姿势翻转检测图案Fx、Fy的第三实施例的姿势翻转检测图案F3的结构的图。

图11是表示图10所示的姿势翻转检测图案F3的观察方式的图，图11的(a)是表示从图10所示的方向D1观察时的外观的图，图11的(b)是表示从图10所示的方向D2观察时的外观的图。

图12A是表示图2所示的姿势翻转检测图案Fx、Fy的第四实施例的姿势翻转检测图案F4的结构的图。

图12B是表示从图12A所示的方向D3～D5观察姿势翻转检测图案F4时的外观的图。

图13A是表示图2所示的姿势翻转检测图案Fx、Fy的第五实施例的姿势翻转检测图案F5的结构的图。

图13B是表示从图13A所示的方向D3～D5观察姿势翻转检测图案F5时的外观的图。

图14A是表示图2所示的姿势翻转检测图案Fx、Fy的第六实施例的姿势翻转检测图案F6的结构的图。

图14B是表示从图14A所示的方向D3～D5观察姿势翻转检测图案F6时的外观的图。

图15A是表示图2所示的姿势翻转检测图案Fx、Fy的第七实施例的姿势翻转检测图案F7的结构的图。

图15B是表示图2所示的姿势翻转检测图案Fx、Fy的第八实施例的姿势翻转检测图案F8的结构的图。

图16A是为了说明平面型标记物M的姿势的不定性的问题而示出向拍摄图像上的投影成为透视投影的情况的图。

图16B是为了说明平面型标记物M的姿势的不定性的问题而示出向拍摄图像上的投影接近于正投影的情况的图。

图17是用于说明图16所示的平面型标记物M的姿势的不定性的问题的第三图。

具体实施方式

以下，参照附图，详细说明本发明的实施方式。需要说明的是，图中相同符号表示相同或相当的部分。

首先，参照图1，说明视线及视线角度的定义。需要说明的是，以下，以绕X轴的事项为例进行说明，但是绕任意的轴的事项当然也可被同样地定义。

将图1所示的连结观测视点VP与对象物体B的中心即原点0的线L称为视线。而且，如图1所示，将包括成为对象物体B的XY平面上的垂线的Z轴和与Z轴正交的X轴的平面设为平面P1，将包括表示视线的线L和X轴的平面设为平面P2时，将平面P1与平面P2所成的角SA称为绕X轴的视线角度。以下，以本定义为前提来详细说明本发明的实施方式的平面型标记物1。

本说明书中的[发明要解决的课题]一栏记载的伴有不定性的姿势翻转可以说是在物理上绕着对平面型标记物的该平面进行规定的X轴及Y轴的视线角度的符号翻转的现象。因此，为了检测该符号翻转，至少需要与上述X轴及Y轴分别正交地配设的两个姿势翻转检测图案。

在此，姿势翻转检测图案具有用于在外观上判定绕某一轴的视线角度是正值还是负值的结构，关于本结构在后文进行详细说明。

图2是表示本发明的实施方式的平面型标记物1的结构的图。如图2所示，平面型标记物1具备例如包括在黑底上用白色表示的二维图案码的平面视觉标记物MA、以及在与上述二维图案码相同的平面上相互正交地设置的至少两个姿势翻转检测图案Fx、Fy。

在此，如后所述，姿势翻转检测图案Fx具有检测绕X轴的姿势翻转的功能，姿势翻转检测图案Fy具有检测绕Y轴的姿势翻转的功能。

例如在平面型标记物1具备两个姿势翻转检测图案Fx、Fy的情况下，在平面视觉标记物MA的周围使姿势翻转检测图案Fx、Fy如上所述那样相互正交的配置的方法考虑有四种。

具体而言，姿势翻转检测图案Fx相对于平面视觉标记物MA的与X轴平行的第一边平行地配设，姿势翻转检测图案Fy相对于平面视觉标记物MA的与Y轴平行且与上述第一边相邻的第二边平行地配设，其一例如图2所示。

以下，详细说明姿势翻转检测图案Fx、Fy的结构。图3是表示图2所示的姿势翻转检测图案Fx、Fy的第一实施例的姿势翻转检测图案F1的基本结构的图。如图3所示，姿势翻转检测图案F1由在绕中心轴ra 180度的范围内的侧面上附有纹样的透明圆柱体2构成。

需要说明的是，未附有上述纹样的一侧的绕中心轴ra180度的范围内的侧面为透明(以下，将本侧面称为“透明侧侧面”。)，通过透明侧侧面能视觉辨认到上述纹样。

在此，透明圆柱体2由通过亚克力或玻璃等透明原料形成的圆柱构件构成，上述纹样的一例示出为图4的着色图案3。需要说明的是，图4中的着色图案3的宽度w表示成为透明圆柱体2的底面的圆的半圆周的长度。

如图4所示，着色图案3例如包括：在上述侧面中的绕中心轴ra90度的范围内，沿中心轴ra方向至少分为黑色部bk和白色部wt这两色的第一着色部c1；以及在与第一着色部c1相邻的绕中心轴ra90度的范围内，与第一着色部c1不同地沿中心轴方向ra至少分为白色部wt和黑色部bk这两色的第二着色部c2。

以下，参照图5A及图5B～图7，说明具有上述那样的结构的姿势翻转检测图案F1的观察方式。需要说明的是，作为前提，将图5A所示的绕姿势翻转检测图案F1的旋转轴ra的视线角度定义为如下的角：如图5B所示，在利用以旋转轴ra为法线的平面剖切透明圆柱体2所得的剖面中，将能够正面地视觉辨认出白色部wt与黑色部bk的交界的透明侧侧面的位置设为基准轴(0度)、将向白色部wt侧的旋转角设为正且将向黑色部bk侧的旋转角设为负时的、表示视线的线L与上述基准轴所成的角。

在此，姿势翻转检测图案F1通过透明圆柱体2的透镜效应而发挥形成将侧面上附有的纹样的一部分放大了的像的作用，图6示出从黑色部bk的一部分射出的反射光形成黑色的像Ig1的例子。

因此，发挥这样的作用的姿势翻转检测图案F1呈现出如图7的(a)～(c)所示那样根据视线角度而白色部wt与黑色部bk的位置更替那样的外观。

即，如果将旋转轴ra的箭头的朝向表现为上侧，则如图7的(a)所示在视线角度为正(+)的情况下，呈现出上侧为黑色部bk而下侧为白色部wt的外观，另一方面，在如图7的(c)所示视线角度为负(-)的情况下，上侧与下侧的颜色更替，呈现出上侧为白色部wt而下侧为黑色部bk的外观。

需要说明的是，如图7的(b)所示，在视线角度为0的情况下，呈现出以图4所示的第一着色部c1与第二着色部c2的交界为中心线，上侧为从面向图的左侧开始黑色部bk与白色部wt相邻，下侧为从面向图的左侧开始白色部wt与黑色部bk相邻的外观。

根据以上那样的姿势翻转检测图案F1，如上所述透明圆柱体2发挥形成将侧面上附有的纹样的一部分放大了的像的作用，因此能够明确地检测出与视线角度的小变化对应的纹样的变化、即例如上述那样的白色与黑色的变化。这意味着通过检测上述纹样的变化而能够检测出视线角度的小变化，因此能够在更宽的角度范围内唯一地推定出姿势。以下，参照图8，说明本推定方法。

图8是表示使用图2所示的平面型标记物1来推定附有平面型标记物1的对象物的位置及姿势的方法的流程图。

如图8所示，在步骤S1中，通过对拍摄了平面型标记物1的图像进行分析的已知的方法来预推定附有平面型标记物1的对象物的位置及姿势。

接下来，在步骤S2中，检测根据上述姿势翻转检测图案Fx、Fy而得到的像。接下来，在步骤S3中，通过将姿势未翻转时得到的像与通过步骤S2实际检测到的像进行比对来判定是否认定有姿势翻转。并且，在通过步骤S2检测到的像与姿势未翻转时得到的像一致的情况下，判定为不认定有姿势翻转而进入步骤S5。另一方面，在通过步骤S2检测到的像与姿势未翻转时得到的像不一致的情况下，判定为认定有姿势翻转而进入步骤S4。

在步骤S4中，将在步骤S1中预推定出的上述姿势通过按照翻转模型进行变换来修正。需要说明的是，本修正通过国际公开WO2015/045834号公报所公开的方法来实现。

接下来，在步骤S5中，确定附有平面型标记物1的对象物的位置及姿势的推定值。

以下，说明替换图3所示的姿势翻转检测图案F1的另一实施例。图3所示的姿势翻转检测图案F1在侧面具有白色部wt和黑色部bk，但是在利用单色调的图像的情况下，只要能够辨别明暗，则颜色的组合也可以为白和黑以外。另一方面，在利用彩色图像的情况下，当然也可以为无彩色以外。

另外，向图3所示的姿势翻转检测图案F1的侧面着色的方法任意，除了向透明圆柱体2直接涂装或印刷之外，也可以粘贴印刷物。

另外，作为图2所示的姿势翻转检测图案Fx、Fy的第二实施例，可以使用如图9所示那样针对具有剖面为半圆且表面附有纹样的槽G的基材4使透明圆柱体2如箭头所示那样嵌合于上述槽G而成的姿势翻转检测图案F2。本姿势翻转检测图案F2是取代对透明圆柱体2的侧面着色而对槽G的表面着色的图案，图9示出着色为白和黑这两色的具体例。

另外，作为图2所示的姿势翻转检测图案Fx、Fy的第三实施例，可以使用如图10所示那样以中心轴ra平行且侧面彼此相接的方式将透明圆柱体2并列设置多个而成的姿势翻转检测图案F3。需要说明的是，在姿势翻转检测图案F3中，并列设置的各个姿势翻转检测图案F1所具有的纹样相同，透明侧侧面的位置也对齐。

这样，如果将姿势翻转检测图案F1并列设置多个，则从视线角度为0的方向观察姿势翻转检测图案时的二维的表面积增大，因此能够减小姿势翻转检测图案的厚度相对于本表面积之比而实现平面性。

在此，在从视线角度取为正值的图10所示的方向D1观察时，姿势翻转检测图案F3在整体上呈现出如图11的(a)所示那样上侧成为白色部wt而下侧成为黑色部bk的外观。另一方面，在从视线角度取为负值的图10所示的方向D2观察时，姿势翻转检测图案F3在整体上呈现出如图11的(b)所示那样上侧成为黑色部bk而下侧成为白色部wt的外观。由此可知，姿势翻转检测图案F3如姿势翻转检测图案F1单体那样发挥功能。

另外，作为图2所示的姿势翻转检测图案Fx、Fy的第四实施例，可以使用如图12A所示那样将纹样5如箭头那样附于透明圆柱体2的面向图观察时的背侧的半侧面上的姿势翻转检测图案F4，纹样5是以根据绕中心轴的方向而中心轴方向上的比率不同的方式将例如矩形的对角线作为交界线而其上侧和下侧分为黑和白这两色的纹样。具有这样的结构的姿势翻转检测图案F4根据视线角度而呈现出图12B所示的外观53～55。

即，从图12A所示的方向D3观察姿势翻转检测图案F4时，如图12B的外观53所示，黑色部只不过在上侧能稍微观察到，但是在从图12A所示的方向D5观察时，如图12B的外观55所示，黑色部占据大半。需要说明的是，如图12A所示，从相当于方向D3与方向D5的中间的方向D4观察时，如图12B所示的外观54那样，视觉辨认到的黑色部的量成为在外观53和外观55中观察到的量的中间程度。

根据发挥这样的作用的姿势翻转检测图案F4，通过检测由姿势翻转检测图案F4生成的像，由此能够检测绕透明圆柱体2的旋转轴的视线角度，因此可以作为角度计进行利用。

另外，作为图2所示的姿势翻转检测图案Fx、Fy的第五实施例，可以使用如图13A所示那样将纹样6如箭头那样附于透明圆柱体2的面向图观察时的背侧的半侧面上的姿势翻转检测图案F5，纹样6是根据绕中心轴的方向而沿着中心轴方向上的不同位置、例如矩形的对角线进行着色的纹样。具有这样的结构的姿势翻转检测图案F5根据视线角度而呈现出图13B所示的外观63～65。

即，在从图13A所示的方向D3观察姿势翻转检测图案F5时，如图13B的外观63所示，着色部在上侧的位置能观察到，但是在从图13A所示的方向D5观察时，如图13B的外观65所示，着色部在下侧的位置能观察到。需要说明的是，如图13A所示，在从相当于方向D3与方向D5的中间的方向D4观察时，如图13B所示的外观64那样，视觉辨认到的着色部的位置成为在外观63和外观65中观察到的位置的中间。

根据发挥这样的作用的姿势翻转检测图案F5，也是通过检测由姿势翻转检测图案F5生成的像而能够检测绕透明圆柱体2的旋转轴的视线角度，因此可以作为角度计进行利用。

另外，作为图2所示的姿势翻转检测图案Fx、Fy的第六实施例，可以使用如图14A所示那样将纹样7如箭头那样附于透明圆柱体2的面向图观察时的背侧的半侧面上的姿势翻转检测图案F6，纹样7是根据绕透明圆柱体2的中心轴的方向而具有不同的图案、颜色的纹样，例如是具有红色部rd和在中心轴方向上仅一部分被着色的黑色部bk及蓝色部bl的纹样。具有这样的结构的姿势翻转检测图案F6根据视线角度而呈现出图14B所示的外观73～75。

即，在从图14A所示的方向D3观察姿势翻转检测图案F6时，如图14B的外观73所示，能观察到蓝色部bl的像，但是在从图14A所示的方向D5观察时，如图14B的外观75所示，能观察到红色部rd的像。而且，如图14A所示，在从相当于方向D3与方向D5的中间的方向D4观察时，如图14B所示的外观74那样，能观察到在中心轴方向上仅一部分被着色的黑色部bk的像。

根据发挥这样的作用的姿势翻转检测图案F6，由姿势翻转检测图案F6生成的像的图案、颜色根据视线角度而变化，因此通过上述的图案、颜色能够显示附有姿势翻转检测图案F6的例如开关等对象物的绕该旋转轴的旋转状态。

另外，作为图2所示的姿势翻转检测图案Fx、Fy的第七实施例，可以如图15A所示，将由在半球面上附有纹样、例如红色部rd、黑色部bk、黄色部yl及蓝色部bl的透明球体20构成的至少一个姿势翻转检测图案F7设置在与平面视觉标记物MA相同的平面上。

根据这样的姿势翻转检测图案F7，能够根据二维的视线角度而透过未附有纹样的透明侧半球面来检测到将上述纹样的一部分由透明球体20放大后的像。在此，例如从图15A所示的方向D6能检测到基于来自上述红色部rd的反射光形成的红色像，从方向D7能检测到基于来自上述蓝色部bl的反射光形成的蓝色像。

因此，发挥上述那样的作用的姿势翻转检测图案F7能够凭借单体而与将检测绕一轴的视线角度的一维的姿势翻转检测图案沿不同的方向配设两个的情况同样地检测姿势翻转。

需要说明的是，关于图15A所示的姿势翻转检测图案F7，也可以与图10所示的姿势翻转检测图案F3同样地，以使所附有的纹样的朝向一致且彼此相接的方式沿着构成与平面视觉标记物MA同一平面的独立的两个方向、例如纵向及横向并列设置多个，由此，从视线角度的原点方向观察姿势翻转检测图案F7时的二维的表面积增大，因此能够减小姿势翻转检测图案F7的厚度相对于本表面积之比而实现平面性。

另外，作为图2所示的姿势翻转检测图案Fx、Fy的第八实施例，可以如图15B所示那样将姿势翻转检测图案F8设置在与平面视觉标记物MA相同的平面上，该姿势翻转检测图案F8包括具有半球状的凹部的基材40和嵌合于上述凹部的透明球体20，该凹部在表面附有例如具有红色部rd、蓝色部bl等的纹样。

根据这样的姿势翻转检测图案F8，上述凹部的表面上附有的纹样的一部分在透明球体20的透镜效应下放大。即，例如如图15B所示那样，可知通过在上述凹部附有的红色部rd的一部分处被反射的光而生成红色像Ig2，因此发挥与上述的姿势翻转检测图案F7同样的功能。

如以上所述，根据本发明的实施方式的标记物，姿势翻转检测图案F1～F8发挥能够在更宽的角度范围内唯一地推定出姿势的作用，因此能够实现更高精度的姿势推定。

符号说明

1 平面型标记物

2 透明圆柱体

3、5～7 着色图案

4、40 基材

20 透明球体

MA 平面视觉标记物

Fx、Fy、F1～F8 姿势翻转检测图案

ra 中心轴

bk 黑色部

wt 白色部

rd 红色部

bl 蓝色部

yl 黄色部

G 槽