标志检测装置以及机器人示教系统

技术领域

本发明涉及标志检测装置以及机器人示教系统。

背景技术

近年来，在产业界，大量机器人普及。该机器人例如用在电子部件以及机械部件的组装、焊接以及运送等中，谋求工厂的生产线的效率化以及自动化。

例如，在焊接机器人中，需要作成用于进行所期望的动作的程序，并将其作为所谓示教数据预先存储。操作者使用示教器，并与机器人控制装置协作来操作实际的机器人，记录其动作来生成该示教数据。

为了让操作者使用示教器实际使机器人动作的同时作成示教数据，对操作者的技能的依赖度大，有时需要长时间，为了减轻对操作者的负担，公开了使用AR设备以及标志来认识机器人的位置的机器人系统(例如专利文献1)。

在专利文献1公开的技术中，用AR设备同时检测2个基准用标志，进而，认识与机器人坐标系确定用标志的位置关系，由此抑制AR图形的显示位置偏离，并认识机器人的位置、朝向。在这样的机器人系统中，为了精度良好地认识工件以及机器人的位置、朝向，需要合适地检测成为基准的标志。

现有技术文献

专利文献

专利文献1：JP2021-62463号公报

但在专利文献1公开的技术中，在标志的检测中，例如在使用二维摄像机的情况下，为了从二维图像算出三维位置，需要事前设定决定与该二维图像的各像素对应的三维坐标的摄像机参数，因此，需要烦杂的事前的准备。

发明内容

为此，本发明的目的在于，提供能简易地检测标志的位置的标志检测装置以及利用其的机器人示教系统。

本发明的一方式所涉及的标志检测装置具备：三维平面检测部，其基于由3D摄像机取得的点群数据，来检测三维空间中的平面即三维平面；二维平面图像生成部，其通过将构成检测到的三维平面的点群数据在以该三维平面为基准的垂直方向上进行投影，来生成二维平面图像；标志检测部，其从所生成的二维平面图像检测标志；和标志位置算出部，其对于检测到的二维平面图像中所含的标志，算出三维平面中的三维坐标。

根据该方式，三维平面检测部基于由3D摄像机取得的点群数据来检测三维平面，二维平面图像生成部通过将构成三维平面的点群数据在以该三维平面为基准的垂直方向上进行投影，来生成二维平面图像。并且，标志检测部从二维平面图像检测标志，标志位置算出部对于二维平面图像中所含的标志，算出三维平面中的三维坐标值(X，Y，Z)。由此，能合适地检测设定在平面的标志的位置。并且，不进行烦杂的摄像机参数的设定，就能简易地检测设定在平面的标志的位置，因此还有助于产品成本的减少。

在上述方式中，也可以是，标志检测部在由三维平面检测部检测到多个三维平面的情况下，对每一个平面检测标志。

根据该方式，标志检测部在检测到多个三维平面的情况下，对每一个平面检测标志，因此能效率良好、可靠地检测标志。

在上述方式中，也可以是，标志检测部可以按照多个三维平面当中的面积从大到小的顺序来检测标志。

根据该方式，标志检测部由于按照多个三维平面当中的面积从大到小的顺序来检测标志，因此，能按照认为设定标志的可能性从高到低的顺序进行处理，能期待在早期阶段检测到标志。由此，有助于运算处理的减轻以及处理时间的缩短。

在上述方式中，也可以是，标志检测部按照多个三维平面当中的距视野中心从近到远的顺序来检测标志。

根据该方式，标志检测部由于按照多个三维平面当中的距视野中心从近到远的顺序来检测标志，因此按照认为设定标志的可能性从高到低的顺序进行处理，能期待在早期阶段检测到标志。由此，有助于运算处理的减轻以及处理时间的缩短。

本发明的一方式所涉及的机器人示教系统具备：拍摄部，其具有拍摄包含工件和标志的图像的3D摄像机；三维平面检测部，其基于由3D摄像机取得的点群数据，来检测三维空间中的平面即三维平面；二维平面图像生成部，其通过将构成检测到的三维平面的点群数据在以该三维平面为基准的垂直方向上进行投影，来生成二维平面图像；标志检测部，其从所生成的二维平面图像检测标志；标志位置算出部，其对于检测到的二维平面图像中所含的标志，算出三维平面中的三维坐标；摄像机坐标系设定部，其基于算出的标志的三维坐标来设定摄像机坐标系；程序生成部，其将摄像机坐标系中的机械手的动作路径变换成在机器人控制装置中设定的机器人坐标系，并生成用于使该机械手动作的作业程序。

根据该方式，三维平面检测部基于由3D摄像机取得的点群数据来检测三维平面，二维平面图像生成部通过将构成该三维平面的点群数据在以该三维平面为基准的垂直方向上进行投影，来生成二维平面图像。并且，标志检测部从二维平面图像检测标志，标志位置算出部对于二维平面图像中所含的标志，算出三维平面中的三维坐标值(X，Y，Z)。摄像机坐标系设定部基于由标志位置算出部算出的标志的三维坐标来设定摄像机坐标系，程序生成部将摄像机坐标系中的机械手的动作路径变换成在机器人控制装置中设定的机器人坐标系，并生成用于使该机械手动作的作业程序。其结果，由于基于合适地检测到的标志的三维坐标来设定摄像机坐标系，生成作业程序，因此，能更简易、合适地使机械手动作。

发明的效果

根据本发明，能提供能简易地检测标志的位置的标志检测装置以及利用其的机器人示教系统。

附图说明

图1是例示包含本发明的一实施方式所涉及的机器人示教系统的焊接机器人系统100的结构的图。

图2是例示本发明的一实施方式所涉及的机器人示教系统200的功能结构的图。

图3是表示标志M设定在作为焊接对象的工件W、以该标志M的位置为原点O来设定摄像机坐标系的情形的图。

图4是示意表示检测设定在工件W的标志M的位置的标志检测装置220中的具体的处理的情形的图。

图5是表示本发明的一实施方式所涉及的标志检测装置220所执行的标志检测方法M100的处理的流程的流程图。

附图标记的说明

1...拍摄终端、2...机器人控制装置、3...机械手、11...控制部、12...拍摄部、13...通信部、14...显示部、21...控制部、22...存储部、23...通信部、24...焊接电源部、31...多关节臂、32...焊炬、100...焊接机器人系统、200...机器人示教系统、211...拍摄部、212...摄像机坐标系设定部、213...程序生成部、220...标志检测装置、221...三维平面检测部、222...二维平面图像生成部、223...标志检测部、224...标志位置算出部、C...通信线缆、N...网络、M...标志、W...工件、L1～L3...焊接位置、Wa、Wb...平面、Wa2...平面图像、M100...标志检测方法、S110～S140...标志检测方法M100的各步骤

具体实施方式

以下参考附图来具体说明本发明的实施方式。另外，以下说明的实施方式只是举出用于实施本发明的具体的一例，并不限定地解释本发明。此外，为了使说明的理解容易，在各附图中对相同构成要素尽可能标注相同附图标记，有时省略重复的说明。

<一实施方式>

[焊接机器人系统的基本结构]

图1是例示包含本发明的一实施方式所涉及的机器人示教系统的焊接机器人系统100的结构的图。如图1所示那样，焊接机器人系统100例如具备拍摄终端1、机器人控制装置2和机械手3。拍摄终端1和机器人控制装置2例如经由网络N连接，机器人控制装置2和机械手3例如经由通信线缆C连接。网络N可以是有线(包括通信线缆)，也可以是无线。另外，可以在焊接机器人系统100中包含示教器。示教器是作业者对机械手3的动作进行示教的操作装置。

机械手3是按照在机器人控制装置2中设定的施工条件来进行电弧焊接的焊接机器人(产业用机器人)。机械手3例如具有：设置在固定于工厂的地面等的底座构件上的多关节臂31；和与多关节臂31的前端连结的焊炬32(末端执行器)。

机器人控制装置2是控制机械手3的动作的控制组件，例如包含控制部21、存储部22、通信部23以及焊接电源部24。

控制部21例如通过存处理器执行储于存储部22的作业程序，来控制机械手3以及焊接电源部24。

通信部23控制与经由网络N连接的拍摄终端1的通信，控制与经由通信线缆C连接的机械手3的通信。

焊接电源部24例如为了使焊丝的前端与工件之间产生电弧，按照预先确定的焊接的施工条件来将焊接电流以及焊接电压等供给到机械手3。在焊接的施工条件中例如包含焊接条件、焊接开始位置、焊接结束位置、电弧放电的时间、焊接距离、焊炬的姿态以及焊炬的移动速度等数据项目。焊接电源部24可以与机器人控制装置2分体地具备。

拍摄终端1是3D摄像机，取得与拍摄对象对应的坐标数据，使用点群数据来掌握该拍摄对象的形状。例如，可以通过基于从不同的多个位置对拍摄对象拍摄而得到的多个图像进行估算，来取得与拍摄对象对应的坐标数据。在该情况下，能使用基于公知的立体法的三维测量手法。此外，可以使用LiDAR(Light Detection and Ranging，光探测和测距)传感器、毫米波传感器、超声波传感器等距离测量传感器，也可以对拍摄对象照射激光，基于其反射光取得点群数据，由此掌握该拍摄对象的形状。

另外，3D摄像机可以是带3D摄像机的可挪动型终端。可挪动型终端例如包含平板终端、智能手机、便携信息终端(PDA)、笔记本PC(个人计算机)等能携带移动的终端。拍摄终端1例如包含控制部11、拍摄部12、通信部13、显示部14。

控制部11通过处理器执行存放于存储器的给定的程序，来控制拍摄终端1的各部。

拍摄部12如上述那样，取得例如使用基于公知的立体法的三维测量手法取得的坐标数据、或用距离测量传感器等进行3D扫描而取得的坐标数据，作为点群数据。另外，在点群数据中例如可以包含以三维坐标值(X，Y，Z)示出的位置(距离)信息以及以(R，G，B)示出的颜色信息。

通信部13控制与经由网络N连接的机器人控制装置2的通信。

显示部14例如是具有触控面板的显示器，基于由拍摄部12取得的点群数据来显示被摄体的形状，并且接受基于作业者的操作指示等输入。显示部14例如可以设为具有触控面板的显示器装置，与拍摄终端1分体地具备。

[机器人示教系统的结构]

图2是例示本发明的一实施方式所涉及的机器人示教系统200的功能结构的图。如图2所示那样，机器人示教系统200作为功能结构例如具有拍摄部211、摄像机坐标系设定部212和程序生成部213，进而包含用于检测成为用于设定摄像机坐标系的基准的标志的标志检测装置220。另外，标志检测装置220包含三维平面检测部221、二维平面图像生成部222、标志检测部223和标志位置算出部224。

这些功能当中的拍摄部211是拍摄终端1所具有的功能。另一方面，摄像机坐标系设定部212、程序生成部213以及标志检测装置220中的各部可以在拍摄终端1以及机器人控制装置2的任一者中具备全部，也可以在拍摄终端1以及机器人控制装置2中分散具备各功能。此外，也可以是由拍摄终端1以及机器人控制装置2以外的其他装置具备上述功能的一部分或全部。

拍摄部211与拍摄终端1的拍摄部12相同，作为3D摄像机的功能，取得点群数据。另外，拍摄部211取得至少包含标志以及成为焊接对象的工件的点群数据。

摄像机坐标系设定部212基于通过由拍摄部211取得的点群数据认识到的标志来设定摄像机坐标系。例如，摄像机坐标系设定部212以通过由拍摄部211取得的点群数据认识到的标志的位置为原点，来设定由在该原点相互正交的X轴、Y轴以及Z轴构成的三维的正交坐标系，作为摄像机坐标系。

图3是表示标志M设定在作为焊接对象的工件W、以该标志M的位置为原点O来设定摄像机坐标系的情形的图。如图3所示那样，标志M设定在工件W的底板，摄像机坐标系设定部212以通过由拍摄部211取得的点群数据认识到的标志M的位置为原点O，来设定由在该原点O相互正交的X轴、Y轴以及Z轴构成的三维的正交坐标系，作为摄像机坐标系。另外，原点O设定标志M当中的任意的点。例如，作为原点O，设定标志M当中的预先决定的一点、中心点、或所选择的一点等即可。

标志M只要是能使拍摄部211认识到正放置于空间内的识别符即可。作为标志，例如优选使用AR标志。在通过使用AR标志认识到放置于空间内的AR标志时，能简易地实现使实际取得的点群数据显示以该AR标志为原点的摄像机坐标系。另外，关于检测标志M的标志检测装置220的处理的详细，之后叙述。

在由摄像机坐标系设定部212设定的摄像机坐标系中，基于从由拍摄部211取得的点群数据认识到的工件W的焊接位置L1、L2、L3来设定机械手3的动作路径。例如，从由拍摄部211取得的点群数据认识焊接位置L1、L2、L3，用户手动选择机械手3(焊炬32)的动作路径，或者算出该焊接位置L1、L2、L3与焊炬32的距离，来自动设定机械手3(焊炬32)的动作路径，以使得安装于机械手3的前端的焊炬32沿着工件W的焊接位置L1、L2、L3动作。

另一方面，机器人控制装置2从与该机器人控制装置2所控制的机械手3的各轴的角度相关的信息等掌握该机械手3的位置姿态(机器人坐标系)。然后，能基于标志M的设置位置和相对于该标志M的设置位置的机械手3的位置姿态(设置位置)，来进行用于使摄像机坐标系和机器人坐标系一致的校准。该校准例如通过使机械手3(焊炬32)的前端对准标志M的设置位置来进行即可。

程序生成部213将摄像机坐标系中设定的机械手3的动作路径从摄像机坐标系变换成机器人控制装置2中设定的机器人坐标系，并生成用于使机械手3动作的作业程序。

如此地，在机器人示教系统200中，以从拍摄部211中取得的点群数据认识到的标志M为基准来设定摄像机坐标系，将该摄像机坐标系中的焊接位置L1、L2、L3以及机械手3的动作路径变换成机器人坐标系，并生成使得机械手3合适地在焊接位置L1、L2、L3进行焊接的作业程序。然后，该作业程序存储在机器人控制装置2中的存储部，该机器人控制装置2基于作业程序来控制机械手3的动作，由此，作为焊接机器人系统100，能在工件W的焊接位置L1、L2、L3合适地进行焊接。

[标志检测装置220中的处理的详细]

如上述那样，由于以标志M的位置为原点O来设定摄像机坐标系，因此，合适地检测该标志M的位置变得重要。以下详细说明检测标志M的位置的标志检测装置220的处理。

图4是示意表示检测设定在工件W的标志M的位置的标志检测装置220中的具体的处理的情形的图。如图4所示那样，标志检测装置220基于由3D摄像机取得的点群数据来检测标志M的位置。

如图4的(a)所示那样，描画由3D摄像机取得的点群数据。例如，拍摄部211取得使用基于公知的立体法的三维测量手法取得的坐标数据、或用距离测量传感器等进行3D扫描而取得的坐标数据，作为点群数据。

三维平面检测部221基于由3D摄像机取得的点群数据来检测三维空间中的平面即三维平面(图4的(b))。例如，三维平面检测部221基于由拍摄部211取得的点群数据，将给定的面积以上的平面设为三维平面，来检测构成工件W的底板即平面Wa以及背板即平面Wb。

二维平面图像生成部222通过将构成由三维平面检测部221检测到的三维平面的点群数据投影到二维平面，来生成二维平面图像(图4的(c)、(d))。例如，关于由三维平面检测部221检测到的平面Wa，所谓投影到二维平面，包括：使以三维坐标值(X，Y，Z)的位置示出的各点群数据在以该平面Wa为基准的垂直方向移动到与该平面Wa交叉的位置，来生成二维平面图像。将各点群数据的三维坐标值(X，Y，Z)以及以(R，G，B)示出的颜色信息基于平面Wa的平面的方程式来建立对应地变换成二维平面图像的像素信息(XY坐标值以及颜色信息)。由此，如图4的(d)所示那样，二维平面图像生成部222生成二维平面图像Wa2。这时，在点群数据的粒度粗的情况下，二维平面图像生成部222可以通过进行给定的图像处理(例如高斯模糊等的平滑化处理、像素插补处理等)来生成二维平面图像Wa2。

标志检测部223从由二维平面图像生成部222生成的二维平面图像Wa2检测标志M(图4的(e))。例如，标志检测部223通过与预先存储的标志的图像进行图案匹配，来从由二维平面图像生成部222生成的二维平面图像Wa2检测标志M。

标志位置算出部224对于由标志检测部223检测到的二维平面图像Wa2中所含的标志M，算出由三维平面检测部221检测为三维平面的平面Wa中的三维坐标(图4的(f))。如使用图4的(c)以及(d)说明的那样，使构成平面Wa的点群数据的三维坐标值(X，Y，Z)在以该平面Wa为基准的垂直方向上移动到与该平面Wa交叉的位置，来生成二维平面图像Wa2，但进行其相反的处理。即，将二维平面图像Wa2中所含的标志M的位置信息变换成作为三维平面的平面Wa上的三维坐标值(X，Y，Z)。

如此地，标志检测装置220合适地检测设定在平面Wa上的标志M的位置。

[标志检测方法]

接下来，具体地详细说明本发明的一实施方式所涉及的标志检测装置220检测标志的方法。

图5是表示本发明的一实施方式所涉及的标志检测装置220所执行的标志检测方法M100的处理的流程的流程图。如图5所示那样，标志检测方法M100包含步骤S110～S140，各步骤由标志检测装置220中所含的处理器来执行。

在步骤S110，标志检测装置220基于由3D摄像机取得的点群数据来检测三维空间中的平面即三维平面(三维平面检测步骤)。作为具体例，标志检测装置220中的三维平面检测部221检测构成工件W的平面Wa以及Wb等，作为给定的面积以上的平面。

在步骤S120，标志检测装置220通过将构成步骤S110中检测到的三维平面的点群数据投影到二维平面，来生成二维平面图像(二维平面图像生成步骤)。作为具体例，标志检测装置220中的二维平面图像生成部222对于步骤S110中检测到的三维平面Wa，使以三维坐标值(X，Y，Z)的位置示出的各点群数据在以该平面Wa为基准的垂直方向上移动到与该平面Wa交叉的位置，来生成二维平面图像Wa2。

在步骤S130，标志检测装置220从步骤S120中生成的二维平面图像检测标志M(标志检测步骤)。作为具体例，标志检测装置220中的标志检测部223通过与预先存储的标志的图像进行图案匹配，来从二维平面图像Wa2检测标志M。

在步骤S140，标志检测装置220对于步骤S130中检测到的二维平面图像中所含的标志M，算出步骤S110中检测为三维平面的平面中的三维坐标(三维坐标算出步骤)。作为具体例，标志检测装置220中的标志位置算出部224将二维平面图像Wa2中所含的标志M的位置信息变换成作为三维平面的平面Wa上的三维坐标值(X，Y，Z)。

如以上那样，根据本发明的一实施方式所涉及的标志检测装置220以及标志检测方法M100，三维平面检测部221基于由3D摄像机取得的点群数据来检测三维空间中的平面Wa以及Wb，二维平面图像生成部222通过将构成该平面Wa的点群数据在以该平面Wa为基准的垂直方向上进行投影，来生成二维平面图像Wa2。然后，标志检测部223从二维平面图像Wa2检测标志M，标志位置算出部224对于二维平面图像Wa2中所含的标志M，算出三维平面Wa中的三维坐标值(X，Y，Z)。由此，能合适地检测设定在平面的标志M的位置，即使不进行烦杂的摄像机参数的设定，也能简易地检测设定在平面的标志M的位置。

进而，根据利用了本发明的一实施方式所涉及的标志检测装置220的机器人示教系统200，摄像机坐标系设定部212基于由该标志检测装置220合适地检测到的标志M的位置，来以该标志M的位置为原点O设定摄像机坐标系。程序生成部213基于标志M的设置位置，来将摄像机坐标系中设定的机械手3的动作路径从摄像机坐标系变换成机器人控制装置2中设定的机器人坐标系，并生成用于使机械手3动作的作业程序。由此，能在合适的焊接位置更简易地进行焊接。

另外，在本实施方式中，标志检测部223对于由三维平面检测部221检测到的三维平面Wa以及Wb当中的平面Wa检测标志M。例如也可以是，由用户选择在多个平面当中的哪个平面包含标志，还可以对多个平面当中的每一个平面检测标志。

实际上，用户只要掌握设定标志M的平面，就能通过选择该平面，来使标志检测部223效率良好地检测标志M。

另一方面，例如，若对多个平面当中的每一个平面检测标志，通过可靠地推进处理，由此能自动地检测标志M。在此，关于对于多个平面以怎样的顺序检测标志，例如可以是按照面积从大到小的顺序、距视野中心从近到远的顺序或它们的组合的顺序，来进行处理。

考虑在由三维平面检测部221检测到的多个平面当中面积大的平面、距视野中心近的平面设定标志M的可能高，能期待在对多个平面当中的每一个平面检测标志的过程中，在早期阶段检测到标志。由此，有助于运算处理的减轻以及处理时间的缩短。

进而，关于对于多个平面以怎样的顺序检测标志，只要是能效率良好地检测标志的顺序即可，并不限定于这些顺序。

作为具体例，使用由给定颜色(例如红色等)构成的标志、或构成为较多地包含给定颜色的标志。并且，在由三维平面检测部221检测到多个平面时，对于该多个平面，以从多到少包含该给定颜色的顺序进行处理即可。对于多个平面，在构成各平面的点群数据中包含以(R，G，B)示出的颜色信息，能基于该颜色信息来判定各平面中所含的给定颜色信息的比例。

如此地，通过使用给定颜色构成标志，在由三维平面检测部221检测到多个平面的情况下，能效率良好地检测包含标志的平面。由此，有助于运算处理的减轻以及处理时间的缩短。

此外，在本实施方式中，举出焊接机器人系统100的机器人示教系统200中所用的标志检测装置220作为一例进行了说明，但使用标志检测装置220的产业用机器人并不限定于焊接机器人系统100。例如，还能在进行电子部件以及机械部件的组装、运送等的组装机器人系统、运送机器人系统等中适用标志检测装置220。

以上说明的实施方式用于使本发明的理解容易，并不限定地解释本发明。实施方式所具备的各要素和其配置、材料、条件、形状以及尺寸等并不限定于例示，能适宜变更。此外，能将不同的实施方式中示出的结构彼此部分地置换或组合。