一种基于知识图谱的软体抓手控制方法及相关装置

技术领域

本发明涉及机械手技术领域，具体是涉及一种基于知识图谱的软体抓手控制方法及相关装置。

背景技术

软体抓手主要是由三个并排的气囊构成，位于中间的气囊受其两侧的气囊挤压。软体抓手作为机器人末端执行器，能够模拟人的夹持动作，适应各种形状物体的抓取和搬运。软体抓手已经广泛应用于工业自动化，医疗卫生，救援救灾等领域。现有技术直接使用软体抓手抓取物体，一旦软体抓手的气压较低，就会导致软体抓手难以精准操控物体。

综上所述，现有技术中使用软体抓手难以精准操作物体。

因此，现有技术还有待改进和提高。

发明内容

为解决上述技术问题，本发明提供了一种基于知识图谱的软体抓手控制方法，解决了现有技术中使用软体抓手难以精准操作物体的问题。

为实现上述目的，本发明采用了以下技术方案：

第一方面，本发明提供一种基于知识图谱的软体抓手控制方法，其中，包括：

检测各个软体抓手的抓手气压，基于所述抓手气压从各个所述软体抓手中筛选出未失效抓手；

获取需抓取的目标物体的外观信息，基于知识图谱确定与所述外观信息所对应的爪形；

控制所述未失效抓手以所述爪形操控所述目标物体。

在一种实现方式中，所述软体抓手包括第一气囊和挤压在所述第一气囊之间的第二气囊，所述检测各个软体抓手的抓手气压，基于所述抓手气压从各个所述软体抓手中筛选出未失效抓手，包括：

检测传感器是否失能，所述失能用于表征所述传感器未能检测到气压，所述传感器位于所述第二气囊中；

当所述传感器未失能时，持续检测所述传感器采集到的气压变化范围；

依据所述气压变化范围，从各个所述软体抓手的各个所述第一气囊中筛选出未失能第一气囊；

将所述未失能第一气囊所在的软体抓手作为未失效抓手。

在一种实现方式中，所述依据所述气压变化范围，从各个所述软体抓手的各个所述第一气囊中筛选出未失能第一气囊，包括：

获取所述目标物体所对应的气压变化标准范围，所述气压变化标准范围为软体抓手抓取所述目标物体成功时所述传感器采集到的气压；

依据所述气压变化范围和所述气压变化标准范围，从各个所述软体抓手的各个所述第一气囊中筛选出未失能第一气囊。

在一种实现方式中，所述获取需抓取的目标物体的外观信息，基于知识图谱确定与所述外观信息所对应的爪形，包括：

获取所述外观信息中的物体形状和/或物体尺寸；

依据所述物体形状和/或所述物体尺寸以及所述未失效抓手的数量，基于所述知识图谱，从所述未失效抓手中的筛选出目标抓手以及确定所述目标抓手的爪形。

在一种实现方式中，所述知识图谱的构建方式，包括：

确定由各个软体抓手构成的抓手组合；

对各个软体抓手的分布信息和所述抓手组合应用卷积神经网络模型，得到由所述抓手组合的各个抓手构成的各种预定爪形；

对物体的外观信息和各种所述预定爪形应用卷积神经网络模型，从各种所述预定爪形筛选出针对物体的优选爪形；

以物体的外观信息与物体的外观信息所对应的优选爪形，构建知识图谱。

在一种实现方式中，所述控制所述未失效抓手以所述爪形操控所述目标物体，包括：

获取所述目标物体的物体位置；

控制所述未失效抓手移动至所述物体位置处以所述爪形操控所述目标物体。

在一种实现方式中，还包括:

监测所述未失效抓手以所述爪形操控所述目标物体时所述目标物体的是否处于平稳状态；

当所述目标物体未处于平稳状态时，调整所述未失效抓手的所述未失能第一气囊的气压，直至所述目标物体处于平稳状态；

当所述目标物体处于平稳状态，采集所述未失能第一气囊的气压，记为更新气压；

以所述更新气压更新所述气压变化标准范围。

第二方面，本发明实施例还提供一种基于知识图谱的软体抓手控制装置，其中，所述装置包括如下组成部分：

失能抓手筛选模块，用于检测各个软体抓手的抓手气压，基于所述抓手气压从各个所述软体抓手中筛选出未失效抓手；

爪形生成模块，用于获取需抓取的目标物体的外观信息，基于知识图谱确定与所述外观信息所对应的爪形；

控制模块，用于控制所述未失效抓手以所述爪形操控所述目标物体。

第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于知识图谱的软体抓手控制程序，所述处理器执行所述基于知识图谱的软体抓手控制程序时，实现上述所述的基于知识图谱的软体抓手控制方法的步骤。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于知识图谱的软体抓手控制程序，所述基于知识图谱的软体抓手控制程序被处理器执行时，实现上述所述的基于知识图谱的软体抓手控制方法的步骤。

有益效果：本发明在使用由各个软体抓手构成的机械手操控目标物体之前，首先检查各个软体抓手的气压，以去除气压不达标的软体抓手(内部气压较低的软体抓手)，只留下气压达标的软体抓手(未失效抓手)。然后从知识图谱上查找未失效抓手操控特定外观的目标物体所需的爪形。最后控制未失效抓手以爪形操控目标物体。从上述分析可知，本发明在使用软体抓手操控物体之前，首先去除气压较低的软体抓手，只让气压达标的软体抓手参与到操控目标物体的操作中，从而能够保证通过软体抓手精准操控目标物体。

附图说明

图1为本发明的整体流程图；

图2为本发明实施例中的机械手结构图；

图3为本发明实施例中的软体抓手失效判定流程图；

图4为本发明实施例中的R-CNN结构图；

图5为本发明实施例中的使用知识图谱抓取物体的示意图；

图6为本发明实施例中的容错控制—知识图谱推理示意图；

图7为本发明实施例提供的终端设备的内部结构原理框图。

具体实施方式

以下结合实施例和说明书附图，对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

经研究发现，软体抓手主要是由三个并排的气囊构成，位于中间的气囊受其两侧的气囊挤压。软体抓手作为机器人末端执行器，能够模拟人的夹持动作，适应各种形状物体的抓取和搬运。软体抓手已经广泛应用于工业自动化，医疗卫生，救援救灾等领域。现有技术直接使用软体抓手抓取物体，一旦软体抓手的气压较低，就会导致软体抓手难以精准操控物体。

为解决上述技术问题，本发明提供了一种基于知识图谱的软体抓手控制方法，解决了现有技术中使用软体抓手难以精准操作物体的问题。具体实施时，首先检测各个软体抓手的抓手气压，基于抓手气压从各个软体抓手中筛选出未失效抓手；然后获取需抓取的目标物体的外观信息，基于知识图谱确定与外观信息所对应的爪形；最后控制未失效抓手以爪形操控目标物体。本发明能够通过未失效抓手精准操控目标物体。

举例说明，软体机械手如图2所示，机械手包括六个软体抓手(充气抓手)，编号沿环形依次分别为1、2、3、4、5、6。在使用软体机械手抓取目标物体之前，首先对这六个软体抓手进行气压检测，如果软体抓手2和软体抓手4的气压很低，则判断软体抓手2和软体抓手4为失效抓手或失能抓手。相反如果软体抓手1、3、5、6气压很稳定，且这四个软体抓手的气压足以抓起目标物体，则这四个软体抓手就是未失效抓手。软体抓手1、3、5、6这四个抓手可以组合起来使用的抓手为1、3、5(机械手的结构决定了软体抓手1、3、5、6不能同时使用，优选的是1、3、5抓手组合)。然后再将目标物体的外观信息(比如形状和尺寸)结合知识图谱(记录了抓手组合、物体外观、爪形三者之间的对应关系)，决定软体抓手1、3、5以什么样的爪形去抓取目标物体。

示例性方法

本实施例的基于知识图谱的软体抓手控制方法可应用于终端设备中，所述终端设备可为具有机械控制功能的终端产品，比如电脑等。在本实施例中，如图1中所示，所述基于知识图谱的软体抓手控制方法具体包括如下步骤：

S100，检测各个软体抓手的抓手气压，基于所述抓手气压从各个所述软体抓手中筛选出未失效抓手。

软体抓手由两个第一气囊和一个第二气囊组成，其中第二气囊被积压在两个第一气囊之间，且第二气囊内部设置有传感器，用于监测第二气囊内部的气压数据。第一气囊作为执行器，承担了大部分的抓取物体的工作，却执行器通过气驱方式执行抓取动作。

在一个实施例中，步骤S100包括如下的步骤S101至S105：

S101，检测传感器是否失能，所述失能用于表征所述传感器未能检测到气压，所述传感器位于所述第二气囊中。

首先判断软体抓手的传感器状态，若传感器失效即传感器无法检测其内部的气压信息。则认定整个软体抓手是失能的。

S102，当所述传感器未失能时，持续检测所述传感器采集到的气压变化范围。

如果传感器没有失能，则继续通过传感器采集到的第二气囊的气压变化范围判断第一气囊是否失能。

S103，获取所述目标物体所对应的气压变化标准范围，所述气压变化标准范围为软体抓手抓取所述目标物体成功时所述传感器采集到的气压。

气压变化标准范围与目标物体的形状和尺寸三者一一对应。

S104，依据所述气压变化范围和所述气压变化标准范围，从各个所述软体抓手的各个所述第一气囊中筛选出未失能第一气囊。

若传感器完好即气压信息正常反馈，进而判断执行器的状态，通过反馈的时间段的气压变化判断执行器是否失效：气压变化波动较大，且执行器的气压在其接触目标物体之前低于气压变化标准范围，则判定执行器(第一气囊)失效从而判断手指(软体抓手)失效；气压变化稳定，且执行器的气压在其接触目标物体之前高于气压变化标准范围，则判断执行器完好从而手指完好具备执行能力。

S105，将所述未失能第一气囊所在的软体抓手作为未失效抓手。

哪个软体抓手的第一气囊未失能，则判定哪个软体抓手为未失效抓手。

以图3为例，说明具体是如何判断软体抓手失效的：

向传感器S1-S6(即六个软体抓手上的六组第二气囊内部的六个传感器)输入30kPa气压，分别判断六组传感器(S1-S6)所对应的气压是否小于10kPa(比如判断其中一组执行器所对应的气压是否小于10kPa时，由于传感器所在的第二气囊被第一气囊挤压，因此第二气囊内部的传感器采集的气压能够反应第一气囊的气压，当)。小于10kPa的传感器所在的软体抓手判定为失效抓手。对不小于10kPa的传感器所在的软体抓手进一步判断执行器(第一气囊)的气压是否小于35kPa(35kPa是通过第二气囊内部的传感器得到的，比如判断其中一组执行器所对应的气压是否小于35kPa时，由于传感器所在的第二气囊被第一气囊挤压，因此第二气囊内部的传感器采集的气压能够反应第一气囊的气压，因此可以通过传感器采集到的气压得到第一气囊的气压)，小于35kPa的执行器所在的软体抓手判定为失效抓手，否则判定为未失效抓手。

S200，获取需抓取的目标物体的外观信息，基于知识图谱确定与所述外观信息所对应的爪形。

在一个实施例中采用如图4所示的R-CNN卷积神经网络识别目标物体的外观信息，外观信息包括物体形状分类(包括正方体、圆柱体、球体)、物体尺寸分类(包括较大、适中、较小)、物体周边环境信息。

该实施例中，R-CNN卷积神经网络为已训练的卷积神经网络，训练过程如下：

通过视觉传感器获取样本物体图像，输入到R-CNN模型，利用提取框选定候选区域，重新框定成固定尺寸后输入到CNN模型中，得到一个特征向量，将该特征向量再输入到SVM分类器进行样本物体图像分类识别(针对物体的形状进行分类)，同时边界回归模型对提取框位置进行修正，CNN模型对修正之后的提取框内的物体进行分类，得到CNN模型输出的分类结果，将该分类结果与样本物体图像真实的分类结果进行比较，如果二者不同，则调整CNN模型的参数，最终完成已训练R-CNN模型的建立。

在另一实施例中，步骤S200的具体过程如下：获取所述外观信息中的物体形状和/或物体尺寸；依据所述物体形状和/或所述物体尺寸以及所述未失效抓手的数量，基于所述知识图谱，从所述未失效抓手中的筛选出目标抓手以及确定所述目标抓手的爪形。

比如，未失效抓手的编号为1、3、5，目标物体的形状为圆柱体，且目标物体的尺寸较小，则控制未失能抓1、3、5聚拢成圆形以抓取目标物体。

以图5为例，说明基于知识图谱是如何操控软体抓手抓取物体的：

首先向知识图谱输入目标物体的物体类型、尺寸和当前未失效抓手，之后知识图谱给出与物体类型和尺寸所匹配的动作，比如未失效抓手是1、2、3、4、5、6，那么知识图谱就会给出1、3、5或2、4、6的组合(这两种组合都是第一选择，因此知识图谱会给出这两种组合)，之后由抓手1、3、5或抓手2、4、6去抓取物体，在抓取物体的过程中如果抓取不牢，那么通过气泵去调整抓手的第一气囊气压，用抓取牢靠所对应的气压去更新知识图谱中记录的抓取物体所需要的气压变化标准范围。

在一个实施例中，知识图谱的构建包括如下步骤S201、S202、S203、S204：

S201，确定由各个软体抓手构成的抓手组合。

S202，对各个软体抓手的分布信息和所述抓手组合应用卷积神经网络模型，得到由所述抓手组合的各个抓手构成的各种预定爪形。

比如软体抓手为1、2、3、4、5、6，可能的抓手组合为1和3，3和5，5和6，1和3以及5，3和5以及6，3和6，1和5，4和6等。如图6所示，将上述抓手组合以及抓手分布信息(即是哪些抓手)输入到ConvE模型(卷积神经网络模型)中，ConvE模型输出各种预定爪形(图6中的可用爪形).比如将抓手组合1、3、5输入到ConvE模型，ConvE模型会输出圆形、三角形这些预定爪形。

S203，对物体的外观信息和各种所述预定爪形应用卷积神经网络模型，从各种所述预定爪形筛选出针对物体的优选爪形。

如果物体为圆柱体，那么将圆柱体这一外观信息和圆形、三角形这些预定爪形输入到卷积神经网络模型，模型就会输出匹配于圆柱体的圆形这一优选爪形。

S204，以物体的外观信息与物体的外观信息所对应的优选爪形，构建知识图谱。

知识图谱就是用于记录物体的外观信息与优选爪形之间的对应关系，也就是知识图谱记录了什么样外观的物体需要什么样的爪形才能抓取。

使用知识图谱可以方便机器能够更好地理解和利用知识。软体抓手抓取过程汇获取的信息包括：抓手的状态信息即抓手是否失效，待抓取目标属性信息以及抓取的气压实时监测信息。通过构建知识图谱，可对图像信息，文本信息等不同类型的信息进行规范化处理、存储和管理。构建知识图谱所需要的非结构化知识往往是通过深度学习技术处理的。深度学习技术通过多层神经网络对数据进行自动学习和特征提取，实现对非结构化知识的转化实现端对端的处理。

S300，控制所述未失效抓手以所述爪形操控所述目标物体。

气动控制系统控制机械臂移动至目标物体所在的位置处，之后气动控制系统控制机械臂上的未失效抓手以知识图谱给出的爪形去操控目标物体。在抓取物体的过程中，气动控制系统还控制抓手的位姿以完成抓取操作。

在一个实施例中，步骤S300的具体过程如下：获取所述目标物体的物体位置；控制所述未失效抓手移动至所述物体位置处以所述爪形操控所述目标物体。

在一个实施例中，根据未失效抓手操控目标物体的过程中出现的情况更新知识图谱中为物体设定的气压变化标准范围，具体更新过程包括如下的步骤S401至S404：

S401，监测所述未失效抓手以所述爪形操控所述目标物体时所述目标物体的是否处于平稳状态。

S402，当所述目标物体未处于平稳状态时，调整所述未失效抓手的所述未失能第一气囊的气压，直至所述目标物体处于平稳状态。

S403，当所述目标物体处于平稳状态，采集所述未失能第一气囊的气压，记为更新气压。

S404，以所述更新气压更新所述气压变化标准范围。

该实施例中，视觉传感器在执行抓取过程中实时监测，若出现抓取失败或不稳的情形，则会将抓取图像实时反馈到知识图谱；知识图谱在接收到反馈信息后，确认当前抓手的气压状态，基于ConvE模型，通过抓取目标物体和抓取效果进行气压调整确保稳定抓取。

示例性装置

本实施例还提供一种基于知识图谱的软体抓手控制装置，所述装置包括如下组成部分：

失能抓手筛选模块，用于检测各个软体抓手的抓手气压，基于所述抓手气压从各个所述软体抓手中筛选出未失效抓手；

爪形生成模块，用于获取需抓取的目标物体的外观信息，基于知识图谱确定与所述外观信息所对应的爪形；

控制模块，用于控制所述未失效抓手以所述爪形操控所述目标物体。

基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图7所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于知识图谱的软体抓手控制方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。

本领域技术人员可以理解，图7中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于知识图谱的软体抓手控制程序，处理器执行基于知识图谱的软体抓手控制程序时，实现如下操作指令：

检测各个软体抓手的抓手气压，基于所述抓手气压从各个所述软体抓手中筛选出未失效抓手；

获取需抓取的目标物体的外观信息，基于知识图谱确定与所述外观信息所对应的爪形；

控制所述未失效抓手以所述爪形操控所述目标物体。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。