融合视觉与力觉机械臂的水下打捞装置

技术领域

本发明涉及机械与控制、信息技术、生命科学、能源化工技术领域，具体为融合视觉与力觉机械臂的水下打捞装置。

背景技术

在如今世界，随着各国对海洋资源大力开发，各种海洋设备在复杂的海洋环境中难免会发生故障而滞留于海洋中，对于如何回收这些海洋设备，已经成为限制众多海洋行业发展的新问题。另一方面除了对海洋设备的回收，在国家大力开展环境整治的大背景下，水面漂浮物的打捞和清理也是海洋发展的一个大的需求。在科技高速发展的今天，海洋设备回收和水面漂浮物的打捞主要仍然由人工打捞完成或者船只打捞，人工打捞工作效率低、劳动强度大，无法在风浪环境下进行打捞作业，而船只打捞机动性差，价格昂贵，不利于小型海洋设备回收和水面漂浮物的打捞工作。

发明内容

本发明的目的在于提供融合视觉与力觉机械臂的水下打捞装置，以解决上述背景技术中提出的人工打捞工作效率低、劳动强度大，无法在风浪环境下进行打捞作业，船只打捞机动性差，价格昂贵，不利于小型海洋设备回收和水面漂浮物的打捞工作的问题。

为实现上述目的，本发明提供如下技术方案：融合视觉与力觉机械臂的水下打捞装置，包括左右两个双体船，两个所述双体船顶部左侧与中间分别安装有弹簧缓冲装置与液压减震装置，且弹簧缓冲装置与液压减震装置的安装端均与信息处理室外壁连接，两个所述双体船顶部右侧均设有限位装置，且限位装置的驱动端与限位框连接，所述信息处理室右侧延伸端设有机械臂与两个图像获取设备，且机械臂与信息处理室相背离的一端安装有机械夹爪，所述图像获取设备位于信息处理室延伸端底部，且机械臂位于两个图像获取设备之间，所述信息处理室与图像获取设备、限位装置、机械臂连接，所述信息处理室内设有计算机控制模块，所述机械夹爪上设有力检测设备，且力检测设备包括安装在机械夹爪夹持端内壁上的力传感器与数据传输转换单元，所述数据传输转换单元与力传感器、信息处理室连接。

优选的，左右所述双体船之间的间距比为3m-4.5m。

优选的，所述图像获取设备为用于采集目标物位置图像的双目相机。

优选的，所述限位装置包括安装座、设在安装座上的电机一、支撑板、设在支撑板上的电机二、调节柱、设在调节柱上的导向架、设在调节柱上的液压杆、铰接在导向架上的活动杆一与活动杆二。

与现有技术相比，本发明的有益效果是：

1)本发明在无人船上装配视觉传感器，使目标物被准确定位，令机械臂具备“看”的功能，在机械臂上装配力觉传感器，使目标物被准确分析，令机械臂完成所需要的“摸”的功能。并且将视觉与力觉同时融合在机械臂上，可在复杂的海面上完成困难的打捞工作。使无人打捞更加智能化，不仅可以对目标物进行实时定位，更可以自适应的对目标物完成力控制，机械臂可自主完成从发现到救援的全过程。

2)视觉与力觉结合的机械臂可以更好地模拟人类工作方式，灵活性提高、自主学习能力增强。两种感觉结合的机械臂应用于打捞更是一种新的突破。为今后融合多种感觉的机器人做了一次尝试，提供了一种思路，极大地拓宽了机器人及其不同部分的应用场景。

3)本发明为水面漂浮物回收提供一种新思路和新方法，其可塑性强，还具有很大的发展空间，且现有的海洋设备投放回收技术因为都要依靠大量的人力且操作时间较久，所以并非十分高效与成熟。因此，本发明具有较强的发展潜力与应用前景。此外，本发明还具有可观的拓展性，独特的智能化模块机制，使得本装置可以依据不同的任务需求进而拓展不同的装备完成不同的打捞任务，可拓展应用于垃圾打捞，水质采集等主要方面。

4)本发明应用范围较广，换取相适应的机械爪模块便可以完成智能化无人船展开海域搜索救援，将水面探测装置安装在相适应的位置。智能化机械臂、双喷水推进器可以安全快速地将人解救于水面，节省大量的人力资源。

附图说明

图1为本发明结构示意图；

图2为本发明图1中A处结构放大示意图；

图3为本发明机械臂和图像获取设备结构示意图；

图4为本发明工作流程示意图；

图5为本发明视觉信息检测与处理流程示意图；

图6为本发明力觉信息检测与处理流程示意图；

图7为本发明左右双体船间距比为3时双体船运动相应曲线图；

图8为本发明左右双体船间距比为3.5时双体船运动相应曲线图；

图9为本发明左右双体船间距比为4时双体船运动相应曲线图；

图10为本发明左右双体船间距比为4.5时双体船运动相应曲线图。

图中：1、双体船；2、弹簧缓冲装置；3、信息处理室；4、图像获取设备；5、机械臂；6、电机二；7、安装座；8、电机一；9、支撑板；10、调节柱；11、导向架；12、活动杆一；13、活动杆二；14、摆动件；15、液压杆；16、活动杆四；17、活动杆三；18、限位框。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

请参阅图1-10，本发明提供一种技术方案：

实施例1：

融合视觉与力觉机械臂的水下打捞装置，包括左右两个双体船1，两个所述双体船1顶部左侧与中间分别安装有弹簧缓冲装置2与液压减震装置，且弹簧缓冲装置2与液压减震装置的安装端均与信息处理室3外壁连接，两个所述双体船1顶部右侧均设有限位装置，且限位装置的驱动端与限位框18连接，所述信息处理室3右侧延伸端设有机械臂5与两个图像获取设备4，且机械臂5与信息处理室3相背离的一端安装有机械夹爪，所述图像获取设备4位于信息处理室3延伸端底部，且机械臂5位于两个图像获取设备4之间。

左右所述双体船1之间的间距比为3m。

实施例2：

融合视觉与力觉机械臂的水下打捞装置，包括左右两个双体船1，两个所述双体船1顶部左侧与中间分别安装有弹簧缓冲装置2与液压减震装置，且弹簧缓冲装置2与液压减震装置的安装端均与信息处理室3外壁连接，两个所述双体船1顶部右侧均设有限位装置，且限位装置的驱动端与限位框18连接，所述信息处理室3右侧延伸端设有机械臂5与两个图像获取设备4，且机械臂5与信息处理室3相背离的一端安装有机械夹爪，所述图像获取设备4位于信息处理室3延伸端底部，且机械臂5位于两个图像获取设备4之间。

左右所述双体船1之间的间距比为3.5m。

实施例3：

融合视觉与力觉机械臂的水下打捞装置，包括左右两个双体船1，两个所述双体船1顶部左侧与中间分别安装有弹簧缓冲装置2与液压减震装置，且弹簧缓冲装置2与液压减震装置的安装端均与信息处理室3外壁连接，两个所述双体船1顶部右侧均设有限位装置，且限位装置的驱动端与限位框18连接，所述信息处理室3右侧延伸端设有机械臂5与两个图像获取设备4，且机械臂5与信息处理室3相背离的一端安装有机械夹爪，所述图像获取设备4位于信息处理室3延伸端底部，且机械臂5位于两个图像获取设备4之间。

左右所述双体船1之间的间距比为4m。

实施例4：

融合视觉与力觉机械臂的水下打捞装置，包括左右两个双体船1，两个所述双体船1顶部左侧与中间分别安装有弹簧缓冲装置2与液压减震装置，且弹簧缓冲装置2与液压减震装置的安装端均与信息处理室3外壁连接，两个所述双体船1顶部右侧均设有限位装置，且限位装置的驱动端与限位框18连接，所述信息处理室3右侧延伸端设有机械臂5与两个图像获取设备4，且机械臂5与信息处理室3相背离的一端安装有机械夹爪，所述图像获取设备4位于信息处理室3延伸端底部，且机械臂5位于两个图像获取设备4之间。

左右所述双体船1之间的间距比为4.5m。

本发明采用的无人船为双体船1，同时能够在本发明中增加太阳能板进行部分供能。双体船1拥有更宽阔的甲板面积、较大的横向稳心半径以及较小的兴波阻力等优点，可更稳定的实施打捞功能。同时，在甲板上部、甲板底部、船体竖直面分析后，选择了在船体竖直面尾部位置安装一个机械臂5。机械爪部分具有可拆卸、模块化等特点，提高了打捞物品的稳定性，增大了装置的适用范围。视觉传感器分别安放在双体船1船头，船中央内侧，船尾，一共安装三组双目视觉摄像机。因为标定系数多定标难度大，因此必须要两侧尽可能地对称安装双目视觉摄像机。

本发明前部的弹簧减震结构在浮筒上设置有硬质弹簧的减震基架，基架上设置有万向节，通过两根互相垂直的弹簧支架与双体船1平台连接。这种结构利用了三角形的稳性和弹簧的缓冲作用，使船体在遭遇波浪时在XYZ方向上都能得到减震作用，减少双体船1平台的晃动，在后部的液压减震结构上，浮筒与平台通过万向节和弹簧支架连接，另外在支架中部设置有弹簧液压杆与平台相连。当船体遇到波浪时，液压杆受到压迫也可实现相当于弹簧类似的缓冲作用，减少船体晃动。通过前部的弹簧减震结构和位于后部的液压减震结构形成的抗风浪结构可以使投放船在投放时保持平台稳定，便于打捞工作。

参阅图7-图10，实施例1-实施例4在间距比分别为3.0、3.5、4.0、4.5四个间距比下，考虑环境载荷角为90°，1.5Hz区域的载荷频率是双体船1横摇响应的共振区间，波浪周期约为0.67s。设计时需重点考虑，而随着间距比的加大，共振区间呈逐渐扩大的趋势，因此，设计时所选用的间距比不应过大，根据横摇响应特性曲线可知，随着波浪圆频率的增大，船体的横摇运动响应先增大后减小，并且各间距比在波浪频率为1.5Hz时达到峰值，K/D＝4.5时相较于其他间距比的运动幅值算子更低，K/D＝3.5次之，而K/D＝3时最大。根据纵摇响应特性曲线可知，船体的纵摇响在0.75Hz时达到峰值，整体趋势为随着频率的增加而上升至某一峰值，后快速降低，在迎来下一个稍小的极值后，持续下降，最终稳定在一个较低的水平。根据垂荡特性响应曲线可知，波浪频率较低时，双体艇运动响应保持在一个较高的水平，随着波浪频率的增加而下降。且间距比不同，垂荡响应峰值对应的频率也略有不同，但基本维持在2-2.5Hz，当频率大于3.5Hz时，垂荡运动响应最终保持在较低的阈值内。

综上所述，本装置所选取间距比为3.5，以获得较低的航行阻力和较好的耐波性。

所述信息处理室3内设有计算机控制模块，所述图像获取设备4为用于采集目标物位置图像的双目相机，如图5所示，图像获取设备4获取海上漂浮物的图像，视觉系统对该图像进行处理，通过灰度化、卡尔曼滤波、高斯混合模型算法、轮廓提取以及最小外接矩阵等方法获取海上漂浮物中心点坐标，并通过标定矩阵将该中心点坐标转换到机械臂5基坐标下实现目标定位，所述机械夹爪上设有力检测设备，且力检测设备包括安装在机械夹爪夹持端内壁上的力传感器与数据传输转换单元，所述数据传输转换单元与力传感器、信息处理室3连接。

同时，结合机械臂5的运动结构特点，最终选用腕力传感器和压力式传感器。腕力传感器将是安装于机械臂5腕部，传感器采用六维力传感器，可获得更多更精确的力觉信息。同时为了提高抓取目标物的精准度，机械夹爪的末端内两侧安装两个一维的压力式传感器。传输转换单元选用变送器，变送器对力传感器输出的模拟信号进行放大并转换为电信号，使用两线制RS485以及Modbus RTU通讯协议与工控机进行通信传输，其电信号的信号方式更便于工控机对信息的获取与处理。

力觉部分完成对目标物的力学习与力控制。使机械臂可以感受到与物体间的接触状态从而做出相关动作，保证机械臂与物体之间达到最合适的接触状态。机械臂力觉部分可通过大量学习积累力信息中所包含的力特征，以此提升与外界接触经验，最后根据力学习经验完成力处理，融合海面的复杂环境，较好的完成打捞过程。

融合视觉引导和力反馈的机械臂运动控制及应用系统实验分析。可通过中心控制设备把力觉和视觉部分较好的融合到了一起。建立机械臂的运动模型，通过视觉引导和力反馈实现对物品的实时定位抓取。同时，将安装实验平台进行视觉引导和力反馈下机械臂海面打捞算法验证应用实验。

所述信息处理室3内设有计算机控制模块，即上位机，通过软件系统控制其他设备，所述图像获取设备4为用于采集目标物位置图像的双目相机，所述机械夹爪上设有力检测设备，主要获得接触力信息，且力检测设备包括安装在机械夹爪夹持端内壁上的力传感器与数据传输转换单元，所述数据传输转换单元与力传感器、信息处理室3连接，各模块在原理上实现数据互通，从而组成一个工作系统，如图6所示，通过串口信息对机械臂5上的机械夹爪夹持端上的力传感器进行力检测，分析并采集机械臂5与不同的海上漂浮物接触过程中产生的力信息，通过机器学习的方法对该力信息样本使用LSTM网络训练得出力特征检测模型，并对模型结果进行分析和测试，判断是否可以在实际情况中应用，最后机械夹爪通过对当前力信息进行处理可以更为精准的与智能的对目标物进行力控制。

所述安装座7上设有支撑架，且调节柱10的一端通过轴承与支撑架连接，所述调节柱10的另一端与电机二6的输出轴连接，且液压杆15位于导向架11的内部，所述液压杆15的伸缩端横向贯穿导向架11向外延伸并与摆动件14铰接，且活动杆二13的另一端与摆动件14顶部铰接，所述活动杆一12的另一端与L形活动块铰接，且L形活动块与活动杆一12相背离的一端铰接有活动杆三17，所述摆动件14内开设有能够容纳活动杆三17的活动槽，且活动杆三17的另一端穿过活动槽与限位框18外壁中部铰接，所述摆动件14底部铰接有活动杆四16，且活动杆四16的另一端与限位框18外壁上方铰接，所述安装座7底部与转轴的固定端连接，且转轴的转动端与转动柱连接，所述转动柱的另一端固定设在双体船1顶部，且转动柱外壁设有从齿盘，所述电机一8的输出轴纵向贯穿安装座7向下延伸，且电机一8输出轴的延伸端与主动齿盘连接，所述主动齿盘与从齿盘啮合。电机一8与电机二6均为步进电机，液压杆15伸缩能够带动摆动件14以活动杆二13的另一端为轴心进行转动，同时摆动件14转动时能够带动活动杆四16、活动杆三17移动，从而实现对限位框18位置的调节，使得限位框18向两个双体船1之间伸出，对物体进行限位，通过电机二6能够带动调节柱10转动，从而实现将导向架11、液压杆15由水平工作状态变化到竖直待机状态。

采用可伸缩的限位装置，在双体的艉端安装设计有可伸缩的爪形限位装置，在打捞物接近船体艉部时，限位装置从船体两侧启动，通过进步电机的带动下，爪形限位装置向船中线位置伸出，压缩打捞物的可移动空间，同时爪形闭合固定打捞物，再由力觉视觉机械臂完成打捞工作。爪形限位装置在船尾轴端设计有环形齿轮，限位装置可在电动的驱动下由水平工作状态变化到竖直待机状态，可最大幅度降低限位装置对双体船1航行的影响，到达航行与高效打捞的最优解。

工作原理：利用船体布置的图像获取设备4获取海上漂浮物的图像，视觉系统对该图像进行处理，通过灰度化、卡尔曼滤波、高斯混合模型算法、轮廓提取以及最小外接矩阵等方法获取海上漂浮物中心点坐标，并通过标定矩阵将该中心点坐标转换到机械臂5基坐标下实现目标定位。在已获得海上漂浮物坐标的基础上，通过信息处理室3控制系统驱动双体船1和机械臂5以设定的速度靠近目标物。然后，通过串口信息对机械臂5上的机械夹爪夹持端上的力传感器进行力检测，分析并采集机械臂5与不同的海上漂浮物接触过程中产生的力信息，通过机器学习的方法对该力信息样本使用LSTM网络训练得出力特征检测模型，并对模型结果进行分析和测试，判断是否可以在实际情况中应用。最后，利用搭建好的双体船1平台和已实现的软件系统对海上漂浮物的抓取和回收。首先图像获取设备4获取目标物位置图像，将图像传输至信息处理室3进行处理，获得目标在实验平台的位置。然后信息处理室3驱动机械臂5运行至该位置进行作业，在作业过程中，限位装置用于驱动限位框18限制目标物的空间位移，信息处理室3通过力检测设备实时获取机械夹爪夹持末端与目标接触产生的力信息，根据力反馈结果决定机械臂5的运动状态，例如打捞作业中何时停止当前运动并启动抓取。同时，打捞动作完成后信息处理室3还可控制机械臂5运动至无人船所属位置进行放置。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。