生物实验机器人及其控制方法

技术领域

本申请涉及机器人技术领域，尤其涉及一种生物实验机器人及其控制方法。

背景技术

新发传染病的检测和研究在应对疫情过程中发挥着至关重要的作用，这也给生物安全实验室带来巨大的挑战。面对未知的生物危险因子，不规范的生物安全防护措施对实验室人员的生命健康以及传染病的研究造成严重影响，而采用无人化、智能化的检测技术和机器人设备，对于消除此影响有着重要意义。目前，国内外已经有相关研究机构和企业正逐步开展智能化生物实验机器人方面的研究。

目前，针对生物实验机器人及其控制方法的研究尚处于起步阶段，大多数为底座固定式的生物实验自动化设备，采用流水线的方式进行生物实验操作，其效率较高，控制相对简单；但只能针对特定的生物实验场景，一旦应用场景发生变化，就需要对机器人进行大幅改动，甚至需要重新设计；而且无法在生物实验室内自由移动，作业范围非常有限。也有采用单臂式结构的生物实验机器人，但只能完成一些简单的抓取操作，无法完成试管开盖、合盖、移液、摇匀等复杂的生物实验操作。

目前的生物实验自动化设备，多采用预先示教编程的方式，进行流水线式操作，不具备对目标的实时在线识别和操作能力。一旦实验用具和实验环境发生移动，就需要重新示教编程。因此需要研究开发具备智能感知和自主操作能力的生物实验机器人控制算法，使得生物实验机器人具备更好的环境适应性。

发明内容

本申请的目的在于提供一种生物实验机器人及其控制方法，能够具备智能感知和自主操作能力，具备更好的环境适应性。

本申请的一个方面提供了一种生物实验机器人的控制方法。所述机器人采用移动平台搭载双机械臂的结构，在所述机器人的移动平台上安装有相对于所述移动平台固定的3D相机作为全局相机，在所述机器人的双机械臂各自的腕部上分别安装3D相机作为局部相机。所述控制方法包括：预先通过标定获取所述机器人与每一台所述3D相机之间的位姿转换关系；预先训练获得实验用具识别模型；利用所述全局相机拍摄生物实验台图像，并基于所述实验用具识别模型，从所述生物实验台图像中识别出待抓取的目标实验用具，获取所述目标实验用具的类别及在相机坐标系中的位置；根据所述目标实验用具在相机坐标系中的位置，并基于标定得到的所述机器人与所述全局相机之间的位姿转换关系，求得所述目标实验用具在机器人坐标系中的位姿；根据所述目标实验用具在机器人坐标系中的位姿进行所述机器人的双臂协同作业路径规划；按照规划出的双臂协同作业路径，在所述全局相机的引导下，并基于所述机器人与所述全局相机之间的位姿转换关系，联合控制移动所述移动平台和所述双机械臂接近所述目标实验用具，以进行所述目标实验用具的初步对准；以及在所述双机械臂各自的所述局部相机的引导下，并基于所述机器人与各自的所述局部相机之间的位姿转换关系，控制所述双机械臂精确运动到所述目标实验用具。

进一步地，在所述双机械臂各自的腕部和末端分别配置腕力传感器和指端力传感器，所述控制方法还包括：基于所述腕力传感器的信号，控制所述双机械臂与所述目标实验用具柔顺接触；及基于所述指端力传感器的信号，控制所述双机械臂对所述目标实验用具柔性抓持，并完成对所述目标实验用具的生物实验操作。

进一步地，预先通过标定获取所述机器人与每一台所述3D相机之间的位姿转换关系包括：预先对每一台所述3D相机进行标定；及通过标定分别获得所述全局相机相对于机器人基座的位姿转换关系及所述局部相机相对于各自机械臂末端的位姿转换关系。

进一步地，预先对每一台所述3D相机进行标定包括：在适当位置安装标定板，运行机器人3D标定程序，并控制所述3D相机采集所述机器人在不同位姿下的标定板数据，进行手眼标定。

进一步地，预先训练获得实验用具识别模型包括：调整所述机器人的位姿；用任一所述3D相机拍摄并采集所述机器人不同位姿下相关实验用具的图像数据；用图像标注工具对得到的图像数据进行标注；及采用卷积神经网络，学习训练得到所述实验用具识别模型。

进一步地，采用Fast R-CNN卷积神经网络，学习训练得到所述实验用具识别模型。

进一步地，进行所述机器人的双臂协同作业路径规划包括：建立所述双机械臂的运动学和动力学模型以及相应的约束关系；及基于所述双机械臂的运动学和动力学模型及所述约束关系进行所述机器人的双臂协同作业路径规划。

进一步地，在所述全局相机的引导下，通过基于位置的视觉伺服进行所述目标实验用具的初步对准。

进一步地，在所述双机械臂各自的所述局部相机的引导下，通过基于图像的视觉伺服进行所述目标实验用具的精确趋近。

本申请的另一个方面提供了一种生物实验机器人。所述生物实验机器人包括移动平台、安装于所述移动平台上的双机械臂、用于对所述移动平台进行控制的平台控制器以及用于对所述双机械臂进行控制的双臂控制器，在所述双机械臂各自的末端分别安装有生物实验末端工具，所述生物实验末端工具用于抓取目标实验用具并进行对所述目标实验用具的生物实验操作，在所述移动平台上安装有相对于所述移动平台固定的3D相机作为全局相机，在所述双机械臂各自的腕部上分别安装3D相机作为局部相机，在所述平台控制器中保存有预先通过标定获得的所述机器人与所述全局相机之间的位姿转换关系，在所述双臂控制器中保存有预先通过标定获得的所述机器人与所述双机械臂各自的局部相机之间的位姿转换关系、以及预先通过训练获得的实验用具识别模型。

进一步地，在所述双机械臂各自的腕部和末端分别配置腕力传感器和指端力传感器，所述腕力传感器和所述指端力传感器分别与所述双臂控制器连接，其中，所述双臂控制器用于基于各自的所述腕力传感器和所述指端力传感器的信号来对所述双机械臂进行柔顺控制。

进一步地，所述生物实验机器人还包括电源系统，所述电源系统用于为所述生物实验机器人提供电源。

进一步地，所述移动平台还包括与所述平台控制器连接的里程计，所述里程计用于获取所述移动平台的移动位置。

进一步地，所述移动平台还包括分别与所述平台控制器连接的惯性测量单元及激光雷达。

进一步地，所述移动平台还包括驱动器、电机及万向轮，所述驱动器及所述电机用于驱动所述移动平台移动，所述驱动器与所述平台控制器连接，所述平台控制器通过控制所述驱动器驱动控制所述电机，所述电机用于驱动所述万向轮移动。

本申请一个或多个实施例的生物实验机器人及其控制方法可以取得以下的有益技术效果中的一个或多个：

(1)本申请移动和操作灵活，适用于各种生物实验场景：本申请采用移动平台搭载双机械臂的机器人构型，能够灵活地在生物实验室内移动，完成多种实验任务。当生物实验场景发生变化时，只需要对目标实验用具进行重新训练和识别，或者更换生物实验末端工具，即可适用于新的应用场景，而不需要对机器人系统做重新设计或大幅改动，兼顾效率、灵活性、适配性。

(2)本申请采用双机械臂协同控制，求得最优解：本申请通过建立双机械臂进行病原分离提取和检测等生物实验操作作业时，各机械臂末端之间的位置、速度约束关系，以及关节运动、力矩和防自碰撞等约束关系，将双机械臂无碰撞运动规划问题转化为带约束的优化问题，极大降低了最优解的求解难度。

(3)本申请能够精确识别生物实验场景下的各种目标：采用全局相机和局部相机相结合的方式，既防止因局部相机视野过小导致目标丢失，又保证了识别和控制的精度。当距离实验用具等目标较远时，可以先通过基于位置的视觉伺服进行目标的初步对准；然后再通过基于图像的视觉伺服进行精确的趋近，最终控制双机械臂以适当的姿态精确运动到实验目标。即使目标在局部相机视野中丢失，也可通过全局相机找回。

(4)本申请通过机器人腕部力传感器和指端力传感器，实现柔性操作：本申请在机械臂的腕部配置腕部力传感器，在机械臂的末端处配置指端力传感器；在进行生物实验操作时，机器人基于力传感器信号，工作在力控模式下，实现了柔顺操作，防止刚性接触，避免损坏试管等易碎的玻璃器皿。

附图说明

图1为本申请一个实施例的生物实验机器人的结构框图。

图2为本申请一个实施例的生物实验用具识别算法流程图。

图3为本申请一个实施例的生物实验机器人的控制方法的流程图。

图4为本申请一个实施例的双机械臂控制算法流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本申请相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置的例子。

在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。除非另作定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。在本申请的说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

下面结合说明书附图和示范性实施例对本申请中的技术方案进行完整、清楚的描述。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。

本申请提供了一种生物实验机器人。图1揭示了本申请一个实施例的生物实验机器人100的结构框图。如图1所示，本申请一个实施例的生物实验机器人100包括移动平台1及安装于移动平台1上的双机械臂21、22。双机械臂21、22包括左臂21和右臂22。移动平台1上具有机器人基座(未图示)，机器人基座相对于移动平台1是固定不动的。左臂21和右臂22分别安装于机器人基座上。在双机械臂21、22(即左臂21和右臂22)各自的末端分别安装有生物实验末端工具211、212，生物实验末端工具211、212可以通过机械臂末端法兰分别安装于左臂21和右臂22的末端。生物实验末端工具211、212可以用来抓取目标实验用具，并进行对目标实验用具的生物实验操作。

在移动平台1上安装有相对于移动平台1固定的3D相机作为全局相机5，在双机械臂21、22(即左臂21和右臂22)各自的腕部上分别安装3D相机作为局部相机61、62。

本申请的生物实验机器人100还包括用于对移动平台1进行控制的平台控制器3以及用于对双机械臂21、22进行控制的双臂控制器4。在平台控制器3中保存有预先通过标定获得的机器人与全局相机5之间的位姿转换关系。在双臂控制器4中保存有预先通过标定获得的机器人与双机械臂21、22各自的局部相机61、62之间的位姿转换关系、以及预先通过训练获得的实验用具识别模型。

针对移动平台1上安装的全局相机5及双机械臂21、22各自上安装的局部相机61、62中的任一台3D相机，下面将详细介绍是如何通过对3D相机进行预先标定，来获得机器人与每一台3D相机之间的位姿转换关系。

在适当位置安装标定板，运行机器人3D标定程序，并控制3D相机采集机器人在不同位姿下的标定板数据，进行手眼标定，获取机器人与3D相机之间的位姿转换关系。

例如，针对任一机械臂上的局部相机61、62的标定，对于机械臂任意两个位姿，由于目标相对于机器人基座的位置是固定的，因此，可以得到以下公式(1)：

在公式(1)中，左上标表示参考坐标系，左下标表示实际坐标系。其中，

将上述公式(1)经过转换，可以得到如下：

设

需要说明的是，虽然

其中，在AX＝XB方程中，

因此，通过上面所述的标定方法，通过对双机械臂21、22各自的局部相机61、62进行预先标定，可以获得局部相机61、62相对于各自机械臂末端的位姿转换关系；通过对移动平台1上的全局相机5进行预先标定，可以获得全局相机5相对于机器人基座的位姿转换关系。

接下来，将结合图2详细介绍是如何通过预先学习训练来获得实验用具识别模型的。

图2揭示了本申请一个实施例的生物实验用具识别算法流程图。结合参照图2所示，调整机器人的位姿，用任一3D相机拍摄生物实验场景图像，并采集不同位姿下试管、移液器、试剂盒等相关实验用具的图像数据，并用图像标注工具对得到的图像数据集进行标注，并采用卷积神经网络，学习训练得到实验用具识别模型。在一个实施例中，本申请可以采用Fast R-CNN卷积神经网络，在卷积的最后一层采用感兴趣区域(ROI，Region OfInterest)池化层生成固定尺寸的特征图，并使用多任务损失函数，将边界回归加入到CNN网络中进行训练。整个卷积神经网络的结构如图2所示。生物实验场景图像都经过卷积层处理后生成特征图；然后从每个感兴趣区域的特征图中通过全连接层提取一个固定长度的特征向量。通过端到端的多任务损失函数对过程中的所有参数进行优化。Fast R-CNN在卷积网络后并行连接两个全连接层，一个作为目标分类器(softmax分类器)，另一个作为候选框回归器，使得目标分类与候选框回归能够并行训练与运行，进一步简化了R-CNN的流程，提升了模型效率。从而，可以最终采用softmax分类器，输出所识别出的实验用具的种类。

因此，通过上述识别算法，可以对多种生物实验用具进行学习和训练，从而可以最终得到本申请的实验用具识别模型。

返回参照图1，在双机械臂21、22各自的腕部分别配置腕部力传感器212、222，在双机械臂21、22各自的末端分别配置指端力传感器213、223。腕部力传感器212、222和指端力传感器213、223分别与双臂控制器4连接，其中，双臂控制器4可以基于各自的腕部力传感器212、222和指端力传感器213、223的信号来对双机械臂21、22各自末端的生物实验末端工具211、212进行柔顺控制。

在一些实施例中，本申请的生物实验机器人100还包括电源系统7，电源系统7可以为生物实验机器人100提供电源。

如图1所示，在一些实施例中，移动平台1还可以包括与平台控制器3连接的里程计11，里程计11可以用来获取移动平台1的移动位置。

移动平台1还可以包括分别与平台控制器3连接的惯性测量单元(IMU，InertialMeasurement Unit)12及激光雷达13。惯性测量单元12可以在移动平台1的移动过程中用于导航，激光雷达13可以在移动平台1的移动过程中用于避障。

在一些实施例中，移动平台1还包括驱动器及电机14、以及万向轮15。驱动器及电机14用于驱动移动平台1移动。驱动器与平台控制器3连接，平台控制器3可以通过控制驱动器驱动控制电机，电机可以用来驱动万向轮15移动，进而驱动移动平台1移动。

本申请还提供了一种生物实验机器人的控制方法。该生物实验机器人采用移动平台搭载双机械臂的结构，在机器人的移动平台上安装有相对于移动平台固定的3D相机作为全局相机，在机器人的双机械臂各自的腕部上分别安装3D相机作为局部相机。

图3揭示了本申请一个实施例的生物实验机器人的控制方法的流程图。如图3所示，本申请一个实施例的生物实验机器人的控制方法可以包括步骤S1至步骤S7。

在步骤S1中，可以预先通过标定获取机器人与每一台3D相机之间的位姿转换关系。

在一些实施例中，预先通过标定获取机器人与每一台3D相机之间的位姿转换关系包括步骤S11和步骤S12。

在步骤S11中，预先对每一台3D相机进行标定。

针对每一台3D相机，在适当位置安装标定板，运行机器人3D标定程序，并控制3D相机采集机器人在不同位姿下的标定板数据，进行手眼标定。

在步骤S12中，通过标定分别获得全局相机相对于机器人基座的位姿转换关系及局部相机相对于各自机械臂末端的位姿转换关系。

在步骤S2中，预先训练获得实验用具识别模型。

在一些实施例中，步骤S2可以进一步包括步骤S21至步骤S24。在步骤S21中，调整机器人的位姿。在步骤S22中，用任一3D相机拍摄并采集机器人不同位姿下相关实验用具的图像数据。在步骤S23中，用图像标注工具对得到的图像数据进行标注。在步骤S24中，采用卷积神经网络，学习训练得到实验用具识别模型。卷积神经网络例如可以采用Fast R-CNN卷积神经网络，从而可以简化流程，提高模型效率。

在步骤S3中，利用全局相机拍摄生物实验台图像，并基于步骤S2的实验用具识别模型，从生物实验台图像中识别出待抓取的目标实验用具，获取目标实验用具的类别及在相机坐标系中的位置。

在步骤S4中，根据目标实验用具在相机坐标系中的位置，并基于步骤S1中标定得到的机器人与全局相机之间的位姿转换关系，求得目标实验用具在机器人坐标系中的位姿。

在步骤S5中，根据步骤S4求得的目标实验用具在机器人坐标系中的位姿进行机器人的双臂协同作业路径规划。

在一些实施例中，可以建立双机械臂运动学和动力学模型以及相应的约束关系，然后，可以基于双机械臂的运动学和动力学模型及约束关系进行机器人的双臂协同作业路径规划。

例如，在双机械臂21、22进行生物实验操作作业时，建立双机械臂末端之间的位置、速度约束关系，以及关节运动、力矩和防自碰撞等约束关系，将双机械臂无碰撞运动规划问题转化为带约束的优化问题，进行协同作业路径规划，并防止双机械臂运动过程中，各杆件之间发生自碰撞。

在步骤S6中，按照规划出的双臂协同作业路径，在全局相机的引导下，并基于机器人与全局相机之间的位姿转换关系，联合控制移动移动平台和双机械臂接近目标实验用具，以进行目标实验用具的初步对准。

在一些实施例中，在全局相机的引导下，可以通过基于位置的视觉伺服进行目标实验用具的初步对准。

在步骤S7中，在双机械臂各自的局部相机的引导下，并基于机器人与各自的局部相机之间的位姿转换关系，控制双机械臂精确运动到目标实验用具。

在一些实施例中，在双机械臂各自的局部相机的引导下，可以通过基于图像的视觉伺服进行目标实验用具的精确趋近。

在一些实施例中，在生物实验机器人的双机械臂各自的腕部和末端分别配置腕部力传感器和指端力传感器。在双机械臂达到各自的目标位置后，本申请的控制方法还可以包括步骤S8和步骤S9。

在步骤S8中，可以基于腕部力传感器的信号，开启导纳控制模式，控制双机械臂与目标实验用具柔顺接触。

在步骤S9中，可以基于指端力传感器的信号，控制双机械臂对目标实验用具柔性抓持，并完成对目标实验用具的生物实验操作，例如，完成采样管抓取、开盖、移液、摇匀、合盖、在不同试验区之间传递试剂、扩增等生物实验操作。

图4揭示了本申请一个实施例的双机械臂控制算法流程图。首先，获取目标实验用具的位姿；然后，对获取到的目标实验用具的位姿进行相机坐标系与机器人坐标系的转换，获得目标实验用具的实际位置坐标；建立双臂运动学和动力学约束模型；然后，基于目标实验用具的实际位置坐标及双臂运动学和动力学约束模型，在全局相机的引导下，通过基于位置的视觉伺服进行目标实验用具的初步对准；在双机械臂各自的局部相机的引导下，通过基于图像的视觉伺服进行目标实验用具的精确趋近；在双机械臂达到各自的目标位置后，将双机械臂切换到力控模式(例如导纳控制模式)；然后，结合力传感器信号，完成对目标实验用具的柔顺抓取和操作。本申请可用于病原微生物检测、生物化学实验等应用场景。

本申请一个或多个实施例的生物实验机器人100及其控制方法可以取得以下的有益技术效果中的一个或多个：

(1)本申请移动和操作灵活，适用于各种生物实验场景：本申请采用移动平台1搭载双机械臂21、22的机器人构型，能够灵活地在生物实验室内移动，完成多种实验任务。当生物实验场景发生变化时，只需要对目标实验用具进行重新训练和识别，或者更换生物实验末端工具211、212，即可适用于新的应用场景，而不需要对机器人系统做重新设计或大幅改动，兼顾效率、灵活性、适配性。

(2)本申请采用双机械臂21、22协同控制，求得最优解：本申请通过建立双机械臂21、22进行病原分离提取和检测等生物实验操作作业时，各机械臂末端之间的位置、速度约束关系，以及关节运动、力矩和防自碰撞等约束关系，将双机械臂21、22无碰撞运动规划问题转化为带约束的优化问题，极大降低了最优解的求解难度。

(3)本申请能够精确识别生物实验场景下的各种目标：采用全局相机5和局部相机61、62相结合的方式，既防止因局部相机61、62视野过小导致目标丢失，又保证了识别和控制的精度。当距离实验用具等目标较远时，可以先通过基于位置的视觉伺服进行目标的初步对准；然后再通过基于图像的视觉伺服进行精确的趋近，最终控制双机械臂21、22以适当的姿态精确运动到实验目标。即使目标在局部相机61、62视野中丢失，也可通过全局相机5找回。

(4)本申请通过机器人腕部力传感器212、222和指端力传感器213、223，实现柔性操作：本申请在机械臂的腕部配置腕部力传感器212、222，在机械臂的末端处配置指端力传感器213、223；在进行生物实验操作时，机器人基于力传感器信号，工作在力控模式下，实现了柔顺操作，防止刚性接触，避免损坏试管等易碎的玻璃器皿。

以上对本申请实施例所提供的生物实验机器人及其控制方法进行了详细的介绍。本文中应用了具体个例对本申请实施例的生物实验机器人及其控制方法进行了阐述，以上实施例的说明只是用于帮助理解本申请的核心思想，并不用以限制本申请。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的精神和原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也均应落入本申请所附权利要求书的保护范围内。