一种基于多轴协作机器人的半导体制造系统

技术领域

本发明涉及半导体制造技术领域，特别涉及一种基于多轴协作机器人的半导体制造系统。

背景技术

目前，半导体制造过程涉及很多个加工环节，例如：晶圆加工、氧化、光刻、刻蚀、薄膜沉积、互连、测试、封装等，每个加工环节的加工设备是分开的，因此，需要人工或者在相邻加工环节的设备之间设置传输带等传输设备实现不同加工环节之间的加工产物的传输。

但是，人工传输不仅效率低且容易对加工产物造成污染等危害，且半导体制造过程需要加工产物在不同环节之间的传输以及需要将加工产物精准放置在加工设备的目标位置才能保证制造好的半导体的良品率，而现存的传输带等自动传输设备，只能实现加工产物在两个加工设备之间的传输，无法实现将加工产物精准放置在下一个加工设备的目标位置，进而导致半导体制造的良品率不佳。

因此，本发明提出了一种基于多轴协作机器人的半导体制造系统。

发明内容

本发明提供一种基于多轴协作机器人的半导体制造系统，用以基于放置位置识别特征和夹取位置识别特征实现对加工产物的精准夹取和放置，并基于对多轴协作机器人的控制移动，实现了加工产物在半导体制造过程中不同加工环节之间的自动精准传输。

本发明提供一种基于多轴协作机器人的半导体制造系统，包括：

第一控制模块，用于基于最新环节计数结果确定出当前加工环节，并控制多轴协作机器人将当前加工环节的待加工物体夹持移动至当前加工环节的放置停留位置；

放置操作模块，用于当多轴协作机器人移动至当前加工环节的放置停留位置时，则基于当前加工环节的放置位置识别特征，对多轴协作机器人进行初次关节旋转控制和放置操作控制，并在放置操作完成后发出放置完成指令；

第二控制模块，用于当接收到放置完成指令时，则控制多轴协作机器人移动至当前加工环节的夹取停留位置；

夹取操作模块，用于当多轴协作机器人移动至当前加工环节的夹取停留位置时，则基于当前加工环节的夹取位置识别特征，对多轴协作机器人进行再次关节旋转控制和夹取操作控制，并在夹取操作完成后发出夹取完成指令；

计数模块，用于当接收到夹取完成指令时，对当前环节计数结果进行加1，获得最新环节计数结果，直至最新环节计数结果达到环节计数阈值时，输出半导体制造结果。

优选的，第一控制模块，包括：

环节确定单元，用于确定出最新环节计数结果在半导体制造流水线中对应的当前加工环节；

第一控制单元，用于确定出当前加工环节的待加工物体的初始放置位置，并控制多轴协作机器人将当前加工环节的待加工物体从初始放置位置夹持移动至当前加工环节的放置停留位置。

优选的，放置操作模块，包括：

第一识别单元，用于当多轴协作机器人移动至当前加工环节的放置停留位置时，则基于当前加工环节的放置位置识别特征，在获取的多轴协作机器人周围的实时全景图像中识别出放置位置的第一坐标表示；

第一旋转控制单元，用于基于第一坐标表示和当前加工环节的放置位置在标准全景图像中的第二坐标表示，对多轴协作机器人的旋转关节进行初次旋转控制，并在初次旋转控制完成后发出第一旋转控制停止指令；

放置操作单元，用于当接收到第一旋转控制停止指令时，则控制多轴协作机器人进行放置操作，并在放置操作完成后发出放置完成指令。

优选的，第一识别单元，包括：

数据确定子单元，用于当多轴协作机器人移动至当前加工环节的放置停留位置时，则确定出当前加工环节的放置位置识别特征中包含的放置位置轮廓坐标表示和放置位置轮廓的第一邻域色度特征以及放置位置轮廓中每个角点的第二邻域色度特征，并确定出放置位置轮廓中的角点总数；

轮廓识别子单元，用于在实时全景图像中包含的所有轮廓中筛选出角点总数与放置位置轮廓的角点总数一致的轮廓作为待筛选轮廓，并确定出待筛选轮廓中每个角点的第三邻域色度特征；

映射确定子单元，用于基于所有第二邻域色度特征和第三邻域色度特征，将放置位置轮廓中的角点和待筛选轮廓中的角点进行一一对应，并基于放置位置轮廓中每个角点在标准全景图像中的第一坐标和待筛选轮廓中每个角点在实时全景图像中的第二坐标，确定出待筛选轮廓中每个角点和在放置位置轮廓中对应的角点之间的第一坐标映射；

坐标确定子单元，用于基于待筛选轮廓对应的所有第一坐标映射和放置位置轮廓的第一邻域色度特征，确定出放置位置在实时全景图像中的第一坐标表示。

优选的，坐标确定子单元，包括：

偏移确定端，用于基于所有第一坐标映射确定出待筛选轮廓的变形方向，基于待筛选轮廓在实时全景图像中的第一子坐标表示和放置位置轮廓在标准全景图像中的放置位置轮廓坐标表示，确定出待筛选轮廓的轮廓偏移方向；

坐标确定端，用于确定出待筛选轮廓的第四邻域色度特征，将所有待筛选轮廓中筛选出第四邻域色度特征和第一邻域色度特一致且对应的变形方向与对应的轮廓偏移方向的负方向一致的待筛选轮廓的第一子坐标表示当作放置位置在实时全景图像中的第一坐标表示。

优选的，第一旋转控制单元，包括：

第一确定子单元，用于基于第一坐标表示和当前加工环节的放置位置在标准全景图像中的第二坐标表示，确定出多轴协作机器人的夹持装置的第一三维移动向量；

第二确定子单元，用于基于第一三维移动向量确定出多轴协作机器人的第一关节旋转控制计划；

第一判断子单元，用于基于第一关节旋转控制计划对多轴协作机器人的旋转关节进行初次旋转控制，并实时确定出放置位置在最新获得的实时全景图像中的第三坐标表示，直至最新确定出的第三坐标表示与第二坐标表示的重合度不小于重合度阈值时，则发出第一旋转控制停止指令。

优选的，第一确定子单元，包括：

映射确定端，用于确定出第一坐标表示和当前加工环节的放置位置在标准全景图像中的第二坐标表示之间的第二坐标映射；

向量确定端，用于基于第二坐标映射和坐标映射与视角点偏差向量之间的对应关系，确定出对应的视角点偏差向量，并将对应的视角点偏差向量当作多轴协作机器人的夹持装置的第一三维移动向量。

优选的，第二确定子单元，包括：

数据确定端，用于确定出多轴协作机器人每个关节对应的关节轴的相对旋转方向和相对旋转角度范围；

位置确定端，用于构建出多轴协作机器人的实时姿态模型，基于第一三维移动向量和实时姿态模型确定出多轴协作机器人的夹持装置参考点的目标相对位置坐标；

计划确定端，用于基于目标相对位置坐标以及每个关节对应的关节轴的相对旋转方向和相对旋转角度范围，确定出多种初始关节旋转控制计划；

计划筛选端，用于基于初始关节旋转计划中的每个关节轴的目标旋转方向和目标旋转角度，计算出初始关节旋转计划的评选优先参数，将最大评选优先参数对应的初始关节旋转控制计划当作多轴协作机器人的第一关节旋转控制计划。

优选的，夹取操作模块，包括：

第二识别单元，用于当多轴协作机器人移动至当前加工环节的夹取停留位置时，则基于当前加工环节的夹取位置识别特征，在获取的多轴协作机器人周围的实时全景图像中识别出夹取位置的第四坐标表示；

第二旋转控制单元，用于基于第四坐标表示和当前加工环节的夹取位置在标准全景图像中的第五坐标表示，对多轴协作机器人的旋转关节进行再次旋转控制，并在再次旋转控制完成后发出第二旋转控制停止指令；

夹取操作单元，用于当接收到第二旋转控制停止指令时，则控制多轴协作机器人进行夹取操作，并在夹取操作完成后发出夹取完成指令。

优选的，第二旋转控制单元，包括：

第三确定子单元，用于基于第四坐标表示和当前加工环节的夹取位置在标准全景图像中的第五坐标表示，确定出多轴协作机器人的夹持装置的第二三维移动向量；

第四确定子单元，用于基于第二三维移动向量确定出多轴协作机器人的第二关节旋转控制计划；

第二判断子单元，用于基于第二关节旋转控制计划对多轴协作机器人的旋转关节进行旋转控制，并实时确定出夹取位置在最新获得的实时全景图像中的第六坐标表示，直至最新确定出的第六坐标表示与第五坐标表示的重合度不小于重合度阈值时，则发出第二旋转控制停止指令。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中的一种基于多轴协作机器人的半导体制造系统示意图；

图2为本发明实施例中的第一控制模块示意图；

图3为本发明实施例中的一种放置操作模块示意图；

图4为本发明实施例中的一种多轴协作机器人示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

本发明提供了一种基于多轴协作机器人的半导体制造系统，参考图1和4，包括：

第一控制模块，用于基于最新环节计数结果确定出当前加工环节，并控制多轴协作机器人将当前加工环节的待加工物体夹持移动至当前加工环节的放置停留位置；

放置操作模块，用于当多轴协作机器人移动至当前加工环节的放置停留位置时，则基于当前加工环节的放置位置识别特征，对多轴协作机器人进行初次关节旋转控制和放置操作控制，并在放置操作完成后发出放置完成指令；

第二控制模块，用于当接收到放置完成指令时，则控制多轴协作机器人移动至当前加工环节的夹取停留位置；

夹取操作模块，用于当多轴协作机器人移动至当前加工环节的夹取停留位置时，则基于当前加工环节的夹取位置识别特征，对多轴协作机器人进行再次关节旋转控制和夹取操作控制，并在夹取操作完成后发出夹取完成指令；

计数模块，用于当接收到夹取完成指令时，对当前环节计数结果进行加1，获得最新环节计数结果，直至最新环节计数结果达到环节计数阈值时，输出半导体制造结果。

该实施例中，最新环节计数结果即为基于计数模块统计出的待加工物体（需要经过半导体制造流水线中的加工环节的加工物体，例如硅锭、晶圆等）即将需要被执行的加工环节的序数。

该实施例中，当前加工环节即为待加工物体即将需要被执行的加工环节的序数。

该实施例中，参考图4可知，多轴协作机器人即为基于装载的多个可旋转的关节可实现末端关节轴的全角度旋转和远近距离的夹取，且多轴协作机器人也可实现自体的移动。

该实施例中，夹持操作主要通过多轴协作机器人最末端的关节轴上的夹取装置实现。

该实施例中，控制多轴协作机器人进行夹取或移动或者放置都是基于预设的控制程序远程控制实现的。

该实施例中，放置停留位置即为在当前加工环节中多轴协作机器人将待加工物体放置在放置位置时，执行放置操作时多轴协作机器人需要停留的位置，例如：在硅锭切割过程中需要控制多轴协作机器人停留在切割固定设备的旁边（即与切割方向垂直且在切割固定设备的圆柱体轨道的两侧中与金刚石切割设备相对的一侧的固定位置）。

该实施例中，放置位置识别特征即为当前加工环节的待加工物体需要放置的位置的图像识别特征，例如：放置位置轮廓坐标表示、放置位置轮廓的第一邻域色度特征（标准全景图像（即为当多轴协作机器人在当前加工环节的放置停留位置停留时且以标准放置准备姿态（即多轴协作机器人执行放置操作前最末端的夹取轴的预设标准姿态）时获取的实时全景图像）中的放置位置轮廓周围的预设范围内的所有像素点的色度值的和与标准全景图像中所有像素点的色度值的和的比值）等。

该实施例中，初次关节旋转控制即为对多轴协作机器人的每个关节的旋转方向和旋转角度进行控制的操作，为了使得多轴协作机器人的最末端的关节轴的放置方向和位置满足标准放置准备姿态。

该实施例中，放置操作控制即为基于预设的放置操作控制程序控制多轴协作机器人将夹取的待加工物体放置在对应的放置位置的控制操作。

该实施例中，放置完成指令即为提示第二控制模块多轴协作机器人已将待加工物体放置在对应的放置位置的指令。

该实施例中，夹取停留位置即为当待加工物体被执行完当前加工环节时需要被多轴协作机器人从对应加工设备夹取时，多轴协作机器人执行夹取操作时停留的位置，同一加工环节的夹取停留位置与放置停留位置可能一致，例如在对硅锭进行切割的加工环节，则多轴协作机器人的夹取停留位置和放置停留位置都是在切割固定设备的旁边（即与切割方向垂直且在切割固定设备的圆柱体轨道的两侧中与金刚石切割设备相对的一侧的固定位置）。

该实施例中，夹取位置识别特征即为当前加工环节的待加工物体需要被夹取时所在位置的图像识别特征，例如：夹取位置轮廓坐标表示、夹取位置轮廓的第五邻域色度特征（另一个标准全景图像（即为当多轴协作机器人在当前加工环节的夹取停留位置停留时且以标准夹取准备姿态（即多轴协作机器人在执行夹取操作前最末端的夹取轴的预设标准姿态）时获取的实时全景图像）中的夹取位置轮廓周围的预设范围内的所有像素点的色度值的和与标准全景图像中所有像素点的色度值的和的比值）等。

该实施例中，再次关节旋转控制即为对多轴协作机器人的每个关节的旋转方向和旋转角度进行控制的操作，为了使得多轴协作机器人的最末端的关节轴的夹取方向和位置满足标准夹取准备姿态。

该实施例中，夹取操作控制即为基于预设的夹取操作控制程序控制多轴协作机器人将待加工物体从加工设备中夹取起来的操作。

该实施例中，夹取完成指令即为用于提示计数模块多轴协作机器人已将经过当前加工环节加工后的加工产物夹取完成的指令。

该实施例中，环节计数阈值即为与半导体制造全程需要经过的加工环节的总数一致的数值。

该实施例中，半导体制造结果即为当最新环节计数结果与环节技术阈值一致时，多轴协作机器人从最后一个加工环节加工完后夹取获得的加工产物，即制造完成的半导体芯片。

以上技术的有益效果为：基于放置位置识别特征和夹取位置识别特征实现对加工产物的精准夹取和放置，并基于对多轴协作机器人的控制移动，实现了加工产物在半导体制造过程中不同加工环节之间的自动精准传输。

实施例2

在实施例1的基础上，第一控制模块，参考图2，包括：

环节确定单元，用于确定出最新环节计数结果在半导体制造流水线中对应的当前加工环节；

第一控制单元，用于确定出当前加工环节的待加工物体的初始放置位置，并控制多轴协作机器人将当前加工环节的待加工物体从初始放置位置夹持移动至当前加工环节的放置停留位置。

该实施例中，半导体制造流水线即为包含半导体制造全程需要经过的加工环节的加工环节流水线。

该实施例中，初始放置位置即为当前加工环节的待加工物体的原始放置位置，当当前加工环节为半导体制造流水线中的第一个加工环节时，则将半导体制造所需的原料的放置位置当作初始放置位置，并将原料夹持至当前加工环节的放置停留位置；

当当前加工环节不是半导体制造流水线中的第一个加工环节时，则将上一个加工环节中的夹取停留位置当作当前加工环节的初始放置位置，并将上一个加工环节中最终夹取获得的加工产物夹持移动至当前加工环节的放置停留位置。

以上技术的有益效果为：实现通过控制多轴协作机器人将当前加工环节的待加工物体从其放置位置传输至当前加工环节的放置停留位置。

实施例3

在实施例1的基础上，放置操作模块，参考图3，包括：

第一识别单元，用于当多轴协作机器人移动至当前加工环节的放置停留位置时，则基于当前加工环节的放置位置识别特征，在获取的多轴协作机器人周围的实时全景图像中识别出放置位置的第一坐标表示；

第一旋转控制单元，用于基于第一坐标表示和当前加工环节的放置位置在标准全景图像中的第二坐标表示，对多轴协作机器人的旋转关节进行初次旋转控制，并在初次旋转控制完成后发出第一旋转控制停止指令；

放置操作单元，用于当接收到第一旋转控制停止指令时，则控制多轴协作机器人进行放置操作，并在放置操作完成后发出放置完成指令。

该实施例中，实时全景图像即为当多轴协作机器人移动至当前加工环节的放置停留位置开始至对多轴协作机器人完成初次旋转控制为止的期间内实时获取的多轴协作机器人最末端的关节轴周围的全景图像。

该实施例中，放置位置即为当前加工环节的待加工物体需要被放置在加工设备内（上）的位置。

该实施例中，第一坐标表示即为放置位置的轮廓在实时全景图像中的坐标表示，当放置位置为一个区域，则将放置区域在实时全景图像中的坐标表示当作第一坐标表示。

该实施例中，标准全景图像即为即为当多轴协作机器人在当前加工环节的放置停留位置停留时且以标准放置准备姿态（即多轴协作机器人在执行放置操作前最末端的夹取轴的预设标准姿态）时获取的实时全景图像。

该实施例中，第二坐标表示即为当前加工环节的放置位置的轮廓在标准全景图像中的坐标表示。

该实施例中，第一旋转控制停止指令即为用于提醒放置操作单元已经对多轴协作机器人初次旋转控制完成的指令。

该实施例中，放置操作即为控制多轴协作机器人将当前加工环节的待加工物体放置在对应加工设备中（上）的放置位置的操作。

以上技术的有益效果为：用于基于当前加工环节的放置位置识别特征在实时全景图像中识别出方式位置的第一坐标表示，并基于第一坐标表示和标准状态下对应的第二坐标表示实现对多轴协作机器人的旋转关节的精准旋转控制，并通过在旋转控制完成后控制多轴协作机器人进行放置操作，实现将待加工物体精准放置在加工设备上的对应位置，即实现了待加工物体的精准放置。

实施例4

在实施例3的基础上，第一识别单元，包括：

数据确定子单元，用于当多轴协作机器人移动至当前加工环节的放置停留位置时，则确定出当前加工环节的放置位置识别特征中包含的放置位置轮廓坐标表示和放置位置轮廓的第一邻域色度特征以及放置位置轮廓中每个角点的第二邻域色度特征，并确定出放置位置轮廓中的角点总数；

轮廓识别子单元，用于在实时全景图像中包含的所有轮廓中筛选出角点总数与放置位置轮廓的角点总数一致的轮廓作为待筛选轮廓，并确定出待筛选轮廓中每个角点的第三邻域色度特征；

映射确定子单元，用于基于所有第二邻域色度特征和第三邻域色度特征，将放置位置轮廓中的角点和待筛选轮廓中的角点进行一一对应，并基于放置位置轮廓中每个角点在标准全景图像中的第一坐标和待筛选轮廓中每个角点在实时全景图像中的第二坐标，确定出待筛选轮廓中每个角点和在放置位置轮廓中对应的角点之间的第一坐标映射；

坐标确定子单元，用于基于待筛选轮廓对应的所有第一坐标映射和放置位置轮廓的第一邻域色度特征，确定出放置位置在实时全景图像中的第一坐标表示。

该实施例中，放置位置轮廓即为当前加工环节的放置位置对应的区域轮廓。

该实施例中，放置位置轮廓坐标表示即为放置位置轮廓在多轴协作机器人的最末端夹取轴在标准放置准备姿态时获取的标准全景图像中的坐标表示。

该实施例中，第一邻域色度特征即为标准全景图像中的放置位置轮廓周围的预设范围内（例如由放置位置轮廓上的每个像素点为圆心的预设半径的圆区域汇总构成的范围区域）的所有像素点的色度值的和与标准全景图像中所有像素点的色度值的和的比值。

该实施例中，角点即为用Harris角点检测器检测出轮廓中的点。

该实施例中，第二邻域色度特征即为角点在标准全景图像中的周围的预设范围内（例如以角点为圆心的预设半径的圆区域范围内）的所有像素点的色度值的和与标准全景图像中所有像素点的色度值的和的比值。

该实施例中，待筛选轮廓即为在利用边缘检测算法（例如canny算子）检测出的实时全景图像中的所有轮廓筛选出的角点总数与放置位置轮廓的角点总数一致的轮廓。

该实施例中，第三邻域色度特征即为角点在实时全景图像中的周围的预设范围内（例如以角点为圆心的预设半径的圆区域范围内）的所有像素点的色度值的和与实时全景图像中所有先书店的色度值的和的比值。

该实施例中，基于所有第二邻域色度特征和第三邻域色度特征，将放置位置轮廓中的角点和待筛选轮廓中的角点进行一一对应，即为：

将所有第一邻域色度特征对应的数值从小到大排序，获得第一序列；

将所有第二邻域色度特征对应的数值从小到大排序，获得第二序列；

将第一序列和第二序列中相同序数的第一邻域色度特征对应的角点和第二邻域色度特征对应的角点进行对应，获得角点对应结果。

该实施例中，第一坐标即为放置位置轮廓中的角点在标准全景图像中的坐标。

该实施例中，第二坐标即为待筛选轮廓中的角点在实时全景图像中的坐标。

该实施例中，第一坐标映射角点对应结果中筛选轮廓中每个角点和在放置位置轮廓中对应的角点之间的第坐标映射关系。

以上技术的有益效果为：基于对实时全景图像进行轮廓识别、再基于角点总数进行轮廓筛选，实现在实时全景图像中的放置位置轮廓的初次筛选，再基于初次筛选出的轮廓中的角点的邻域色度特征，将初次筛选出的待筛选轮廓中的角点与标准状态下的放置位置轮廓中的角点进行对应，基于对应角点之间的坐标映射以及放置位置轮廓的邻域色度特征，在实时全景图像中精准识别出放置位置的坐标表示，即基于角点数量、角点的邻域色度特征以及放置位置轮廓的邻域色度特征，实现对实时全景图像中的放置位置对应的轮廓的精准筛选。

实施例5

在实施例4的基础上，坐标确定子单元，包括：

偏移确定端，用于基于所有第一坐标映射确定出待筛选轮廓的变形方向，基于待筛选轮廓在实时全景图像中的第一子坐标表示和放置位置轮廓在标准全景图像中的放置位置轮廓坐标表示，确定出待筛选轮廓的轮廓偏移方向；

坐标确定端，用于确定出待筛选轮廓的第四邻域色度特征，将所有待筛选轮廓中筛选出第四邻域色度特征和第一邻域色度特一致且对应的变形方向与对应的轮廓偏移方向的负方向一致的待筛选轮廓的第一子坐标表示当作放置位置在实时全景图像中的第一坐标表示。

该实施例中，变形方向即为基于第一映射关系，查询当前加工环节的放置位置的坐标映射和变形方向的对应关系（根据预设多次实验获得），确定出对应的变形方向，例如：坐标映射关系表示：第一坐标表示的轮廓为正方形，第二坐标表示的轮廓为上底比下底短的等腰梯形，则变形方向为270度方向；

若坐标映射关系表示：第一坐标表示的轮廓为正方形，第二坐标表示的轮廓为上底比下底长的等腰梯形，则变形方向为90度方向。

该实施例中，第一子坐标表示即为待筛选轮廓在实时全景图像中的坐标表示。

该实施例中，轮廓偏移方向即基于待筛选轮廓在实时全景图像中的第一子坐标表示和放置位置轮廓在标准全景图像中的放置位置轮廓坐标表示确定出的将标准全景图像和实时全景图像对齐后待筛选轮廓相对于放置位置轮廓的相对方向（即待筛选轮廓的中心点与放置位置轮廓的中心点的连线在预设坐标系下的角度值）。

该实施例中，第四邻域色度特征即为待筛选轮廓中每个像素点的预设范围内（即以待筛选轮廓中的每个像素点为圆心的预设半径的圆区域组成的区域范围）的所有像素点在实时全景图像中的色度值的和与实时全景图像中每个像素点的色度值的和的比值。

以上技术的有益效果为：基于坐标映射确定出待筛选轮廓相对于放置位置轮廓的变形方向，并基于待筛选轮廓的坐标表示和放置位置轮廓的坐标表示确定出轮廓偏移方向，进而再结合待筛选轮廓的邻域色度特征和放置位置轮廓的邻域色度特征，实现对实时全景图像中的待筛选轮廓的精准筛选，进一步保证了在实时全景图像中识别出放置位置轮廓对应的坐标表示的精准度。

实施例6

在实施例3的基础上，第一旋转控制单元，包括：

第一确定子单元，用于基于第一坐标表示和当前加工环节的放置位置在标准全景图像中的第二坐标表示，确定出多轴协作机器人的夹持装置的第一三维移动向量；

第二确定子单元，用于基于第一三维移动向量确定出多轴协作机器人的第一关节旋转控制计划；

第一判断子单元，用于基于第一关节旋转控制计划对多轴协作机器人的旋转关节进行初次旋转控制，并实时确定出放置位置在最新获得的实时全景图像中的第三坐标表示，直至最新确定出的第三坐标表示与第二坐标表示的重合度不小于重合度阈值时，则发出第一旋转控制停止指令。

该实施例中，第一三维移动向量即为将多轴协作机器人的最末端夹取装置调整至标准放置准备姿态时夹取装置的参考点的位移产生的向量。

该实施例中，第一关节旋转控制计划即为基于第一三维移动向量确定出的初次控制多轴协作机器人进行关节旋转时依据的计划。

该实施例中，第三坐标表示即为放置位置的轮廓在最新获得的实时全景图像中的坐标表示。

该实施例中，最新确定出的第三坐标表示与第二坐标表示的重合度，即为：

式中，/>

基于上述公式可以基于最新确定出的第三坐标表示中与第二坐标表示中坐标值一致的坐标总数以及坐标值不一致的坐标值之间的重合度，准确计算出最新确定出的第三坐标表示与第二坐标表示的重合度。

该实施例中，重合度阈值即为用于判断是否完成对多轴协作机器人的初次关节旋转控制时所依照的重合度。

以上技术的有益效果为：基于放置位置轮廓在标准全景图像中的坐标表示和在实时全景图像中的坐标表示，确定出控制多轴协作机器人进行关节旋转时最末端关节轴的参考点的位移向量，进而基于该位移向量确定出合理的关节旋转控制计划，并在基于关节旋转控制计划对多轴协作机器人进行关节旋转控制的过程中通过实时获取的放置位置轮廓在实时全景图像中的坐标表示与在标准全景图像中的坐标表示的重合度，判断出实时关节旋转控制的结果，进而在多轴协作机器人在放置操作执行之前实现对其多轴的关节旋转精准控制，使其可以将夹持的待加工物体精准放置于加工设备的对应位置上。

实施例7

在实施例6的基础上，第一确定子单元，包括：

映射确定端，用于确定出第一坐标表示和当前加工环节的放置位置在标准全景图像中的第二坐标表示之间的第二坐标映射；

向量确定端，用于基于第二坐标映射和坐标映射与视角点偏差向量之间的对应关系，确定出对应的视角点偏差向量，并将对应的视角点偏差向量当作多轴协作机器人的夹持装置的第一三维移动向量。

该实施例中，第二坐标映射即为第一坐标表示和当前加工环节的放置位置在标准全景图像中的第二坐标表示之间的坐标映射关系。

该实施例中，视角点偏差向量即为将多轴协作机器人的视角点从当前位置移动至获取到标准全景图像时的视角点（即多轴协作机器人上获取实时全景图像的摄像装置的固定参考点）时所产生的位移向量。

该实施例中，坐标映射与视角点偏差向量之间的对应关系即为基于预先经过多次实验确定出坐标映射与视角点偏差向量之间的对应关系（或者基于多轴协作机器人在放置停留位置的多个角度位置获取的实时全景图像中放置位置的坐标表示训练出的、且可以基于放置位置在标准全景图像中的第二坐标表示识别出获取该实时全景图像时多轴协作机器人的最末端夹持装置的参考点在预设三维坐标系下的三维坐标值的模型，基于该训练好的模型确定出的对应关系，将当前加工环节的放置位置在标准全景图像中的第二坐标表示输入至该训练好的模型，获得多轴协作机器人获取该实时全景图像时的最末端夹持装置的参考点在预设三维坐标系下的三维坐标值，将从该参考点的三维坐标值指向预设三维坐标系的原点的向量当作对应的视角点偏差向量，则将该模型的负结果当作坐标映射与视角点偏差向量之间的对应关系的表现形式）。

以上技术的有益效果为：基于基于坐标映射以及预设的坐标映射与视角点偏差向量之间的对应关系，确定出的视角点偏差向量，进而精准确定出准确的第一三维移动向量。

实施例8

在实施例6的基础上，第二确定子单元，包括：

数据确定端，用于确定出多轴协作机器人每个关节（即可旋转关节，即图4中黑色圆形的部件）对应的关节轴（即图4中与关节相连的白色臂轴）的相对旋转方向和相对旋转角度范围；

位置确定端，用于构建出多轴协作机器人的实时姿态模型，基于第一三维移动向量和实时姿态模型确定出多轴协作机器人的夹持装置参考点的目标相对位置坐标；

计划确定端，用于基于目标相对位置坐标以及每个关节对应的关节轴的相对旋转方向和相对旋转角度范围，确定出多种初始关节旋转控制计划；

计划筛选端，用于基于初始关节旋转计划中的每个关节轴的目标旋转方向和目标旋转角度，计算出初始关节旋转计划的评选优先参数，将最大评选优先参数对应的初始关节旋转控制计划当作多轴协作机器人的第一关节旋转控制计划。

该实施例中，关节轴即为以多轴协作机器人的关节延伸方向为参考，在关节延伸方向上与对应关节相连的轴。

该实施例中，相对旋转方向即为关节轴相对于可旋转关节可实现的旋转方向。

该实施例中，相对旋转角度范围即为关节轴相对于可旋转关节进行旋转时可旋转的最大角度范围。

该实施例中，实时姿态模型即为表征多轴协作机器人的实时姿态的模型。

该实施例中，夹持装置参考点即为多轴协作机器人的夹持装置上的点，也是对多轴协作机器人进行关节旋转控制时确定出产生的第一三维移动向量时依据的多轴协作机器人的夹持装置上的点。

该实施例中，目标相对位置坐标即为以实时姿态模型中多轴协作机器人的夹持装置参考点的坐标值当作第一三维移动向量的起点时第一三维移动向量在预设三维坐标系（也是表示实时姿态模型的三维坐标系）下的终点坐标；

目标相对位置坐标也是表示多轴协作机器人在标准放置准备姿态时对应的实时姿态模型中多轴协作机器人的夹持装置参考点的坐标。

该实施例中，基于目标相对位置坐标以及每个关节对应的关节轴的相对旋转方向和相对旋转角度范围，确定出多种初始关节旋转控制计划，即为：

以每个关节对应的关节轴的相对旋转方向和相对旋转角度范围为约束条件，确定出将多轴协作机器人的夹持装置参考点移动至目标相对位置坐标时对每个关节旋转的角度和方向（可通过多种调控方式实现），将每种调控方式当作一种初始关节旋转控制计划。

该实施例中，初始关节旋转控制计划即为基于目标相对位置坐标以及每个关节对应的关节轴的相对旋转方向和相对旋转角度范围确定出的可以将多轴协作机器人的夹持装置参考点移动至目标相对位置坐标的关节旋转控制计划。

该实施例中，基于初始关节旋转计划中的每个关节轴的目标旋转方向和目标旋转角度，计算出初始关节旋转计划的评选优先参数，包括：

基于每个关节轴的最优旋转方向对应的角度以及每个可旋转方向的最优旋转角度范围以及初始关节旋转计划中的每个关节轴的目标旋转方向和目标旋转角度，计算出初始关节旋转计划的评选优先参数：

式中，/>

基于上述公式可以通过评价初始关节旋转计划中的每个关节轴的目标旋转方向和目标旋转角度与每个关节轴的最优旋转方向对应的角度以及最优旋转角度范围的符合程度，准确计算出可表征初始关节旋转计划的优良性的评选优先参数。

该实施例中，评选优先参数即为初始关节旋转计划即为用于评价初始关节旋转计划的优良性的数值。

以上技术的有益效果为：基于每个关节的关节轴的相对旋转方向和相对旋转角度范围确定出初始关节旋转计划，并基于计算出的初始关节旋转计划的评选优先参数在初始关节旋转计划中筛选出优良性最好的第一关节旋转控制计划。

实施例9

在实施例1的基础上，夹取操作模块，包括：

第二识别单元，用于当多轴协作机器人移动至当前加工环节的夹取停留位置时，则基于当前加工环节的夹取位置识别特征，在获取的多轴协作机器人周围的实时全景图像中识别出夹取位置的第四坐标表示；

第二旋转控制单元，用于基于第四坐标表示和当前加工环节的夹取位置在标准全景图像中的第五坐标表示，对多轴协作机器人的旋转关节进行再次旋转控制，并在再次旋转控制完成后发出第二旋转控制停止指令；

夹取操作单元，用于当接收到第二旋转控制停止指令时，则控制多轴协作机器人进行夹取操作，并在夹取操作完成后发出夹取完成指令。

该实施例中，第四坐标表示即为夹取位置轮廓在实时全景图像中的坐标表示。

该实施例中，第五坐标表示即为当前加工环节的夹取位置轮廓在标准全景图像中的坐标表示。

该实施例中，第二旋转控制停止指令即为用于提示夹取操作单元已经对多轴协作机器人再次旋转控制完毕的指令。

以上技术的有益效果为：用于基于当前加工环节的夹取位置识别特征在实时全景图像中识别出方式位置的第四坐标表示，并基于第四坐标表示和标准状态下对应的第五坐标表示实现对多轴协作机器人的旋转关节的再次精准旋转控制，并通过在旋转控制完成后控制多轴协作机器人进行夹取操作，实现将待加工物体从加工设备上的对应位置处精准夹取起来，减少了对加工产物的损坏率，也提高了夹取效率。

实施例10

在实施例9的基础上，第二旋转控制单元，包括：

第三确定子单元，用于基于第四坐标表示和当前加工环节的夹取位置在标准全景图像中的第五坐标表示，确定出多轴协作机器人的夹持装置的第二三维移动向量；

第四确定子单元，用于基于第二三维移动向量确定出多轴协作机器人的第二关节旋转控制计划；

第二判断子单元，用于基于第二关节旋转控制计划对多轴协作机器人的旋转关节进行旋转控制，并实时确定出夹取位置在最新获得的实时全景图像中的第六坐标表示，直至最新确定出的第六坐标表示与第五坐标表示的重合度不小于重合度阈值时，则发出第二旋转控制停止指令。

该实施例中，第二三维移动向量即为将多轴协作机器人的最末端夹取装置调整至标准夹取准备姿态时夹取装置的参考点的位移产生的向量。

该实施例中，第二关节旋转控制计划即为基于第二三维移动向量确定出的再次控制多轴协作机器人进行关节旋转时依据的计划。

该实施例中，基于第二三维移动向量确定出多轴协作机器人的第二关节旋转控制计划与基于第一三维移动向量确定出多轴协作机器人的第一关节旋转控制计划的步骤相同。

该实施例中，第六坐标表示即为夹取位置轮廓在最新获得的实时全景图像中的坐标表示。

该实施例中，最新确定出的第六坐标表示与第五坐标表示的重合度，包括：

式中，/>

基于上述公式可以基于最新确定出的第六坐标表示中与第五坐标表示中坐标值一致的坐标总数以及坐标值不一致的坐标值之间的重合度，准确计算出最新确定出的第六坐标表示与第五坐标表示的重合度。

以上技术的有益效果为：基于夹取位置轮廓在标准全景图像中的坐标表示和在实时全景图像中的坐标表示，确定出控制多轴协作机器人进行关节旋转时最末端关节轴的参考点的位移向量，进而基于该位移向量确定出合理的关节旋转控制计划，并在基于关节旋转控制计划对多轴协作机器人进行关节旋转控制的过程中通过实时获取的夹取位置轮廓在实时全景图像中的坐标表示与在标准全景图像中的坐标表示的重合度，判断出实时关节旋转控制的结果，进而在多轴协作机器人在夹取操作执行之前实现对其多轴的关节旋转精准控制，使其可以从加工设备的对应位置上将加工产物精准夹取起来，减少了对加工产物的损坏率，也提高了夹取效率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。