一种用于半导体晶圆输送的机械臂控制方法及系统

技术领域

本发明涉及智能控制技术领域，且更为具体地，涉及一种用于半导体晶圆输送的机械臂控制方法及系统。

背景技术

半导体晶圆在生产制作中包含多个步骤（例如，蚀刻步骤、微影步骤、沉积步骤等），半导体晶圆需要在各个制程间进行传送流转，目前半导体晶圆的机械臂控制方法有PID控制、基于视觉的控制和基于神经网络的控制方法，PID控制方法只满足半导体晶圆位置控制和速度控制需求，调整机械臂的运动路径，稳定性和精度较差，基于视觉的控制方法采用多个摄像头监控半导体晶圆位置和方向，采集图像传输给控制器，控制器根据图像控制机械臂运动，基于神经网络的控制方法需要训练处理，控制机械臂精准运动，抓取精度较高，然而这些技术只考虑了机械臂起和停阶段，在中间运行过程中一直保持相同速率运动。但在机械臂实际运行过程中，当轨迹出现较大拐角或者曲率发生较大变化时，如果机械臂的线速度不变，那么机械臂末端为了保持原有线速度会产生较大的加速度以改变速度方向，这样会导致机械臂出现抖动、异响甚至过速等使机械的轨迹发生变形的情况。

因此，期待一种优化的用于半导体晶圆输送的机械臂控制方案，可以自适应的调整机械臂的速度，以避免机械臂出现抖动、异响甚至过速等使机械的轨迹发生变形的情况。

发明内容

为了解决上述技术问题，提出了本发明。本发明的实施例提供了一种用于半导体晶圆输送的机械臂控制方法及系统。其首先将由摄像头采集的上一帧机械臂运动监控关键帧和当前帧机械臂运动监控关键帧分别通过卷积神经网络模型和空间注意力模块以得到上一帧运动空间增强特征矩阵和当前帧运动空间增强特征矩阵，然后，计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵，最后，将所述差分特征矩阵通过分类器以得到用于表示当前帧的机械臂速度是否过快的分类结果。通过这样的方式，可以判断是否需要调整机械臂的速度。

根据本发明的一个方面，提供了一种用于半导体晶圆输送的机械臂控制方法，其包括以下步骤：

S110：获取由摄像头采集的上一帧机械臂运动监控关键帧和当前帧机械臂运动监控关键帧；

S120：将所述上一帧机械臂运动监控关键帧通过作为特征提取器的卷积神经网络模型以得到上一帧运动监控特征矩阵；

S130：将所述上一帧运动监控特征矩阵通过空间注意力模块以得到上一帧运动空间增强特征矩阵；

S140：通过所述作为特征提取器的卷积神经网络模型和所述空间注意力模块，从所述当前帧机械臂运动监控关键帧得到当前帧运动空间增强特征矩阵；

S150：计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵；

S160：将所述差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前帧的机械臂速度是否过快。

在上述的用于半导体晶圆输送的机械臂控制方法中，所述将所述上一帧机械臂运动监控关键帧通过作为特征提取器的卷积神经网络模型以得到上一帧运动监控特征矩阵，包括：

所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别进行：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行沿通道维度的池化处理以得到池化特征图；以及

对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述上一帧运动监控特征矩阵，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述上一帧机械臂运动监控关键帧。

在上述的用于半导体晶圆输送的机械臂控制方法中，所述将所述上一帧运动监控特征矩阵通过空间注意力模块以得到上一帧运动空间增强特征矩阵，包括：

使用所述空间注意力模块的卷积编码部分对所述上一帧运动监控特征矩阵进行深度卷积编码以得到上一帧卷积特征图；

将所述上一帧卷积特征图输入所述空间注意力模块的空间注意力部分以得到上一帧空间注意力图；

将所述上一帧空间注意力图通过Softmax激活函数以得到上一帧空间注意力特征图；以及

计算所述上一帧空间注意力特征图和所述上一帧卷积特征图的按位置点乘以得到所述上一帧运动空间增强特征矩阵。

在上述的用于半导体晶圆输送的机械臂控制方法中，所述通过所述作为特征提取器的卷积神经网络模型和所述空间注意力模块，从所述当前帧机械臂运动监控关键帧得到当前帧运动空间增强特征矩阵，包括以下步骤：

S141：将所述当前帧机械臂运动监控关键帧通过作为特征提取器的卷积神经网络模型以得到当前帧运动监控特征矩阵；

S142：将所述当前帧运动监控特征矩阵通过空间注意力模块以得到所述当前帧运动空间增强特征矩阵。

在上述的用于半导体晶圆输送的机械臂控制方法中，所述计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵，包括：

以如下公式来计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的所述差分特征矩阵；

其中，所述公式为：

；

其中，

在上述的用于半导体晶圆输送的机械臂控制方法中，所述将所述差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前帧的机械臂速度是否过快，包括以下步骤：

S161：将所述差分特征矩阵展开为分类特征向量；

S162：对所述分类特征向量进行特征分布校正以得到优化分类特征向量；

S163：将所述优化分类特征向量通过所述分类器以得到所述分类结果。

在上述的用于半导体晶圆输送的机械臂控制方法中，所述对所述分类特征向量进行特征分布校正以得到优化分类特征向量，包括：

以如下公式对所述分类特征向量进行特征分布校正以得到优化分类特征向量；

其中，所述公式为：

；

其中，

在上述的用于半导体晶圆输送的机械臂控制方法中，所述将所述优化分类特征向量通过所述分类器以得到所述分类结果，包括：

使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及

将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

根据本发明的另一个方面，提供了一种用于半导体晶圆输送的机械臂控制系统，其包括：

数据获取模块，用于获取由摄像头采集的上一帧机械臂运动监控关键帧和当前帧机械臂运动监控关键帧；

卷积编码模块，用于将所述上一帧机械臂运动监控关键帧通过作为特征提取器的卷积神经网络模型以得到上一帧运动监控特征矩阵；

空间增强模块，用于将所述上一帧运动监控特征矩阵通过空间注意力模块以得到上一帧运动空间增强特征矩阵；

当前帧计算模块，用于通过所述作为特征提取器的卷积神经网络模型和所述空间注意力模块，从所述当前帧机械臂运动监控关键帧得到当前帧运动空间增强特征矩阵；

差分计算模块，用于计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵；以及

分类结果生成模块，用于将所述差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前帧的机械臂速度是否过快。

在上述的用于半导体晶圆输送的机械臂控制系统中，所述卷积编码模块，还用于：

所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别进行：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行沿通道维度的池化处理以得到池化特征图；以及

对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述上一帧运动监控特征矩阵，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述上一帧机械臂运动监控关键帧。

与现有技术相比，本发明提供的用于半导体晶圆输送的机械臂控制方法及系统，其首先将由摄像头采集的上一帧机械臂运动监控关键帧和当前帧机械臂运动监控关键帧分别通过卷积神经网络模型和空间注意力模块以得到上一帧运动空间增强特征矩阵和当前帧运动空间增强特征矩阵，然后，计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵，最后，将所述差分特征矩阵通过分类器以得到用于表示当前帧的机械臂速度是否过快的分类结果。通过这样的方式，可以判断是否需要调整机械臂的速度。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本发明实施例的用于半导体晶圆输送的机械臂控制方法的流程图。

图2为根据本发明实施例的用于半导体晶圆输送的机械臂控制方法的架构示意图。

图3为根据本发明实施例的用于半导体晶圆输送的机械臂控制方法中步骤S140的子步骤流程图。

图4为根据本发明实施例的用于半导体晶圆输送的机械臂控制方法中步骤S160的子步骤流程图。

图5为根据本发明实施例的用于半导体晶圆输送的机械臂控制系统的框图。

具体实施方式

下面，将参考附图详细地描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。

场景概述

如上所述，在机械臂实际运行过程中，如果轨迹出现较大拐角或者曲率发生较大变化时，机械臂末端为了保持原有线速度会产生较大的加速度以改变速度方向，从而导致机械臂会出现抖动、异响甚至过速的情况。因此，期待一种用于半导体晶圆输送的机械臂控制的优化方案。

在本发明的技术方案中，可基于机械臂的运动幅度的视觉特征来判断是否需调整机械臂的速度。具体地，从视觉特征来看，如果机械臂的运动速度过快，则相邻两个图像帧的机械臂之间的视觉特征差异较大，即，所述机械臂的视觉运动特征较为模糊，这会导致机械臂出现抖动、异响甚至过速的情况。但是，如何去表征机械臂的视觉特征及视觉运动特征，并基于所得到的视觉特征来判断是否需调整机械臂的速度，是需要解决的技术难题。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。深度学习以及神经网络的发展为上述问题的解决提供了新的解决思路和方案。

具体地，首先获取由摄像头采集的上一帧机械臂运动监控关键帧和当前帧机械臂运动监控关键帧。这里，在本发明的技术方案中，所述摄像头以预定帧率进行拍摄，因此，上一帧机械臂运动监控关键帧和当前帧机械臂运动监控关键帧之间具有预定时间间隔。

接着，将所述上一帧机械臂运动监控关键帧通过作为特征提取器的卷积神经网络模型以得到上一帧运动监控特征矩阵，并将所述上一帧运动监控特征矩阵通过空间注意力模块以得到上一帧运动空间增强特征矩阵。也就是，在本发明的技术方案中，首先使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取所述上一帧机械臂运动监控关键帧中所蕴含的高维图像局部特征。并且，考虑到所述上一帧机械臂运动监控关键帧中各个像素点的信息对于最终运动特征的表达贡献度不同，因此，进一步将所得到的所述上一帧运动监控特征矩阵通过空间注意力机制以使得所述上一帧运动空间增强特征矩阵在表达视觉特征方面具有更强的空间可鉴别性。

在本发明的技术方案中，以同样的方式对所述当前帧机械臂运动监控关键帧进行处理以得到当前帧运动空间增强特征矩阵。也就是，通过所述作为特征提取器的卷积神经网络模型和所述空间注意力模块，从所述当前帧机械臂运动监控关键帧得到当前帧运动空间增强特征矩阵。所述当前帧运动空间增强特征矩阵用于表示当前帧的机械臂的视觉特征。

在得到所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵后，进一步计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵，以此来表示上一帧机械臂的视觉特征和当前帧机械臂的视觉特征之间在高维特征空间中的特征分布差异，以此来表示视觉运动特征。

进而，将所述差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前帧的机械臂速度是否过快。也就是，使用所述分类器来确定所述差分特征矩阵所属的类概率标签，其中，所述类概率标签包括当前帧的机械臂速度过快（第一标签）以及当前帧的机械臂速度不过快（第二标签）。可以看出，在本发明的技术方案中，将所述机械臂的速度监测和控制问题转化为基于机械臂视觉运动特征的二分类问题。

特别地，在本发明的技术方案中，所述机械臂的视觉特征（即，所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵）是首先通过作为特征提取器的卷积神经网络模型来进行基于卷积核的图像局部特征提取，并经由所述空间注意力模块进行特征分布空间维度聚合增强得到，这虽然可以使得所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵在空间维度的特征分布具有相对更强的聚合性，但是这也会使得所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵在空间维度的不同位置发生注意力关注偏差，即，所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵的特征聚合发生于不同的空间位置处，这就导致在计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵时，所述差分特征矩阵的高维数据流形中可能存在局部结构模糊，从而降低所述差分特征矩阵的表达确定性，影响所述差分特征矩阵通过分类器得到的分类结果的准确性。

基于此，本发明对所述差分特征矩阵展开后得到的分类特征向量

；

和/>

这里，通过将有序向量映射到由向量的自内积定义的希尔伯特空间内，可以实现特征集合的数值关系在一致性空间内的有意义的度量，以此为基础通过与特征向量的相对位置嵌入构造具有正交性结构的特征空间，并基于向量查询对特征向量的高维流形进行特征空间内的结构完备化，可以避免由于模糊化结构降低特征向量的表达确定性，从而改进所述差分特征矩阵通过分类器得到的分类结果的准确性。

基于此，本发明提供了一种用于半导体晶圆输送的机械臂控制方法，其包括：获取由摄像头采集的上一帧机械臂运动监控关键帧和当前帧机械臂运动监控关键帧；将所述上一帧机械臂运动监控关键帧通过作为特征提取器的卷积神经网络模型以得到上一帧运动监控特征矩阵；将所述上一帧运动监控特征矩阵通过空间注意力模块以得到上一帧运动空间增强特征矩阵；通过所述作为特征提取器的卷积神经网络模型和所述空间注意力模块，从所述当前帧机械臂运动监控关键帧得到当前帧运动空间增强特征矩阵；计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵；以及，将所述差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前帧的机械臂速度是否过快。

在介绍了本发明的基本原理之后，下面将参考附图来具体介绍本发明的各种非限制性实施例。

示例性方法

图1为根据本发明实施例的用于半导体晶圆输送的机械臂控制方法的流程图。如图1所示，根据本发明实施例的用于半导体晶圆输送的机械臂控制方法，包括步骤：S110，获取由摄像头采集的上一帧机械臂运动监控关键帧和当前帧机械臂运动监控关键帧；S120，将所述上一帧机械臂运动监控关键帧通过作为特征提取器的卷积神经网络模型以得到上一帧运动监控特征矩阵；S130，将所述上一帧运动监控特征矩阵通过空间注意力模块以得到上一帧运动空间增强特征矩阵；S140，通过所述作为特征提取器的卷积神经网络模型和所述空间注意力模块，从所述当前帧机械臂运动监控关键帧得到当前帧运动空间增强特征矩阵；S150，计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵；以及，S160，将所述差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前帧的机械臂速度是否过快。

图2为根据本发明实施例的用于半导体晶圆输送的机械臂控制方法的架构示意图。如图2所示，在该网络架构中，首先，获取由摄像头采集的上一帧机械臂运动监控关键帧和当前帧机械臂运动监控关键帧；接着，将所述上一帧机械臂运动监控关键帧通过作为特征提取器的卷积神经网络模型以得到上一帧运动监控特征矩阵；然后，将所述上一帧运动监控特征矩阵通过空间注意力模块以得到上一帧运动空间增强特征矩阵；接着，通过所述作为特征提取器的卷积神经网络模型和所述空间注意力模块，从所述当前帧机械臂运动监控关键帧得到当前帧运动空间增强特征矩阵；然后，计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵；最后，将所述差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前帧的机械臂速度是否过快。

更具体地，在步骤S110中，获取由摄像头采集的上一帧机械臂运动监控关键帧和当前帧机械臂运动监控关键帧。这里，在本发明的技术方案中，所述摄像头以预定帧率进行拍摄，因此，上一帧机械臂运动监控关键帧和当前帧机械臂运动监控关键帧之间具有预定时间间隔。

更具体地，在步骤S120中，将所述上一帧机械臂运动监控关键帧通过作为特征提取器的卷积神经网络模型以得到上一帧运动监控特征矩阵。卷积神经网络模型在图像特征提取领域具有优异性能表现。

相应地，在一个具体示例中，所述将所述上一帧机械臂运动监控关键帧通过作为特征提取器的卷积神经网络模型以得到上一帧运动监控特征矩阵，包括：所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行沿通道维度的池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述上一帧运动监控特征矩阵，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述上一帧机械臂运动监控关键帧。

在本发明的技术方案中，首先使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取所述上一帧机械臂运动监控关键帧中所蕴含的高维图像局部特征。并且，考虑到所述上一帧机械臂运动监控关键帧中各个像素点的信息对于最终运动特征的表达贡献度不同，因此，进一步将所得到的所述上一帧运动监控特征矩阵通过空间注意力机制以使得所述上一帧运动空间增强特征矩阵在表达视觉特征方面具有更强的空间可鉴别性。

更具体地，在步骤S130中，将所述上一帧运动监控特征矩阵通过空间注意力模块以得到上一帧运动空间增强特征矩阵。将所得到的所述上一帧运动监控特征矩阵通过空间注意力机制以使得所述上一帧运动空间增强特征矩阵在表达视觉特征方面具有更强的空间可鉴别性。

相应地，在一个具体示例中，所述将所述上一帧运动监控特征矩阵通过空间注意力模块以得到上一帧运动空间增强特征矩阵，包括：使用所述空间注意力模块的卷积编码部分对所述上一帧运动监控特征矩阵进行深度卷积编码以得到上一帧卷积特征图；将所述上一帧卷积特征图输入所述空间注意力模块的空间注意力部分以得到上一帧空间注意力图；将所述上一帧空间注意力图通过Softmax激活函数以得到上一帧空间注意力特征图；以及，计算所述上一帧空间注意力特征图和所述上一帧卷积特征图的按位置点乘以得到所述上一帧运动空间增强特征矩阵。

更具体地，在步骤S140中，通过所述作为特征提取器的卷积神经网络模型和所述空间注意力模块，从所述当前帧机械臂运动监控关键帧得到当前帧运动空间增强特征矩阵。在本发明的技术方案中，以同样的方式对所述当前帧机械臂运动监控关键帧进行处理以得到当前帧运动空间增强特征矩阵。也就是，通过所述作为特征提取器的卷积神经网络模型和所述空间注意力模块，从所述当前帧机械臂运动监控关键帧得到当前帧运动空间增强特征矩阵。所述当前帧运动空间增强特征矩阵用于表示当前帧的机械臂的视觉特征。

相应地，在一个具体示例中，如图3所示，所述通过所述作为特征提取器的卷积神经网络模型和所述空间注意力模块，从所述当前帧机械臂运动监控关键帧得到当前帧运动空间增强特征矩阵，包括：S141，将所述当前帧机械臂运动监控关键帧通过作为特征提取器的卷积神经网络模型以得到当前帧运动监控特征矩阵；以及，S142，将所述当前帧运动监控特征矩阵通过空间注意力模块以得到所述当前帧运动空间增强特征矩阵。

更具体地，在步骤S150中，计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵。在得到所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵后，进一步计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵，以此来表示上一帧机械臂的视觉特征和当前帧机械臂的视觉特征之间在高维特征空间中的特征分布差异，以此来表示视觉运动特征。

相应地，在一个具体示例中，所述计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵，包括：以如下公式来计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的所述差分特征矩阵；其中，所述公式为：

；

其中，

更具体地，在步骤S160中，将所述差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前帧的机械臂速度是否过快。也就是，使用所述分类器来确定所述差分特征矩阵所属的类概率标签，其中，所述类概率标签包括当前帧的机械臂速度过快（第一标签）以及当前帧的机械臂速度不过快（第二标签）。可以看出，在本发明的技术方案中，将所述机械臂的速度监测和控制问题转化为基于机械臂视觉运动特征的二分类问题。

相应地，在一个具体示例中，如图4所示，所述将所述差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前帧的机械臂速度是否过快，包括：S161，将所述差分特征矩阵展开为分类特征向量；S162，对所述分类特征向量进行特征分布校正以得到优化分类特征向量；以及，S163，将所述优化分类特征向量通过所述分类器以得到所述分类结果。

特别地，在本发明的技术方案中，所述机械臂的视觉特征（即，所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵）是首先通过作为特征提取器的卷积神经网络模型来进行基于卷积核的图像局部特征提取，并经由所述空间注意力模块进行特征分布空间维度聚合增强得到，这虽然可以使得所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵在空间维度的特征分布具有相对更强的聚合性，但是这也会使得所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵在空间维度的不同位置发生注意力关注偏差，即，所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵的特征聚合发生于不同的空间位置处，这就导致在计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵时，所述差分特征矩阵的高维数据流形中可能存在局部结构模糊，从而降低所述差分特征矩阵的表达确定性，影响所述差分特征矩阵通过分类器得到的分类结果的准确性。基于此，本发明对所述差分特征矩阵展开后得到的分类特征向量

相应地，在一个具体示例中，所述对所述分类特征向量进行特征分布校正以得到优化分类特征向量，包括：以如下公式对所述分类特征向量进行特征分布校正以得到优化分类特征向量；其中，所述公式为：

；

其中，

这里，通过将有序向量映射到由向量的自内积定义的希尔伯特空间内，可以实现特征集合的数值关系在一致性空间内的有意义的度量，以此为基础通过与特征向量的相对位置嵌入构造具有正交性结构的特征空间，并基于向量查询对特征向量的高维流形进行特征空间内的结构完备化，可以避免由于模糊化结构降低特征向量的表达确定性，从而改进所述差分特征矩阵通过分类器得到的分类结果的准确性。

相应地，在一个具体示例中，所述将所述优化分类特征向量通过所述分类器以得到所述分类结果，包括：使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

更为具体地，基于机械臂的运动速度是否过快的分类结果，控制机械臂的运动速度，这里可以根据机械臂工作的实际情况设定一个固定值，例如0.1m/s，当所述分类结果为机械臂的运动速度过快时，将机械臂的运动速度降低一个固定值，当然，这里仅为一个示例，也可以将机械臂的工作速度设定为多个档位，当所述分类结果为机械臂的运动速度过快时，将机械臂的运动速度降低至下一个档位，这里，本领域技术人员应当知晓，对于机械臂的速度控制是一个循环往复的过程，对机械臂的速度进行减速后会进入到下一个控制循环，从而实现对于机械臂速度的自适应控制，这样就不会因为机械臂的运动速度过快而导致机械臂出现抖动或异响等影响机械臂轨迹的情况，进而实现对于半导体晶圆传送的轨迹优化。

综上，基于本发明实施例的用于半导体晶圆输送的机械臂控制方法，其首先将由摄像头采集的上一帧机械臂运动监控关键帧和当前帧机械臂运动监控关键帧分别通过卷积神经网络模型和空间注意力模块以得到上一帧运动空间增强特征矩阵和当前帧运动空间增强特征矩阵，然后，计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵，最后，将所述差分特征矩阵通过分类器以得到用于表示当前帧的机械臂速度是否过快的分类结果。通过这样的方式，可以判断是否需要调整机械臂的速度。

示例性系统

图5为根据本发明实施例的用于半导体晶圆输送的机械臂控制系统100的框图。如图5所示，根据本发明实施例的用于半导体晶圆输送的机械臂控制系统100，包括：数据获取模块110，用于获取由摄像头采集的上一帧机械臂运动监控关键帧和当前帧机械臂运动监控关键帧；卷积编码模块120，用于将所述上一帧机械臂运动监控关键帧通过作为特征提取器的卷积神经网络模型以得到上一帧运动监控特征矩阵；空间增强模块130，用于将所述上一帧运动监控特征矩阵通过空间注意力模块以得到上一帧运动空间增强特征矩阵；当前帧计算模块140，用于通过所述作为特征提取器的卷积神经网络模型和所述空间注意力模块，从所述当前帧机械臂运动监控关键帧得到当前帧运动空间增强特征矩阵；差分计算模块150，用于计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的差分特征矩阵；以及，分类结果生成模块160，用于将所述差分特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前帧的机械臂速度是否过快。

在一个示例中，在上述用于半导体晶圆输送的机械臂控制系统100中，所述卷积编码模块120，进一步用于：所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行沿通道维度的池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述上一帧运动监控特征矩阵，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述上一帧机械臂运动监控关键帧。

在一个示例中，在上述用于半导体晶圆输送的机械臂控制系统100中，所述空间增强模块130，进一步用于：使用所述空间注意力模块的卷积编码部分对所述上一帧运动监控特征矩阵进行深度卷积编码以得到上一帧卷积特征图；将所述上一帧卷积特征图输入所述空间注意力模块的空间注意力部分以得到上一帧空间注意力图；将所述上一帧空间注意力图通过Softmax激活函数以得到上一帧空间注意力特征图；以及，计算所述上一帧空间注意力特征图和所述上一帧卷积特征图的按位置点乘以得到所述上一帧运动空间增强特征矩阵。

在一个示例中，在上述用于半导体晶圆输送的机械臂控制系统100中，所述当前帧计算模块140，进一步用于：将所述当前帧机械臂运动监控关键帧通过作为特征提取器的卷积神经网络模型以得到当前帧运动监控特征矩阵；以及，将所述当前帧运动监控特征矩阵通过空间注意力模块以得到所述当前帧运动空间增强特征矩阵。

在一个示例中，在上述用于半导体晶圆输送的机械臂控制系统100中，所述差分计算模块150，进一步用于：以如下公式来计算所述上一帧运动监控特征矩阵和所述当前帧运动空间增强特征矩阵之间的所述差分特征矩阵；其中，所述公式为：

；

其中，

在一个示例中，在上述用于半导体晶圆输送的机械臂控制系统100中，所述分类结果生成模块160，进一步用于：将所述差分特征矩阵展开为分类特征向量；对所述分类特征向量进行特征分布校正以得到优化分类特征向量；以及，将所述优化分类特征向量通过所述分类器以得到所述分类结果。

在一个示例中，在上述用于半导体晶圆输送的机械臂控制系统100中，所述对所述分类特征向量进行特征分布校正以得到优化分类特征向量，包括：以如下公式对所述分类特征向量进行特征分布校正以得到优化分类特征向量；其中，所述公式为：

；

其中，

在一个示例中，在上述用于半导体晶圆输送的机械臂控制系统100中，所述将所述优化分类特征向量通过所述分类器以得到所述分类结果，包括：使用所述分类器的全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

这里，本领域技术人员可以理解，上述用于半导体晶圆输送的机械臂控制系统100中的各个单元和模块的具体功能和操作已经在上面参考图1到图4的用于半导体晶圆输送的机械臂控制方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本发明实施例的用于半导体晶圆输送的机械臂控制系统100可以实现在各种无线终端中，例如具有用于半导体晶圆传送的轨迹优化算法的服务器等。在一个示例中，根据本发明实施例的用于半导体晶圆输送的机械臂控制系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该用于半导体晶圆输送的机械臂控制系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该用于半导体晶圆输送的机械臂控制系统100同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该用于半导体晶圆输送的机械臂控制系统100与该无线终端也可以是分立的设备，并且该用于半导体晶圆输送的机械臂控制系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本发明的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。