放肩缺陷实时检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及半导体制备检测技术领域，特别是涉及一种放肩缺陷实时检测方法、装置、计算机设备和存储介质。

背景技术

在单晶硅等晶棒的生长过程中，需要经过引晶，放肩，转肩，等径，收尾等工序，其中，在放肩过程中，随着晶体尺寸的不断增大，会出现一些扩断现象，例如晶体变晶、熔点消失等等，这些异常情况都会对晶体的制备造成影响，因此，需要在放肩过程中对晶体进行实时检测。

在传统技术中，一方面，主要依靠人工观测来检查各个炉台的放肩工艺，若判断为扩断，则手动终止放肩工艺，然而这种方式检测效率低下，并且容易带来误判、漏检等问题。另一方面，还采用视觉检测的方法进行放肩监控，但是由于放肩特征多样、炉内环境多变，使得该检测方法难以检出有效特征，并且在放肩工艺的初期时直径很小，特征不明显造成了很大的缺陷特征检测难度，在放肩工艺的后期时直径很大，视野遮挡造成了很大的缺陷特征检测难度。另外，在放肩阶段晶体处于转动状态，使得晶体特征也会伴随转动，这对于视觉检测而言，难以实现对每一特征的精准定位与监控。

发明内容

基于此，有必要针对上述技术问题，提供一种能够实时精准追踪放肩工艺状态的放肩缺陷实时检测方法、装置、计算机设备和存储介质。

第一方面，本申请提供了一种放肩缺陷实时检测方法，方法包括：

实时获取晶体放肩阶段的放肩生长图像及对应的拍摄时间、放肩转速信息；

对每次获取的放肩生长图像进行区域检测，得到晶体的肩部目标框，并对肩部目标框内区域进行特征检测，得到晶体熔点的第一目标框和晶体棱线的第二目标框，其中，基于肩部目标框确定晶体的中心；

根据拍摄时间和放肩转速信息实时更新熔点、棱线相对中心的地标位置，并基于地标位置对第一目标框、第二目标框的追踪位置进行匹配追踪，确定晶体的放肩工艺状态；

其中，第一目标框、第二目标框的追踪位置分别为第一目标框的质点、第二目标框中棱线所在的对角线与晶体肩部轮廓的交点相对中心的位置，基于晶体放肩阶段的初始图像中第一目标框、第二目标框的追踪位置进行地标位置的初始化。

在其中一个实施例中，第二目标框包括左棱线框与右棱线框，左棱线框、右棱线框基于图像中晶体的对称线进行分类；

其中，以左棱线框的副对角线与晶体肩部轮廓的交点相对中心的位置作为其追踪位置，以右棱线框的主对角线与晶体肩部轮廓的交点相对中心的位置作为其追踪位置。

在其中一个实施例中，根据拍摄时间和放肩转速信息实时更新熔点、棱线相对中心的地标位置包括：

根据拍摄时间和放肩转速信息实时得到晶体的转动角度；

根据转动角度更新熔点、棱线相对中心的地标位置，其中，地标位置为经过中心的地标线。

在其中一个实施例中，基于地标位置对第一目标框、第二目标框的追踪位置进行匹配追踪，确定晶体的放肩工艺状态包括：

基于地标位置对第一目标框、第二目标框的追踪位置进行匹配追踪，并基于晶体转动一周内各熔点、棱线的追踪状态确定晶体的放肩工艺状态，其中，通过各个第一目标框、第二目标框的追踪位置相对中心的位置转动对各熔点、棱线进行标注区分。

在其中一个实施例中，在基于地标位置对第一目标框、第二目标框的追踪位置进行匹配追踪之后，还包括：

基于第一目标框、第二目标框的追踪位置对地标位置进行校正。

在其中一个实施例中，基于肩部目标框确定晶体的中心包括：

根据肩部目标框的长宽尺寸确定晶体的中心，其中，以图像中实际识别的晶体肩部轮廓的边界值作为肩部目标框的长宽尺寸。

在其中一个实施例中，对每次获取的放肩生长图像进行区域检测，得到晶体的肩部目标框，并对肩部目标框内区域进行特征检测，得到晶体熔点的第一目标框和晶体棱线的第二目标框包括：

通过预先训练得到的神经网络模型对每次获取的放肩生长图像进行区域检测，得到肩部目标框，并通过神经网络模型对肩部目标框内区域进行特征检测，得到第一目标框和第二目标框，其中，神经网络模型包括肩部检测模型和特征检测模型。

第二方面，本申请还提供了一种放肩缺陷实时检测装置，装置包括：

获取模块，用于实时获取晶体放肩阶段的放肩生长图像及对应的拍摄时间、放肩转速信息；

目标检测模块，用于对每次获取的放肩生长图像进行区域检测，得到晶体的肩部目标框，并对肩部目标框内区域进行特征检测，得到晶体熔点的第一目标框和晶体棱线的第二目标框，其中，基于肩部目标框确定晶体的中心；

目标追踪模块，用于根据拍摄时间和放肩转速信息实时更新熔点、棱线相对中心的地标位置，并基于地标位置对第一目标框、第二目标框的追踪位置进行匹配追踪，确定晶体的放肩工艺状态；

其中，第一目标框、第二目标框的追踪位置分别为第一目标框的质点、第二目标框中棱线所在的对角线与晶体肩部轮廓的交点相对中心的位置，基于晶体放肩阶段的初始图像中第一目标框、第二目标框的追踪位置进行地标位置的初始化。

第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述任意一种实施例所述的放肩缺陷实时检测方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一种实施例所述的放肩缺陷实时检测方法的步骤。

上述放肩缺陷实时检测方法、装置、计算机设备和存储介质，通过实时获取晶体放肩阶段的放肩生长图像及对应的拍摄时间、放肩转速信息，对每次获取的放肩生长图像进行区域检测，得到晶体的肩部目标框，并对肩部目标框内区域进行特征检测，得到晶体熔点的第一目标框和晶体棱线的第二目标框，其中，基于肩部目标框确定晶体的中心，根据拍摄时间和放肩转速信息实时更新熔点、棱线相对中心的地标位置，并基于地标位置对第一目标框、第二目标框的追踪位置进行匹配追踪，确定晶体的放肩工艺状态，如此，第一方面，通过第一目标框的质点进行熔点的匹配追踪，可以精准定位每个熔点的情况，以确定放肩工艺状态，第二方面，通过第二目标框中棱线所在的对角线与晶体肩部轮廓的交点进行棱线的匹配追踪，即基于该交点来确定棱线的状态，巧妙避免在晶体转动状态下棱线难以直接匹配的问题，可以精准定位每条棱线的情况，以确定放肩工艺状态，这两方面都可以在小直径情况下检测出晶体晶变及熔点消失的扩断情况，此外，通过肩部目标框确定晶体的中心，基于该中心定位肩部区域，以保证在肩部被遮挡情况下依旧可以稳定进行缺陷检测。

附图说明

为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中放肩缺陷实时检测方法的步骤流程示意图；

图2为一个实施例中放肩缺陷实时检测方法的区域检测和特征检测示意图；

图3为一个实施例中放肩缺陷实时检测方法的肩部未遮挡示意图；

图4为一个实施例中放肩缺陷实时检测方法的肩部被遮挡示意图；

图5为一个实施例中放肩缺陷实时检测方法的追踪匹配示意图；

图6为一个实施例中放肩缺陷实时检测方法的遮挡恢复示意图；

图7为一个实施例中放肩缺陷实时检测方法的整体流程示意图；

图8为一个实施例中放肩缺陷实时检测装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。

空间关系术语例如“在...下”、“在...下面”、“下面的”、“在...之下”、“在...之上”、“上面的”等，在这里可以用于描述图中所示的一个元件或特征与其它元件或特征的关系。应当明白，除了图中所示的取向以外，空间关系术语还包括使用和操作中的器件的不同取向。例如，如果附图中的器件翻转，描述为“在其它元件下面”或“在其之下”或“在其下”元件或特征将取向为在其它元件或特征“上”。因此，示例性术语“在...下面”和“在...下”可包括上和下两个取向。此外，器件也可以包括另外地取向(譬如，旋转90度或其它取向)，并且在此使用的空间描述语相应地被解释。

需要说明的是，当一个元件被认为是“连接”另一个元件时，它可以是直接连接到另一个元件，或者通过居中元件连接另一个元件。此外，以下实施例中的“连接”，如果被连接的对象之间具有电信号或数据的传递，则应理解为“电连接”、“通信连接”等。

在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。同时，在本说明书中使用的术语“和/或”包括相关所列项目的任何及所有组合。

本申请实施例提供的放肩缺陷实时检测方法，可以应用于单晶硅制备中对晶体放肩缺陷进行检测，更为广泛地，还可以应用于其他晶体制备中对晶体放肩缺陷进行检测。对于一般晶体生长工序，需要经过引晶，放肩，转肩，等径，收尾等工序，其中，引晶为将晶种慢慢插入其中，接着将晶种慢慢往上提升，使其直径缩小到一定尺寸，维持此直径并拉长，以消除晶种内的晶粒排列取向差异，放肩和转肩为慢慢降低提升速度和温度，使颈部直径逐渐加大到所需尺寸，等径为晶体生长不断调整提升速度和融炼温度，维持固定的晶体直径，直到晶体长度达到预定值，收尾为当晶体长度达到预定值后再逐渐加快提升速度并提高融炼温度，使晶体直径逐渐变小，以避免因热应力造成排差和滑移等现象产生，最终使晶体与液面完全分离，到此即得到一根完整的晶体。

在一个实施例中，如图1所示，提供了一种放肩缺陷实时检测方法，包括以下步骤：

S100：实时获取晶体放肩阶段的放肩生长图像及对应的拍摄时间、放肩转速信息；

具体地，本实施例对于放肩阶段的全过程采用动态监控追踪的策略，即实时获取晶体放肩阶段的放肩生长图像，实时对图像进行检测，其中，放肩生长图像附带有拍摄时间的信息、以及晶炉中晶体转动的放肩转速信息，以此确定图像之间晶体的相对角度关系，也就是晶体上特征之间的相对角度关系。在一些实施例中，可以采用连续照片拍摄的方式获取放肩生长图像，也可以采用视频拍摄的方式获取放肩生长图像。

S200：对每次获取的放肩生长图像进行区域检测，得到晶体的肩部目标框，并对肩部目标框内区域进行特征检测，得到晶体熔点的第一目标框和晶体棱线的第二目标框，其中，基于肩部目标框确定晶体的中心；

具体地，本实施例分两个阶段对放肩生长图像进行图像检测，其中，参看图2，第一阶段主要从放肩生长图像中检测出晶体肩部区域，该晶体肩部区域通过肩部目标框进行筛选，并且可以剔除无关区域，减小检测范围，以提高检测效率，第二阶段主要从晶体肩部区域中检测出具体的所需特征，即熔点、棱线特征，熔点特征通过第一目标框进行筛选，棱线特征通过第二目标框进行筛选。通过两个阶段的检测方式，可以稳定检测出肩部小直径时所需的特征。

具体地，在第一阶段中，基于肩部目标框还可以确定晶体的中心，其中，肩部目标框的框边基于实际识别到的肩部区域边界进行确定，参看图3，在肩部区域不遮挡情况下，可以拍摄到完整的肩部区域，肩部目标框的框边均与肩部区域的完整轮廓相切，此时基于肩部目标框的框边中心就可以直接定位晶体的中心，参看图4，在肩部区域被遮挡情况下，只能拍摄到局部的肩部区域，肩部目标框的一侧框边与轮廓相切，其它侧框边与轮廓相交，此时需要基于肩部目标框的实际尺寸通过几何计算得到晶体的中心，该肩部边框的实际尺寸也就是肩部区域中部分轮廓的尺寸。如此，无论图像中的肩部被遮不遮挡，均通过肩部目标框确定的晶体的中心定位肩部区域，为后续的转动角度、位置匹配提供可靠稳定的参考中心，保证缺陷检测的准确性。

S300：根据拍摄时间和放肩转速信息实时更新熔点、棱线相对中心的地标位置，并基于地标位置对第一目标框、第二目标框的追踪位置进行匹配追踪，确定晶体的放肩工艺状态；

其中，第一目标框、第二目标框的追踪位置分别为第一目标框的质点、第二目标框中棱线所在的对角线与晶体肩部轮廓的交点相对中心的位置，基于晶体放肩阶段的初始图像中第一目标框、第二目标框的追踪位置进行地标位置的初始化。

具体地，第一目标框、第二目标框反映的是熔点、棱线存在的区域，并不能作为其准确的位置，尤其对于棱线而言，随着晶体的转动，同一棱线在图像上的第二目标框呈现多样化的特征，直接基于第二目标框或棱线本身都无法进行转动定位，为此，本实施例通过设定的追踪位置来表示熔点、棱线的位置，其中，参看图5，取第一目标框的质点相对中心位置作为熔点的追踪位置，该熔点的追踪位置与晶体一起同步转动，有效反映了熔点的准确位置，取第二目标框中棱线所在的对角线与晶体肩部轮廓的交点相对中心的位置作为棱线的追踪位置，该该棱线的追踪位置同样可以与晶体一起同步转动，有效反映了棱线的准确位置。

具体地，地标位置为晶体熔点、棱线的理论位置，也就是理论上应该存在熔点或棱线的位置，该地标位置基于晶体放肩阶段的初始图像中晶体熔点、棱线的追踪位置进行初始化，以单晶硅为例，正常棱线靠近肩部外侧的顶点就是熔点，相邻熔点之间相差90度排布，相邻棱线之间相差90度排布，并且正常的初始图像中一般可以看到部分熔点和棱线，另外部分位于晶体拍摄背面而被遮挡，对于未遮挡的熔点、棱线，直接采用其追踪位置作为其地标位置的初始位置，对于被遮挡的熔点、棱线，根据上述熔点、棱线的排布规律，由已知的熔点、棱线的追踪位置计算得到对应的地标位置的初始位置，从而完成初始化。进而，结合拍摄时间、放肩转速信息就可以实时确定其他图像中的地标位置。

具体地，对于每一放肩生长图像，基于其对应的地标位置对其检测得到的第一目标框、第二目标框的追踪位置进行匹配追踪，判断熔点、棱线是否存在扩断情况，例如熔点消失、多出一熔点或棱线等，这里多出一熔点或棱线也就是晶体晶变，基于上述各熔点、棱线的状态就可以确定晶体的放肩工艺状态，即是否存在扩断的情况。

上述放肩缺陷实时检测方法，第一方面，通过第一目标框的质点进行熔点的匹配追踪，可以精准定位每个熔点的情况，以确定放肩工艺状态，第二方面，通过第二目标框中棱线所在的对角线与晶体肩部轮廓的交点进行棱线的匹配追踪，即基于该交点来确定棱线的状态，巧妙避免在晶体转动状态下棱线难以直接匹配的问题，可以精准定位每条棱线的情况，以确定放肩工艺状态，这两方面都可以在小直径情况下检测出晶体晶变及熔点消失的扩断情况，此外，通过肩部目标框确定晶体的中心，基于该中心定位肩部区域，以保证在肩部被遮挡情况下依旧可以稳定进行缺陷检测。

在一个实施例中，第二目标框包括左棱线框与右棱线框，左棱线框、右棱线框基于图像中晶体的对称线进行分类；其中，以左棱线框的副对角线与晶体肩部轮廓的交点相对中心的位置作为其追踪位置，以右棱线框的主对角线与晶体肩部轮廓的交点相对中心的位置作为其追踪位置。

具体地，参看图5，第二目标框进一步分类成左棱线框与右棱线框，其中，该左棱线框位于图像中晶体的对称线的左侧，即棱线位于对称线的左侧，此时，以左棱线框的副对角线代表棱线的分布位置，该副对角线即从左下至右上的对角线，从而得到棱线所在对角线与晶体肩部轮廓的交点，该右棱线框位于图像中晶体的对称线的右侧，即棱线位于对称线的右侧，此时，以右棱线框的主对角线代表棱线的分布位置，该主对角线即从左上至右下的对角线，从而得到棱线所在对角线与晶体肩部轮廓的交点。这里每条对角线与晶体肩部轮廓的交点会存在两个，这里取棱线靠近晶体肩部轮廓的交点，另一个交点剔除，从而得到所需的追踪位置。

在此需要说明的是，上述左、右棱线框为相对图像而言划分左右，具体还可以根据实体晶体来划分左右，另外，对于棱线位于对称线上的情况，其实质属于上述两种目标框之间的临界状态，对此，可以将其当做任意一种棱线框进行检测处理，也或者对此不进行检测处理。

在一个实施例中，根据拍摄时间和放肩转速信息实时更新熔点、棱线相对中心的地标位置包括：根据拍摄时间和放肩转速信息实时得到晶体的转动角度；根据转动角度更新熔点、棱线相对中心的地标位置，其中，地标位置为经过中心的地标线。

具体地，地标位置可以为经过中心的地标线，通过地标线相对中心的角度去与追踪位置进行匹配追踪，换而言之，通过判断追踪位置是否在该地标线上来确定熔点、棱线是否正常，其中，基于拍摄时间和放肩转速信息实时得到图像之间晶体的转动角度，并根据转动角度调整放肩生长图像的地标线，以进行追踪匹配。同样地，地标位置还可以为相对中心的坐标，通过坐标与追踪位置进行匹配追踪，对应地，结合转动角度调整放肩生长图像的地标位置坐标。

在一个实施例中，基于地标位置对第一目标框、第二目标框的追踪位置进行匹配追踪，确定晶体的放肩工艺状态包括：基于地标位置对第一目标框、第二目标框的追踪位置进行匹配追踪，并基于晶体转动一周内各熔点、棱线的追踪状态确定晶体的放肩工艺状态，其中，通过各个第一目标框、第二目标框的追踪位置相对中心的位置转动对各熔点、棱线进行标注区分。

具体地，本实施例结合各个熔点、各个棱线的追踪状态确定晶体的放肩工艺状态，其中，通过晶体中心定位各个熔点的第一目标框、各个棱线的第二目标框，并标注区分，以保证在晶体转动过程中，识别区分各个熔点、各条棱线，在此基础上，以晶体转动一周为单位，确定各个熔点、各条棱线的追踪状态，并结合确定晶体的放肩工艺状态。

在一个实施例中，在基于地标位置对第一目标框、第二目标框的追踪位置进行匹配追踪之后，还包括：基于第一目标框、第二目标框的追踪位置对地标位置进行校正。

具体地，每次追踪匹配完一放肩生长图像，在无异常情况下，基于该放肩生长图像中追踪位置对之前更新得到的地标位置进行校正，也就是基于熔点、棱线的实际位置对地标位置进行校正，从而保证地标位置的准确性。

在一个实施例中，基于肩部目标框确定晶体的中心包括：根据肩部目标框的长宽尺寸确定晶体的中心，其中，以图像中实际识别的晶体肩部轮廓的边界值作为肩部目标框的长宽尺寸。

具体地，参看图6，圆形代表晶体，方框代表肩部目标框，w、h为肩部目标框的长宽尺寸，其中，可以分两种情况来确定晶体的中心，以实现肩部区域的遮挡恢复，当肩部目标框的区域超过完整晶体区域的二分之一，即h/w≥0.5，此时，基于肩部目标框的尺寸w就可以确定晶体的半径，即r=w/2，从而得到可靠的中心，而当肩部目标框的区域小于完整晶体区域的二分之一，即h/w＜0.5，此时，基于肩部目标框的尺寸w、h来计算晶体的半径，即r=（w

在一个实施例中，第二阶段还可以从晶体肩部区域中检测出棱面、模糊特殊特征和不良特征等信息，以此来确定晶体上是否存在其他缺陷。

在一个实施例中，对每次获取的放肩生长图像进行区域检测，得到晶体的肩部目标框，并对肩部目标框内区域进行特征检测，得到晶体熔点的第一目标框和晶体棱线的第二目标框包括：通过预先训练得到的神经网络模型对每次获取的放肩生长图像进行区域检测，得到肩部目标框，并通过神经网络模型对肩部目标框内区域进行特征检测，得到第一目标框和第二目标框，其中，神经网络模型包括肩部检测模型和特征检测模型。

具体地，本实施例的神经网络模型可以包括两个目标检测模型，以分别进行区域检测和特征检测，具体模型建立过程如下：

通过预先采集放肩全过程图像并筛选与标注，其中，图像包含正常放肩图像和扩断缺陷图像，图像附带拍摄时间，具体通过图像名称以炉台号+时间信息的命名方式实现，标注类别包括肩部、熔点、棱面、模糊特殊特征、不良特征、左棱线、右棱线，以此建立特征数据库，其中，模糊特殊特征为图像上成像模糊的上述特征，通过检测模糊特殊特征以保证成像模糊时的检测效果，避免特征遗漏。在一些实施例中，还可以通过图像旋转生成旋转后的图像及标注，以减少放肩全过程图像的采集，提高检测识别的效果；

基于神经网络搭建两个目标检测模型，模型网络包括特征提取主干网络及最终分类及回归网络，一模型仅检测放肩肩部，另一模型检测熔点、棱线、棱面、模糊特殊特征及不良特征6个父类别，其中，棱线父类别需再检测为左棱线、右棱线两个子类别，对此，为有效将棱线类别区分为左右棱线，该模型在特征主干网络之后并联一个子网络用于分类左右棱线，子网络仅含一个全连接层及softmax分类层；

基于上述特征数据库分别对上述两个模型进行独立训练，就可以得到所需的两个目标检测模型。

现结合具体应用场景对本实施例进行详细介绍，但不仅限于此。

本实施例可以通过服务器的形式实现上述方法，其中，CCD采集得到现场生产的放肩生长图像和对应的炉台工艺参数信息，将数据以HTTP请求发送到服务器，服务器使用上述方法对放肩工艺状态进行实时判断。以单晶硅为例，参看图7，具体过程如下：

服务器接收请求中的放肩生长图像及其附带的拍摄时间、炉台工艺参数中的放肩转速信息；

服务器基于目标检测算法实时进行晶体肩部检测、晶体特征检测，其中，将放肩生长图像输入预先训练好的目标检测模型，目标检测模型包括两个模型，一阶段模型进行区域检测，获取图像中的肩部目标框，二阶段模型进行特征检测，获取肩部目标框中熔点的第一目标框、棱线的第二目标框、以及棱面、模糊特殊特征、不良特征等目标框；

在一阶段模型区域检测中，利用遮挡恢复得到晶体的可靠中心并锁定，以保证放肩生长图像遮挡情况下的检测效果，其中，遮挡恢复的原理基于识别的放肩生长图像的长宽尺寸来计算图像中晶体的半径，从而确定晶体的中心；

在检测出的特征中，熔点、棱面、模糊特殊特征及不良特征均可使用中心点进行定位，然而棱线为细长型长条状形状且长度方向可能贯穿肩部，故直接使用中心点无法定位，对此，对于棱线类别，将第二目标框继续区分为左棱线框、右棱线框，并取各自棱线框中棱线所在的对角线与晶体肩部轮廓的交点来代表棱线的位置，这也就可以使用中心点进行定位。在此基础上，取第一目标框的质点相对中心的位置作为熔点的追踪位置，取第二目标框中棱线所在的对角线与晶体肩部轮廓的交点相对中心的位置作为棱线的追踪位置；

服务器基于目标跟踪算法进行上述晶体特征的匹配追踪，其中，接收到来自目标检测模型检测出的第一张图的特征信息后，基于该特征信息中的熔点、棱线的追踪位置对熔点、棱线的地标位置初始化，这里地标位置为地标线，表示熔点、棱线应该出现的角度位置；在每次对放肩生长图像中的熔点、棱线进行匹配追踪时，根据拍摄时间和放肩转速信息计算得到的晶体转动角度，来对地标位置进行更新，基于更新后的地标位置对第一目标框、第二目标框的追踪位置进行匹配追踪，完整跟踪一周后，判断各个熔点、棱线是否存在消失或晶变等扩断情况，以此输出晶体的放肩工艺状态，若晶体扩断，则可以进行报警或干预操作；

在匹配追踪过程中，服务器还实时计算每个检出目标在图像的绝对位置，正常目标绕晶体中心圆周旋转，若静止不动可视为背景筛除，以提高检测的稳定性；在每次匹配追踪结束，基于该放肩生长图像中的实际位置对地标位置进行校正，该实际位置即追踪位置，以纠正地标位置的误差。

循环执行上述过程，实时检测晶体放肩阶段的放肩生长图像，从而是实现对晶体放肩缺陷实时检测。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的放肩缺陷实时检测方法的放肩缺陷实时检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个放肩缺陷实时检测装置实施例中的具体限定可以参见上文中对于放肩缺陷实时检测方法的限定，在此不再赘述。

在一个实施例中，如图8所示，提供了一种放肩缺陷实时检测装置，包括：

获取模块10，用于实时获取晶体放肩阶段的放肩生长图像及对应的拍摄时间、放肩转速信息；

目标检测模块20，用于对每次获取的放肩生长图像进行区域检测，得到晶体的肩部目标框，并对肩部目标框内区域进行特征检测，得到晶体熔点的第一目标框和晶体棱线的第二目标框，其中，基于肩部目标框确定晶体的中心；

目标追踪模块30，用于根据拍摄时间和放肩转速信息实时更新熔点、棱线相对中心的地标位置，并基于地标位置对第一目标框、第二目标框的追踪位置进行匹配追踪，确定晶体的放肩工艺状态；

其中，第一目标框、第二目标框的追踪位置分别为第一目标框的质点、第二目标框中棱线所在的对角线与晶体肩部轮廓的交点相对中心的位置，基于晶体放肩阶段的初始图像中第一目标框、第二目标框的追踪位置进行地标位置的初始化。

在一个实施例中，第二目标框包括左棱线框与右棱线框，左棱线框、右棱线框基于图像中晶体的对称线进行分类；

其中，以左棱线框的副对角线与晶体肩部轮廓的交点相对中心的位置作为其追踪位置，以右棱线框的主对角线与晶体肩部轮廓的交点相对中心的位置作为其追踪位置。

在一个实施例中，根据拍摄时间和放肩转速信息实时更新熔点、棱线相对中心的地标位置包括：

根据拍摄时间和放肩转速信息实时得到晶体的转动角度；

根据转动角度更新熔点、棱线相对中心的地标位置，其中，地标位置为经过中心的地标线。

在一个实施例中，基于地标位置对第一目标框、第二目标框的追踪位置进行匹配追踪，确定晶体的放肩工艺状态包括：

基于地标位置对第一目标框、第二目标框的追踪位置进行匹配追踪，并基于晶体转动一周内各熔点、棱线的追踪状态确定晶体的放肩工艺状态，其中，通过各个第一目标框、第二目标框的追踪位置相对中心的位置转动对各熔点、棱线进行标注区分。

在一个实施例中，在基于地标位置对第一目标框、第二目标框的追踪位置进行匹配追踪之后，还包括：

基于第一目标框、第二目标框的追踪位置对地标位置进行校正。

在一个实施例中，基于肩部目标框确定晶体的中心包括：

根据肩部目标框的长宽尺寸确定晶体的中心，其中，以图像中实际识别的晶体肩部轮廓的边界值作为肩部目标框的长宽尺寸。

在一个实施例中，对每次获取的放肩生长图像进行区域检测，得到晶体的肩部目标框，并对肩部目标框内区域进行特征检测，得到晶体熔点的第一目标框和晶体棱线的第二目标框包括：

通过预先训练得到的神经网络模型对每次获取的放肩生长图像进行区域检测，得到肩部目标框，并通过神经网络模型对肩部目标框内区域进行特征检测，得到第一目标框和第二目标框，其中，神经网络模型包括肩部检测模型和特征检测模型。

上述放肩缺陷实时检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种放肩缺陷实时检测方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施例中任意一种放肩缺陷实时检测方法。具体详细说明参看方法对应的说明，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中任意一种放肩缺陷实时检测方法。具体详细说明参看方法对应的说明，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。