安全带佩戴确定设备

技术领域

本公开涉及用于基于视频信息分析来确定就座乘员是否正在佩戴安全带的方法和设备。

背景技术

现今，大多数车辆配备有安全带以确保在车辆碰撞的情况下乘员的安全。安全带(通常也被称为安全带)通过防止乘员从座椅快速分离和与车辆内部结构碰撞或从车辆弹出，在最小化由碰撞引起的乘员伤害中起关键作用。

这些安全带约束乘员的身体以防止他们从座椅分离，但是当乘员感觉到由安全带引起的约束时，这会产生压力和不适感。结果，尽管存在安全带，但是如果乘员选择不佩戴安全带，则可能存在乘员遭受严重伤害的问题。

为了解决这个问题，已经开发了各种技术来鼓励乘员佩戴安全带。这种技术的一个示例是利用重量信息来鼓励安全带的佩戴。该技术通过经由安装在座垫上的开关传感器检测施加到就座表面的重量来确定乘员的存在，并经由安装在安全带上的带扣传感器评估安全带的系紧状态。这使得可以识别尽管存在乘员但安全带未被系紧的情况，并通过发送警报提示乘员系紧安全带。

然而，当乘员有意地使用附加的工具如假带扣来欺骗传感器时，或者当安全带被不正确地佩戴时，这种技术会错误地将安全带识别为系紧的，不能正确地约束身体，这与其预期的使用相反。因此，存在鼓励安全带佩戴的功能不能有效工作的可能性，因为系统可以确定即使当乘员实际未佩戴安全带时，安全带也被系紧。

以上提供的背景技术的描述旨在增强对本公开的背景的理解，并且不应被解释为承认其为本技术领域的技术人员已知的现有技术。

发明内容

本公开涉及一种旨在基于对视频信息的分析来准确地确定就座者是否正佩戴安全带的安全带佩戴确定方法和设备。

本公开中旨在实现的技术目的不限于上述内容，并且本领域技术人员从以下描述中将清楚地理解本文未描述的其它技术目的。

为了实现上述目的，根据本公开的实施方式的安全带佩戴确定设备包括：相机，所述相机被配置为拍摄车辆的内部；以及控制器，所述控制器被配置为从所述相机拍摄的包括就座乘员的图像确定第一边界框和第二边界框，并且基于所述第一边界框和所述第二边界框的重叠程度来确定所述就座乘员是否佩戴安全带，其中，所述第一边界框对应于所述就座乘员的上身区域，并且所述第二边界框包括由所述控制器从所拍摄的图像检测到的所述安全带。

例如，所述控制器可以从所拍摄的图像检测包括在所述就座乘员的所述上身区域中的至少一个预定点，并且基于检测到的点来确定所述第一边界框。

例如，所述预定点可以包括与所述就座乘员的上身的双肩和腹部中心相对应的点。

例如，所述控制器可以基于对应于双肩的点来确定所述第一边界框的宽度，并且基于对应于双肩的点和对应于所述腹部中心的点中的至少一个来确定所述第一边界框的高度。

例如，所述控制器可以响应于未检测到所述至少一个预定点的一部分，基于其它检测到的点来导出未检测到的点，并且通过另外考虑导出的点来确定所述第一边界框。

例如，所述控制器可以从所拍摄的图像提取安全带特征信息，从提取的安全带特征信息获得分类信息，并且基于所获得的分类信息来检测所述安全带。

例如，所述控制器可以通过将所述重叠程度与预定阈值进行比较来确定是否佩戴所述安全带。

例如，所述控制器可以响应于所述重叠程度等于或小于所述预定阈值而确定所述就座乘员未佩戴所述安全带。

例如，所述控制器可以确定所述就座乘员的类别并且基于所述就座乘员的所确定的类别来确定所述第一边界框。

例如，所述控制器可以获得座椅的座椅位置，基于与所述座椅位置相关联的参数来确定所述座椅的面积值，从所拍摄的图像检测所述就座乘员，确定所述就座乘员的面积值，并且基于所述座椅的面积值与所述就座乘员在相应座椅上的面积值之间的面积比来确定所述就座乘员的类别。

例如，所述座椅位置可以包括所述座椅的前后方向位置，并且所述参数可以被预先配置为至少对应于所述座椅的最前位置和最后位置。

例如，所述座椅位置可以包括所述座椅的座椅靠背后倾角度，并且所述控制器可以另外考虑所述后倾角度来确定所述座椅的面积值。

例如，所述控制器可以响应于从所拍摄的图像未检测到所述就座乘员而将所述类别确定为预定类别。

例如，所述控制器可以从所拍摄的图像获得就座乘员分割，并且基于所获得的就座乘员分割来确定所述就座乘员的面积值。

例如，所述控制器可以将所述面积比与预定阈值进行比较，并且基于比较结果来确定所述就座乘员的类别。

例如，所述控制器可以基于由多个预定阈值中的两个相邻阈值之间的范围限定的多个类别来确定所述就座乘员的类别。

例如，所述控制器可以获得所述就座乘员的重量信息，并且基于对所述重量信息的附加考虑来确定所述就座乘员的类别。

例如，所述控制器可以从连接到所述座椅的重量传感器获得所述就座乘员的重量信息。

例如，所述控制器可以确定多个座椅中的每个座椅的面积比，并且基于为每个座椅确定的面积比来确定所述多个座椅中的每个座椅的所述就座乘员的类别。

例如，所述控制器可以通过将所拍摄的图像输入到人工智能算法来确定所述第一边界框和所述第二边界框中的至少一个或其组合，所述人工智能算法包括机器学习、神经网络、深度学习、分类算法和其组合的至少一个。

如在本公开的至少一个实施方式中描述的安全带佩戴确定方法能够通过分析视频信息来准确地评估安全带是否根据其预期用途被正确地佩戴。

此外，通过在视频信息上利用对应于就座乘员和安全带的边界框，可以提高用于安全带佩戴确定的视频信息分析的准确性并提高确定速度。

通过利用视频信息，还可以更精确地检测和分类就座乘员。

通过提高就座乘员检测的准确性，可以减轻安装在车辆中的功能可能由于不正确的检测而发生故障或不能按预期操作的问题。

通过改进就座乘员的分类，可以定制安装在车辆中的功能，以准确地反映各个就座乘员的特定特征，从而提高性能。

如在本公开的至少一个实施方式中描述的安全带佩戴确定方法能够通过分析视频信息来准确地评估安全带是否根据其预期用途被正确地佩戴。

此外，通过在视频信息上利用对应于就座乘员和安全带的边界框，可以提高用于安全带佩戴确定的视频信息分析的准确性并提高确定速度。

通过利用视频信息，还可以更精确地检测和分类就座乘员。

通过提高就座乘员检测的准确性，可以减轻安装在车辆中的功能可能由于不正确的检测而发生故障或不能按预期操作的问题。

通过改进就座乘员的分类，可以定制安装在车辆中的功能，以准确地反映各个就座乘员的特定特征，从而提高性能。

本公开的优点不限于上述内容，并且本领域技术人员从以下描述中可以清楚地理解本文未描述的其它优点。

附图说明

图1是示出根据本公开的实施方式的安全带佩戴确定设备的配置的框图；

图2是描述根据本公开的实施方式导出用于安全带佩戴确定的边界框之间的重叠比率的过程的图；

图3是描述根据本公开的实施方式的基于重叠比率来确定安全带佩戴的方法的图；

图4是根据本公开的实施方式的安全带佩戴确定方法的流程图；

图5是示出根据本公开的另一实施方式的安全带佩戴确定设备的配置的框图；

图6是表示根据本公开的实施方式的具有安全带的车辆的内部的图像的图；

图7是示出根据本公开的实施方式的用于对就座乘员进行分类的就座乘员面积值的确定的图；

图8是示出根据本公开的实施方式的基于面积比和阈值的就座乘员的分类的图；以及

图9是示出根据本公开的实施方式的安全带佩戴确定方法中的就座乘员分类的过程的流程图。

具体实施方式

在本说明书或专利申请中公开的本公开的实施方式的具体结构或功能描述是旨在描述本公开的实施方式的说明性示例，并且本公开的实施方式可以以各种形式实现，并且不应当被解释为限于在本说明书或本申请中描述的那些。

根据本公开的实施方式可以进行各种修改并且可以采取不同的形式，因此在附图中示出了特定实施方式并且在本说明书或本申请中详细描述了特定实施方式。然而，这不应被解释为将本公开的实施方式限制为具体公开的形式，而是应被理解为包括落入本公开的概念范围和技术范围内的所有修改、等同物或替代物。

除非另外定义，本文使用的所有术语(包括技术或科学术语)具有与本公开所属领域的技术人员通常理解的相同的含义。还应当理解，术语(包括在常用词典中定义的那些术语)应当以与它们在相关领域的上下文中的含义一致的方式来解释，并且不应当以理想化或过于正式的意义来解释，除非在本说明书中明确定义。

以下，参照附图对本说明书中公开的实施方式进行说明，在附图中，相同的附图标记表示相同或相似的部件，并且省略其多余的说明。

如在以下描述中所使用的，考虑到描述的容易性，后缀“模块”和“单元”被授予或可互换地使用，但其本身不具有明确的含义或作用。

此外，可以省略与本说明书中公开的实施方式相关的公知技术的详细描述，以避免模糊本说明书中公开的实施方式的主题。此外，附图仅用于容易地理解本说明书中公开的实施方式，而不限制本文公开的技术精神，并且应当理解，实施方式包括在本公开的精神和范围内的所有改变、等同物和替代物。

如本文所用，包括序数的术语如“第一”和“第二”可用于描述各种组件而不限制组件。这些术语仅用于区分一个组件与另一组件。

应当理解，当一个组件被称为“连接到”或“联接到”另一组件时，它可以直接连接或联接到另一组件，或者可以存在中间组件。相反，当一个组件被称为“直接连接到”或“直接联接到”另一组件时，不存在中间组件。

如本文所用，单数形式也旨在包括复数形式，除非上下文另外明确指出。

还将理解，当在本说明书中使用时，术语“包括”或“具有”指定所述特征、数字、步骤、操作、组件、元件或其组合的存在，但它们不排除存在或添加一个或多个其它特征、数字、步骤、操作、组件、元件或其组合。

例如，每个控制器可以包括与另一控制器或传感器通信以控制负责的功能的通信设备、存储操作系统或逻辑指令和输入/输出信息的存储器、以及用于负责的功能所需的确定、操作和决策的一个或多个处理器。

本公开的实施方式提出了一种基于视频信息分析的安全带佩戴确定方法和设备，其能够更准确地确定安全带是否被佩戴，并且基于与就座乘员和安全带相对应的边界框来评估安全带是否根据其预期用途被正确地佩戴。

在说明根据本公开的安全带佩戴确定方法之前，将参照图1描述根据本公开的实施方式的安全带佩戴确定设备。

图1是示出根据本公开的实施方式的安全带佩戴确定设备的配置的图。

参照图1，根据一个实施方式的安全带佩戴确定设备100可包括相机140和控制器150。图1主要示出了与本公开的实施方式相关的组件，并且对于本领域技术人员而言显而易见的是，确定设备100的实际实现可以包括除附图中描绘的那些的附加组件。在下文中，将描述每个组件。

首先，相机140用于拍摄车辆的内部并将所拍摄的图像发送到控制器150和其它装置。为了便于确定安全带10的佩戴，优选地，相机140定位在车辆的前部，面向后部，以确保有效地拍摄就座乘员的前视图。在这种情况下，拍摄车辆内部的图像的相机140可以实现为舱内相机。同时，当作为相机140实现时，舱内相机安装在车辆内部，并允许实时监视就座乘员的状况，通过利用连续提供的图像，便于连续监视安全带10是否被佩戴。

同时，控制器150从相机140获取包含就座乘员的图像，并基于这些图像来确定就座乘员是否佩戴安全带10。控制器150从所获取的图像确定第一边界框210和第二边界框220，并且基于所确定的边界框之间的重叠比率，控制器150确定就座乘员是否佩戴安全带10。在这种情况下，第一边界框210对应于所获取的图像中就座乘员的上身区域，而第二边界框220包围从所获取的图像检测到的安全带10。参考图2和图3提供了控制器150如何确定就座乘员是否佩戴安全带10的详细描述。

图2是描述根据本公开的实施方式导出用于安全带佩戴确定的边界框之间的重叠比率的过程的图。

参照图2，从相机140获得的图像示出就座乘员、安全带10、第一边界框210、第二边界框220和重叠区域230。

首先，对从所获取的图像确定与就座乘员的上身区域对应的第一边界框210的过程进行说明。控制器150可以从所获取的图像检测至少一个预设点，以确定第一边界框210，该预设点包括在就座乘员的上身区域中。在这种情况下，为了确保第一边界框210捕捉就座乘员的上身区域，可以将每个点预设为对应于图像中就座乘员的上身上的预定位置，例如左肩211、右肩212和腹部中心213。

控制器150可以基于检测到的点来确定第一边界框210。具体地，当在所获取的图像中检测到对应于就座乘员的双肩211和212以及腹部中心213的点时，可基于对应于左肩211和右肩212的点来确定第一边界框210的宽度。此外，可以基于对应于肩部211和212的点以及对应于腹部中心213的点中的至少一个来确定第一边界框210的高度。例如，控制器150可以将对应于肩部211和212的点之间的水平距离确定为第一边界框210的宽度，将对应于肩部211和212以及腹部中心213的点之间的竖直距离确定为第一边界框210的高度。通过以这种方式确定第一边界框210，可以防止第一边界框210被确定为与图像中就座乘员的上身区域相比过小或过大，从而确保第一边界框适当地对应于就座乘员的上身区域。

同时，当就座乘员的上身由于就座乘员的姿势或其它障碍物而部分地遮挡时，可能无法从所获取的图像检测到一些预定点。在这种情况下，控制器150可基于剩余的检测到的点来导出未检测到的点，并通过考虑导出的点和检测到的点两者来确定第一边界框210。例如，当对应于就座乘员的左肩211的点被遮挡而未被检测到时，控制器150可通过计算对应于腹部中心213或胸骨以及右肩212的点之间的水平距离来导出对应于左肩211的点，然后假设肩部是对称的，则在左方向上从对应于腹部中心213或胸骨的点水平地移位所计算的水平距离。除了上述方法之外，还可以通过利用存储的或单独接收的人体信息来导出未检测到的点。

同时，控制器150可从获取的图像中检测安全带10，并确定包括检测到的安全带10的第二边界框220。为了实现这一点，控制器150可以从所获取的图像中提取安全带10的特征信息，从所提取的特征信息获得分类信息，并基于所获得的分类信息来检测安全带。在这种情况下，安全带10的特征信息可包括诸如颜色、形状和位置的属性，并且所获得的分类信息可便于区分安全带10和图像中的其它对象。

同时，可以通过将所获取的图像输入到指定的人工智能学习模型中来执行第一边界框210和第二边界框220的确定。这里，人工智能学习模型可以包括机器学习、神经网络、深度学习、分类算法和其组合中的至少一个作为人工智能算法。

特别地，人工智能学习模型的人体姿势估计可以用于确定第一边界框210。人体姿势估计是检测对应于人的重要身体部分的多个关键点并使用它们来估计对象的姿势的过程，并且在本公开的实施方式中，属于就座乘员的上身的检测到的关键点可用作用于确定第一边界框210的点。此外，在安全带10的检测中，可以利用人工智能学习模型的分类来提高检测精度，并且可以利用人工智能学习模型的边界框回归来补偿第一边界框210和第二边界框220以具有更精确的值。

一旦通过该过程确定了第一边界框210和第二边界框220，控制器150就可以评估第一边界框210和第二边界框220之间的重叠程度。这里，重叠程度可基于包括在所获取的图像上的第一边界框210和第二边界框220两者中的区域230的面积来确定。

通过分析通过相机140获得的图像，如图2所示，当就座乘员实际上未佩戴安全带10时，即使带扣传感器指示安全带被佩戴，也可以确定未佩戴安全带10。这有助于安全带10的实际使用。

同时，当使用图像分割来基于所获取的图像中的安全带10的区域确定安全带10的使用时，需要与图像中的像素数量相等的大量信息，这可能潜在地使控制器150过载。另一方面，根据本公开的实施方式，通过利用第一边界框210和第二边界框220，可以仅基于边界框的四个角点的信息以及宽度和高度信息来确定安全带10的使用。通过这样做，可以减少确定所需的信息量并提高确定处理的速度。

在下文中，将参照图3描述如上所述的基于所计算的重叠程度来确定安全带10的使用的过程。

图3是用于描述根据本公开的实施方式的基于重叠比率来确定安全带佩戴的方法的图。

图3示出了以重叠程度作为竖直轴并且以时间作为水平轴的曲线图，以说明根据实施方式的确定安全带佩戴的方法。所描绘的曲线图示出了没有精确值以帮助理解的示意性表示。

首先，从曲线图中可以看出，重叠程度不具有固定值而是变化的。虽然重叠程度不是由时间决定的，但不是静止物体的就座乘员的运动可能导致就座乘员和安全带10在图像中出现的区域的变化，导致第一边界框210和第二边界框220的重叠程度的变化。

在本公开的实施方式中，安全带佩戴的确定涉及相机140连续地拍摄就座乘员的图像并将所拍摄的图像实时地传输到控制器150，允许控制器150基于接收到的图像来评估就座乘员是否佩戴安全带10。通过这样做，可以连续地监视就座乘员是否佩戴安全带10，如曲线图所示。

同时，控制器150可以将第一边界框210和第二边界框220的重叠程度与预定阈值进行比较，并基于比较结果来确定是否佩戴安全带10。

在这种情况下，第一边界框对应于就座乘员的上身区域，而第二边界框包围安全带10，导致当重叠程度增加时就座乘员佩戴安全带10的可能性更高。基于此，控制器150可以响应于重叠程度大于预定阈值而确定就座乘员佩戴安全带10，并且响应于重叠程度等于或小于预定阈值而确定就座乘员未佩戴安全带10。

上述过程由图4所示的流程图表示。在下文中，参照图4描述根据本公开的实施方式的用于确定安全带10的佩戴状态的方法。

图4是根据本公开的实施方式的安全带佩戴确定方法的流程图。

参照图4，在步骤S401，相机140拍摄包括就座乘员的车辆内部的图像，并且控制器150获取所拍摄的图像。在此，为了便于确定安全带10的佩戴，优选的是将相机140定位在车辆的前部，面向后部，以确保有效地拍摄就座乘员的前视图。在这种情况下，拍摄车辆内部的相机140可以实现为舱内相机。舱内相机当被实现为相机140时，安装在车辆内部，并且允许实时监视就座乘员的状况，通过利用所提供的图像，便于连续监视是否佩戴安全带10。

在步骤S402，已获取图像的控制器150可从所获取图像中的就座乘员的上身区域检测至少一个预设点，以确定第一边界框210。在这种情况下，为了确保第一边界框210捕捉就座乘员的上身区域，可以将每个点预设为对应于图像中就座乘员的上身上的预定位置，例如左肩211、右肩212和腹部中心213。

接下来，在步骤S404，控制器150基于检测到的点来确定第一边界框210。在这种情况下，当检测到的点对应于就座乘员的上身的双肩211和212以及腹部中心时，可以基于对应于左肩211和右肩212的点来确定第一边界框210的宽度，并且可以基于对应于双肩211和212的点以及对应于腹部中心213的点中的至少一个来确定第一边界框210的高度。例如，控制器150可以将对应于肩部211和212的点之间的水平距离确定为第一边界框210的宽度，将对应于肩部211和212以及腹部中心213的点之间的竖直距离确定为第一边界框210的高度。通过控制器150以这种方式确定第一边界框210，可以防止第一边界框210被确定为与图像中就座乘员的上身区域相比过小或过大，从而确保第一边界框适当地对应于就座乘员的上身区域。

同时，当就座乘员的上身由于就座乘员的姿势或其它障碍物而部分地遮挡时，可能无法从所获取的图像检测到一些预定点。在这种情况下，控制器150可基于其它检测到的点来导出未检测到的点，并通过考虑导出的点和检测到的点两者来确定第一边界框210。例如，当对应于就座乘员的左肩211的点被遮挡而未被检测到时，控制器150可通过计算对应于腹部中心213或胸骨以及右肩212的点之间的水平距离来导出对应于左肩211的点，然后假设肩部是对称的，则在左方向上从对应于腹部中心213或胸骨的点水平地移位所计算的水平距离。除了上述方法之外，还可以通过利用存储的或单独接收的人体信息来导出未检测到的点。

在步骤S403，控制器150还从所获取的图像检测安全带10，以确定第二边界框220。控制器150可以从所获取的图像中提取安全带10的特征信息，从所提取的特征信息获得分类信息，并基于所获得的分类信息来检测安全带。在这种情况下，安全带10的特征信息可包括诸如颜色、形状和位置的属性，并且所获得的分类信息可便于区分安全带10和图像中的其它对象。

在检测到安全带10时，在步骤S405，控制器150确定包围检测到的安全带10的第二边界框，并且在这种情况下，将第二边界框确定为具有包括安全带10的最小可能区域的矩形区域是合适的。

同时，可以通过将所获取的图像输入到指定的人工智能学习模型中来执行步骤S402到S405的上述处理。这里，人工智能学习模型可以包括机器学习、神经网络、深度学习、分类算法和其组合中的至少一个作为人工智能算法。特别地，人工智能学习模型的人体姿势估计可以用于确定第一边界框210。人体姿势估计是检测对应于人的重要身体部分的多个关键点并使用它们来估计对象的姿势的过程，并且在本公开的实施方式中，属于就座乘员的上身的被检测关键点可用作用于确定第一边界框210的点。此外，在安全带10的检测中，可以利用人工智能学习模型的分类来提高检测精度，并且可以利用人工智能学习模型的边界框回归来补偿第一边界框210和第二边界框220以具有更精确的值。

一旦确定了第一边界框210和第二边界框220，控制器150就可以在步骤S406评估两个框210和220之间的重叠程度，并且基于该重叠程度来确定就座乘员是否佩戴安全带10。这里，重叠程度可基于包括在所获取的图像上的第一边界框210和第二边界框220中的区域230的面积来确定。

控制器150可以通过将重叠程度与预定阈值进行比较来确定安全带10的佩戴状态，即，在步骤S409响应于重叠程度大于阈值(在步骤S407为“是”)而确定就座乘员佩戴安全带10，并且在步骤S408响应于重叠程度等于或小于阈值(在步骤S407为“否”)而确定就座乘员未佩戴安全带10。

同时，根据本公开的实施方式，对就座乘员进行分类的处理可涉及确定安全带佩戴状态。特别地，在本公开的实施方式中，提出了通过利用图像信息根据图像中的座椅位置和乘员面积基于座椅的相对面积来检测乘员，从而提高就座乘员的检测精度，由此能够对就座乘员类型进行更详细的分类。

在解释根据本公开的实施方式的就座乘员分类方法之前，将首先参照图5描述根据本公开的实施方式的安全带佩戴确定设备的配置。

图5是示出根据本公开的另一实施方式的安全带佩戴确定设备的配置的框图。

参照图5，根据实施方式的安全带佩戴确定设备100可包括相机140、控制器150、座椅110、位置传感器120和重量传感器130。图5主要示出了与本公开的实施方式相关的部件，并且对于本领域技术人员显而易见的是，安全带佩戴确定设备100的实际实现可以用更多或更少的部件来实现。以下，对各部件进行说明。

首先，根据实施方式的安全带佩戴确定设备100包括至少一个座椅110，并且可以基于诸如驾驶员座椅111和前排乘员座椅112的乘坐位置来区分座椅110。同时，在本公开的实施方式中，座椅110的位置是可调节的。座椅的位置可以包括在驾驶方向上的位置和与布置在驾驶员座椅111、前排乘员座椅112和座椅靠背角度上的座椅110的驾驶方向平行的方向中的至少一个。这里，座椅的位置可以指座椅110的状态，其包括座椅110在通过诸如座椅轨道的机构前后移动座椅而实现的一定范围内的位置。此外，座椅靠背角度可以指座椅靠背相对于就座表面或地面的角度，在座椅110的后倾或放松模式下变化。

同时，根据本公开的实施方式，安全带佩戴确定设备100还可包括连接到座椅以检测座椅位置的位置传感器120。例如，位置传感器120可以包括检测座椅110在座椅轨道上的向前和向后位置的座椅轨道位置传感器。通过利用这种位置传感器120，可以更精确地检测座椅110的位置，从而便于对就座乘员进行分类。此外，通过经由位置传感器120连续地监控座椅110的位置的变化，可以基于这些变化来更新就座乘员分类。

此外，根据本公开的实施方式，安全带佩戴确定设备100可包括连接到座椅110的重量传感器130，以检测施加到座椅110的重量并产生就座乘员的重量信息。重量传感器130可以通过乘员分类系统(OCS)或乘员检测系统(ODS)来实现。当配备有重量传感器130时，安全带佩戴确定设备100可以利用除图像信息之外的重量信息来提高乘员分类的准确性。

同时，相机140拍摄车辆的内部并执行发送所拍摄的图像的功能。由相机140所拍摄的图像可以包括至少一个座椅110或与座椅110一起的就座乘员。此外，适合于将相机140装备在车辆内部的前部以面向后部，从而允许清楚地表示座椅110的前部和就座乘员。例如，相机140可以实现为舱内相机。另外，舱内相机能够实时监视车辆内的乘员的状态，允许根据本公开的实施方式的安全带佩戴确定设备100使用实时图像连续地监视乘员的进入和退出以及任何变化。

由相机140所拍摄的图像可以包括座椅110和就座乘员，并且当座椅110经历位置改变时，例如向前或向后移动或后倾，而相机140保持固定时，在所拍摄的图像内，座椅110所占据的面积将有明显的变化。即使位置的改变不影响座椅110本身的实际面积，当座椅110位于前部而不是后部时，座椅110将更靠近相机140，导致在所拍摄的图像中占据更大的面积。此外，当座椅靠背具有较小的后倾角度时，与当座椅靠背具有较大的后倾角度时相比，其将在所拍摄的图像中占据较大的面积。因此，当在所拍摄的图像中确定座椅的面积时考虑座椅110的位置可以产生更精确的结果。

同时，控制器150可从位置传感器120获得座椅位置并从相机140获取车辆内部的图像。

控制器150可基于与座椅位置相关联的参数来确定座椅面积值，例如通过从所获取的座椅位置提取对应于座椅110的当前位置的参数并使用所述参数来确定座椅面积。这里，座椅110的面积值可以表示图像中座椅110的面积，而不是座椅110的实际物理面积。

此外，控制器150可以从所获取的车辆的内部图像检测就座乘员，并且确定与检测到的就座乘员相对应的面积值。

一旦确定了座椅110的面积值和该座椅上的就座乘员的面积值，控制器150就可评估它们之间的面积比并基于该面积比对就座乘员的类别或类型进行分类。在此，面积比可以通过将就座乘员的面积值除以座椅的面积值来确定，这意味着较高的比率对应于相对较大的就座乘员，而较低的比率表明相对较小的就座乘员。

由于对座椅和相机之间的距离和角度的影响，座椅110的位置的改变不仅可以改变座椅110的面积值，而且可以改变在同一乘员的图像内就座乘员的面积值。因此，在仅考虑就座乘员的面积的情况下，图像内的就座乘员的面积值可根据座椅110的位置而变化，使得难以基于固定标准对就座乘员进行分类。另一方面，基于上述面积比确定就座乘员的类别允许保持一致的分类标准并提高就座乘员分类的精度。

以下，参照图6至图8详细说明座椅110和就座乘员的面积值的确定以及基于面积比的就座乘员的分类。

图6是示出包括根据本公开的实施方式的座椅的车辆的内部的图像的图。

参照图6，该图像示出了驾驶员座椅111和前排乘员座椅112。可以看出，尽管驾驶员座椅111和前排乘员座椅112的实际尺寸相同，但是与前排乘员座椅112相比，驾驶员座椅111在图像中占据更大的面积。这是因为与前排乘员座椅112相比，驾驶员座椅111定位得更朝向前方，更靠近相机140。考虑到这些因素，控制器150获取座椅110的位置并基于相关参数来确定座椅110的面积值。

在此，用于基于座椅110的位置来确定座椅110的面积值的参数优选地被设定为确保座椅110的面积值响应于座椅110朝向前方定位而增大并且响应于座椅110朝向后方定位而减小。在这种情况下，这些参数可以被配置为至少对应于座椅110的最前位置和最后位置，从而允许控制器150基于座椅110的前后位置来确定座椅110的面积值。

座椅的位置不仅可以包括座椅110的前后位置，还可以包括座椅靠背后倾角度。在这种情况下，通过考虑除了座椅110的前后位置之外的座椅靠背后倾角度，控制器150可以基于实际图像中由座椅110占据的面积来更精确地确定座椅110的面积值。

已经参照图6相对于本公开中的座椅110的位置描述了座椅110的面积值，并且在下文中参照图7描述确定就座乘员的面积值。

图7是示出根据本公开的实施方式的对就座乘员进行分类的就座乘员的面积值的确定的图。

图7示出包括座椅110和就座乘员的车辆的内部图像。控制器150从所获取的图像检测就座乘员，并确定检测到的就座乘员的面积值。

这里，就座乘员的检测是指识别出现在图像中的就座乘员，这可以通过人工智能学习模型来完成。人工智能学习模型具体可以包括深度学习。当使用深度学习时，可以将就座乘员设定为感兴趣区域(ROI)，并且可以通过基于ROI的探查来执行就座乘员的检测。

为了执行ROI探查，准备包括图像以及相应的类别信息和位置信息的标记的学习数据。在本公开的实施方式中，可以准备就座乘员的图像及其相应的类别(例如成人、儿童等)和就座乘员在图像中的位置。在深度学习过程中，学习模型基于该信息来学习就座乘员的特征，并且可以执行迭代学习以提高准确度。在使用深度学习的学习过程之后，所学习的模型可以接收诸如图7中所示的图像，并且探查该图像以识别满足所学习的就座乘员的特征的区域。当找到满足就座乘员的特征的区域时，所学习的模型可将该区域检测为就座乘员。

当未能检测到就座乘员时，控制器150可以推断在座椅110上没有乘员，并且将该状态分类为例如“未占据状态”或“空”类别。特别地，当所获取的图像包含多个座椅110并且这些座椅110中的一些不具有乘员时，可以确定哪些座椅110具有乘员以及哪些座椅110不具有乘员。

同时，就座乘员的面积值可通过就座乘员分割来确定。为此目的，控制器150可以从所获取的图像获得就座乘员分割并且基于其确定就座乘员的面积值。这里，分割指的是将出现在图像中的对象分成不同类别的过程，并且其包括基于与每个区域相关联的含义在像素级别上分割图像。在本公开的实施方式中，分割是指对应于就座乘员的区域与不对应于就座乘员的区域的分离，并且就座乘员分割可以理解为分离图像中对应于就座乘员的面积的过程。通过利用就座乘员分割，可以更精确地识别图像中由就座乘员占据的面积，从而提高确定图像中就座乘员的面积值的精度。这种就座乘员分割可以通过人工智能学习模型来执行，人工智能学习模型是指包括机器学习、神经网络、深度学习、分类算法和其组合中的至少一个的人工智能算法。

同时，参照图7，所获取的图像可包含多个座椅110。在这种情况下，控制器150可以基于每个座椅110和相应的就座乘员的面积值来确定面积比，并且基于该信息单独地确定每个座椅的就座乘员的类别。例如，在包括驾驶员座椅111和前排乘员座椅112的所获取的图像中，当驾驶员113和前排乘员114就座时，控制器150可独立地确定驾驶员座椅111和前排乘员座椅112的面积值以及就座乘员(即驾驶员113和前排乘员114)的面积值。然后，通过将驾驶员113的面积值除以驾驶员座椅的面积值来确定驾驶员座椅111的面积比，而通过将前排乘员114的面积值除以前排乘员座椅的面积值来确定前排乘员座椅112的面积比。之后，控制器150基于所确定的每个的面积比来确定驾驶员113和前排乘员114的类别。与参照图3所描述的相反，假设车辆中没有前排乘员114，则以与之前相同的方式执行确定驾驶员113的类别的处理。控制器150可以响应于在前排乘员座椅112上未检测到乘员或者就座乘员的面积值为0而将就座乘员的类别确定为特定类别，例如“未占据状态”或“空”。

已经参照图6和图7描述了导出用于对就座乘员进行分类的座椅110和就座乘员的面积值的过程，并且在下文中，将参照图8描述基于导出的面积值来确定就座乘员的类别的过程。

图8是示出根据本公开的实施方式的基于面积比和阈值的就座乘员的分类的图。

图8示出一个轴表示时间而另一个轴表示面积比的曲线图。这里，面积比是指如上所述的座椅110的面积值与就座乘员的面积值之间的比率，并且阈值可以理解为将面积比的范围划分为不同区段的标准。阈值是可以包括一个或多个阈值的预定值，并且可以针对由至少一个阈值形成的每个区段来确定就座乘员的类别。当采用第一阈值至第四阈值作为示例时，如图8所示，在曲线图上形成五个区段。由此，控制器150可以将就座乘员的类别确定为面积比小于第一阈值的第一类别，面积比等于或大于第一阈值但小于第二阈值的第二类别，面积比等于或大于第二阈值但小于第三阈值的第三类别，面积比等于或大于第三阈值但小于第四阈值的第四类别，以及面积比等于或大于第四阈值的第五类别。假设面积比通过将就座乘员的面积值除以座椅的面积值来定义，则面积比越大表示就座乘员的尺寸越大，这意味着被分类为第一类别的乘员可表示最小的个体或未占据状态，而被分类为第五类别的乘员可表示相对较大的个体。例如，就座乘员可以如表1所示分类。

表1

在下文中，将参照图9描述根据本公开的实施方式的就座乘员分类处理的顺序。图9是示出根据本公开的实施方式的用于对车辆中的就座乘员进行分类的方法的顺序的流程图。

参照图9，在步骤S901，由相机140拍摄的车辆内部的图像首先输入到控制器150。在步骤S902，控制器150还从诸如座椅轨道位置传感器120的传感器获得座椅110的位置，包括座椅110的向前和向后位置以及座椅靠背后倾角度。

在步骤S903，基于座椅110的位置，控制器150确定座椅110的面积值。在这种情况下，基于与座椅110的位置相关联的参数来确定座椅110的面积值，并且这些参数可以被预先确定为至少对应于座椅110的最前位置和最后位置。另外，控制器150可以进一步考虑座椅靠背后倾角度来确定座椅110的面积值，并且在这种情况下，这些参数也可以被配置为与座椅靠背后倾角度相关联。

随后，在步骤S904，控制器150从所获取的图像检测就座乘员。在这种情况下，当未检测到就座乘员时(步骤S904中为“否”)，控制器150可以在步骤S905中将就座乘员的类别确定为特定类别，例如第一类别。当检测到就座乘员时(步骤S904中为“是”)，控制器150在步骤S906基于座椅110的面积值和该座椅110上的就座乘员的面积值来确定面积比。

控制器150基于所确定的面积比来确定就座乘员的类别，并且在这种情况下，可基于所确定的面积比与阈值之间的比较来执行就座乘员的类别确定。控制器150可以响应于面积比等于或大于第一阈值但小于第二阈值(在步骤S907为“是”)而在步骤S908将就座乘员的类别确定为第二类别，响应于面积比等于或大于第二阈值但小于第三阈值(在步骤S909为“是”)而在步骤S910将就座乘员的类别确定为第三类别，响应于面积比等于或大于第三阈值但小于第四阈值(在步骤S911为“是”)而在步骤S912将就座乘员的类别确定为第四类别，响应于面积比等于或大于第四阈值(在步骤S913为“是”)而在步骤S914将就座乘员的类别确定为第五类别，并且响应于面积比小于第一阈值(在步骤S913为“否”)而在步骤S915将就座乘员的类别确定为第一类别。基于面积比与阈值之间的比较来确定就座乘员的类别的处理可以以如所描述的顺序来执行，但是也可以基于每个条件的满足来单独执行。

尽管已经结合特定实施方式示出和描述了本公开，但是对于本领域技术人员来说显而易见的是，在不脱离由所附权利要求限定的本公开的范围的情况下，可以对其进行各种修改和改变。

相关申请的交叉引用

本申请要求2022年7月19日提交的韩国专利申请No.10-2022-0089106和2022年7月19日提交的韩国专利申请No.10-2022-0089107的优先权，其全部内容通过引用结合于此。