用于检测正确的安全带使用和距离的系统和方法

相关申请的交叉引用

本PCT国际专利申请要求于2021年6月9日提交的美国专利申请号17/343,366的权益，该申请的全部内容通过引用并入本文。

背景技术

1.技术领域

本发明总体上涉及用于使用诸如近红外(NIR)相机等视觉系统来检测正确的安全带使用和到乘员的距离的系统和方法。

2.相关领域

已经利用相机和其他图像检测装置来检测一个或多个对象。与这些相机通信的控制系统可以接收由相机捕获的图像并且处理这些图像。这些图像的处理可以包括检测在所捕获的图像中发现的一个或多个对象。基于这些检测到的对象，控制系统可以响应于这些检测到的变量来执行某种类型的动作。

用于检测安全带使用的常规系统通常依赖于安全带带扣开关。然而，这些常规系统不能检测安全带是否被正确定位或者安全带带扣是否被欺骗。座椅轨道传感器通常用于确定到机动车辆的乘员的距离。然而，座椅轨道传感器的这种使用没有考虑乘员相对于座椅的身体位置。

发明内容

在一个示例中，一种用于检测安全带定位的方法包括通过相机捕获乘员的近红外(NIR)图像。该方法还包括：将NIR图像转换为黑白图像；以及扫描黑白图像以检测对应于沿着安全带的长度纵向延伸的条纹的黑段和白段之间的多个转变部，并且使用该多个转变部的检测来指示安全带的检测。

在另一个示例中，一种用于检测安全带定位的系统包括安全带，该安全带具有沿着其长度纵向延伸的多个条纹，该多个条纹以在近红外中亮和暗的交替图案布置。该系统还包括：相机，该相机被构造成捕获佩戴安全带的乘员的近红外(NIR)图像；处理器，该处理器与相机通信并且被编程为接收佩戴安全带的乘员的NIR图像并且基于检测对应于条纹的交替图案的转变部来确定安全带的位置。

在参考附加于本说明书中并构成本说明书的一部分的附图和权利要求书查看以下描述后，本发明的其他目的、特征和优点对本领域的技术人员将变得显而易见。

附图说明

图1示出了具有用于检测正确的安全带使用和用于检测到安全带的距离的系统的车辆；

图2示出了具有用于检测正确的安全带使用和用于检测到安全带的距离的系统的车辆的车厢的前视图；

图3示出了用于检测正确的安全带使用和用于检测到安全带的距离的系统的框图；

图4示出了不当的安全带定位的第一示例；

图5示出了不当的安全带定位的第二示例；

图6示出了不当的安全带定位的第三示例；

图7A示出了根据本公开的一方面的佩戴安全带的人的近红外(NIR)图像；

图7B示出了根据本公开的基于图7A的NIR图像的经滤波图像；

图7C示出了根据本公开的基于图7A的NIR图像的黑/白图像；

图7D示出了根据本公开的基于图7A的NIR图像的示出了检测点的图像；

图8A示出了NIR图像的放大区段；

图8B示出了图8A的放大区段的经滤波图像；

图9示出了根据本公开的具有不对称条纹图案的安全带的特写NIR图像；

图10示出了根据本公开的图7C的黑/白图像的放大区段，包括安全带并且示出了水平扫描线；

图11示出了根据本公开的图7D的图像的放大区段，示出了安全带的检测角度；并且

图12示出了列出检测安全带定位的方法中的步骤的流程图。

具体实施方式

参见图1，示出了具有安全带检测系统12的车辆10，该安全带检测系统用于检测正确的安全带使用和/或用于检测到安全带的距离。在此示例中，安全带检测系统12已并入车辆10内。然而，应当理解，安全带检测系统12可以是与车辆10分离的独立系统。在一些实施方案中，安全带检测系统12可以将存在于车辆10中的一些或所有部件用于其它系统和/或用于其它目的，诸如用于高级驾驶员辅助系统(ADAS)中的驾驶员监测。因此，本公开的安全带检测系统12可以以非常低的附加成本实施。

对于车辆10，车辆10在图1中被示出为轿车型汽车。然而，应当理解，车辆10可以是能够将人或货物从一个位置运输到另一个位置的任何类型的车辆。如此，除了轿车型汽车之外，车辆10还可以是轻型卡车、重型卡车、牵引拖车、牵引车、矿用车辆等。此外，应当理解，车辆10不限于轮式车辆，而是还可以包括非轮式车辆，诸如飞行器和船只。此外，术语“车辆”应当被广义地理解为包括能够将人或货物从一个位置运输到另一个位置的任何类型的车辆，并且其不应当限于以上具体列举的示例。

参见图2，示出了车辆10的车厢14。如本领域所公知的，车厢14实质上是车辆10的内部，当车辆运动时，乘员和/或货物位于车厢中。车辆的车厢14可以由在结构上限定车厢14的一个或多个柱限定。例如，在图2中，示出了A柱16A和B柱16B。图1还示出可存在第三柱或C柱16C。当然，应当理解，车辆10可以包含多个柱中的任何一个柱以限定车厢14。另外，应当理解的是，车辆10可被设计成移除这些柱，从而实质上形成诸如在具有敞篷车顶的汽车中常见的露天车厢14。

座椅18A和18B位于车厢14内。座椅18A、18B是使得它们被构造成对车辆10的乘员进行支承。车辆10可以具有任何数量的座椅。此外，应当理解，车辆10可以根本不具有任何座椅。

车辆10可以具有用作视觉系统的一部分的一个或多个相机20A-20F，这些相机定位并安装到车辆10以便能够具有车厢14的至少一部分的视场。如此，相机20A-20F可以具有坐在座椅18A和/或18B中的乘员的视场。这里，相机20A和20C位于A柱16A上。相机20B位于后视镜22上。相机20D可以位于车辆10的仪表板24上。相机20E和20F可以聚焦于驾驶员和/或乘员，并且可以分别邻近于车辆仪表组21或方向盘23。当然，应当理解，可以利用多个不同相机中的任何一个相机。如此，应理解，可利用仅一个相机或可利用多个相机。此外，相机20A-20F可以被定位并安装到车辆10的任何地方，只要能够看到车厢14的至少一部分即可。

相机20A-20F可以是能够捕获视觉信息的任何类型的相机。该视觉信息可以是可见光谱内的信息，但也可以是可见光谱外的信息，诸如红外光或紫外光。这里，相机20A-20F是能够捕获由近红外光的反射产生的图像的近红外(NIR)相机。近红外光可以包括电磁波谱的近红外范围(从780nm至2500nm)中的任何光。然而，本公开的安全带检测系统12可被构造成使用近红外范围内的特定波长或波长范围。

该近红外光的源可以是自然源，诸如太阳，但也可以是人造源，诸如近红外光源26。近红外光源26可以安装在车辆10的车厢14内的任何地方，只要能够将近红外光投射到车厢14的至少一部分中即可。这里，近红外光源26安装在后视镜22上，但是应当理解，近红外光源26可以安装在车厢14内的任何地方。另外，应当理解，虽然示出了仅一个近红外光源26，但是可以有位于车辆10的车厢14内的多于一个近红外光源26。

输出装置28也位于车厢14内，用于将信息转发给车厢14内的一个或多个乘员。这里，输出装置28被示出在显示装置中，以便向车厢14内的一个或多个乘员传达视觉信息。然而，应当理解，输出装置28可以是能够向车厢14内的一个或多个乘员提供信息的任何输出装置。如此，例如，输出装置可以是向车辆10的车厢14内的一个或多个乘员提供音频信息的音频输出装置。另外，应当理解，输出装置28可以是控制车辆的功能的车辆子系统。

参见图3，示出了安全带检测系统12的更详细的图示。这里，系统12包括控制系统13，该控制系统具有与存储器32通信的处理器30，该存储器包含用于执行本说明书中公开的多种不同方法中的任一种方法的指令34。处理器30可以包括单个独立处理器，或者它可以包括两个或更多个处理器，这些处理器可以分布在一起工作的多个系统上。存储器32可以是能够存储数字信息的任何类型的存储器。例如，存储器可以是固态存储器、磁性存储器、光学存储器等。另外，应理解，存储器32可并入处理器30内或如图所示可与处理器30分离。

处理器30还可与相机20通信。相机20可以与图2中示出和描述的相机20A-20F相同。类似于图2中的相机20A-20F，相机20可以是近红外相机。相机20可包括多个物理装置，诸如图2中所示的相机20A-20F。相机20具有视场21。

近红外光源26也可以与处理器30通信。当被处理器30启用时，近红外光源26将近红外光36投射到对象38，该对象可以吸收近红外光或朝向相机20反射近红外光40，其中相机可以捕获示出所吸收或反射的近红外光40的图像。然后可以将这些图像提供给处理器30。

处理器30还可与输出装置28通信。输出装置28可包括能够向图2的车厢14内的一个或多个乘员提供信息的视觉和/或听觉输出装置。另外，应当理解，输出装置28可以是车辆系统，诸如可以基于从处理器30接收的输入采取某些动作的安全系统。例如，处理器30可以指示输出装置28限制图1的车辆10的功能或将其最小化。如将在本说明书中稍后解释的，安全带检测系统12可执行的功能中的一个功能是检测乘员是否正确地佩戴安全带。如果安全带未被正确地佩戴，则处理器30可以指示输出装置28限制车辆10的功能，使得车辆10仅可以以大大降低的速度行驶。

图4示出了不当的安全带定位的第一示例，示出了在坐在车辆10的座椅18A上的乘员44上被不当调节的安全带50。在该示例中，不当调节的安全带50松弛地搭在乘员44的肩上。图5示出了不当的安全带定位的第二示例，示出了安全带50在乘员44的腋下穿过。图6示出了不当的安全带定位的第三示例，示出了安全带50在乘员44的背后穿过。安全带检测系统可以检测不当的安全带定位的其他示例，诸如缺失的安全带或者没有被乘员44佩戴的安全带，即使是带扣被欺骗的情况(例如，通过将安全带插入带扣而将安全带放在乘员44后面或者通过将异物放置到带扣闩锁中)。

图7A示出了根据本公开的一方面的佩戴安全带50的乘员44的近红外(NIR)图像。这可以表示由相机20捕获并由处理器30接收的图像。在一些实施方案中，乘员44可以是车辆10的驾驶员。然而，乘员44也可以是车辆10中的乘客。图7B示出了基于图7A的NIR图像的经滤波图像；图7C示出了基于图7A的NIR图像的黑/白图像；并且图7D示出了根据本公开的基于图7A的NIR图像的示出了检测点的图像。具体地，图7D示出了安全带50穿过第一感兴趣区域(ROI)60和第二ROI 62中的每者。第一ROI 60可以位于乘员44的肩部上方，并且第二ROI 62可以位于第一ROI下方和左侧。第二ROI 62可对应于乘员44躯干的中心区域。ROI60、62可各自具有在相机20的视场21内的固定位置。另选地，系统12可以基于在相机20的视场21内检测到的乘员44的位置来调整ROI 60、62中的一者或两者的位置。

图8A示出了NIR图像的放大区段(包括乘员44的一部分)，并且图8B示出了图8A的放大区段的经滤波图像。图8A至图8B示出了闪光的去除，这些闪光表现为NIR图像的小的明亮区域。该示例中的闪光是位于由乘员44佩戴的耳环上。然而，闪光可来自其它来源，诸如磨损的线或一块棉绒或其它材料。位于安全带50上或附近的闪光的存在原本可能干扰后续的处理步骤，并且可能降低安全带检测系统12的正确操作的有效性。

图9示出了根据本公开的具有不对称条纹图案的安全带50的特写NIR图像。具体地，安全带50包括沿着安全带50的长度纵向延伸的多个条纹68a-68g。条纹68a-68g在NIR图像中具有交替的高亮度和低亮度。所示安全带50包括七(7)个条纹68a-68g。然而，安全带50可具有更少或更多数量的条纹68a-68g。条纹68a-68g以不对称图案布置，条纹68a-68g中的每个条纹在垂直于安全带50的纵向尺寸的方向上具有对应的宽度W

条纹68a-68g可以是编织或以其它方式构造以形成安全带50的材料的特征。形成条纹68a-68g的材料可延伸穿过整个安全带50，因此条纹68a-68g在安全带50的两个相对侧中的任一侧上是可见的。条纹68a-68g包括不对称图案，因此安全带50的取向可以基于条纹68a-68g的图案的图像来确定。安全带50中的一个或多个扭转可被检测为条纹68a-68g的不对称图案的反转。

图10示出了根据本公开的图7C的黑/白图像的放大区段(包括安全带50并且示出了水平扫描线)。图10示出了系统12如何扫描像素行(水平线)并寻找具有交替颜色的一系列七个连续段，这七个连续段对应于条纹68a-68g并由六个转变点分开。两个最外条纹68a、68g可具有大于0个像素的任何宽度。换句话说，它们可以具有可由相机20分辨的任何宽度。最外条纹68a、68g可用于限定下一相邻条纹68b、68f的外边缘。因此，安全带50可包括由两个最外条纹68a、68f围绕的五个内部条纹68b-68f。系统12可基于内部条纹68b-68f的相对宽度来识别安全带50。具体地，内部条纹68b-68f可以具有彼此不同的对应宽度Wb-Wf，以限定不同宽度比的图案。图10所示的每一行像素可基于图像底部所指示的图案来检测安全带。具体地，系统12可以检测一系列一个或多个黑色像素(b>0)，随后是一系列具有1个单位(w1)的缩放宽度的白色像素。继续从左到右，系统12可以进一步检测具有1个单位(b1)的缩放宽度的黑色条纹68c，然后是具有4个单位(w4)的缩放宽度的白色条纹68d，然后是具有2个单位(b2)的缩放宽度的黑色条纹68e，然后是具有1个单位(w1)的缩放宽度的白色条纹68f，以及最后是另一系列的一个或多个黑色像素(b>0)。

图10所示的内部条纹68b-68f的宽度比为1∶1∶4∶2∶1；然而，内部条纹内部条纹68b-68f可以具有不同的宽度以限定不同的比率。如果检测到的内部条纹68b-68f在特定误差容限内匹配1∶1∶4∶2∶1的比率，则安全带50在每个给定扫描线内的水平位置可以被标注为检测点。在一些实施方案中，检测事件的比率区段的累积宽度可与检测点一起存储。因此，系统12可过滤掉给定扫描线中的噪声，该噪声原本可匹配1∶1∶4∶2∶1的比率，但不具有如在邻近或靠近该给定扫描线的扫描线中所检测的安全带50的总内部宽度Wti的容差内的总内部宽度Wti。使用对应内部条纹68b-68f的宽度Wb-Wf的相对比率允许系统12检测安全带50。

图11示出了图7D的图像的放大区段，示出了安全带50的检测角度70。具体地，图11示出了系统12如何识别安全带50并将其位置记录为检测点64。一旦累积了多个检测点64，可以确定安全带50的角度70。角度70可表示安全带50在纵向方向上的倾斜，或表示安全带50的较高部分与安全带50的较低部分之间距相机的距离的差。在第一ROI 60内在乘员44的肩部上方的检测点64表示安全带50的较高部分。类似地，在第二ROI 62内在乘员44躯干的中心区域处的检测点64可以表示安全带50的较低部分。

一旦确定了角度70，可以使用安全带50在检测点64处的实际宽度来确定补偿的像素宽度。例如，对于73度的角度，具有如由相机20测量的100个像素的像素宽度乘以角度70的正弦(sin73°)的检测点64产生约95.6个像素的补偿的像素宽度。利用安全带50的已知总内部宽度Wti，并且利用相机20的细节(例如，像素的弧长)，可以确定检测点64在安全带50上的位置。与传统方法(诸如依赖于座椅位置的方法)相比，该距离可提供关于乘员44的位置的更精确的测量结果。

检测安全带定位的方法100在图12的流程图中示出。方法100包括在步骤102处通过相机20捕获乘员44的图像。步骤102可以包括捕获近红外(NIR)光谱中的图像，这可以包括检测由近红外光源26提供的经反射的NIR光。步骤102可以进一步包括将图像作为视频流或作为一个或多个静止图像从相机20传输到具有处理器30的控制系统13以进行附加处理。

方法100还包括在步骤104处对图像滤波以去除闪光。处理器30可以执行步骤104，该步骤可以包括将中值滤波器应用于图像。中值滤波器可以在对异常亮或暗的区域(即闪光)进行平滑的同时保留边缘，这些异常亮或暗的区域可能由安全带纱线、相机20中的坏像素、或其他引起噪声的颗粒(诸如粘在安全带50上的棉绒)引起。该步骤104减少了黑/白转变的错误检测的数量，从而提高了方法100的性能和可靠性。

方法100还包括在步骤106处将经滤波图像转换为黑白(B/W)。术语黑和白可包括处于表示暗或亮的两个二进制状态中的一个二进制状态中的像素的任何表示。处理器30可执行步骤106，该步骤可包括使用局部二进制阈值来确定B/W图像中的任何给定像素应为黑还是白。这种局部二进制阈值可将源图像(即，经滤波图像)中的源像素与该像素的预定距离内的附近像素进行比较。如果源像素比附近像素的平均值亮，则可以将B/W图像中的对应像素设置为白，并且如果源像素比附近像素的平均值暗，则可以将B/W图像中的对应像素设置为黑。在一些实施方案中，预定距离可以是大约100个像素。在一些实施方案中，预定距离可等于或大约等于安全带50的像素宽度，其中安全带50相对于相机处于标称位置(例如，在具有中等身材并且坐在座椅18a的中间位置的乘员44上使用时)。

方法100还包括在步骤108处扫描B/W图像以检测黑/白(或白/黑)转变并且使用对那些转变的检测来指示对安全带50的检测64。处理器30可以执行步骤108，该步骤可以包括比较转变之间的相对距离以确定那些相对距离是否与安全带50的内部条纹68b-68f的宽度的比率相关，以及它们在哪里相关，将那个位置标记为检测64。例如，处理器30可以被编程为扫描B/W图像中的水平线，以检测以与图10所示的内部条纹68b-68f的宽度的1∶1∶4∶2∶1比率匹配的距离间隔开的转变的分组。类似地，处理器30可被编程以检测内部条纹68b-68f的宽度的反转比率(即，以匹配1∶2∶4∶1∶1图案的距离分开的转变)以检测特定位置处具有反转取向的安全带50。

方法100还包括在步骤110处计算安全带50的角度。处理器30可以执行步骤110，该步骤可以包括使用多个检测点64(诸如在两个感兴趣区域(ROI)60、62中安全带50的位置)来确定安全带50的角度70。角度70可表示安全带50在纵向方向上的倾斜，或表示安全带50的较高部分与安全带50的较低部分之间距相机的距离的差。

方法100还包括在步骤112处计算到安全带50的距离。处理器30可以执行步骤112，该步骤可以包括使用在ROI 60、62中安全带50的像素宽度。步骤112可进一步使用如先前确定的安全带50的角度来计算到安全带50的距离，诸如在ROI 60、62中的一者或多者中到50的距离。例如，对于73°的角度，处理器30可以将检测点64的像素宽度确定为100个像素。然后，处理器30可以将100个像素的像素宽度乘以角度70的正弦(sin73°)，以确定约95.6个像素的补偿的像素宽度。利用安全带50的已知总内部宽度W

方法100还包括在步骤114处确定安全带50是否被正确地定位。处理器30可以执行步骤114，该步骤可以包括使用安全带50的角度和/或到安全带50的距离。例如，处理器30可以计算安全带50的测量角度并且将该测量角度与对应于安全带50的正确位置的测量值范围进行比较。类似地，处理器30可计算到安全带50的一个或多个距离并且将那些一个或多个距离与对应于安全带50的正确定位的距离。在一些实施方案中，处理器30可计算距离的变化率以确定安全带50是否如例如图4所示的那样松弛。如果处理器30不能在图像的一个或多个区域中(诸如在ROI 60、62中的一者或多者中)识别出安全带50，则处理器30还可以将安全带50指定为被不当地定位。图5和图6中示出了这种不当定位的示例。

方法100还包括在步骤116处确定安全带50是否被扭转。处理器30可执行步骤116，该步骤可包括检测安全带上的不对称图案的一个或多个反转。例如，如果处理器30检测到安全带50中的扭转数量超过扭转阈值，则该处理器可以将安全带指定为被不当地定位。

方法100还包括在步骤118处，如果系统12确定安全带50被正确地定位，则生成第一信号，或者如果系统12确定安全带50被不当地定位，则生成第二信号。处理器30可以执行步骤118，该步骤可以包括向乘员44提供阐明，诸如声音或显示警告消息。在另一个示例中，处理器30可以向输出装置28(诸如安全系统)发信号，以采取行动来限制车辆10的功能或将其最小化。例如，可以防止车辆10移动或防止车辆超过非常低的速度，直到并且除非系统12确定安全带50被正确地定位。

通过执行本公开的方法，安全带检测系统12可以确定乘员44是否正确地佩戴他们的安全带50。本公开的系统和方法可提高乘员44正确地佩戴安全带50的置信度。

另外，如前所述，安全带50可具有位于或设置在安全带50上的光吸收材料和/或反射材料50C。相机20A-20F可以捕获材料50C的图像。如前所述，该材料50C可以是具有以已知距离52彼此分开的图案元素的已知图案。然后，安全带检测系统12可以检查这些从相机20A-20F捕获的图像，并且确定安全带50到相机的距离是否大致是指示安全带50正确地跨过乘员44的身体48的预期距离。另外，因为该图案是已知的，所以可以忽略乘员44所穿的可以反射光和/或吸收光(诸如红外光)的衣服，因为乘员所穿的衣服不太可能具有与安全带50上的条纹68a-68g的图案相匹配的图案。

如果确定乘员44正确地佩戴安全带50，则安全带检测系统12可以允许车辆10在正常模式下操作。然而，如果安全带检测系统12指示乘员44未正确地佩戴安全带50，则控制系统12可采取多个不同动作中的任一个动作。例如，安全带检测系统12可以使用输出装置28向乘员44指示，以便提供安全带50未被正确地佩戴的视觉和/或听觉提示。另外，输出装置28可以与多个不同车辆系统中的任一个车辆系统通信，以便限制车辆10的操作，直到安全带50被乘员44正确地佩戴。

安全带检测系统12还可与其它控制系统通信，以便改进系统的可靠性。例如，安全带检测系统12还可以与一个或多个传感器通信，诸如检测安全带闩锁61或锁舌插入到安全带带扣63中的传感器。如果安全带检测系统12确定安全带带扣被正确地闩锁并且确定安全带50被正确地跨过乘员44的身体48定位，则安全带检测系统12可以更确信地确定安全带50被乘员44正确地利用。

在一些实施方案中，专用硬件具体实施诸如专用集成电路、可编程逻辑阵列和其他硬件装置可被构造成实现本文所述的方法的一个或多个步骤。可包括各种实施方案的设备和系统的应用可广义地包括多种电子和计算机系统。本文所述的一个或多个实施方案可使用具有相关控制信号和数据信号的两个或更多个特定互连硬件模块或装置来实现功能，该相关控制信号和数据信号可在模块之间并通过模块进行传送，或者作为专用集成电路的部分进行传送。因此，本系统涵盖软件、固件和硬件具体实施。

根据本公开的各种实施方案，本文所述的方法可由能够由计算机系统执行的软件程序来实现。此外，在示例性非限制性实施方案中，具体实施可包括分布式处理、部件/对象分布式处理和并行处理。另选地，虚拟计算机系统处理可被构造成实现如本文所述的方法或功能中的一者或多者。

此外，本文所述的方法可体现在计算机可读介质中。术语“计算机可读介质”包括单个介质或多个介质，诸如集中式或分布式数据库，和/或存储一个或多个指令集的相关联的高速缓存和服务器。术语“计算机可读介质”还应包括能够存储、编码或携带用于由处理器执行或使得计算机系统执行本文所公开的方法或操作中的任何一个或多个方法或操作的指令集的任何介质。

本领域技术人员易于理解的是，以上描述的用意是举例说明本发明的原理。该描述并非旨在限制本发明的范围或应用，因为本发明易于改正、变更和改动，而不会脱离以下权利要求书所限定的本发明的实质。