利用人工神经网络跟踪运输车辆内部及附近的工具的跟踪系统和方法

技术领域

本发明涉及一种用于跟踪运输车辆内部及附近的工具的跟踪系统。本发明还涉及一种使用这种跟踪系统跟踪运输车辆内部及附近的工具的方法。

背景技术

通常，为客户工作或在建筑工地完成订单的专业工匠会使用运输车前往不同地点，这种运输车装有可能需要的工具和其它备用设备。为了实现高效的工作流程，必须正确保持良好的秩序以维持此类项目的可用性。此外，一些昂贵的工具不应该被无意地留在现场以避免更换的费用。

在现有技术中，公开了用于跟踪诸如工具之类的物品的方法和系统的各种解决方案。

例如，US 2014/0015672 A1提出了一种用于电子跟踪一个或多个物体(工具或装备)的装置和系统。物体定位器系统包括发射器设备和一个或多个接收器。发射器设备包括用于产生控制信号的电子控制电路，并且具有用于查看要跟踪的对象列表的面板显示器。一个或多个接收器包括用于从发送器设备接收控制信号的电子电路，以及用于向发送器设备发送响应信号的电子电路。每个接收器都可附加到列表中的一个对象。发射机设备提供视觉或听觉信号来表示相对于距发射机设备的预定距离的列表中的对象存在或不存在。

US 9，939，693 B1公开了一种用于资产跟踪和作业工具的识别系统。一个或多个作业工具能够可操作地连接到作业机器以完成特定的任务或操作，其中，作业机器包括：反铲挖掘机、滑移装载机、推土机、前端装载机、挖掘机、履带式机器、公路卡车、越野卡车、机动平地机或工业采矿设备。用于作业工具的跟踪系统包括：一个跟踪设备以及一个无线通信设备，其中，跟踪设备连接到作业工具并被配置为发送作业工具识别信号，无线通信设备被配置为在工作区域内扫描和检测作业工具识别信号。位置识别模块(例如，GPS接收器)连接到无线通信设备并且被配置为接收作业工具识别信号，并生成作业工具位置信号，包括位置指示符和唯一作业工具标识符。通信模块连接到无线通信设备，并且被配置为向作业工具位置信号添加日期和时间戳，再将作业工具位置信号传输到资产位置控制中心。至少一个加速度计连接到跟踪装置，当作业工具被作业机器拾取时，加速度计启动跟踪装置，使得跟踪装置与位于作业机器上的机器控制模块通信。控制器位于资产位置控制中心并且被配置为接收具有日期和时间戳的作业工具位置信号。控制器被编程为将带有日期和时间戳的作业工具位置信号保存到资产位置数据库中，使得资产位置数据库显示作业工具的最后已知位置。

US 2014/0062699 A1提出了一种用于在工作场所跟踪诸如消耗品、工具和工具套装件等使用物品的系统和方法。该方法包括：利用移动电子设备中的传感器，从与容器相关联的标签，接收识别存储在容器中的项目类型和存在于容器中的项目类型的编号的数据；使用移动电子设备中的用户界面生成识别项目类型并请求输入项目类型的计数以从容器中移除的提示；从用户界面接收项目类型的计数；并且利用移动电子设备中的传感器，在标签中存储存在于容器中的物品类型的修正编号，根据从用户界面接收的计数和项目类型的编号来识别修正编号从标签收到的容器中存在的项目。

此外，US 2015/0070191 A1描述了一种用于自动跟踪在固定或移动位置内的多种资产(例如工具和车辆)存在或不存在的系统和方法。自动化资产跟踪系统包括：至少一个有源RF标签、至少一个转发器天线、转发器基座、至少一个服务器和人类可读设备。其中，至少一个有源RF标签贴在被跟踪的资产上。至少一个应答器天线位于已知位置，并且与至少一个有源RF标签无线通信以接收来自至少一个RF标签的数据。至少一个应答器天线具有CPU，该CPU包括过滤掉冗余标签信标数据的装置，该装置用于在将冗余标签信标数据发送到应答器基座之前。转发器底座与至少一个应答器天线相距不远并与其进行电子通信，其中应答器基座包括用于准确地确定在限定的物理空间内标签的存在或不存在的装置。应答器基座还包括用于通过电子连接选择性地将数据无线传输到互联网的装置，该电子连接的选择性来自由WiFi、蜂窝和以太网组成的组。至少一个服务器包括从因特网收集数据、分析数据并以预选格式传输数据的装置。人类可读设备被配置为从服务器无线收集数据，并以预定格式显示数据。

US 2015/0179036 A1公开了一种用于跟踪物品的系统和方法，其中物品诸如储存在隔间中的消耗品和工具。用于跟踪物品位置的系统包括多个项目，每个项目被配置为从一个隔间中存储和取出，以及以一对一对应的方式贴在多个项目上的多个标签，以使用存储在每个标签中的标识符唯一地标识多个项目中的每个项目。

该系统进一步包括标签读取设备、传感器、输出设备和处理器。标签读取设备与隔间连接，并且被配置为响应于多个物品中的每个物品的每次从隔间移除和每次返回隔间时接收从多个标签中的每个标签产生的数据。传感器被配置为识别隔间的状态变化。处理器通信地连接到标签读取设备、传感器和输出设备，并且被配置识别从隔间移除多个项目中的一个项目，该识别参考存储在标签中的标识符，由标签读取设备开始接收。处理器还被配置为在识别出隔间中的状态变化，该状态变化包含通过传感器识别一件物品的移除，并且不识别一件物品已经返回隔间，通过输出装置生成输出数据，该输出包括响应于隔间中状态变化的标识，对应于一个项目的标识符。

WO 2017/197409 A1提出了一种用于工作位置与家庭位置距离远的人的人身安全和工具丢失的预防系统和方法的解决方案。该系统包括服务器、便携式跟踪设备和至少一个跟踪标签。服务器能够存储车辆相关信息、并且能够储存与该车辆相关联的人员、工具以及设备相关的信息。便携式跟踪设备适于在离开车辆时由人携带或佩戴。至少一个跟踪标签适于安装在人在远离车辆的位置使用的工具或设备上。便携式跟踪设备包括用于将跟踪设备连接到服务器的通信设备和用于从跟踪标签或每个跟踪标签接收信号的接收设备。跟踪标签包括用于在跟踪标签在该跟踪设备的有限距离内时与跟踪设备通信的发送设备。通信设备用于向服务器发送指示该跟踪设备的接收设备是否与跟踪标签通信的信号。服务器用于在它检测到跟踪标签未与跟踪设备通信时提供指示。

项目跟踪的另一个应用领域是监控库存和/或资产的数量，例如在具有手提式库存项目的存储环境中。

例如，在US 2018/322376 A1中描述了一种适于安装到诸如工具之类的资产的资产标签。资产标签包括第一组件，所述第一组件用资产标签唯一的第一ID编码。第一组件具有第一无线接口，并且用于在第一范围内经由第一无线接口发送第一广播信号。第一广播信号包括第一ID。资产标签进一步包括用户可致动的按钮和处理电路，该电路耦合于按钮并且至少耦合到第一无线接口。处理电路被配置为(i)确定用户是否使用按钮执行了预定手势，以及(ii)如果预定手势已经执行，则经由第一无线接口向无线接入点发送补货信息，补货信息包括：第一ID，指示相应资产响应于第一ID补货。

医疗领域也公开了关于工具的跟踪，其中，可能需要匹配位于和/或使用于特定事件期间的手术工具。

例如，US 2016/02125 77 A1描述了一种计算机化系统，该系统用于跟踪和监控与工具(例如手术器械、物品或一次性用品)配对的标签。该系统包括信号接收单元、具有标签数据库和标签处理单元的中央服务器、以及监控站。信号接收单元配置为获取标签的位置。标签数据库配置为存储标签的数据记录，其中数据记录包括关于标签的信息。标签处理单元配置为更新标签数据库中存储的数据记录。监测站被配置为获取与标签相关的标志事件，其中标志事件包括与标签配对的工具存在于检测到的事件的位置的指示，并且进一步将标志事件传送到中央服务器。

鉴于现有技术，工具(尤其是在客户现场或在建筑工地工作的专业工匠所使用的工具)的跟踪领域仍有改进的空间。

发明内容

对于传统的跟踪系统，通过安装在对应的工具或工具容器上的标签的射频信号来跟踪工具，但是系统可能会因射频信号的阻碍而受到损害，例如，由于工具金属部分的相互阻碍，由于运输车辆的车门的阻碍，或是由于金属板等消耗性材料的阻碍。

因此，本发明的目的在于提供一种用于跟踪运输车辆中的工具的系统和方法，特别是需要在客户现场或建筑工地工作的专业工匠使用的工具，在存在其它金属工具的情况下，以及在运输车辆的金属部件附近处理工具时，跟踪工具的性能得到了提高。

在本发明的一个方面，发明目的通过具有权利要求1的特征的跟踪运输车辆内部及附近的工具的系统来实现。该目的进一步通过具有权利要求9的特征的跟踪工具的方法来实现。此外，在相应的从属权利要求中也公开了本发明的优选的实施例。

应当注意的是，在以下描述中单独列出的特征和措施可以以任何技术上有意义的方式彼此组合并且示出本发明的进一步实施例，说明书结合附图，具体描述了本发明的附加特征。

在本发明的一个方面，提供了一种用于跟踪运输车辆内部及附近的工具的跟踪系统。该跟踪系统包括：至少在运输期间可设置在车辆的装载空间中的多个工具套装，其中，每个所述工具套装包括工具和至少一个固定连接的短距离无线网络通信组件；以及短距离无线网络通信接收单元，其可设置在车辆装载空间中，并且被配置为接收由每个短距离无线网络通信组件发送的唯一信号；

本发明提出的跟踪系统还包括车载检测单元、电子主控单元、移动处理单元和基于云的计算机系统。

车载检测单元具有检测装置，每个检测装置可设置用于至少在车辆装载空间中从不同的角度光学获取多个工具套装的至少一部分，其中检测装置配置为提供数字图像数据以及相应的距离信息。

电子主控单元至少可操作地连接于无线网络通信接收单元，其包括用于与车载检测单元通信的通信装置，以及可操作地连接到通信装置，用于与基于云的计算机系统通信；

移动处理单元包括光学摄像机、LIDAR传感器设备和用于与电子主控单元和基于云的计算机系统进行无线通信的通信装置。

基于云的计算机系统包括至少一个经过训练的人工神经网络，其至少用作根据车载检测单元提供的数字图像数据和相应的距离信息提供关于多个工具套装的标识和位置的预测输出的基础。

在本发明中，术语“多个”尤其应理解为至少两个的数量，短语“被配置为”尤其应理解为被特别地编程、安置、布置或设置。

一方面，本发明所提出的跟踪系统可以避免工具检测和跟踪可能受到射频信号的阻碍，例如，由于工具金属部分的相互阻碍，由于运输车辆的车门的阻碍，或是由于金属板等消耗性材料的阻碍，从而至少可以减少错误检测结果的数量。

进一步地，本发明通过将车载检测单元的基于图像的检测与基于RF信号的检测相结合，可以提供对运输车辆内部及附近的工具具有高置信检测水平的高精度的跟踪系统，并且可以实现对物体(例如，工具)的可靠检测和跟踪。

本发明没有限制的是，移动处理单元可以设计为手机、平板电脑或可穿戴设备。

本发明所提出的跟踪系统主要是为陆地车辆设计的，然而，在本发明的范围内还可设想，在商业船舶中使用跟踪系统以跟踪诸如集装箱的物品，或者在运输各种负载的货机中使用跟踪系统。

在本发明的意义上，术语“工具”具有一般含义，应包括带插头的工具和无线工具，例如紧固工具、锯、锤钻、充电螺丝刀、锤子，但也包括设备项目和其它物品(例如，便携式电池等)。此外应该注意的是，虽然上文和下文中描述了专业工匠在客户现场或建筑工地作业时使用的特定工具，但是应该理解，本发明同样可以适用于包裹邮寄部门或乘客用车部门的物品跟踪，例如用户的运动包或夹克，但不限于这些示例。

在跟踪系统的优选实施例中，车载检测单元的检测装置包括多个光学摄像机和LIDAR传感器设备，其中每个光学摄像机和LIDAR传感器设备可设置车辆装载空间内，使得相应的视野包含车辆的装载空间的至少一部分。以这种方式，可以获得一种有效且节省成本的解决方案，用于至少在车辆装载空间中从不同角度光学获取多个工具套装的至少一部分以提供数字图像数据以及相应的距离信息。

LIDAR(光检测和距离检测)传感器设备作为通过用激光照射物体，并用传感器测量反射来测量距离(测距)的设备在本领域中是众所周知的，例如，在诸如自动驾驶的应用中，在此不再赘述。此外，LIDAR传感器设备很容易在市场上获取，特别地，LIDAR传感器设备可以包括闪光LIDAR传感器。

在优选实施例中，跟踪系统还包括可操作地连接到车载检测单元和移动处理单元的图像处理单元。图像处理单元被配置用于校准和校正数字图像数据集及其对应的距离信息，以及用于创建合并数据集，其中每个合并数据集包括校准和校正的数字图像数据集及其对应的距离信息。

通过这种方式，可以实现对来自不同传感器的图像的校准和校正，以进行共同的进一步处理。这里的校准可以指通过插值和去除噪声数据来使传感器的分辨率彼此匹配，因为它们可能具有不同的分辨率和帧速率。校正是一个众所周知的过程，可以应用于多个摄像机，例如在M.Pollefeys、R.Koch和L.VanGool的文章描述了“一种针对一般运动的简单有效的校正方法”，第七届IEEE计算机视觉国际会议论文集，克基拉岛，希腊，1999年，第496-501卷第1卷，doi：10.1109/ICCV.1999.791262(M.Pollefeys,R.Koch and L.VanGool,"A simple and efficient rectification method for general motion",Proceedings of the Seventh IEEE International Conference on Computer Vision,Kerkyra,Greece,1999,pp.496-501vol.1,doi:10.1109/ICCV.1999.791262)。

在低复杂度级别的校准和校正，摄像机图像和深度图像(来自LIDAR)可以简单地合并，并且可以创建具有RBG和深度信息的单个图像。

在优选实施例中，图像处理单元和车载检测单元可以包含于公共外壳中，这可以实现极小干扰的快速信号处理。然而，在其它实施例中，为了提供更大自由度的设置，图像处理单元和车载检测单元可以具有单独的外壳。

优选地，车载检测单元的检测装置和移动处理单元的光学摄像机中的至少一个被配置为在可见光波长以及近红外波长范围工作。以这种方式，即使在低光照条件下也可以实现对工具的跟踪，这可以有益地用于防止和/或阻止盗窃。

在跟踪系统的优选实施例中，短距离无线网络通信组件被设计为蓝牙信标，并且每个短距离无线网络通信组件发送的信号包括唯一标识符。以此方式，可以提供用于多个工具套装的无线识别和定位的成本效益好的且经过充分验证的解决方案。

基于确定各自的信号强度来检测附近蓝牙设备的算法在本领域被公开描述，例如，Devanshi、Devanshi&Agrawal、Sunil&Singh、Sarvjit，(2014)的文章“综述：基于蓝牙技术的室内定位”，《国际计算机应用杂志》97，31-33，10.5120/17029-7327(Devanshi,Devanshi&Agrawal,Sunil&Singh,Sarvjit,(2014),“Indoor Localization based onBluetooth Technology:A Brief Review”,International Journal of ComputerApplications,97,31-33,10.5120/17029-7327)，以及AN Raghavan、H.Ananthapadmanaban、MS Sivamurugan和B.Ravindran的文章，“使用蓝牙在室内环境中准确定位移动机器人”，2010年IEEE国际会议机器人与自动化，阿拉斯加州安克雷奇，2010年，第4391-4396页，doi：10.1109/ROBOT.2010.5509232(A.N.Raghavan,H.Ananthapadmanaban,M.S.Sivamurugan and B.Ravindran,"Accurate mobile robotlocalization in indoor environments using bluetooth",2010IEEE InternationalConference on Robotics and Automation,Anchorage,AK,2010,pp.4391-4396,doi:10.1109/ROBOT.2010.5509232)。

BLE(Bluetooth Low Energy，低功耗蓝牙)无线电标准也非常节能。蓝牙信标可以有自己的电池，然而，它们也可以使用它们所连接的工具的电池。蓝牙信标可以被充电，例如，它们可以通过使用USB端口来充电。在其它实施例中，它们也可以通过无线电力传输技术感应充电。

在跟踪系统的优选实施例中，移动处理单元包括显示单元，该显示单元被配置用于可视化被跟踪的工具套装及其各自的位置。这使得工匠可以一目了然地检查多个工具套装的状态，即是否存在于车辆的装载空间。

在跟踪系统的优选实施例中，电子主控单元包括可连接到车辆内部数据通信接口的数据接口，其中，电子主控单元被配置为通过数据接口接收车辆相关数据。例如，车辆相关数据可以包括车辆速度和/或GPS(Global Positioning System，全球定位系统)坐标等各种信息。当跟踪对象(例如，工具套装)不成功时，此信息可以非常有效且可以轻松地向任何用户提供最后记录的GPS坐标和时间信息。

优选地，车辆内部数据通信接口被设计为CAN(Controller Area Network，控制器局域网)总线接口。然而，可以采用适用于本领域技术人员的任何其它车辆总线协议的接口。

在跟踪系统的优选实施例中，至少一个经过训练的人工神经网络包括至少一个深度神经网络(DNN)。

人工神经网络包括多个相互连接的人工神经元(也称为节点)，并具有输入端和输出端。多个相互连接的人工神经元中的每个人工神经元可以向与其相连的另一个人工神经元传输信号。接收到的信号可以进一步处理并传输到下一个人工神经元。每个人工神经元的输出可以使用其输入总和的非线性函数来计算。在学习过程中，通常会对非线性函数的权重进行调整，从而形成经过训练的人工神经网络，并且通过确定一组人工神经元的权重，以使得人工神经网络的输出信号接近期望的输出信号。

DNN是一种人工神经网络，在输入端和输出端之间具有多个隐藏层的人工神经元。众所周知，DNN能够对复杂的非线性关系进行建模，并且有利于本发明所提出的通过车载检测单元进行基于图像的检测跟踪系统。

本发明的另一方面，还提供了一种跟踪运输车辆内部及附近的工具的方法，该方法使用本发明公开的跟踪系统的实施例。该方法包括前序步骤，通常在跟踪系统进行跟踪模式操作之前。步骤是：

-前序步骤：使用移动处理单元提供的数字图像数据和相应的距离信息来训练基于云的计算机系统的至少一个人工神经网络，以及

-前序步骤：将至少一个经过训练的人工神经网络的权重通信传输至跟踪系统的电子主控单元，

为了提高跟踪系统的性能，还可以在跟踪模式操作中断时执行另一个训练步骤。预测输出的深度学习算法也通过电子主控单元执行。

在跟踪系统的跟踪模式运行期间，定期执行以下步骤：

-通过激活车载检测单元，提供关于车辆装载空间的数字图像数据和相应的距离信息，

-基于提供的数字图像数据和相应的距离信息以及经过训练的人工神经网络，提供关于多个工具套装中的工具套装标识和位置的预测输出，

-通过短距离无线网络通信接收单元接收每个短距离无线网络通信组件发送的信号，

-对接收到的信号执行跟踪和定位算法以获得对所述多个工具套装中已识别的所述工具套装的位置的估测，以及

-使用经过训练的所述人工神经网络导出的预测输出和对已识别所述工具套装的位置的估测作为输入数据，应用递归估测算法，导出多个工具套装的已识别工具套装的位置的精确结果。

前述结合跟踪系统描述的有益效果充分适用于本发明的方法，即在运输车辆内部及附近跟踪工具的方法。在本发明的意义上，它不仅可以应用于运输车辆，还可以应用于其它运输/物流模式，例如飞机、火车或港口集装箱，但不限于这些示例。

本发明方法的优选实施例中，训练至少一个人工神经网络的前序步骤还包括使用由移动处理单元提供的信号，该信号已经由每个短距离无线网络通信组件传输并且对于每个短距离无线网络通信组件是唯一的。以这种方式，识别从一开始就在至少一个人工神经网络的训练中实施，并且不需要在后续的时间节点并入以成为跟踪过程的组成部分。

优选地，该方法还包括步骤：在移动处理单元的显示单元上可视化多个工具套装中已识别的工具套装的位置的精确结果，这可以允许工匠一目了然地检查工具套装的状态，即多个工具套装是否存在于车辆的装载空间中。

在优选实施例中，该方法还包括步骤：在基于云的计算机系统中存储多个工具套装的已识别工具套装的位置的导出的精确结果。通过这种方式，基于云的计算机系统可以作为参与方和授权方的访问点，以获取车辆中被跟踪工具的列表。

附图说明

本发明的这些和其它方面将参考下文描述的一个或多个实施例和附图加以说明以清楚阐述，其中：

图1示意性地示出了根据本发明的用于跟踪运输车辆内部及附近的工具的跟踪系统在安装状态下的抬高侧视透视图，

图2示出了根据图1的跟踪系统的概述框图，

图3示出了根据图1的跟踪系统的活动框图，

图4示出了根据本发明的使用图1的跟踪系统在运输车辆内部及附近跟踪工具的方法的概述框图，以及

图5示出了根据本发明的使用图1的跟踪系统在训练阶段和跟踪模式操作(预测阶段)期间的方法的高级流程图。

具体实施方式

在各个附图中，相同的部分用同一个附图标记表示，因此，它们通常只描述一次。

图1示意性地示出了根据本发明的用于跟踪运输车辆内部及附近的工具的跟踪系统在安装状态下的抬高侧视透视图。图2示出了根据图1的跟踪系统的概述框图。

除了一些组件之外，跟踪系统安装在卡车样式的运输车辆6的装载空间23中。

该跟踪系统包括多个工具套装4，在运输过程中，以及在建筑现场的工匠在工作时间不使用工具套装时，这些工具套装被设置在车辆装载空间23中。每个工具套装4包括工具、用于存放工具的工具套装和固定连接的设计为蓝牙信标的短距离无线网络通信组件5。

蓝牙信标5可以具有它们自己的电源，例如电池，但是它们也可以采用合适的电连接方式来使用与它们固定地连接到的工具套装4的电池充电。

跟踪系统的短距离无线网络通信接收单元22配置用于接收每个短距离无线网络通信组件5发送的信号，并且每个短距离无线网络通信组件5发送的信号具有唯一性。为了实现信号的唯一性，每个短距离无线网络通信组件5传输的信号包括唯一的标识符。短距离无线网络通信接收单元22构成跟踪系统的电子主控单元7的组成部分，电子主控单元7设置在车辆装载空间23中。

电子主控单元7设计为计算机设备，其包括具有随机存取存储器的处理器单元、数字数据存储单元和通信硬件(未示出)。电子主控单元7可操作地连接到短距离无线网络通信接收单元22。电子主控单元7的通信硬件可以包括连接到车辆内部数据通信接口的CAN控制器，车辆内部数据通信接口被设计为CAN接口11，用于从安装在车辆6中的GPS(全球定位系统)接收车辆相关数据，例如，车速和坐标。

跟踪系统还包括车载检测单元24，该车载检测单元24具有多个检测装置。检测装置包括两个光学摄像机1、3和LIDAR传感器设备2。光学摄像机1、3可以被设计为具有近红外光光源的RGB摄像机，使得光学摄像机1、3被配置为在可见光波长和近红外波长范围内工作。LIDAR传感器设备2可以包括具有低能量激光发射器和低能耗的闪光LIDAR传感器。

两个光学摄像机1、3和LIDAR传感器设备2被设置为在车辆装载空间23顶部附近，使得相应的视野包括车辆装载空间23的一部分。这样，车载检测单元24的检测装置被设置用于从不同角度光学地获取多个工具套装4，并且被配置为提供数字图像数据以及相应的距离信息。

跟踪系统还包括移动处理单元9，移动处理单元9可以是平板电脑、智能手机或可穿戴设备，它们被配置为与用户8(通常是工匠)进行交互操作。移动处理单元9包括光学摄像机15和LIDAR传感器设备16、处理器单元17(例如中央处理单元(CPU)、全局处理单元(GPU)和人工智能(AI)处理单元)、随机存取存储器(RAM)18、数字数据存储单元19，以及至少用于与电子主控单元7通信的无线通信装置20(例如LTE、蓝牙和WiFi)。通常，移动处理单元9包括显示单元，在特定的应用中，显示单元尤其被配置为可视化被跟踪的工具套装4和它们各自的位置，例如，通过安装的应用软件来实现可视化。

此外，跟踪系统进一步包括基于云的计算机系统12，其包括至少一个人工神经网络，人工神经网络又包括至少一个可训练的深度神经网络。基于云的计算机系统12提供高性能计算服务，其中包括高计算能力和存储容量。进一步描述，深度神经网络至少用作基于车载检测单元24提供的数字图像数据和相应的距离信息提供关于多个工具套装4的工具套装标识和位置的预测输出的基础。

移动处理单元9的无线通信装置20被配置为与基于云的计算机系统12通信。电子主控单元7可操作地连接到通信装置，同样用于与基于云的计算机系统12通信。为此，电子主控单元7的无线通信装置连接到车载调制解调器10，该调制解调器10被配置用于与基于云的计算机系统12进行无线通信。

在图1中，各种无线通信路径总体上由附图标记13表示并且用虚线指示。

跟踪系统包括图像处理单元14，其为车载检测单元24的组成部分。在具体的实施例中，图像处理单元14被设计为单独的实体以实现更大的安置自由度。图像处理单元14可操作地连接到车载检测单元24和移动处理单元9。图像处理单元14被配置为校准和校正数字图像数据集及其相应的距离信息，并且用于创建合并的数据集，每个合并的数据集包括校准和校正的数字图像数据集及其相应的距离信息。

电子主控单元7包括用于与图像处理单元14并因此间接地与车载检测单元24进行无线通信以接收所创建的合并数据集的通信装置。

在下文中，将参照图3至图5描述使用图1的跟踪系统在运输车辆6内部及附近跟踪工具的方法的可行实施例。

图3示出了根据图1的跟踪系统的活动框图，图4示出了根据本发明的方法的可行实施例的概述框图。图5示出了根据本发明的图1的跟踪系统在训练阶段和跟踪模式操作(预测阶段)期间的方法的高级流程图。应当理解，所有涉及的单元和设备均处于运行状态。

该方法的执行在满足在步骤S15中检查的预定条件时开始，这可能涉及车辆6的启动、车门被打开和/或移动处理单元9被激活。

在启用跟踪系统的跟踪模式操作之前，在查询步骤S16中确认是否要在车辆装载空间23中跟踪新工具，如果不是这种情况，则启动跟踪系统的跟踪模式操作。

否则，执行训练阶段以训练人工神经网络。为此，跟踪系统的用户8(通常是工匠)激活移动处理单元9的光学摄像机和LIDAR传感器设备，以便在S1步骤中提供待跟踪的新工具的数字图像数据和相应距离信息。步骤S1进一步包括向数据添加由蓝牙信标5传输的唯一标识符，该蓝牙信标5固定地附接到要跟踪的新工具的工具套装4上。蓝牙信标5可能已经由组成移动处理单元9的蓝牙通信装置直接接收，或者它可能已经通过现有的无线通信手段由电子主控单元7直接接收并从电子主控单元7传送到移动处理单元9。

在另一个步骤S2中，用户8激活移动处理单元9以将数字图像数据、来自LIDAR传感器设备的相应距离信息和唯一标识符上传到基于云的计算机系统12。

在另一步骤S100中，基于云的计算机系统12执行校准和校正数字图像数据集及其对应距离信息的程序以创建合并数据集，并在另一个步骤S3、S200中，使用已合并数据集训练人工神经网络。

应用训练程序，即深度学习算法，可能取决于应用程序，可能包括YOLO(You OnlyLook Once)或残留神经网络。训练程序通过使用已获取的数字图像数据和相应的距离信息作为标签数据来训练预训练的人工神经网络(例如ResNet-50、inception V3)。在文献中，使用预训练的人工神经网络被称为迁移学习。

在训练程序结束时，在另一个步骤S4、S300中，从人工神经网络的学习中获取的一组权重被无线传送到电子主控单元7。为此，基于云的计算机系统12与车载调制解调器10连接。

在另一步骤S5中，电子主控单元7将待跟踪工具套装4的唯一标识符和相应的数字图像的标识符登记到人工智能算法中。这完成了要跟踪的新工具套装4的训练阶段。

当跟踪系统的跟踪模式操作启动时，车载检测单元24和图像处理单元14在另一个步骤S6中被激活以提供关于车辆装载空间23的数字图像数据和相应的距离信息。在步骤S400中，与在训练阶段一样，相同的程序被图像处理单元14执行，即校准和校正数字图像数据集及其对应的距离信息以及创建合并数据集。在步骤S500中，基于所提供的数字图像数据和相应的距离信息以及训练的人工神经网络，提供关于多个工具套装4中的工具套装4的标识和位置的预测输出。

另一个步骤S600包括使用短距离无线网络通信接收单元22接收每个短距离无线网络通信组件5发送的信号，并对接收到的信号执行跟踪和定位算法以获得对多个工具套装4中已识别的工具套装4的位置的估测。

在下一步骤S700中，可设计为卡尔曼滤波器的递归估测算法应用于基于训练的人工神经网络导出的预测输出和获得的对已识别的工具套装4的位置的估测作为输入数据以导出多个工具套装4中识别的工具套装4的位置的精确结果。此外，电子主控单元7接收和更新关于多个工具套装4的信息，并将其与另一个步骤S7中经由CAN通信接口接收的数据进行组合。

在下一步骤S8中，电子主控单元7向基于云的计算机系统12中发送已识别的工具套装4的位置的精确结果以及组合的车辆相关数据。

在下一步骤S9中，导出的精确结果被存储在基于云的计算机系统12中。

在下一步骤S10中，移动处理单元9连接到基于云的计算机系统12，并且检索多个工具套装4中的已识别出的工具套装4的位置的导出的精确结果。该步骤还包括在移动处理单元9的显示单元上将多个工具套装4中已识别的工具套装4的位置的精确结果可视化，以使用户8(通常是工匠)可使用相关信息。

在下一步骤S11中，电子主控单元7检查电池21的充电状态，并且检查跟踪系统的电能消耗以适应定期执行的跟踪步骤的频率。如果需要，可以向移动处理单元9发送低电池状态的通知。

在下一步骤S12中，如果检测到基于云的计算机系统12的无线通信不可用，并且电池21的荷电状态低于预定阈值，则移动处理单元9连接到电子主控单元7，并使被跟踪的工具套装4和相应的定位信息对用户8可用。

在下一步骤S13中，如果电子主控单元7从车辆内部数据通信接口处检测到车门关闭或车辆6未运行，为了安全用电，将跟踪系统从跟踪模式操作转换为空闲模式操作(睡眠模式)。

在下一步骤S14中，如果电子主控单元7从车辆内部数据通信接口处检测到任一车门被打开或车辆6启动，则其将跟踪系统从空闲模式操作转换为跟踪模式操作。

尽管在附图和前文的描述中详细解释说明并描述了本发明，但是这样的说明和描述仅是说明性的或示例性的，不具有限制性，本发明不限于所公开的实施例。

附图标记列表

1 光学摄像机

2 LIDAR传感器设备

3 光学摄像机

4 工具套装

5 短距离无线网络通信组件(蓝牙信标)

6 车辆

7 电子主控单元

8 用户(工匠)

9 移动处理单元

10 调制解调器

11 CAN接口

12 基于云的计算机系统

13 无线连接

14 图像处理单元

15 光学摄像机

16 LIDAR传感器设备

17 处理器单元

18 随机存取存储器

19 数字数据存储单元

20 通信装置

21 电池

22 短距离无线网络通信接收单元

23 车辆装载空间

24 车载检测单元

S1 激活移动处理单元的光学摄像机和LIDAR传感器设备

S2 上传数据到基于云的计算机系统

S3 使用合并数据集训练人工神经网络

S4 将训练获得的一组权重传输并执行至主控单元

S5 向AI算法注册新工具的唯一标识符

S6 激活车载检测单元的检测装置

S7 主控单元接收和更新工具套装信息并结合车辆相关数据

S8 主控单元将精确结果发送到基于云的计算机系统

S9 在基于云计算的计算机系统中存储精确结果

S10 (移动处理单元)检索精确结果并展示给用户

附图标记列表(续)：

S11 检查电池状态

S12 移动处理单元连接到主控单元以检索工具套装位置

S13 传输跟踪系统进入空闲模式操作

S14 转移跟踪系统进入跟踪模式操作

S15 检查条件以开始方法执行

S16 新工具的查询步骤

S100 对来自移动处理单元的数据进行校准和校正以创建合并数据集

S200 使用合并数据集训练人工神经网络

S300 将训练获得的一组权重传输并执行到主控单元

S400 对车载检测单元的数据进行校准和校正以创建合并数据集

S500 基于经过训练的人工神经网络提供关于工具套装的标识和位置的预测输出

S600 执行跟踪和定位算法以估测已识别的工具套装位置

S700 将递归估测算法(卡尔曼滤波器)应用于人工神经网络的预测输出以及从蓝牙信标获得的位置估测