一种基于图像视觉的智能仓库管理方法

技术领域

本发明涉及仓库管理技术领域，具体而言，涉及一种基于图像视觉的智能仓库管理方法。

背景技术

随着技术的不断革新，图像视觉技术也逐渐趋于成熟，在工业领域，图像视觉多应用于AGV巡航、物料条码扫描、以及监控方面，也有一些用于物料识别；由于图像视觉技术依赖大量的算法和训练，在工业领域动则成百上千的物料，图像视觉还做不到精准识别，运营的成本也非常大，因此直接用于物料识别的这部分应用并不算成功；于是图像视觉的用法逐渐转向运营成本低、识别可靠的方向；

其中，通过图像视觉去识别领料人员的轨迹，领料时将人员与货架绑定，来鉴别人员领料的位置，并在领料结束后通过图像视觉来识别货物上的商品，来做到物品识别，从而跟领料人绑定，确认领取数量；

或者通过AI摄像头规划电子围栏，监控仓库内的人或者AGV，用来规范人员行为，都是比较新颖的使用方式；

但是使用图像视觉来识别货架的物料，在企业工厂仓库里可行性十分有限，工厂的用料通常有品类多、规格不统一、使用料盒的情况，仅使用图像视觉来识别商品是不可靠的，而且海量的物料数据仅机器学习一项就需要投入大量的成本，实不可取；并且图像视觉主要应用于监控作用，用途局限在考勤、预警等作用，图像视觉还做不到精准识别，因此需要改进。

发明内容

本发明解决的问题是依靠图像视觉来识别货架的物料，在企业工厂仓库里可行性十分有限，工厂的用料通常有品类多、规格不统一、使用料盒的情况，仅使用图像视觉来识别商品是不可靠的。

为解决上述问题，本发明提供一种基于图像视觉的智能仓库管理方法，包括以下步骤：

仓库内的监控系统检测到领料人员后，视觉系统根据所述监控系统获取的视频来确定领料人员所在位置和待领物料的位置，确定后上传给中控系统，所述中控系统来规划路径后发送给所述领料人员携带的看板上；

所述视觉系统通过所述监控系统获取所述领料人员运动轨迹和所述仓库环境，当所述领料人员的所述运动轨迹超出预设时间或改变了原有所述仓库环境时，所述中控系统会通过所述看板给与提示或告警，并记录对应视频；

所述监控系统检测到所述领料人员进入智能领料设备中的待领料货架激活范围时，所述待领料货架会被激活进入工作状态；

所述待领料货架被激活后会检测自身库存变化，所述智能领料设备会完整的记录每一次领料数据和异常情况并上传给所述中控系统。

优选地，所述仓库内的监控系统检测到领料人员后，视觉系统根据所述监控系统获取的视频来确定领料人员所在位置和待领物料的位置，确定后上传给中控系统，所述中控系统来所述规划路径后发送给所述领料人员携带的看板上包括：

当所述监控系统检测到所述领料人员进入仓库后，所述看板会以仓库平面图的形式展示出待领物料所在的待领料货架位置；

所述视觉系统将可以通行的地方设置电子围栏，所述电子围栏设置多个方框区域，所述多个方框区域依次做标记；

所述视觉系统根据被覆盖各个所述方框区域的先后顺序，得出所述领料人员实时的所述运动轨迹，并将所述运动轨迹通过所述中控系统发送给所述看板；

所述中控系统根据所述领料人员位置和所述待领料货架位置来所述规划路径，所述规划路径后发送给所述看板，所述看板将所述规划路径标注在展示的仓库平面图上。

优选地，所述视觉系统通过所述监控系统获取所述领料人员运动轨迹和所述仓库环境，当所述领料人员的运动轨迹超出预设时间或改变了原有所述仓库环境时，所述中控系统会通过所述看板给与提示或告警，并记录对应视频包括：

多个所述方框区域绘制成所述电子围栏时，使用一张所述监控系统获取到无人员或遮挡物的地面图像作为被对比图片，所述视觉系统将所述监控系统持续获取的地面图像中的每一帧图片与所述被对比图片比对，当其中一个所述方框区域比对出被覆盖，可以得出所述领料人员处于此处所述方框区域。

优选地，所述当其中一个所述方框区域比对出被覆盖，可以得出所述领料人员处于此处所述方框区域包括：

所述视觉系统检测到其中一个所述方框区域被覆盖时间和持续时间超出预设时间，所述视觉系统通过所述中控系统向所述看板发出告警，所述看板中的扬声器发出语音提示或告警；

当视觉系统检测所述运动轨迹与所述规划路径不一致时，所述视觉系统通过所述中控系统给所述看板给与提示或告警，并记录对应视频。

优选地，所述视觉系统检测到其中一个所述方框区域被覆盖时间和持续时间超出预设时间，所述视觉系统通过所述中控系统向所述看板发出告警，所述看板中的扬声器发出语音提示或告警包括：

当所述视觉系统通过所述监控系统中的多个摄像头检测到所述领料人员离开其中一个所述方框区域后，此所述方框区域仍然被覆盖时，所述视觉系统通过所述中控系统给所述看板发出提示或告警，并记录对应视频。

优选地，所述监控系统检测到所述领料人员进入智能领料设备中的待领料货架激活范围时，所述待领料货架会被激活进入工作状态包括：

所述视觉系统通过所述多个所述摄像头检测到所述待领料货架相邻的所述方框区域被覆盖后，则判断所述领料人员进入所述待领料货架激活范围，所述待领料货架被激活，让其进入工作状态。

优选地，所述待领料货架被激活后会检测自身库存变化，所述智能领料设备会完整的记录每一次领料数据和异常情况并上传给所述中控系统包括：

进入工作状态，所述待领料货架会开始检测自身的库存变化，所述待领料货架激活时获取到值为t0，当所述领料人员离开后获取到的值为t1，预设待领物料的单值为g，领料数量为n，则领取的领料数为n＝(t0-t1)/g。

优选地，所述待领料货架激活时获取到值为t0，当所述领料人员离开后获取到的值为t1，预设待领物料的单值为g，领料数量为n，则领取的领料数为n＝(t0-t1)/g包括：

将领料数量为n与待领物料数做比对，设待领物料数量为wn，若n＝wn，则所述看板会展出待领物料以领取完成，若n≠wn，则看板会使用语音和屏幕提示此待领物料数量异常。

优选地，所述若n≠wn，则看板会使用语音和屏幕问题提示此待领物料数量异常包括：

在此待领物料数量异常的情况下，所述领料人员离开所述仓库，所述中控系统会记录本次完整的领料视频与错误的领料记录。

优选地，在所述仓库内的监控系统检测到领料人员后，视觉系统根据所述监控系统获取的视频来确定领料人员所在位置和待领物料的位置，确定后上传给中控系统，所述中控系统来规划路径后发送给所述领料人员携带的看板上之前还包括如下步骤：

所述领料人员在鉴权区使用IC刷卡器刷IC卡后，所述中控系统根据工单判断该所述领料人员携带的IC卡是否有权限进入仓库，权限鉴别通过后，鉴权摄像头获取所述领料人员的外貌特征，并且上传给所述中控系统。

相对于现有技术的有益效果是，采用上述方案，领料人员在鉴权区使用IC刷卡器刷IC卡，根据IC卡储存的工单来判断该领料人员是否有权限进入仓库，领料人员权限鉴别通过后领料人员才能进入仓库内，在刷卡的同时，位于鉴权处的摄像头会采集领料人员的体态和体型特征值，用于进仓库后视觉系统对领料人员进行区分，领料人员进入仓库内后，看板会以仓库平面图的形式展示待领物料所在的待领料货架位置，监控系统通过多个摄像头检测到领料人员位置后，将视频传给视觉系统，视觉系统将视频处理后发送给中控系统，中控系统将其位置标记在仓库平面图上，让领料人员知道自己当前所在的位置，中控系统根据领料人员位置和待领料货架位置来规划路径，并将规划路径标记在仓库平面图上，视觉系统通过监控系统中的多个摄像头获取领料人员在仓库内的运动轨迹和仓库环境，对领料人员的运动轨迹与规划路径不一致和仓库环境被改变使通过看板发出提示或告警，视觉系统通过多个摄像头获取到领料人员进入待领料货架激活范围时，待领料货架被激活进入工作状态，被激活后，待领料货架会自动开始检测自己身的库存变化，判断领料人员领取物料是否与IC卡上工单的待领物料数相匹配，不匹配视为异常情况，智能领料设备会记录完整领料和错误的领料记，并传给中控系统，中控系统会完整的记录每一次领料数据和异常情况，对异常情况打上标记便于运营人员查看和追溯，通过图像视觉做触发点，通过与视觉系统、智能领料设备和中控系统的互动，描述了一种完整的仓库管理技术手段，从而实现仓库无值守、用户无感领料和仓库库存实时同步的无人化仓库管理的效果。

附图说明

图1为本发明的一种基于图像视觉的智能仓库管理方法的流程图；

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接；可以是直接相连，也可以通过中间媒介间接相连；对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“实施例”、“一个实施例”和“一个实施方式”等的描述意指结合该实施例或实施方式描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示实施方式中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实施方式。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或实施方式以合适的方式结合。

为了解决上述技术问题，如图1所示，本发明提供一种基于图像视觉的智能仓库管理方法，包括以下步骤：

S1:仓库内的监控系统监测到领料人员后，视觉系统根据所述监控系统获取的视频来确定领料人员所在位置和待领物料的位置，确定后上传给中控系统，所述中控系统来规划路径后发送给所述领料人员携带的看板上；

S2:所述视觉系统通过所述监控系统获取所述领料人员运动轨迹和所述仓库环境，当所述领料人员的运动轨迹超出预设时间或改变了原有所述仓库环境时，所述中控系统会通过所述看板给与提示或告警，并记录对应视频；

S3:所述监控系统监测到所述领料人员进入智能领料设备中的待领料货架激活范围时，所述待领料货架会被激活进入工作状态；

S4:所述待领料货架被激活后会监测自身库存变化，所述智能领料设备会完整的记录每一次领料数据和异常情况并上传给所述中控系统。

需要说明的是，在S1步骤中，为了让领料人员得知自己当前所在位置和待领物料所在位置，监控系统中的多个摄像头获取到领料人员和待领物料的视频传给NVR，NVR将视频录像、存储及转发给视觉系统，视觉系统在经过算法处理确定领料人员位置和待领物料位置后转发给中控系统，中控系统在根据视觉系统确认后的位置来规划路径，完成规划路径后发送给领料人员携带的看板上，便于让领料人员随时了解自己所处的位置和路线，以及带领物料所在的位置，让领料人员方便找到待领物料所在的待领料货架位置，从而提高领料效率；

其中，监控系统包括：摄像头：又称为电脑相机、电脑眼、电子眼等，是一种视频输入设备；NVR：全称为Network Video Recorder，即网络视频录像机，是监控系统的存储转发部分，NVR与视频编码器或摄像头协同工作，完成视频的录像、存储及转发功能；

视觉系统包括：第一计算机，第一计算机具备通讯能力、数据存储能力与数据处理能力，负责获取NVR传输的数据，并将视频流转换成图像帧，并在每一帧图片里面标记方框区域，计算方框区域是否被覆盖，并将这些计算数据传输给中控系统；

看板包括：工控机(具备计算机能力的设备)，屏幕，扬声器组成；具有和中控系统数据交互，并执行展示中控系统传过来的数据；

在S2步骤中，为了监测和提醒领料人员在领取待领物料的过程行为规范，视觉系统通过多个摄像头对所述领料人员的运动轨迹进行监测，对超出规划路径的运动轨迹或改变了原有仓库环境后，将处理后的视频发送给中控系统，中控系统将提示或告警发送到看板，看板通过屏幕和扬声器进行展示文字和语音告警，并对此次异常运动轨迹或改变了原有仓库结构记录对应视频；

在S3步骤中，为了让智能领料设备可以节省电能资源，当监控系统监测到领料人员进入待领料货架激活范围时，才会激活待领料货架，并只让待领料货架进入工作状态，若所有货架都处于工作状态，会被货架中设置具备物料计数功能的设备消耗掉大量的电能资源，从而造成电能资源浪费，节省电能资源的同时也降低了因持续不断进行计算物料数量变动而产生的发热，因降低了发热所以起到了延长智能领料设备的使用寿命，避免了故障率；智能领料设备与中控系统电性连接；

其中，智能领料设备：是具备物料计数功能的智能领料设备包括：

称重设备：通过称重传感器数值变化来计算承载物料变动的设备，通常用于尺寸、规格、重量相似的批量物料管理，常见的体现形式有称重货架、称重小仓库等；

RFID(射频)设备：通过RFID技术来计算物料变动的设备，通常用于管理大件、贵重物料当，常见的体现形式有RFID货架；

图像视觉设备：通过图像视觉来计算物料数量变动的设备，通常用于表面粘贴有二维码，外观统一、外形易于区别和辨认的物料管理，通常的体现形式有图像视觉柜子；

扫码设备：通过手持机系统扫描二维码进行物料统计的仓库管理应用，一般市面使用的WMS系统多使用此种方式对物料进行出入库；

在S4步骤中，为了对领料过程出现异常情况，便于运营人员查看和追溯，，智能领料设备中的待领料货架被激活后会实时检测自身库存变化，智能领料设备对每一次领料数据和异常情况都会记录并上传给中控系统，对异常情况会将这些领料记录打上标记，从而便于运营追溯问题。

在本发明的一个实施例中，所述仓库内的监控系统检测到领料人员后，视觉系统根据所述监控系统获取的视频来确定领料人员所在位置和待领物料的位置，确定后上传给中控系统，所述中控系统来所述规划路径后发送给所述领料人员携带的看板上包括：

S11:当所述监控系统检测到所述领料人员进入仓库后，所述看板会以仓库平面图的形式展示出待领物料所在的待领料货架位置；

S12:所述视觉系统将可以通行的地方设置电子围栏，所述电子围栏设置多个方框区域，所述多个方框区域依次做标记；

S13:所述视觉系统根据被覆盖各个所述方框区域的先后顺序，得出所述领料人员实时的所述运动轨迹，并将所述运动轨迹通过所述中控系统发送给所述看板；

S14:所述中控系统根据所述领料人员位置和所述待领料货架位置来所述规划路径，所述规划路径后发送给所述看板，所述看板将所述规划路径标注在展示的仓库平面图上。

需要说明的是，在S11步骤中，为了让领料人员了解待领物料所在位置，看板将仓库平面图的形式展示在看板的屏幕上，并且在仓库平面图上标出待领物料在那个货架上，从而使领料人员可以方便快速找出待领物料所在的货架位置；

在S12步骤中，为了方面记录领料人员的运动轨迹，将电子围栏划分多个方框区域，并对多个方框区域依次做标记，做标记为了方便记录领料人员运动轨迹，每个方框区域的标记命名是唯一的，例如A0、A1、A2或A3，以此类推；

在S13步骤中，为了得出领料人员的运动轨迹，多个摄像头将监测到各个方框区域被覆盖的先后顺序以标记的命名记录下来，从而形成了领料人员的运动轨迹，例如A2->B2->C2->C1，从而便于记录的同时，也便于与规划路线比对，并将形成的运动轨迹标注在仓库平面图上展示在看板屏幕上，从而让领料人员了解自己当前所在位置和路线，方便找待领物料，以及及时更正自己偏差的路线；

在S14步骤中，为了让领料人员以最短的路程走到待领料货架，中控系统根据领料人员当前的位置和待领料货架位置来规划路径，将规划路径标注在仓库平面图上，并且展示在看板上，以便于领料人员随时查看。

在本发明的一个实施例中，所述视觉系统通过所述监控系统获取所述领料人员运动轨迹和所述仓库环境，当所述领料人员的运动轨迹超出预设时间或改变了原有所述仓库环境时，所述中控系统会通过所述看板给与提示或告警，并记录对应视频包括：

S21:多个所述方框区域绘制成所述电子围栏时，使用一张所述监控系统获取到无人员或遮挡物的地面图像作为被对比图片，所述视觉系统将所述监控系统持续获取的地面图像中的每一帧图片与所述被对比图片比对，当其中一个所述方框区域比对出被覆盖，可以得出所述领料人员处于此处所述方框区域。

需要说明的是，在S21步骤中，为了可以准确监测到领料人员位置，通过多个摄像头监控仓库所有可以通行的地方，多个摄像头首先对仓库内摄取一张被对比图片，被对比图片作为电子围栏默认图片，这个默认图片以摄取到干净的地面为标准，做到无人员或遮挡物，然后中控系统会不停检测每一帧图片，每一帧图片与默认图片比对，当比对出到其中一个方框区域被覆盖，就可以判断有人员正处于此方框区域上，中控系统会对记录被覆盖的点位、覆盖时间、持续时间和领料人员，这样就能够的到领料人员在仓库内的完整信息。

在本发明的一个实施例中，所述当其中一个所述方框区域比对出被覆盖，可以得出所述领料人员处于此处所述方框区域包括：

S211:所述视觉系统检测到其中一个所述方框区域被覆盖时间和持续时间超出预设时间，所述视觉系统通过所述中控系统向所述看板发出告警，所述看板中的扬声器发出语音提示或告警；

S212:当视觉系统检测所述运动轨迹与所述规划路径不一致时，所述视觉系统通过所述中控系统给所述看板给与提示或告警，并记录对应视频。

需要说明的是,在S211步骤中，为了监测和提醒领料人员的行为规范，发现其中一个方框区域被覆盖时间和持续时间超出预设时间，就向看板发出告警，看板中的扬声器发出语音提示或告警，被覆盖时间和持续时间超出预设时间的方法包括：

监测领料人员身高若是1.7m，那么走过一个方框区域对应的实际长度的时间为t，则从一个方框区域到另一个方框区域的规划路径最大应为t*4＝4t，在此之上可设置一个偏差值，设为t2，那么领取这一个物料的预期时间应为4t+t2，结合规划路径与预期时间，就能准确的判断领料人员当前的行为是否合规，若不合规，则再由看板做出对应的提醒和警示对领料人员做出指导。

在S212步骤中，为了监测领料人员的运动轨迹与规划路径是否一致，在仓库入口处的方框区域标记为A2，待领料货架位于C1标记的方框区域的一侧时，那么规划路径就会是A2->B2->C2->C1、A2->B2->C2->C1或A2->A1->B1->C1，除此之外的路径都视为异常路径，此处仅做一种功能说明，实际应用中规划路径有更多的规划算法，只要能实现此功能即可，在此不再过多赘述；

其中在S212步骤中还包括：当检测到领料人员进入仓库后，领料人员在非待领物料位置逗留超出预设时间，中控系统也会向看板发出告警，看板通过扬声器发出语音提示仓库内领料人员待领物料的位置，并将此段监控记录存档，从而便于运营人员追溯。

在本发明的一个实施例中，所述视觉系统检测到其中一个所述方框区域被覆盖时间和持续时间超出预设时间，所述视觉系统通过所述中控系统向所述看板发出告警，所述看板中的扬声器发出语音提示或告警包括：

S213:当所述视觉系统通过所述监控系统中的多个摄像头检测到所述领料人员离开其中一个所述方框区域后，此所述方框区域仍然被覆盖时，所述视觉系统通过所述中控系统给所述看板发出提示或告警，并记录对应视频。

需要说明的是,在S213步骤中，为了防止领料人员在仓库内遗留物品，除了运动轨迹和超出预设时间检测之外，还可以对仓库的环境做检测，当检测到领料人员离开其中一个方框区域后，此方框区域仍然被覆盖，可以判断此方框区域有物品遗留，若多个摄像头检测到领料人员离开时此物品仍未移动，则中控系统向看板发出语音提示，从而达到提醒和警示领料人员注意仓库清洁的效果。

在本发明的一个实施例中，所述监控系统检测到所述领料人员进入智能领料设备中的待领料货架激活范围时，所述待领料货架会被激活进入工作状态包括：

S31:所述视觉系统通过所述多个所述摄像头检测到所述待领料货架相邻的所述方框区域被覆盖后，则判断所述领料人员进入所述待领料货架激活范围，所述待领料货架被激活，让其进入工作状态。

需要说明的是,在S31步骤中，为了让货架在无人领料的时候处于节能状态，以节省电力能源，只有当领料人员覆盖了待领料货架相邻的方框区域时，才会激活此待领料货架，让此待领料货架进入工作状态，除此待领料货架之外的货架均处于节能状态，节能状态可以让货架不进行工作运行，只需在需要时能激活并进入工作状态运行即可。

在本发明的一个实施例中，所述待领料货架被激活后会检测自身库存变化，所述智能领料设备会完整的记录每一次领料数据和异常情况并上传给所述中控系统包括：

S41:进入工作状态，所述待领料货架会开始检测自身的库存变化，所述待领料货架激活时获取到值为t0，当所述领料人员离开后获取到的值为t1，预设待领物料的单值为g，领料数量为n，则领取的领料数为n＝(t0-t1)/g。

需要说明的是，在S41步骤中，为了得出领料数，用待领料货架在激活进入工作时获取的值减去领料人员离开后获取的值，减去后的值在乘与待领物料单数预设的值，从而就可以得出领取的领料数；

此处使用物料统计的方式只是其中一种，实际应用中还可使用射频、图像视觉等方式统计物料数量，而实现统计的技术选型依据物料的特性，例如重量、尺寸、或管理要求，只要能实现统计物料即可，在此不在过多赘述。

在本发明的一个实施例中，所述待领料货架激活时获取到值为t0，当所述领料人员离开后获取到的值为t1，预设待领物料的单值为g，领料数量为n，则领取的领料数为n＝(t0-t1)/g包括：

S42:将领料数量为n与待领物料数做比对，设待领物料数量为wn，若n＝wn，则所述看板会展出待领物料以领取完成，若n≠wn，则看板会使用语音和屏幕提示此待领物料数量异常。

需要说明的是，在S42步骤中，领料数量会与待领物料数做比对，待领物料数与领料数量相等，则会在看板上展出待领物料以领取完成，若领物料数与领料数量不相等，则会通过看板使用扬声器和屏幕提示此待领物料数量异常，从而让领料人员可以及时修正领料错误。

在本发明的一个实施例中，所述若n≠wn，则看板会使用语音和屏幕问题提示此待领物料数量异常包括：

S43:在此待领物料数量异常的情况下，所述领料人员离开所述仓库，所述中控系统会记录本次完整的领料视频与错误的领料记录。

需要说明的是，在S43步骤中，为了对错误的领取物料方便追溯，在提示待领物料数量异常后，领料人员还依然离开仓库，则会完整记录本次的领料录像与错误的领料记录，并对异常情况的领料记录打上标记，从而便于提醒运营人员查看和追溯。

在本发明的一个实施例中，在所述仓库内的监控系统检测到领料人员后，视觉系统根据所述监控系统获取的视频来确定领料人员所在位置和待领物料的位置，确定后上传给中控系统，所述中控系统来规划路径后发送给所述领料人员携带的看板上之前还包括如下步骤：

所述领料人员在鉴权区使用IC刷卡器刷IC卡后，所述中控系统根据工单判断该所述领料人员携带的IC卡是否有权限进入仓库，权限鉴别通过后，鉴权摄像头获取所述领料人员的外貌特征，并且上传给所述中控系统。

需要说明的是，鉴权区是由IC(Integrated Circuit)刷卡器与摄像头组成，IC刷卡器刷卡后，中控系统根据IC卡中的工单来判断该领料人员是否有权限进入仓库，权限鉴别通过后，摄像头会抓取当前刷卡人的外貌特征；其中，外貌特征包含了领料人员的妆容、轮廓、形体和装备的特征值，并组合这些特征值，形成一个完整人物特征，从而便于做后续的逻辑判断和处理。

需要说明的是，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；并且，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。