位置检测系统

技术领域

本发明涉及一种检测人、物的在特定的区中的位置的位置检测系统。

背景技术

作为用于掌握顾客的在店铺等中的行动的系统，已知一种具备摄像机和计算机的系统，其中，该摄像机对店铺内进行拍摄，该计算机对由摄像机生成的图像进行分析来掌握顾客的行动。例如，专利文献1中记载的同一人物检测系统(在下面称为检测系统。)具备多个摄像机、安装于各个摄像机的图像处理装置以及与各个图像处理装置网络连接的人物管理装置。图像处理装置对由摄像机生成的图像中的人物进行辨识，并向人物管理装置发送该图像中的人物的坐标。人物管理装置基于从各图像处理装置获取到的人物的坐标来计算人物的在示意图上的位置。在该同一人物检测系统中，能够高精度地检测由多个摄像机拍摄到的范围内包含的同一人物并获取该人物的位置。

现有技术文献

专利文献

专利文献1：日本专利第6173376号公报

发明内容

发明要解决的问题

另外，不仅在店铺中，在物流施设、立体停车场等施设中，也存在如下需求：不仅想要监视施设内的人物(人、物)的位置，还想要在各种各样的服务、系统中使用所检测出的人物的位置信息。然而，专利文献1的检测系统仅仅是对人物的监视，难以应对需求。

本发明的目的在于提供一种能够灵活地应对各种各样的服务、系统的位置检测系统。

用于解决问题的方案

为了达成上述的目的，本发明的位置检测系统的特征在于，具备：多个摄像部；检测部，其检测由所述多个摄像部生成的图像中的对象的位置；确定部，其基于所检测出的所述对象的位置，来确定该对象的在将各个所述摄像部的视野进行整合而得到的区中的信息；以及发送部，其向上级系统发送所确定出的所述对象的信息。

另外，位置检测系统的特征在于，在所述检测部中，将所述对象的图像作为教师数据进行了学习，所述检测部将从所述摄像部获取到的图像作为输入数据来辨识该图像中的对象，并确定所辨识出的对象的位置。

另外，位置检测系统的特征在于，具备：摄像机，其具有所述摄像部；图像处理装置，其具有所述检测部；以及主计算机，其具有所述确定部和所述发送部。

发明的效果

本发明的位置检测系统能够灵活地应对各种各样的服务、系统。

附图说明

图1是本发明的实施方式所涉及的位置检测系统的概要图。

图2的(a)是上述位置检测系统所具备的摄像机和图像处理装置的硬件结构图，图2的(b)是该位置检测系统的功能框图。

图3是上述位置检测系统的流程图。

图4是示出摄像机的视野区域与主计算机的正交坐标系之间的对应关系的图。

具体实施方式

下面，基于附图来说明本发明的实施方式所涉及的位置检测系统。

如图1和图4所示，本实施方式所涉及的位置检测系统1是检测顾客(对象)的在店铺的结账区3中的位置的系统，是与该店铺中所导入的POS系统2协作的系统。该POS系统2具备半自助收银机和记录商品的销售实绩的销售记录数据库(未图示)。另外，POS系统2具备用于登记所销售的商品信息的登记装置4(图4)和用于由顾客自己进行支付处理的支付终端5(图4)。像这样通过位置检测系统1和POS系统2来构成店铺的结账系统。

本实施方式的位置检测系统1能够经由设置于店铺内的网络6来与上述POS系统2进行通信，如后述那样根据来自POS系统2的请求来检测顾客的在结账区3所在的位置，并将所检测出的顾客的位置提供给POS系统2。这样的位置检测系统1具备主计算机30、多个摄像机10以及多个图像处理装置20。

多个摄像机10是安装于结账区3的顶部并从安装的位置对结账区3进行拍摄的所谓的定点摄像机，如图4所示，在本实施方式中，具备摄像机10a、10b、10c、10d。各摄像机10a、10b、10c、10d生成与各自的视野区域Va、Vb、Vc、Vd对应的图像(在下面称为视野图像。)。在本实施方式中，如图4所示，在结账区3的示意图中，在右上部分(东北部)的中心(方形的结账区3中的、以结账区3的中心为原点的正交坐标系中的第一象限的中心)配置有第一摄像机10a，在左上部分(西北部)的中心(结账区3中的第二象限的中心)配置有第二摄像机10b，在左下部分(西南部)的中心(结账区3中的第三象限的中心)配置有第三摄像机10c，在右下部分(东南部)的中心(结账区3中的第四象限的中心)配置有第四摄像机10d。该第一摄像机10a在视野区域Va中包含结账区3的东北部，生成该视野区域Va的视野图像。同样地，第二摄像机10b生成结账区3的东南部的视野图像，第三摄像机10c生成西南部的视野图像，第四摄像机10d生成西北部的视野图像。像这样等间隔地配置多个摄像机10，各摄像机10局部地对结账区3进行拍摄并生成视野图像。然后，如后述那样，通过将由多个摄像机10生成的视野图像与各摄像机10的配置位置对应地进行整合，来生成结账区3整体的图像。

如图2所示，各个摄像机10具备图像传感器11。各摄像机10的图像传感器11作为借助设置于其正面的透镜等光学部件来对视野区域Va、Vb、Vc、Vd(图4)进行拍摄的摄像部101发挥功能。图像传感器11的输出被输入到设置于摄像机10的CPU 12。CPU 12控制图像传感器11，基于从图像传感器11输入的信号来生成视野图像。另外，摄像机10具备与CPU 12以能够进行通信的方式连接的存储器13。该存储器13作为存储使CPU 12执行的程序并且暂时存储由CPU 12生成的视野图像的存储部(未图示)发挥功能。另外，摄像机10具备与CPU 12以能够进行通信的方式连接的有线通信模块14。有线通信模块作为向图像处理装置20发送由CPU 12生成的视野图像的发送部(未图示)发挥功能。

如图1所示，图像处理装置20是检测从摄像机10接收到的视野图像中的人物的坐标的装置，在本实施方式中，设置有与第一摄像机10a连接的第一图像处理装置20a、与第二摄像机10b连接的第二图像处理装置20b、与第三摄像机10c连接的第三图像处理装置20c、以及与第四摄像机10d连接的第四图像处理装置20d。如图2所示，各图像处理装置20具备有线通信模块21。有线通信模块作为从摄像机10接收视野图像的接收部(未图示)发挥功能。另外，图像处理装置20具备与有线通信模块21以能够进行通信的方式连接的CPU 22。CPU22作为检测从有线通信模块21获取到的视野图像中的人物的坐标(在下面称为视野坐标。)的检测部201发挥功能。另外，图像处理装置20具备与CPU 22以能够进行通信的方式连接的网络模块24。网络模块24作为向主计算机30发送由CPU 22检测出的视野坐标的发送部202发挥功能。此外，将由第一图像处理装置20a检测出的视野坐标称为第一视野坐标，同样地，将由第二图像处理装置20b检测出的视野坐标称为第二视野坐标，将由第三图像处理装置20c检测出的视野坐标称为第三视野坐标，将由第四图像处理装置20d检测出的视野坐标称为第四视野坐标。

在此，本实施方式中的检测部201包括机器学习部(未图示)，在该机器学习部中，通过将人物的图像作为教师数据进行的深度学习等机器学习预先设定了人物的特征量，该机器学习部将从摄像机10接收到的视野图像作为输入数据来对该视野图像中的人物进行判定。另外，该检测部201包括用于确定被判定出的该人物的视野坐标的确定部(未图示)。在此，图像处理装置20在检测到视野图像中存在人物的情况下，对该人物赋予识别信息。该识别信息是用于识别视野图像中的人物的信息，将该识别信息与该人物的视野坐标建立对应。

主计算机30是用于确定顾客的在结账区3中的位置的计算机。主计算机30具备网络模块(未图示)。网络模块经由网络来与各图像处理装置进行通信，并作为从各图像处理装置20接收视野坐标和识别信息的接收部301发挥功能。另外，主计算机30具备CPU(未图示)和存储器(未图示)。CPU与网络模块以能够进行通信的方式连接，该CPU作为基于从网络模块获取到的视野坐标来确定顾客的位置的确定部302发挥功能。存储器与CPU以能够进行通信的方式连接，该存储器存储有使CPU执行的程序。上述的网络模块还作为向作为上级系统的POS系统2发送所确定出的顾客的位置的发送部303发挥功能。

参照图3来说明如上述那样构成的位置检测系统1的动作流程。

位置检测系统1的各个摄像机10以规定的帧率依次执行摄像处理(s10)和发送处理(s11)。摄像处理(s10)是对摄像机10的视野区域进行拍摄并生成该视野区域的图像的处理，在摄像处理(s10)中，摄像机10的CPU 12控制图像传感器11，基于从该图像传感器11输入的电信号来生成视野图像。当通过摄像处理(s10)生成了视野图像时，执行发送处理(s11)。发送处理(s11)是向对应的图像处理装置20发送视野图像的处理，在发送处理(s11)中，摄像机10的CPU 12经由有线通信模块14来发送视野图像。

位置检测系统1的各个图像处理装置20每当从对应的摄像机10接收到视野图像时(s20)，执行检测处理(s21)和发送处理(s22)。检测处理(s21)是检测视野坐标的处理，在检测处理(s21)中，各图像处理装置20的CPU 22对预先通过深度学习生成的人物模型应用视野图像，来检测视野区域Va等中的顾客。然后，在以该视野图像的中心为原点的正交坐标系中，确定所检测出的顾客的视野坐标，并将用于识别顾客的识别信息(在下面称为第一识别信息)与所确定出的视野坐标建立对应。在该第一识别信息中例如包含用于识别摄像机的编码和对每个顾客赋予的序列号。发送处理(s22)是向主计算机30发送通过上述检测处理(s21)检测出的顾客的视野坐标和第一识别信息的处理，在发送处理(s22)中，图像处理装置20的CPU 22经由网络模块24来向主计算机30发送顾客的视野坐标和第一识别信息。

主计算机30每当从图像处理装置20接收到视野坐标和第一识别信息时(s30)执行确定处理(s31)。确定处理(s31)是基于所接收到的视野坐标来确定顾客的在结账区3中的位置的处理。该顾客的位置是针对每个第一识别信息确定的。在本实施方式中，设为以图4所示的正交坐标系确定该顾客的在将各摄像机10的视野进行整合而得到的区中的位置。在该正交坐标的第一象限的范围内展开第一视野坐标，同样地，在第二象限内展开第二视野坐标，在第三象限内展开第三视野坐标，在第四象限内展开视野坐标。例如，主计算机30对所获取到的第一视野坐标的x值加上视野图像的宽度尺寸的1/2的值，对所获取到的视野坐标的y值加上视野图像的高度尺寸的1/2的值。由此，主计算机30能够将所获取到的视野坐标确定为顾客的在结账区3中的位置，将所确定出的顾客的位置暂时存储到存储器中，并且新发行用于识别该顾客的第二识别信息，将该识别信息与顾客的位置建立对应地进行存储。

另外，在存在来自作为上级系统的POS系统2的请求的情况下(s32：“是”)，主计算机30向POS系统2发送暂时存储在存储器中的顾客的位置和第二识别信息(s33)。

例如，POS系统2以通过登记装置4新登记了商品为条件来对主计算机30发送请求。然后，接收从主计算机30发送来的顾客的位置和该顾客的第二识别信息。然后，POS系统2将所登记的商品的信息与顾客的位置及第二识别信息建立对应。之后，POS系统2通过定期地对主计算机30发送请求并接收顾客的位置和第二识别信息，来追踪顾客的移动。然后，当判定出顾客移动到了核算装置5前时，提取与该顾客的识别信息对应的商品信息，并将结账信息与该商品信息一起发送到该核算装置5。

像这样，根据本实施方式的位置检测系统1，通过对作为上级系统的POS系统提供顾客的位置信息，无需对顾客指定支付终端，顾客能够自由地选择空闲的支付终端5。像这样，本实施方式的位置检测系统1能够被灵活地使用于利用POS系统的结账服务。

[变形例1]

在上述实施方式中，以检测顾客的在店铺的结账区3中的位置并与POS系统2协作的位置检测系统1为例进行了说明，但是不限于该实施方式。例如，也可以是检测车(对象)的在立体停车场内的位置并与停车费用管理系统协作的位置检测系统。具体地说，具备设置于停车场的各楼层的顶部的多个摄像机10、针对各摄像机10设置的图像处理装置20、以及主计算机30，各个图像处理装置20从对应的摄像机10接收视野图像，检测所接收到的视野图像中的车的坐标(视野坐标)，并向主计算机30发送所检测出的视野坐标。主计算机30确定车的在各楼层的位置和识别信息，每当确定出各楼层的车的位置和识别信息时，向停车费用管理系统发送所确定出的车的位置和识别信息。停车费用管理系统是具备基于车的停车时间来执行核算的核算装置的系统。该停车费用管理系统每当从主计算机30接收到车的位置和识别信息时，对该车的停车时间进行计数，并且判定各车的位置是否位于出口区(核算装置的正面)。在此，在某辆车的位置位于出口区的情况下，停止对该车的停车时间的计数，并计算停车时间，对核算装置发送停车费用的信息。由此，在核算装置中，不需要停车券而能够实施停车费用的支付处理。

[变形例2]

另外，上述实施方式的位置检测系统1也可以与对停在立体停车场内的车辆的位置进行管理的停车管理系统协作。该位置检测系统1所具有的多个摄像机10安装于停车场的顶部，以规定的帧率生成各个视野图像。与各摄像机10连接的图像处理装置20每当从对应的摄像机10获取到视野图像时，检测视野图像中的车的视野坐标，并向主计算机30发送所检测出的视野坐标。主计算机30每当从各图像处理装置20获取到视野坐标时，确定车辆的在场内的位置，并向停车管理系统发送所确定出的位置信息。

该停车管理系统例如是被导入到作为汽车的仓库使用的立体停车场的系统，该系统具备读取装置和服务器，该读取装置读取对车辆赋予的车辆识别信息，该服务器将由读取装置读取出的识别信息与从位置检测系统1接收到的车辆的位置信息建立对应地进行管理，读取装置与服务器经由网络以能够进行通信的方式连接。

上述的读取装置典型地是RFID读取器，读取安装于各车辆的RF标签中存储的车辆识别信息。该读取装置设置于停车场的入口，读取进入停车场的车的车辆识别信息，并向服务器发送所读取出的车辆识别信息。

服务器接收从读取装置发送的车辆识别信息和从位置检测系统1发送的车的位置信息。在此，服务器在接收到车辆识别信息的时机确认从位置检测系统1接收到的车的位置信息，并提取位于与停车场的入口对应的坐标的车的位置信息，将该位置信息与所接收到的车辆识别信息建立对应。之后，服务器通过将根据车辆的移动而发生了变化的位置信息与该车辆识别信息对应地进行更新，来追踪车辆的在停车场内的位置。

停车场管理系统还具备用户终端。用户终端是利用该停车场的用户(汽车仓库中的操作员)的终端，典型地是用户拥有的智能手机、平板电脑终端。用户终端能够经由上述的网络来与服务器进行通信，在该用户终端安装有位置检索应用程序。用户终端的CPU通过执行位置检索应用程序，来使用户输入想要知道位置的车辆的车辆识别信息，并向服务器请求发送与所输入的车辆识别信息对应的位置信息，向用户呈现从服务器接收到的车的位置信息。由此，用户能够容易地确定处于停车状态的车的位置。

该变形例2的位置检测系统1不限于与停车管理系统协作，也可以与用于在物流仓库中管理物品的物品管理系统协作。在这样的方式中，多个摄像机10设置于物流仓库的顶部，图像处理装置20检测由摄像机10生成的视野图像中的物品的视野坐标，并向主计算机30发送该视野坐标。主计算机30基于从图像处理装置20接收到的视野坐标来确定物品的在仓库内的位置信息，并向物品管理系统发送该位置信息。此外，物品管理系统不仅管理被保管在仓库内的物品的位置，也可以对位置检测系统1请求发送视野图像，并向用户终端提供所接收到的视野图像。而且，物品管理系统不仅对用户终端(物流仓库的操作员的终端)发送被保管的物品的位置，还对用户终端发送与该位置对应的视野图像。

[变形例3]

另外，本实施方式的位置检测系统1也可以与餐饮店中的订单(order)系统协作。该位置检测系统1所具有的多个摄像机10安装于店内的顶部，以规定的帧率生成各个视野图像。与各摄像机10对应地连接的图像处理装置20每当从对应的摄像机10获取到视野图像时，检测视野图像中的顾客的视野坐标，并向主计算机30发送所检测出的视野坐标。主计算机30每当从各图像处理装置20获取到视野坐标时，确定顾客的在店内的位置，并向订单系统发送所确定出的位置信息。

上述的订单系统例如在快餐店中使用。在该快餐店中，进店的顾客在收银台对期望的商品进行点单并进行结账。然后，顾客向空闲的桌子移动，等待由服务员拿来所下单的商品。在该店铺的收银台设置有收银装置。该收银装置具备平板电脑终端和出纳机(cashier)。平板电脑终端在其触摸面板显示器中显示商品的一览、商品的详细信息。顾客操作触摸面板显示器来选择期望的商品。平板电脑终端向出纳机发送由顾客选择出的商品的结账信息，并且在触摸面板显示器中显示结账信息。出纳机是进行核算的装置，当由顾客进行了支付时，向平板电脑终端发送表示支付完成的信息(已支付信息)。平板电脑终端能够与服务器进行通信，当从出纳机接收到已支付信息时，向服务器发送由顾客选择出的商品的商品信息和结账信息。

服务器能够与收银装置(平板电脑终端)及位置检测系统1进行通信，从收银装置接收商品信息和结账信息，另外，从位置检测系统1接收顾客的位置信息。在此，服务器在从收银装置接收到商品信息的时机确认从位置检测系统1接收到的最新的顾客的位置信息。然后，服务器提取顾客的在从收银台的坐标起的规定范围内所在的位置信息，并将该位置信息与商品信息及订单编号建立对应地存储到存储器中。之后，服务器每当从位置检测系统1接收到位置信息(根据顾客的移动而发生变化的位置信息)时，通过与所接收到的商品信息及订单编号对应地进行更新(存储到存储器中)，来追踪顾客的在店内的位置。

订单系统还具备用户终端。用户终端是店铺的店员使用的终端，例如，是平板电脑终端、眼镜型的信息显示装置。用户终端能够经由上述的网络来与服务器进行通信，从服务器接收订单编号或商品信息并且接收顾客的位置信息，使其显示部(显示器)显示这些信息。用户(店员)能够按照显示于用户终端的显示部的位置信息，来将做好的商品带到顾客所在的场所。另外，在店铺设置有用于将商品搬送到顾客处的搬送机器人的情况下，也可以对该搬送机器人发送顾客的位置信息。

此外，该变形例3所涉及的位置检测系统1不限于与快餐店中的订单系统的协作，也可以与药店中的订单系统协作。在这样的方式中，位置检测系统1的摄像机30设置于药店的顶部。另外，订单系统通过将对来店的每个患者赋予的患者识别信息与位置信息建立对应地进行管理，来追踪患者的位置，并且对工作人员使用的用户终端发送位置信息和应下处方的药剂的内容。

[变形例4]

在上述的实施方式和变形例中，位置检测系统1与一个上级系统协作，但是也可以与多个上级系统协作。例如，也可以与设置于店铺的上述的POS系统2及该店铺中的防盗系统协作。防盗系统具备店员使用的便携信息终端、设置于店铺的出入口的自动门、以及与便携信息终端及自动门以能够进行通信的方式连接的控制装置，其中，该控制装置能够经由网络来与位置检测系统1进行通信。

与上述的实施方式同样地，POS系统2和防盗系统对位置检测系统1的主计算机30发送位置信息的请求，主计算机30根据该请求来对POS系统2、防盗系统发送位置信息。防盗系统在所接收到的顾客的位置信息连续地变化且在规定的区(登记装置和支付装置的区)未停止的情况下，向店员的便携信息终端发送警告信息，并且对自动门发送控制信号以使门以比通常缓慢的方式开闭。

[变形例5]

在上述的实施方式和变形例中，是对一个摄像机10连接一个图像处理装置20的结构，但是也可以是对多个摄像机10连接一个图像处理装置20的结构。例如，也可以对以视野范围相邻的方式配置的两个摄像机10以能够进行通信的方式连接一个图像处理装置20。在这样的方式中，图像处理装置20对两个摄像机10发送请求。该请求是请求发送视野图像的信息，在相同的时机对两个摄像机10发送该请求。接收到请求的摄像机开始进行摄像处理。由此，两个摄像机10生成在相同的时机拍摄到的视野图像，并向图像处理装置2发送所生成的视野图像。图像处理装置20当从两个摄像机10获取到视野图像时，生成将获取到的视野图像排列地进行连结所得到的连结图像，并检测人物的在该连结图像中的坐标。图像处理装置20向主计算机30发送所检测出的人物的坐标，主计算机基于所接收到的坐标来确定人物的位置。

[变形例6]

在上述的实施方式和变化例中，摄像机10和图像处理装置20是独立地设置的，但是也可以是摄像机10和图像处理装置20设置于一个单元内的方式。

[变形例7]

在上述的实施方式和变形例中，主计算机30确定人物(对象)的在将摄像机的视野进行整合而得到的区(在下面称为整合区)中的位置，并向上级系统发送所确定出的位置，但是不限于该方式。例如，也可以是以下方式：主计算机30确定对象的在整合区中的位置，并判定所确定出的位置是否位于整合区中的规定部分，在位于规定部分的情况下，对上级系统发送该对象的识别信息。

[变形例8]

在上述的实施方式和变形例中，摄像部101是设置于顶部并从设置位置对正下方向二维地进行拍摄的摄像机10，但是不限于此。例如，摄像部101也可以是从墙壁面的顶部附近对斜下方向进行拍摄的摄像机。在该情况下，也可以是，也可以使用TOF摄像机，以检测在该摄像机的视野区域内存在两个以上的对象并且这些两个以上的对象发生了交叉。通过TOF摄像机来检测与对象之间的距离，由此能够判别近前侧的对象和远侧的对象，并高精度地检测它们的坐标。另外，对于两个以上的对象发生了交叉的情况下的位置，也可以根据各对象的到交叉为止的移动模式来进行判断。

[变形例9]

另外，摄像机10也可以是红外线摄像机。通过使用红外线摄像机，即使在暗的环境中也能够检测对象。

[变形例10]

另外，关于摄像机10，也可以根据设置的场所的环境来区分使用。例如，在对如发生对象的交叉那样的视野区域进行拍摄的情况下使用TOF摄像机，在比较暗的场所进行拍摄的情况下使用红外线摄像机。像这样，通过根据环境来区分使用摄像机，能够实现系统整体上的成本降低。

附图标记说明

1：位置检测系统；10：摄像机；20：图像处理装置；30：主计算机；101：摄像部；201：检测部；302：确定部；303：发送部。