信息处理系统、信息处理装置及存储介质

本申请主张申请日为2021年7月21日、申请号为JP2021-120483的日本申请为优先权，并引用上述申请的内容，通过引用将公开内容全部结合于此。

技术领域

本发明的实施例涉及一种信息处理系统、信息处理装置及存储介质。

背景技术

近年，在超市等零售店中，基于削减人工费、预防传染病的传染对策等观点，自助POS(Point OfSales)终端备受关注。自助POS终端是顾客自己进行购买商品的从登记到结算的操作的全自助应对的结算终端。因此，有可能发生顾客未完成结算就从自助POS终端离开等情况。

发明内容

鉴于上述问题，本发明所要解决的技术问题是，提供一种信息处理系统、信息处理装置及存储介质，能够对于顾客未完成结算就从结算终端离开的行为进行妥当地应对。

为解决上述问题，本发明的一实施例，提供了一种信息处理装置包括操作识别部、行动识别部及告知部。操作识别部识别由操作者对结算终端进行的操作。行动识别部识别对结算终端进行操作的操作者的行动。告知部，在通过操作识别部识别对结算终端进行的操作是结算结束操作之前，在通过行动识别部识别出操作者从结算终端离开的消失行动的情况下，将此意进行告知。

根据上述的信息处理装置，能够提供对于顾客未完成结算就从结算终端离开的行为进行妥当地应对的信息处理装置。

在上述的信息处理装置中，所述告知部，在通过所述行动识别部识别出所述消失行动之后的规定时间内识别出所述操作者出现在所述结算终端的出现行动的情况下，将此意进行告知。

根据上述的信息处理装置，能够提供能够妥当地应对是去拿取忘买商品的顾客还是新顾客的信息处理装置。

在上述的信息处理装置中，所述告知部，在通过所述操作识别部识别出对所述结算终端进行的操作是结算结束操作之前，在识别出中止对所述结算终端的操作的中止操作，且通过所述行动识别部识别出所述消失行动的情况下，不将此意进行告知。

根据上述的信息处理装置，能够对于顾客暂时从结算终端离开的行为不告知顾客的消失。

在上述的信息处理装置中，所述操作识别部基于根据对所述结算终端进行的操作而转变的图像，识别由所述操作者对所述结算终端进行的操作。

根据上述的信息处理装置，通过利用根据操作而转变的图像，从而不识别没有反映于图像中的结算终端的操作，由此，能够减少操作识别所涉及的处理的负担。

在上述的信息处理装置中，所述结算终端具有测量购买商品的重量的秤，所述告知部在没有识别出中止操作而识别出消失行动的情况下，当所述秤的重量没有变化时，不告知顾客的消失。

根据上述的信息处理装置，能够对于顾客没有进行中止操作而暂时从结算终端离开的行为不告知顾客的消失。

本发明的另一方面的信息处理系统，包括：摄像装置，拍摄对结算终端进行操作的操作者；以及信息处理装置，其包括：操作识别部，识别由所述操作者对结算终端进行的操作；行动识别部，基于所述摄像装置拍摄的所述操作者的摄像数据，识别该操作者的行动；以及告知部，在通过所述操作识别部识别出对所述结算终端进行的操作是结算结束操作之前，在通过所述行动识别部识别出所述操作者从所述结算终端离开的消失行动的情况下，将此意进行告知。

根据上述的信息处理系统，能够提供能够对于顾客结算未完成就离开结算终端的行为进行妥当应对的信息处理系统。

在上述的信息处理系统中，还包括：显示控制装置，基于所述结算终端的数据信号生成监视图像；以及服务员终端，将所述显示控制装置生成的所述监视图像显示于显示设备，所述操作识别部基于所述显示控制装置生成的监视图像的数据，识别对所述结算终端进行的操作。

根据上述的信息处理系统，能够将显示于服务员终端的监视图像利用于识别顾客的操作。

在上述的信息处理系统中，所述告知部将表示顾客已消失的情况的指令输出到所述显示控制装置，所述显示控制装置基于所述指令，在所述监视图像中包含表示顾客已消失的消息。

根据上述的信息处理系统，服务员能够根据监视图像的状况，得知结算终端的操作状况，同时，得知顾客已消失的情况。

在上述的信息处理系统中，所述服务员终端保存显示于所述显示设备的所述监视图像，并再生已保存的所述监视图像作为再生监视图像，所述操作识别部还包括基于所述再生监视图像的数据识别对所述结算终端进行的操作的功能。

根据上述的信息处理系统，能够根据服务员终端的再生监视图像验证顾客的操作。

本发明的另一方面的存储介质，存储使信息处理装置的计算机作为以下各部发挥功能的控制程序：操作识别部，识别由操作者对结算终端进行的操作；行动识别部，识别对所述结算终端进行操作的所述操作者的行动；以及告知部，在通过所述操作识别部识别出对所述结算终端的操作是结算结束操作之前，在通过所述行动识别部识别出所述操作者从所述结算终端离开的消失行动的情况下，将此意进行告知。

根据上述的存储介质，能够向计算机提供能够对于顾客结算未完成就离开结算终端的行为进行妥当应对的功能。

附图说明

图1是引入有自助POS终端的店铺的系统构成图；

图2是用于说明自助POS终端和照相机的位置关系的图；

图3是表示服务员终端的显示器所显示的监视图像的一例的示意图；

图4是表示信息处理装置的要部电路构成的框图；

图5是表示管理列表的一例的示意图；

图6是表示消息列表的一例的示意图；

图7是表示时序缓冲器的一例的示意图；

图8是用于说明作为行动识别部的功能的流程图；

图9是用于说明作为操作识别部的功能的流程图；

图10是用于说明作为操作识别部的功能的流程图；

图11是用于说明作为判定部的功能的流程图；

图12是用于说明作为判定部的功能的流程图；以及

图13是用于说明作为告知部的功能的流程图。

附图标记说明

11 自助POS终端 12 POS服务器 13 显示控制装置

14 服务员终端 15 通信网络 21 照相机

22 信息处理装置 40 主体 41 触摸面板

42 读取窗 43 卡插入口 44 票据发放口

45 硬币投入口 46 硬币支付出口 47 纸币投入口

48 纸币支付出口 50 壳体 51 秤单元

52 袋支撑器具 53 支撑臂 54 秤盘

55 载置面 60 购物篮台 61 通信电缆

62 读写器 63 载置台 64 显示柱

65 发光部 81 处理器 82 主存储器

83 辅助存储设备 84 时钟 85 计时器

86 照相机接口 87 通信接口 88 系统总线

100 自助POS系统 200 信息处理系统 821 管理列表

822 消息列表 823 时序缓冲器 221 行动识别部

222 操作识别部 223 判定部 224 告知部

具体实施方式

以下，使用附图，关于一实施例进行说明。

图1是引入有自助POS终端11的店铺的系统构成图。本系统包括自助POS系统100和信息处理系统200。自助POS系统100包括多台的自助POS终端11、POS服务器12、显示控制装置13、服务员终端14及通信网络15。多台的自助POS终端11、POS服务器12及显示控制装置13与通信网络15连接。服务员终端14连接于显示控制装置13。通信网络15典型的是LAN(LocalArea Network：局域网)。LAN既可以是有线LAN，也可以是无线LAN。

自助POS终端11是顾客自己进行购买商品的从登记到结算的操作的全自助应对的结算终端。顾客也能够称为操作者。POS服务器12是用于集中地控制各自助POS终端11的动作的服务器用计算机。显示控制装置13是基于从各自助POS终端11输出的数据信号，生成对应每个自助POS终端11的监视图像SC(参照图3)，并输出到服务员终端14和信息处理装置22的控制器。由此，在服务员终端14的显示设备上显示监视图像SC。服务员终端14是用于被称为服务员的店员监视各自助POS终端11的状态的终端。服务员终端14包括液晶显示器、有机EL(electro-luminescence：电致发光)显示器等的显示器。服务员终端14将显示器的画面分为多个区，对应每个区显示不同的服务员终端14的监视图像SC。这样的自助POS系统100能够直接应用目前公知的设备。服务员终端14将从显示控制装置13接收的监视图像SC显示于显示设备的同时，可再生地保存。服务员终端14将再生的监视图像SC(再生监视图像SC)输出到信息处理装置22。

信息处理系统200包括多个照相机21及信息处理装置22。多个照相机21分别与多个自助POS终端11一一对应。照相机21是用于拍摄向对应的自助POS终端11进行操作的顾客的照相机。照相机21也能够称为摄像装置。

信息处理装置22具有作为行动识别部221、操作识别部222、判定部223及告知部224的功能。行动识别部221是基于从各照相机21输出的摄像数据识别对自助POS终端11进行操作的顾客的行动的功能。对自助POS终端11进行的操作将在后述明确地说明。行动识别部221也能够称为行动识别手段。操作识别部222具有基于从显示控制装置13向服务员终端14和信息处理装置22输出的监视图像SC的数据，识别客人对自助POS终端11进行的操作的功能。另外，操作识别部222具有基于从服务员终端14输出的再生监视图像SC的数据识别顾客对自助POS终端11进行的操作的功能。由此，此后，能够验证顾客的操作。操作识别部222也能够称为操作识别手段。判定部223是基于通过行动识别部221识别的识别结果和通过操作识别部222识别的识别结果，从顾客对于已识别商品登记操作的商品的行动判定顾客有无异常行为的功能。判定部223也能够称为判定手段。告知部224是在通过判定部223已判定了顾客有无异常行为的情况下，进行意为是异常行为的告知的功能。告知，例如从服务员终端14对服务员进行告知。告知部224也能够称为告知手段。

图2是用于说明自助POS终端11和照相机21的位置关系的图。首先，关于自助POS终端11的外观构成进行说明。

自助POS终端11包括设置于地面的主体40和设置于该主体40的侧面的秤单元51。主体40在其上部安装有触摸面板41。触摸面板41由显示器和触摸传感器构成。显示器是用于对于操作自助POS终端11的操作者、即顾客显示各种画面的显示器。触摸传感器是用于检测顾客对画面的触摸输入的设备。

主体40在与设置有秤单元51的一侧相反侧的侧面中心部设置有购物篮台60。购物篮台60是用于来自卖场的顾客放置装有购买商品的购物篮等的台子。在图2中，顾客站在主体40的跟前侧进行操作，以便能看到触摸面板41的画面。因此，如果从顾客的角度看，隔着主体40，在右侧有购物篮台60，在左侧有秤单元51。在以下的说明中，将顾客站立侧作为主体40的正面，将设置有秤单元51的一侧作为主体40的左侧，将设置有购物篮台60的一侧作为主体40的右侧。购物篮台60也可以包括秤。

主体40在其正面形成有扫描仪的读取窗42、卡插入口43、票据发放口44、硬币投入口45、硬币支付出口46、纸币投入口47及纸币支付出口48。另外，通信电缆61从主体40的右侧面向外部延伸设置，在该通信电缆61的前端连接有电子货币介质用的读写器62。读写器62放置于在主体40的右侧面上部设置的载置台63上。

主体40在其上面安装有显示柱64。显示柱64在其前端部包括例如选择性地发出蓝色光和红色光的发光部65。显示柱64通过发光部65的发光颜色而显示自助POS终端11的状态，例如待机中、动作中、呼叫中及错误中等。

秤单元51形成为在壳体50的上部设置秤盘54，并在该秤盘54的上部安装有袋支撑器具52的构造。秤盘54将其上面作为载置面55。袋支撑器具52包括一对支撑臂53，在该支撑臂53上支撑购物袋或顾客自带的购物袋，即环保购物袋。

秤单元51测量放入支撑于支撑臂53上的购物袋或环保购物袋，并载置于载置面55上的商品的重量。

接着，说明自助POS终端11和照相机21的位置关系。

如图2所示，照相机21设置于从上方能够拍摄站立于自助POS终端11的正面，并与主体40、秤单元51及购物篮台60等的部件对峙的顾客的位置。

站立于自助POS终端11的正面的顾客，首先，在面前右侧的购物篮台60上放置装有购买商品的购物篮等，在左侧的支撑臂53上支撑购物袋或环保购物袋等。接着，顾客按照显示于触摸面板41上的向导，操作触摸面板41，并宣告自助POS终端11的利用开始。

之后，顾客从在购物篮台60上放置的购物篮中一件一件地拿取购买商品。然后，在该购买商品上附有条形码的情况下，顾客通过将该条形码对准读取窗42来以扫描仪读取，从而进行商品登记。在购买商品上没有附有条形码的情况下，顾客操作触摸面板41，并从无条形码的商品的列表选择购买商品，从而进行商品登记。顾客将已登记结束的购买商品放入到购物袋或环保购物袋等。

结束登记了所有购买商品的顾客操作触摸面板41选择结算方法。例如，在选择了现金结算的情况下，顾客向纸币投入口47或硬币投入口45投入纸币或硬币，取出从纸币支付出口48或硬币支付出口46支出的零钱。例如，如果选择了电子货币结算，顾客则将电子货币介质对准读写器62。例如，如果选择了信用卡结算，则顾客在卡插入口43插入信用卡。这样一来，如果结束了结算，则顾客接受从票据发放口44发放的票据，拿着从支撑臂53取下的购物袋或环保购物袋退出店铺。

图3是表示显示于服务员终端14的显示器的监视图像SC的一例的示意图。监视图像SC是根据对自助POS终端11进行的操作而转变的图像的一例。如上所述，在服务员终端14的显示器上，分区分别显示对应多个自助POS终端11的监视图像SC。图3是对应其中一个自助POS终端11的监视图像SC的一例。对应其他的自助POS终端11的监视图像SC的构成与此相同，所以在此省略说明。

如图3所示，监视图像SC包括收银机号码栏71、终端状态栏72、错误信息栏73、宣告信息栏74、明细栏75及合计栏76。

收银机号码栏71是用于显示收银机号码的栏。收银机号码是为了识别各自助POS终端11的各个终端而对于各自助POS终端11不重复地分配的一系列的号码。收银机号码是用于识别各自助POS终端11的识别信息。

终端状态栏72是用于显示自助POS终端11的动作状态的栏。在本实施例中，在终端状态栏72中，作为动作状态显示“待机中”、“利用开始”、“登记中”、“结算开始”及“结算中”的任一个。

“待机中”是从前一个顾客结束结算后到下一个顾客宣告利用开始的状态。在处于“待机中”的状态的自助POS终端11的触摸面板41中显示初始图像。初始图像是例如包含用于使顾客选择是使用店铺准备的购物袋还是使用环保购物袋的触摸按键的图像。此外，在自助POS终端11的动作状态是“利用开始”、“登记中”或“结算开始”的情况下，如果没有识别出对自助POS终端11进行的操作而经过了设定时间后，自助POS终端11的动作状态返回到“待机中”。设定时间例如是30秒、1分钟等。设定时间能够任意地设定。

“利用开始”是站在自助POS终端11的正面的顾客宣告用于结算的利用开始的状态。顾客对初始图像进行使用购物袋还是使用环保购物袋的选择操作。该选择操作宣告利用开始。接受该选择操作后，自助POS终端11的动作状态变为“利用开始”。

“登记中”是接受通过顾客自己进行购买商品的登记操作的状态。当第一件购买商品登记后，自助POS终端11的动作状态变为“登记中”。之后，在宣告向结算过渡之前，自助POS终端11的动作状态维持在“登记中”。另外，在处于“登记中”的状态的自助POS终端11的触摸面板41中，例如显示“登记中止”的软键。要中止购买商品的登记的顾客触摸“登记中止”的软键。顾客触摸“登记中止”的软键的操作是中止对自助POS终端11进行操作的中止操作的一例。接受该中止操作后，自助POS终端11的动作状态返回到“待机中”。

“结算开始”是结束了登记购买商品的顾客宣告向结算过渡的状态。处于“登记中”的状态的自助POS终端11的触摸面板41上显示“结账”的软键。结束了登记购买商品的顾客触摸“结账”的软键。该操作宣告向结算过渡。接受该操作后，自助POS终端11的动作状态为“结算开始”。此外，在“结算开始”后的自助POS终端11的触摸面板41上显示有例如“结算中止”的软键。要中止购买商品的结算的顾客触摸“结算中止”的软键。顾客触摸“结算中止”的软键的操作是中止操作的一例。接受该中止操作后，自助POS终端11的动作状态返回到“待机中”。

“结算中”是执行现金结算、电子货币结算、信用卡结算等的结算处理的状态。例如，当向纸币投入口47或硬币投入口45投入纸币或硬币后，自助POS终端11的动作状态变为“结算中”。然后，当结束结算处理后，自助POS终端11的动作状态返回到“待机中”。

错误信息栏73是用于显示在自助POS终端11发生的错误信息的栏。错误信息例如是通信错误、票据用完错误等。宣告信息栏74是用于显示顾客的宣告操作内容的栏。例如，在顾客选择了环保购物袋的情况下，显示表示不需要购物袋的“不要袋”。

明细栏75是用于显示在自助POS终端11登记的购买商品的明细信息的栏。明细信息例如是购买商品的商品名、件数及金额等。合计栏76是用于显示在自助POS终端11登记的购买商品的合计信息的栏。合计信息例如是合计件数、合计金额、投入金额及找零等。

此外，监视图像SC的构成不限于此。也可以配置显示其他的项目的栏。另外，图3中显示的文本数据的项目也不限于此。也可以显示其他项目的文本数据。

图4是表示信息处理装置22的要部电路构成的框图。信息处理装置22包括处理器81、主存储器82、辅助存储设备83、时钟84、计时器85、照相机接口86、通信接口87及系统总线88。系统总线88包括地址总线、数据总线等。信息处理装置22将处理器81与主存储器82、辅助存储设备83、时钟84、计时器85、照相机接口86及通信接口87以系统总线88连接，由此构成计算机。

处理器81相当于上述计算机的中枢部分。处理器81依照操作系统或应用程序控制应实现作为信息处理装置22的各种功能的各部。处理器81例如是CPU(Central ProcessingUnit：中央处理器)。

主存储器82相当于上述计算机的主存储部分。主存储器82包括非易失性存储区及易失性存储区。主存储器82在非易失性存储区存储操作系统或应用程序。主存储器82在易失性存储区中存储处理器81执行用于控制各部的处理过程中需要的数据。这种数据有时也存储于非易失性的存储区。主存储器82将易失性的存储区使用为可通过处理器81适当改写数据的工作区。非易失性存储区例如是ROM(Read Only Memory：只读取存储器)。易失性存储区例如是RAM(Random Access Memory：随机存取存储器)。

辅助存储设备83相当于上述计算机的辅助存储部分。作为辅助存储设备83，例如将SSD(Solid State Drive：固态驱动器)、HDD(Hard Disc Drive：硬盘驱动器)或EEPROM(注册商标)(Electric Erasable Programmable Read-Only Memory：电可擦可编程只读取存储器)等的公知的存储设备单独地，或多个组合地使用。辅助存储设备83存储处理器81进行各种处理过程中使用的数据、及通过在处理器81进行的处理生成的数据等。辅助存储设备83有时也存储应用程序。

主存储器82或辅助存储设备83存储的应用程序包含后述的控制程序。将控制程序安装于主存储器82或辅助存储设备83中的方法不特别限定。能够在可移除存储介质中存储控制程序，或通过经由网络的通信发送控制程序，并安装于主存储器82或辅助存储设备83。存储介质如CD-ROM、存储卡等那样能够存储程序，且如果是装置可读取，其形式不限。

时钟84作为信息处理装置22的时刻信息源发挥功能。处理器81基于通过时钟84计时的时刻信息，取得当前的日期及时刻。

计时器85通过处理器81的控制计时所设定的时间。

照相机接口86是用于和各照相机21进行通信的接口。从各照相机21输出的摄像数据经由照相机接口86被信息处理装置22获得。摄像数据是拍摄操作对应照相机21的自助POS终端11的顾客的数据。

通信接口87是用于与显示控制装置13进行通信的接口。从显示控制装置13输出的图像数据经由通信接口87被信息处理装置22获得。图像数据是对应每个自助POS终端11生成的监视图像SC的数据。

相关构成的信息处理装置22将主存储器82中的易失性存储区的一部分作为管理列表821(参照图5)及消息列表822(参照图6)的区。然后，信息处理装置22在该区内形成管理列表821及消息列表822。

图5是表示管理列表821的一例的示意图。如图5所示，管理列表821具有用于对应自助POS终端11的收银机号码记载一个或多个追踪ID的区域。追踪ID是用于在检测出在自助POS终端11的正面站有人的情况下，将该人临时识别为追踪对象者的识别信息。此外，管理列表821不限于上述项目的数据。

图6是表示消息列表822的一例的示意图。如图6所示，消息列表822是与消息代码MC相关联，并记载消息的文本数据的数据列表。关于消息代码MC和与其相关联的消息的文本数据，将在后述中明确地说明。

此外，信息处理装置22将主存储器82中的易失性存储区的一部分作为时序缓冲器823(参照图7)的区。然后，信息处理装置22在该区中只形成对应自助POS终端11的数目的时序缓冲器823。

图7是表示时序缓冲器823的一例的示意图。如图7所示，时序缓冲器823具有用于按识别自助POS终端11的收银机号码分别记载追踪ID、时刻TM、状态ST或消息代码MC的区。在时序缓冲器823中，按时刻TM的先后顺序记载状态ST或消息代码MC。关于状态ST将在后述中明确地说明。

于是，信息处理装置22通过处理器81和控制该处理器81的控制程序实现作为上述的行动识别部221、操作识别部222、判定部223及告知部224的功能。

作为行动识别部221、操作识别部222、判定部223及告知部224的功能是对应每个自助POS终端11设置的功能。因此，以下，详细说明作为对应一台自助POS终端11的行动识别部221、操作识别部222、判定部223及告知部224的功能。因为作为对应其他的自助POS终端11的行动识别部221、操作识别部222、判定部223及告知部224的功能也相同，所以在此省略说明。

图8是用于说明作为行动识别部221的功能的流程图。

作为ACT1，处理器81等待接受识别顾客的出现行动。出现行动是顾客出现在自助POS终端11的行动。处理器81当从照相机21的摄像数据检测出在自助POS终端11的正面站有人时，识别为进行了出现行动。所谓从照相机21的摄像数据检测出顾客的情况，例如是顾客在自助POS终端11进行购买商品的从登记到结算的操作的情况、及去往卖场拿取忘买的商品的顾客返回到自助POS终端11的情况。

当识别出顾客的出现行动时，处理器81在ACT1中判定为YES，前进到ACT2。作为ACT2，处理器81对于该顾客赋予追踪ID。

作为ACT3，处理器81取得自助POS终端11的收银机号码。各照相机21与各自助POS终端11一一对应。因此，处理器81从拍摄站在自助POS终端11的正面的顾客的照相机21的识别信息指定自助POS终端11，取得该自助POS终端11的收银机号码。

作为ACT4，处理器81将在ACT2的处理中赋予的追踪ID与在ACT3的处理中取得的自助POS终端11的收银机号码相对应记载在主存储器82的管理列表821中。

作为ACT5，处理器81使状态ST为“11”。即，当通过行动识别部221的功能识别出对于自助POS终端11的出现行动的情况下，使状态ST为“11”。作为ACT6，处理器81取得以时钟84计时的当前时刻TM。作为ACT7，处理器81将ACT2的处理中赋予的追踪ID和时刻TM、状态ST相关联，并记载于设定有在ACT3的处理中取得的收银机号码的时序缓冲器823中。

作为ACT8，处理器81等待接受识别顾客的消失行动。消失行动是顾客从自助POS终端11离开的行动。处理器81当不能从照相机21的摄像数据检测出顾客时，处理器81识别为进行了消失行动。所谓从照相机21的摄像数据不能检测出顾客的情况，例如是顾客带着未完成结算的购买商品从自助POS终端11离开的情况、结束了结算的顾客为了退出店铺而从自助POS终端11离开的情况、顾客为了去往卖场拿取忘买的商品而从自助POS终端11离开的情况、以及进行了中止操作的顾客从自助POS终端11离开的情况。

当识别出消失行动后，处理器81在ACT8中判定为YES，前进到ACT9。作为ACT9，处理器81使状态ST为“12”。即，根据行动识别部221的功能，在识别出相对于自助POS终端11的消失行动的情况下，使状态ST为“12”。

作为ACT10，处理器81取得以时钟84计时的当前时刻TM。作为ACT11，处理器81将在ACT2的处理中赋予的追踪ID和时刻TM、状态ST相关联，并记载于设定有在ACT3的处理中取得的收银机号码的时序缓冲器823中。然后，处理器81返回到ACT1。即，当从照相机21的摄像数据中再次检测出在自助POS终端11的正面站有人时，处理器81与上述相同地执行ACT2至ACT11的处理。至此，结束了作为行动识别部221的功能的说明。

图9是用于说明作为操作识别部222的功能的流程图。

作为ACT21，处理器81等待接受对于自助POS终端11宣告利用开始。当宣告利用开始后，在对应该自助POS终端11的监视图像SC的终端状态栏72中显示“利用开始”。处理器81确认是否能够从通过显示控制装置13取得的监视图像SC的终端状态栏72识别“利用开始”的字符。当能够识别出“利用开始”的字符的情况下，处理器81识别为宣告了利用开始。

当识别出宣告利用开始后，处理器81在ACT21中判定为YES，前进到ACT22。作为ACT22，处理器81取得自助POS终端11的收银机号码。在监视图像SC的收银机号码栏71中显示收银机号码。处理器81从通过显示控制装置13取得的监视图像SC的收银机号码栏71识别收银机号码的字符，将该字符取得为收银机号码。

作为ACT23，处理器81使状态ST为“21”。作为ACTA24，处理器81取得以时钟84计时的当前时刻TM。

作为ACT25，处理器81参照管理列表821取得追踪ID。具体地，处理器81参照管理列表821取得与在ACT22中取得的收银机号码对应记载的最新的追踪ID。在对应收银机号码的追踪ID存在有一个时，最新的追踪ID是该追踪ID。在对应收银机号码的追踪ID存在有从第一个到第多个时，最新的追踪ID是第多个的追踪ID。此外，关于后述的图10的ACT38、ACT42及ACT47的具体的处理，与ACT25的处理相同。

作为ACT26，处理器81将在ACT25的处理中取得的追踪ID和时刻TM、状态ST相关联，并记载于设定有在ACT22的处理中取得的收银机号码的时序缓冲器823中。

因此，当站在自助POS终端11的正面的顾客进行用于宣告利用开始的操作后，在对应该自助POS终端11的时序缓冲器823中，首先，将“21”作为状态ST，与其时刻TM和追踪ID一起记载。

作为ACT27，处理器81开始对于自助POS终端11的操作识别。具体地，处理器81从通过字符识别经由显示控制装置13取得的监视图像SC而得到的信息的转变，识别商品登记操作、结算开始操作、中止操作或结算结束操作。

例如，处理器81当在明细栏75中追加购买商品的商品名、件数、金额等的明细信息时，识别为有商品登记操作。例如，处理器81当终端状态栏72的显示切换为“结算开始”时，识别为有结算开始操作。例如，处理器81当终端状态栏72的显示从“登记中”切换为“待机中”时，识别为有中止操作。例如，处理器81当终端状态栏72的显示从“结算开始”切换为“待机中”时，识别为有中止操作。例如，处理器81当终端状态栏72的显示从“结算中”切换为“待机中”时，识别为有结算结束操作。

作为图10的ACT31至ACT34，处理器81等待接受识别商品登记操作、结算开始操作、中止操作或结算结束操作。

在ACT31至ACT34的等待接受状态中，处理器81当识别出商品登记操作时，在ACT31中判定为YES，前进到ACT35。作为ACT35，处理器81使状态ST为“22”。即，当通过操作识别部222的功能识别出对于自助POS终端11的商品登记操作时，使状态ST为“22”。

在ACT31至ACT34的等待接受状态中，处理器81当识别出结算开始操作后，在ACT32中判定为YES，前进到ACT36。作为ACT36，处理器81使状态ST为“23”。即，当通过操作识别部222的功能识别出对于自助POS终端11的结算开始操作的情况下，使状态ST为“23”。

处理器81当结束ACT35或ACT36的处理后，前进到ACT37。作为ACT37，处理器81取得以时钟84计时的当前时刻TM。

作为ACT38，处理器81参照管理列表821取得追踪ID。作为ACT39，处理器81将在ACT38的处理中取得的追踪ID与时刻TM和状态ST相关联，并记载于设定有在图9的ACT22的处理中取得的收银机号码的时序缓冲器823中。然后，处理器81返回到ACT31至ACT34的等待接受状态。

在ACT31至ACT34的等待接受状态中，处理器81识别中止操作后，在ACT33中判定为YES，前进到ACT40。作为ACT40，处理器81使状态ST为“24”。即，当通过操作识别部222的功能识别出对于自助POS终端11的中止操作时，使状态ST为“24”。

作为ACT41，处理器81取得以时钟84计时的当前时刻TM。作为ACT42，处理器81参照管理列表821取得追踪ID。作为ACT43，处理器81将在ACT42的处理中取得的追踪ID和时刻TM、状态ST相关联，并记载于设定有在图9的ACT22的处理中取得的收银机号码的时序缓冲器823中。至此，处理器81结束作为操作识别部222的功能。

在ACT31至ACT34的等待接受状态中，处理器81当识别出结算结束操作的情况下，在ACT34中判定为YES，并前进至ACT44。作为ACT44，处理器81结束对于自助POS终端11的操作识别。

作为ACT45，结束了操作识别的处理器81使状态ST为“25”。即，当通过操作识别部222的功能识别出对于自助POS终端11的结算结束操作的情况下，使状态ST为“25”。

作为ACT46，处理器81取得以时钟84计时的当前时刻TM。作为ACT47，处理器81参照管理列表821取得追踪ID。作为ACT48，处理器81将在ACT47的处理中取得的追踪ID、时刻TM及状态ST相关联，并记载于设定有在图9的ACT22的处理中取得的收银机号码的时序缓冲器823中。至此，处理器81结束作为操作识别部222的功能。

通常，顾客以利用开始操作、商品登记操作、结算开始操作、结算结束操作的顺序对于自助POS终端11进行操作。因此，在时序缓冲器823中，以“21”、“22”、“23”、“25”的顺序按时序记载状态ST。

中止购买商品的登记的顾客，以利用开始操作、商品登记操作、中止操作的顺序对于自助POS终端11进行操作。因此，在时序缓冲器823中，以“21”、“22”、“24”的顺序按时序记载状态ST。

中止购买商品的结算的顾客，以利用开始操作、商品登记操作、结算开始操作、中止操作的顺序对于自助POS终端11进行操作。因此，在时序缓冲器823中，以“21”、“22”、“23”、“24”的顺序，按时序记载状态ST。

至此，结束作为操作识别部222的功能的说明。此后，当再次从监视图像SC的数据检测出自助POS终端11的利用开始操作后，处理器81与上述同样地执行图9的ACT22至ACT27、图10的ACT31至ACT48的处理。

图11及图12是用于说明作为判定部223的功能的流程图。

作为ACT51，处理器81确认通过行动识别部221是否识别出了出现行动。当识别出了出现行动时，在时序缓冲器823中，记载状态ST为“11”。当在时序缓冲器823中状态ST记载为“11”时，处理器81在ACT51中判定为YES，前进到ACT52。

作为ACT52，处理器81确认通过操作识别部222是否识别出了利用开始操作。当对于自助POS终端11进行利用开始操作时，在设定有进行了利用开始操作的自助POS终端11的收银机号码的时序缓冲器823中，记载状态ST为“21”。当在时序缓冲器823中记载状态ST为“21”时，处理器81在ACT52中判定为YES，前进到ACT53。

作为ACT53，处理器81确认通过行动识别部221是否识别出消失行动。当识别出消失行动后，在时序缓冲器823中，记载状态ST为“12”。因此，当在时序缓冲器823中记载状态ST为“12”时，处理器81在ACT53中判定为YES，前进到ACT54。

作为ACT54，处理器81确认消失行动是否是在中止操作后。当对于自助POS终端11进行中止操作时，在时序缓冲器823中，记载状态ST为“24”。因此，当在时序缓冲器823中，与比记载状态ST为“12”的时刻TM前一个的时刻TM相关联记载状态ST为“24”时，处理器81判定为消失行动是在中止操作后。

在消失行动不是在中止操作后的情况下，处理器81在ACT54中判定为NO，前进到ACT55。作为ACT55，处理器81确认消失行动是否是在商品登记操作后。当对于自助POS终端11进行商品登记操作时，在时序缓冲器823中，记载状态ST为“22”。因此，当在时序缓冲器823中，与比记载状态ST为“12”的时刻TM前一个的时刻TM相关联记载状态ST为“22”时，处理器81判定为消失行动是在商品登记操作后。

当消失行动不是在商品登记操作后时，处理器81在ACT55中判定为NO，前进到ACT56。作为ACT56，处理器81确认消失行动是否是在结算开始操作后。当对于自助POS终端11进行结算开始操作时，在时序缓冲器823中记载状态ST为“23”。因此，当在时序缓冲器823中，与比记载状态ST为“12”的时刻TM前一个的时刻TM相关联记载状态ST为“23”时，处理器81判定消失行动是在结算开始操作后。

在消失行动不是在结算开始操作后时，即消失行动是在结算结束操作后时，处理器81在ACT56中判定为NO。在进行了结算结束操作的自助POS终端11中，识别出顾客的消失行动的情况被认为是例如，结束了结算的顾客为了退出店铺而从自助POS终端11离开的情况。该顾客的行为被判定为不符合异常行为。至此，处理器81结束作为判定部223的功能。

在ACT54至ACT56的等待接受状态中，当消失行动是在中止操作后时，处理器81在ACT54中判定为YES。在进行了中止操作的自助POS终端11中识别出顾客的消失行动的情况被认为是例如，顾客触摸了显示于触摸面板41上的用于中止购买商品的登记的“登记中止”的软键或触摸了用于中止购买商品的结算的“结算中止”的软键，并从POS终端11离开的情况。该顾客的行为被判定为不符合异常行为。至此，处理器81结束作为判定部223的功能。

在ACT54至ACT56的等待接受状态中，当消失行动是在商品登记操作后时，处理器81在ACT55中判定为YES，前进到ACT57。作为ACT57，处理器81使消息代码MC为“91”。

在进行商品登记操作的自助POS终端11中识别出顾客的消失行动的情况被认为是例如，顾客带着未完成结算的购买商品从自助POS终端11离开的情况。该顾客的行为被判定为是异常行为。在设定有该自助POS终端11的收银机号码的时序缓冲器823中，记载消息代码MC为“91”。消息代码MC的“91”是识别“商品登记操作中的顾客消失”的代码。

在ACT54至ACT56的等待接受状态中，在消失行动是在结算开始操作后的情况下，处理器81在ACT56中判定为YES，前进到ACT58。作为ACT58，处理器81使消息代码MC为“92”。

在进行了结算开始操作的自助POS终端11中识别出顾客的消失行动的情况被认为是例如，顾客带着未完成结算的购买商品从自助POS终端11离开的情况。该顾客的行为被判定为是异常行为。在设定有该自助POS终端11的收银机号码的时序缓冲器823中，记载消息代码MC为“92”。消息代码MC的“92”是识别“结算操作中的顾客消失”的代码。

处理器81结束ACT57或ACT58的处理后，前进到ACT59。作为ACT59，处理器81取得以时钟84计时的当前时刻TM。

作为ACT60，处理器81参照管理列表821取得追踪ID。具体地，处理器81参照管理列表821取得与识别出利用开始操作的自助POS终端11的收银机号码对应记载的最新的追踪ID。当存在有一个与收银机号码对应的追踪ID的情况下，最新追踪ID为该追踪ID。在存在有从第一个到第多个的与收银机号码对应的追踪ID的情况下，最新的追踪ID为第多个的追踪ID。此外，关于后述的图12的ACT76的具体的处理也与ACT60的处理相同。

作为ACT61，处理器81在时序缓冲器823中，将在ACT60的处理中取得的追踪ID和时刻TM、消息代码MC相关联记载。

作为图12的ACT71，处理器81确认通过行动识别部221是否识别了出现行动。当识别了出现行动后，在时序缓冲器823中记载状态ST为“11”。因此，当在时序缓冲器823中，与比记载状态ST为“11”的时刻TM前一个的时刻TM相关联记载状态ST为“12”时，处理器81判定为是消失行动后的出现行动。

作为ACT72，处理器81计算记载状态ST为“11”的时刻TM和比该时刻TM前一个的、记载状态ST为“12”的时刻TM的时间差。即，处理器81计算从通过行动识别部221识别出消失行动的时刻TM到识别出出现行动的时刻TM的时间差。

作为ACT73，处理器81确认时间差是否在规定时间内。规定时间例如是30秒、1分钟等。规定时间能够任意设定。

在时间差不在规定时间内，即时间差是在规定时间外时，处理器81在ACT73中判定为NO，结束作为判定部223的功能。

当时间差是在规定时间内时，处理器81在ACT73中判定为YES，前进到ACT74。作为ACT74，处理器81使消息代码MC为“93”。

在识别出顾客的消失行动的自助POS终端11中，在规定时间内识别出顾客的出现行动时，例如顾客为了去往卖场拿取忘买的商品而从自助POS终端11离开，并再次返回到自助POS终端11的情况，被认为是与带着未完成结算的购买商品从自助POS终端11离开的顾客不相同的顾客在自助POS终端11进行购买商品的从登记到结算的操作的情况。在设定有该自助POS终端11的收银机号码的时序缓冲器823中，存储消息代码MC为“93”。消息代码MC的“93”是识别“顾客出现”的代码。

作为ACT75，处理器81取得以时钟84计时的当前时刻TM。作为ACT76，处理器81参照管理列表821取得追踪ID。作为ACT77，处理器81在时序缓冲器823中，将在ACT76的处理中取得的追踪ID与时刻TM、消息代码MC相关联并记载。然后，处理器81返回到图11的ACT53。

至此，结束作为判定部223的功能的说明。此后，当再次识别了出现行动时，处理器81与上述相同地执行图11的ACT52至ACT61、图12的ACT71至ACT77的处理。

图13是用于说明作为告知部224的功能的流程图。

作为ACT81，处理器81等待接受在时序缓冲器823中记载消息代码MC。当在时序缓冲器823中记载消息代码MC时，处理器81在ACT81中判定为YES，并前进到ACT82。作为ACT82，处理器81确认该消息代码MC是否是“91”。

当消息代码MC是“91”时，处理器81在ACT82中判定为YES，并前进到ACT84。作为ACT84，处理器81进行“商品登记操作中的顾客消失”的告知。具体地，处理器81检索消息列表822，并取得消息代码MC是“91”的消息数据。另外，处理器81取得记载消息代码MC为“91”的时序缓冲器823的收银机号码。然后，处理器81从通信接口87向显示控制装置13输出附加有消息数据和收银机号码的告知指令。

显示控制装置13在以告知指令所包含的收银机号码识别的服务员终端14的监视图像SC中显示消息数据的文本。其结果，在监视图像SC中，显示例如“在收银机No.X的收银机进行商品登记操作中的顾客消失了”的文本。告知部224将表示顾客消失了的告知指令(指令)输出到显示控制装置13。显示控制装置13基于告知指令，在监视图像SC中包含表示顾客消失了的消息。总之，告知部224与显示控制装置13协动进行在监视图像SC中的告知。由此，能够在根据操作而转变的图像中，追加显示顾客消失了的消息。同时，服务员也能够根据监视图像SC的状况得知POS终端11的操作状况。

当消息代码MC不是“91”时，处理器81在ACT82中判定为NO，并前进到ACT83。作为ACT83，处理器81确认该消息代码MC是否是“92”。

当消息代码MC是“92”时，处理器81在ACT83中判定为YES，并前进到ACT84。作为ACT84，处理器81进行“结算操作中的顾客消失”的告知。具体地，处理器81检索消息列表822，取得消息代码MC为“92”的消息数据。另外，处理器81取得记载消息代码MC为“92”的时序缓冲器823的收银机号码。然后，处理器81从通信接口87向显示控制装置13输出附加有消息数据和收银机号码的告知指令。

显示控制装置13在以告知指令所包含的收银机号码识别的服务员终端14的监视图像SC中显示消息数据的文本。其结果，在监视图像SC上，显示例如“在收银机No.X的收银机进行结算操作中的顾客消失了”的文本。

这样，当消息代码MC是“91”或“92”的情况下，通过告知部224的功能，作为异常行为，进行“商品登记操作中的顾客消失”，或“结算操作中的顾客消失”的告知。服务员进行例如去往设定为收银机No.X的自助POS终端11确认状况的、寻找进行了异常行为的顾客等的对策。

当消息代码MC不是“92”时，即消息代码MC是“93”情况下，处理器81在ACT83中判定为NO，并前进到ACT85。作为ACT85，处理器81进行“顾客出现”的告知。具体地，处理器81检索消息列表822，并取得消息代码MC为“93”的消息数据。另外，处理器81取得记载消息代码MC为“93”的时序缓冲器823的收银机号码。然后，处理器81从通信接口87向显示控制装置13输出附加有消息数据和收银机号码的告知指令。

显示控制装置13在以告知指令所包含的收银机号码识别的服务员终端14的监视图像SC中显示消息数据的文本。其结果，在监视图像SC中，显示例如“在收银机No.X的收银机顾客出现了”的文本。

这样，通过告知部224的功能，当在时序缓冲器823中记载消息代码MC为“93”时，进行“顾客出现”的告知。服务员进行例如对于在设定有收银机No.X的自助POS终端11出现的顾客进行确认的、确认该顾客是否是去卖场拿取忘买商品，并返回到自助POS终端11的状况等的应对。

结束了ACT84或ACT85的处理的处理器81返回到ACT81。即，当时序缓冲器823中记载消息代码MC时，处理器81与上述相同地执行ACT82至ACT85的处理。至此，结束作为告知部224的功能的说明。

如上详述的那样，信息处理装置22作为行动识别部221，基于照相机21的摄像数据识别对自助POS终端11进行操作的顾客的行动。信息处理装置22作为操作识别部222，识别顾客对自助POS终端11进行的操作。顾客对自助POS终端11进行的操作，基于从显示控制装置13向服务员终端14输出的监视图像SC的数据被识别。信息处理装置22作为判定部223，基于通过行动识别部221识别的识别结果和通过操作识别部222识别的识别结果，从顾客对已识别出商品登记操作的商品的行动来判定顾客有无异常行为。信息处理装置22作为告知部224，在通过判定部223判定了有无异常行为的情况下，告知顾客的异常行为。

例如，在进行了中止操作或结算结束操作的自助POS终端11中，当识别出顾客的消失行动时，判定为该顾客的行为不符合异常行为。该种情况下，不利用服务员终端14对服务员进行顾客消失的告知。

另一方面，例如，在没有进行中止操作而进行了商品登记操作或结算开始操作的自助POS终端11中，当识别出顾客消失行动时，判定为该顾客的行为是异常行为。该种情况下，利用服务员终端14对服务员进行“商品登记操作中的顾客消失”或“结算操作中的顾客消失”的告知。

因此，服务员能够进行去向自助POS终端11确认状况的、寻找进行了异常行为的顾客等的应对。

例如，对于服务员进行“商品登记操作中的顾客消失”或“结算操作中的顾客消失”的告知后，在规定时间内，当在识别出顾客的消失行动的自助POS终端11识别出顾客的出现行动时，利用服务员终端14对服务员进行“顾客出现”的告知。

因此，服务员能够进行确认再次出现于自助POS终端11的顾客的、对于该顾客确认是否去到卖场拿取忘买的商品，并返回到自助POS终端11的状况等的应对。

这样，根据本实施例，能够对顾客结算未完成就从自助POS终端11离开的行为进行妥当地应对。

至此，关于信息处理系统、信息处理装置及其控制程序的实施例进行了说明，但相关实施例并不限于此。

在所述实施例中，例示出对于一台自助POS终端11配置一台照相机21的情况。也不一定对应每台自助POS终端11配置照相机21。例如，如果能够以一台照相机21拍摄操作相邻的两台自助POS终端11的顾客，则可以减少照相机21的台数。但是，在该种情况下，就得在图8的ACT3中，取得与在摄像数据中所拍摄的人物的位置最接近的自助POS终端11的收银机号码。另外，例如，对于一台自助POS终端11也可以配置多台的照相机21。这样一来，能够减少自助POS终端11的死角，精度更好地检测出顾客的行动。

在上述实施例中，例示出在没有进行中止操作而进行商品登记操作或结算开始操作的自助POS终端11中，当识别出顾客的消失行动时，利用服务员终端14对服务员进行“商品登记操作中的顾客消失”或“结算操作中的顾客消失”的告知。

例如，也可以当没有进行中止操作而进行商品登记操作或结算开始操作的顾客拿着购买商品从自助POS终端11离开时，对服务员进行“商品登记操作中的顾客消失”或“结算操作中的顾客消失”的告知。即，也可以在顾客没有拿着购买商品而从自助POS终端11离开的情况下，对服务员不进行“商品登记操作中的顾客消失”或“结算操作中的顾客消失”的告知。在该种情况下，处理器81例如从照相机21的拍摄数据推定人、即顾客的骨骼。骨骼推定通过使用深度学习等的AI技术，即使是廉价的照相机21也能够实现。处理器81例如从通过骨骼推定得到的手的动作识别顾客拿着购买商品的动作。

例如，在没有进行中止操作而进行商品登记操作或结算开始操作的顾客从自助POS终端11离开的情况下，并在检测出通过秤单元51测量的购买商品(已商品登记结束的商品)的总重量在减少的方向上变化的情况下，告知部224也可以对于服务员进行“商品登记操作中的顾客消失”或“结算操作中的顾客消失”的告知。即，在通过秤单元51测量的购买商品的总重量没有变化而顾客从自助POS终端11离开的情况下，也可以不进行“商品登记操作中的顾客消失”或“结算操作中的顾客消失”的告知。总之，在没有识别出中止操作而识别出消失行动的情况下，当秤单元51的重量没有变化时，告知部224不进行顾客的消失的告知。在此情况下，购物篮台60是顾客用于放置装有要购买的商品的购物篮等的台子。因此，假定有顾客返回到卖场拿取忘买的商品时，拿走购物篮台60上的购物篮的情况。为此，即使在购物篮台60上具有秤，也检测秤单元51的重量的变化，而不检测购物篮台60的秤的重量的变化。由此，能够防止怀疑到诚实的顾客。此外，假定有顾客保持购物篮台60的购物篮不动而去拿取商品的情况。在购物篮台60具有秤的情况下，没有秤单元51的重量的变化及购物篮台60的重量的变化时，也可以不进行告知。此外，信息处理装置也可以是不识别中止操作的信息处理装置。

在上述实施例中，例示出当识别出顾客的出现行动时，处理器81对于该顾客赋予追踪ID的情况。例如，处理器81也可以根据照相机21的摄像数据，基于顾客穿着的服装识别出顾客。例如，顾客为了去卖场拿取忘买的商品而离开自助POS终端11，并再次返回到自助POS终端11时，因为从自助POS终端11离开的顾客和再次返回到自助POS终端11的顾客是同一人，所以服装是相同的。在该种情况下，处理器81即使识别出顾客的出现行动，作为同一人，不赋予新的追踪ID。例如，在当顾客带着未完成结算的购买商品离开自助POS终端11后，与该顾客不同的顾客在自助POS终端11进行购买商品的从登记到结算的操作的情况下，服装不同。该种情况下，处理器81作为不同的人而对该顾客赋予追踪ID。

在上述实施例中，例示出告知部224经由服务员终端14向服务员进行告知的情况。告知目的地不限定于服务员终端14。例如，也可将有异常行为的自助POS终端11作为告知目的地。此种情况下，也可以通过例如发光部65发出规定的颜色的光，从而向店员通知进行了消失行动的情况。或者，也可以在触摸面板41上以消息显示或声音告知进行了消失行动。

在上述实施例中，服务员终端14也可以内置作为显示控制装置13的功能。在此情况下，操作识别部222从服务员终端14取得监视图像SC的数据，识别顾客对自助POS终端11进行的操作。或者，操作识别部222也可以将从各自助POS终端11输出的数据信号经由例如路由器从通信网络15获得，基于该数据信号识别顾客对自助POS终端11进行的操作。

在上述实施例中，例示出自助POS终端11的情况。也可以是例如购买商品的登记由店员进行，结算由顾客进行的半自助方式的POS终端。在此情况下，在消息列表822中包含消息代码MC的“92”和“93”。即，在消息列表822中，不包含识别“商品登记操作中的顾客消失”的消息代码MC的“91”。

在上述实施例中，信息处理装置22也可以包括存储从各照相机21获得的摄像数据的存储部。例如，也可以在识别出顾客的消失行动或出现行动的情况下，再生在存储部获得的摄像数据，并验证消失行动或出现行动。

另外，也可以设定验证模式，根据服务员终端14再生的再生监视图像SC的数据识别顾客对自助POS终端11进行的操作。由此，例如，能够在服务员终端的显示设备中确认顾客是否进行了中止操作，同时，能够通过操作识别部222进行再生监视图像SC的字符识别来验证是否正确地存储了中止操作的状态ST。

此外，虽说明了本发明的几个实施例，但这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更等。另外，这些实施例及其变形均被包含在发明的范围中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。