自助收银台及其控制方法、装置和存储介质

技术领域

本发明涉及自动控制领域，具体涉及一种自助收银台及其控制方法、装置和存储介质。

背景技术

目前大型超市等消费场所通常会采用自助收银台来提升收银效率。现有的自助收银台主要包括台面和操作屏幕，二者位置保持固定。用户可以在台面上进行所购买商品的取放、扫码等操作，并在操作屏幕上进行密码输入、扫码支付等支付操作。

由于现有的自助收银台的台面和操作屏幕位置均保持固定，对于高矮不同的人而言，操作体验差异很大。对于较高的用户，需要采取弯腰或屈腿等动作来完成所购买商品的取放、扫码等操作，而在操作屏幕上进行密码输入等支付操作时，还需要采取低头、弯腰或屈腿等动作。而对于较矮的用户，则需要垫脚来完成所购买商品的取放、扫码等操作，还需要垫脚来在操作屏幕上完成支付操作。特别是对于某些带有人脸识别摄像头的操作屏幕而言，若人脸识别摄像头所处位置与用户不相适应时，用户在进行刷脸支付时，使用体验更差。因此，现有的自助收银台的台面和操作屏幕的位置与用户不相适应，给用户带来较差的使用体验，且降低了收银效率。

发明内容

有鉴于此，本发明实施例提供了一种自助收银台及其控制方法、装置和存储介质，以提升用户使用体验和收银效率。

根据第一方面，本发明实施例提供了一种自助收银台的控制方法，所述自助收银台包括可移动的台面和与所述台面相对位置保持固定的图像获取装置，所述方法包括：在用户靠近所述自助收银台时，通过所述图像获取装置获取所述用户的图像；在所述图像中确定出所述用户的至少部分身体区域；获取所述身体区域在所述图像中的位置坐标；根据所述位置坐标控制所述台面移动，以使得所述台面移动至与所述用户相适应的位置。

可选地，在所述获取所述身体区域在所述图像中的位置坐标的步骤中，所述位置坐标包括身体轮廓线的坐标、身体轮廓线的中心点坐标、所述身体区域内至少一个特征点的坐标、所述身体区域内多个特征点的中心点坐标中的至少一个。

可选地，所述根据所述位置坐标控制所述台面移动包括：获取所述位置坐标与预设坐标之间的偏差；根据所述偏差确定所述台面所需的移动量；控制所述台面移动相应的移动量。

可选地，所述根据所述位置坐标生成控制指令以控制所述台面移动包括：获取所述位置坐标与预设坐标之间的偏差方向；控制所述台面向减小所述偏差的方向移动，并获取所述台面移动后得到的位置坐标与所述预设坐标之间的偏差，直至所述偏差小于预设阈值。

根据第二方面，本发明实施例提供了一种自助收银台的控制装置，所述自助收银台包括可移动的台面和与所述台面相对位置保持固定的图像获取装置，所述装置包括：图像获取单元，用于在用户靠近所述自助收银台时，通过所述图像获取装置获取所述用户的图像；区域确定单元，用于在所述图像中确定出所述用户的至少部分身体区域；坐标确定单元，用于获取所述身体区域在所述图像中的位置坐标；移动控制单元，用于根据所述位置坐标控制所述台面移动，以使得所述台面移动至与所述用户相适应的位置。

根据第三方面，本发明实施例提供了一种自助收银台，包括：可移动的台面；图像获取装置，与所述台面相对位置保持固定，用于在用户靠近所述自助收银台时，获取所述用户的图像；处理器，用于在所述图像中确定出所述用户的至少部分身体区域，获取所述身体区域在所述图像中的位置坐标，并根据所述位置坐标生成控制指令；驱动装置，用于根据所述处理器发出的所述控制指令，驱动所述台面移动至与所述用户相适应的位置。

可选地，所述处理器用于获取所述位置坐标与预设坐标之间在竖直方向和/或水平方向上的偏差，并根据所述偏差生成所述控制指令。

可选地，所述驱动装置包括：竖直方向驱动装置，用于驱动所述台面在竖直方向上移动；和/或水平方向驱动装置，用于驱动所述台面在水平方向上移动。

可选地，所述图像获取装置通过固定杆与所述台面固定连接，所述图像获取装置包括短焦距摄像头。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述第一方面中任一项所述的方法。

根据本发明实施例的自助收银台及其控制方法、装置和存储介质，系统根据图像获取装置所获取到的用户图像中至少部分身体区域在整个图像中的位置坐标，控制台面移动至与用户相适应的位置，由于图像获取装置与台面相对位置保持固定，图像获取装置也随之移动至与用户相适应的位置，从而可以方便用户完成所购买商品的取放、扫码、支付等操作，提高了用户使用体验，并提升了收银效率。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1A示出了根据本发明实施例的自助收银台的正视图；

图1B示出了根据本发明实施例的自助收银台的侧视图；

图2示出了根据本发明实施例的自助收银台的控制方法的流程图；

图3A至图3D示例性地示出了根据本发明实施例的自助收银台在使用过程中的示意图；

图4示出了根据本发明另一实施例的自助收银台的控制方法的流程图；

图5示出了根据本发明另一实施例的自助收银台的控制方法的流程图；

图6示出了根据本发明实施例的自助收银台的控制装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1A和图1B示出了根据本发明实施例的自助收银台，该自助收银台可以包括底座11、支撑柱12、台面13、固定杆14、操作屏幕15、图像获取装置16和驱动件17。其中，底座11设置在地面上，支撑柱12与底座11相固定，用于支撑台面13和操作屏幕15，固定杆14用于使台面13和操作屏幕15的相对位置保持固定，操作屏幕15上设置有图像获取装置16，图像获取装置16可以用于获取用户的图像，驱动件17与固定杆14固定连接，当驱动件17移动时可以带动台面13、操作屏幕15以及图像获取装置16移动。

由于本发明实施例中的自助收银台的台面13、操作屏幕15以及图像获取装置16可以在驱动件17的带动下自由移动，从而可以使得台面13、操作屏幕15以及图像获取装置16的位置与用户相适应。作为一种可选实施方式，驱动件17不仅可以在竖直方向上自由移动，还可以在水平方向上自由移动，例如通过设置在支撑柱12上的竖直方向驱动装置和水平方向驱动装置，以使得台面13、操作屏幕15以及图像获取装置16不仅可以在竖直方向上与用户相适应，还可以在水平方向上与用户所站立的位置相适应。

在本发明实施例的自助收银台的一些可选实施方式中，固定杆14可以不是必须的，例如可以将台面13和操作屏幕15直接固定在一起，以使得台面13和操作屏幕15的相对位置保持固定，由于图像获取装置16固定设置在操作屏幕15上，从而台面13和图像获取装置16的相对位置也保持固定。在本实施例中，驱动件17可以与固定件14固定连接，也可以与台面13或是操作屏幕15固定连接。在本实施例中，图像获取装置16可以设置在操作屏幕15上，也可以设置在固定杆14或是台面13上，只要能够获取到用户的图像，且与台面13的相对位置保持固定即可。

在本发明实施例的自助收银台的一些可选实施方式中，操作屏幕15也可以不是必须的，当不存在操作屏幕15时，相关操作信息可以通过蓝牙、WIFI等无线传输方式传输给用户的用户终端，该用户终端例如可以是智能手机、平板电脑等，利用用户终端的显示屏代替自助收银台的操作屏幕，从而用户可以在用户终端的显示屏上执行相关操作，自助收银台无需设置操作屏幕，以降低自助收银台的成本。在本实施方式中，台面13和图像获取装置16的相对位置保持固定，图像获取装置16可以设置在固定杆14或是台面13上，只要能够获取到用户的图像，且与台面13的相对位置保持固定即可。

图2示出了根据本发明实施例的自助收银台的控制方法，该自助收银台包括可移动的台面和与台面相对位置保持固定的图像获取装置，该控制方法可以包括如下步骤：

S21.在用户靠近自助收银台时，通过图像获取装置获取用户的图像。

可以采用各种方式来检测自助收银台前是否有用户存在，例如可以通过图像获取装置实时获取图像，当通过特定算法检测到所获取的图像中存在人时，即可判断自助收银台前有用户存在。例如还可以通过红外感应器来检测自助收银台前是否有用户存在，例如还可以在自助收银台前的地面设置重量传感器来检测自助收银台前是否有用户存在。

当系统检测到自助收银台前有用户存在时，即可以通过图像获取装置获取用户的图像。由于不同用户高矮可能存在较大差异，为了能够保证可以获取到用户的图像，图像获取装置可以采用短焦距摄像头，以获得较大的视角范围，保证能够获取到用户的图像，例如可以采用鱼眼摄像头。由于通过短焦距镜头获取到的图像通常会有一定的畸变，作为本发明实施例的一种可选实施方式，可以对所获取的用户图像进行畸变校正。

在图3A的示例中，可以看出自助收银台的台面、操作屏幕和图像获取装置对于用户来说均过高了，不便于用户操作。在此情况下，图像获取装置所获取到的用户的图像例如可以如图3B所示，用户的身体区域位于整个图像偏下的位置。

S22.在图像中确定出用户的至少部分身体区域。

可以采用图像获取装置获取用户身体的全部或部分区域的图像，对于仅获取用户部分身体区域的情况而言，若图像获取装置的安装位置较高，则可以获取用户上半身的图像，若图像获取装置的安装位置较低，则可以获取用户下半身的图像。去除掉图像中的背景图像之后，即可以得到用户的全部或部分身体区域，在图3B的示例中，由于台面相对于用户而言位置过高，使得图像获取装置相对于用户而言位置过高，图像获取装置仅获取到用户上半部分身体区域的图像。本领域技术人员应当理解，若图像获取装置的镜头焦距足够短，例如为鱼眼摄像头，能够获取到用户全部身体区域的图像，若图像获取装置相对于用户而言位置过高，则所获取的用户全部身体区域的图像仍将位于整个图像偏下的位置。

S23.获取身体区域在图像中的位置坐标。

在本实施例中，位置坐标可以包括身体轮廓线的坐标、身体轮廓线的中心点坐标、身体区域内至少一个特征点的坐标、身体区域内多个特征点的中心点坐标中的至少一个。图3C中以用户的身体轮廓线为例，图3C中以虚线表示系统所识别出的身体轮廓线，可以采用各种轮廓检测算法来识别身体轮廓线，在所识别出的轮廓线上选取若干点，这些点的坐标可以共同构成轮廓线的坐标，以此作为身体区域在图像中的位置坐标。本发明实施例并不限于此，作为一种可选实施方式，还可以计算构成轮廓线的若干点的中心点坐标来作为身体区域在图像中的位置坐标。作为本实施例的其他一些可选实施方式，还可以在身体区域中选取若干特征点，例如躯干、四肢的关节点，头部五官的位置等，将这些特征点的坐标或是这些特征点的中心点坐标来作为身体区域在图像中的位置坐标。

S24.根据位置坐标控制台面移动，以使得台面移动至与用户相适应的位置。

在图3C的示例中，所得到的身体区域在图像中的位置坐标处于整个图像偏下的位置，系统由此可以判断出图像获取装置相对于用户位置过高，由于图像获取装置与台面的相对位置保持固定，当系统控制自助收银台的台面向下移动时，图像获取装置也随之向下移动，最终所得到的用户身体区域在图像中的位置处于一个适当的位置，例如处于整个图像的中部，此时台面的位置与用户所处位置相适应。

当然，若所得到的身体区域在图像中的位置坐标处于整个图像偏上的位置，系统由此可以判断出自助收银台的台面和图像获取装置相对于用户位置过低，则可以控制台面向上移动。如上文所述，台面除了可以在竖直方向上移动外，还可以在水平方向上移动，若步骤S23中所得到的身体区域在图像中的位置坐标处于整个图像偏左的位置，可以控制台面向左移动；若步骤S23中所得到的身体区域在图像中的位置坐标处于整个图像偏右的位置，可以控制台面向右移动。

通过本发明实施例的自助收银台的控制方法，系统根据图像获取装置所获取到的用户图像中至少部分身体区域在整个图像中的位置坐标，控制台面移动至与用户相适应的位置，由于图像获取装置与台面相对位置保持固定，图像获取装置也随之移动至与用户相适应的位置，从而可以方便用户完成所购买商品的取放、扫码、支付等操作，提高了用户使用体验，并提升了收银效率。

图4示出了根据本发明另一实施例的自助收银台的控制方法，该自助收银台包括可移动的台面和与台面相对位置保持固定的图像获取装置，该控制方法可以包括如下步骤：

S41.在用户靠近自助收银台时，通过图像获取装置获取用户的图像，具体内容可以参考步骤S21的描述。

S42.在图像中确定出用户的至少部分身体区域，具体内容可以参考步骤S22的描述。

S43.获取身体区域在图像中的位置坐标，具体内容可以参考步骤S23的描述。

S44.获取位置坐标与预设坐标之间的偏差。

返回至图3A至图3D的示例，系统内预存有台面位置与用户相适应时的预设坐标，如图3D中较密虚线32所构成的身体轮廓线，与之相应的较疏虚线31所构成的身体轮廓线则是在步骤S43中所得到的用户实际身体轮廓线，在图3D的示例中，用户实际身体轮廓线31位于预设身体轮廓线32的下方位置，由此系统可以获取到用户实际身体轮廓线31与预设身体轮廓线32之间的偏差，该偏差为图像坐标系下的偏差。

S45.根据该偏差确定台面所需的移动量。

由于用户在自助收银台前进行取放、扫码、支付等操作时，均是靠近收银台站立，即用户距离图像获取装置的水平距离是大致保持不变的，并且图像获取装置所处的高度、图像获取装置的镜头参数对于系统而言是已知的，从而系统可以根据图像获取装置所处的高度、图像获取装置的镜头参数、用户距离图像获取装置的水平距离以及步骤S44中所得到的偏差确定台面所需的移动量。当然，为了使得所确定的移动量更加精准，系统也可以采用机器学习的方式，采集多个样本数据进行训练以得到更为精准的模型，从而将偏差输入到训练得到的模型就可以直接得到台面所需的移动量。

S46.控制台面移动相应的移动量。

系统在得到台面所需的移动量，就可以发出控制指令以台面移动相应的移动量，从而使得台面移动至与用户相适应的位置。

通过本发明实施例的自助收银台的控制方法，系统根据图像获取装置所获取到的用户图像中至少部分身体区域在整个图像中的位置坐标，控制台面移动至与用户相适应的位置，由于图像获取装置与台面相对位置保持固定，图像获取装置也随之移动至与用户相适应的位置，从而可以方便用户完成所购买商品的取放、扫码、支付等操作，提高了用户使用体验，并提升了收银效率。

图5示出了根据本发明另一实施例的自助收银台的控制方法，该自助收银台包括可移动的台面和与台面相对位置保持固定的图像获取装置，该控制方法可以包括如下步骤：

S51.在用户靠近自助收银台时，通过图像获取装置获取用户的图像，具体内容可以参考步骤S21的描述。

S52.在图像中确定出用户的至少部分身体区域，具体内容可以参考步骤S22的描述。

S53.获取身体区域在图像中的位置坐标，具体内容可以参考步骤S23的描述。

S54.获取位置坐标与预设坐标之间的偏差方向。

仍然回到图3D的示例，在该示例中，用户实际身体轮廓线31位于预设身体轮廓线32的下方，从而即得到了位置坐标与预设坐标之间的偏差方向。

S55.控制台面向减小偏差的方向移动，并再次获取台面移动后得到的位置坐标与预设坐标之间的偏差。

在图3D的示例中，由于用户实际身体轮廓线31位于预设身体轮廓线32的下方，控制台面向下移动即可以减小偏差，例如可以采用步进电机使得台面向下移动，例如在移动一个步程之后再次获取台面移动后得到的位置坐标与预设坐标之间的偏差。

S56.判断台面移动后得到的偏差是否小于预设阈值，当小于预设阈值时，说明台面已移动至与用户相适应的位置，则移动结束；当大于或等于预设阈值时，说明台面与用户之间的位置偏差仍然较大，则需要返回至步骤S55，以进一步减小台面与用户之间的位置偏差。

本实施例中的自助收银台的控制方法，通过不断比对图像获取装置所获取的位置坐标与预设坐标之间的偏差，并不断移动台面以减小该偏差，而使得台面移动至与用户相适应的位置。与图4所示的实施例相比，由于本实施例中的控制方法存在不断比对并控制移动的过程，因此将台面移动至与用户相适应的位置所需耗费的时间较长，但是与图4所示的实施例中根据偏差直接计算出台面所需的移动量相比，对于各个用户均可以准确实现将台面移动至与用户相适应的位置，控制的精准性更高。

相应地，如图6所示，本发明实施例还提供了自助收银台的控制装置，该自助收银台包括可移动的台面和与所述台面相对位置保持固定的图像获取装置，该控制装置可以包括：

图像获取单元61，用于在用户靠近所述自助收银台时，通过图像获取装置获取用户的图像，具体内容可以参考步骤S21的描述；

区域确定单元62，用于在图像中确定出用户的至少部分身体区域，具体内容可以参考步骤S22的描述；

坐标确定单元63，用于获取身体区域在图像中的位置坐标，具体内容可以参考步骤S23的描述；

移动控制单元64，用于根据位置坐标控制台面移动，以使得台面移动至与用户相适应的位置，具体内容可以参考步骤S24的描述。

通过本发明实施例的自助收银台的控制装置，系统根据图像获取装置所获取到的用户图像中至少部分身体区域在整个图像中的位置坐标，控制台面移动至与用户相适应的位置，由于图像获取装置与台面相对位置保持固定，图像获取装置也随之移动至与用户相适应的位置，从而可以方便用户完成所购买商品的取放、扫码、支付等操作，提高了用户使用体验，并提升了收银效率。

作为本发明实施例的一种可选实施方式，上述移动控制单元64可以包括：

偏差子单元，用于获取位置坐标与预设坐标之间的偏差，具体内容可以参考步骤S44的描述；

计算子单元，用于根据偏差确定台面所需的移动量，具体内容可以参考步骤S45的描述；

控制字单元，用于控制台面移动相应的移动量，具体内容可以参考步骤S46的描述。

作为本发明实施例的另一种可选实施方式，上述移动控制单元64可以包括：

偏差子单元，用于获取位置坐标与预设坐标之间的偏差方向，具体内容可以参考步骤S54的描述；

控制子单元，用于控制台面向减小偏差的方向移动，并获取台面移动后得到的位置坐标与预设坐标之间的偏差，直至偏差小于预设阈值，具体内容可以参考步骤S55和S56的描述。

根据本发明实施例的自助收银台的控制装置的各个组成单元的具体细节可以对应参阅图1至图5所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

返回至图1A和图1B，本发明实施例还提供了一种自助收银台，该自助收银台可以包括可移动的台面13和图像获取装置16，图像获取装置16与台面13相对位置保持固定，用于在用户靠近自助收银台时，获取用户的图像。作为一种可选实施方式，台面13上可以设置有扫码器或NFC读码器，通过扫描用户所选购商品上的识别码或是通过读取所选购商品上的NFC标签来获取相应的商品信息。台面13上还可以包括重量传感器，以用户获取用户所选购商品的重量信息。作为一种可选实施方式，图像获取装置16通过固定杆14与台面13固定连接，图像获取装置16可以包括短焦距摄像头，优选地为鱼眼摄像头，以获得较大的视角范围。

该自助收银台还可以包括处理器(未示出)，其用于在图像中确定出用户的至少部分身体区域，获取身体区域在图像中的位置坐标，并根据位置坐标生成控制指令。其中，处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。处理器通过运行存储在存储器中的非暂态软件指令，从而执行处理器的各种功能应用以及数据处理，以实现上述控制功能。存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

该自助收银台还可以包括驱动装置，用于根据处理器发出的控制指令，驱动台面移动至与用户相适应的位置。该驱动装置可以是电机，优选地为步进电机。作为一种可选实施方式，该驱动装置可以包括竖直方向驱动装置和水平方向驱动装置中的至少一个，优选地包括竖直方向驱动装置和水平方向驱动装置这两者。其中，竖直方向驱动装置用于驱动台面在竖直方向上移动，水平方向驱动装置用于驱动台面在水平方向上移动，从而可以使得台面在竖直方向上和水平方向上均与用户的位置相适应。

作为本发明实施例的一种可选实施方式，处理器用于获取位置坐标与预设坐标之间在竖直方向和/或水平方向上的偏差，并根据该偏差生成控制指令，以使得台面移动至与用户相适应的位置。更具体地，在一种可选实施方式中，处理器可以用于获取所述位置坐标与预设坐标之间的偏差，根据该偏差确定台面所需的移动量，并且控制台面移动相应的移动量，其具体内容可以参考图4所示的实施例的相关描述。在另一种可选实施方式中，处理器可以获取位置坐标与预设坐标之间的偏差方向，控制台面向减小该偏差的方向移动，并获取台面移动后得到的位置坐标与预设坐标之间的偏差，直至偏差小于预设阈值，其具体内容可以参考图5所示的实施例的相关描述。

通过本发明实施例的自助收银台，处理器根据图像获取装置所获取到的用户图像中至少部分身体区域在整个图像中的位置坐标，控制台面移动至与用户相适应的位置，由于图像获取装置与台面相对位置保持固定，图像获取装置也随之移动至与用户相适应的位置，从而可以方便用户完成所购买商品的取放、扫码、支付等操作，提高了用户使用体验，并提升了收银效率。

上述自助收银台的具体细节可以对应参阅图1至图5所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程可以通过计算机程序来指令相关的硬件来完成，所述程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。