一种线下顾客行为识别方法、系统、存储介质及终端

技术领域

本发明涉及行为识别领域，特别是涉及一种线下顾客行为识别方法、系统、存储介质及终端。

背景技术

随着数据挖掘、人工智能的快速发展，海量、丰富的用户购物行为数据可以为零售商带来巨大的商业利益。基于这些数据，零售商可以进行更加准确的市场研究、制定更为科学的营销策略，同时还可以将购物行为与每个用户进行关联，构建用户画像，从而提供更为精准的个性化服务。线上用户行为数据可以通过追踪用户的网页浏览、点击记录以及商品评论、购物车信息、购买记录等轻松获得，但是在线下，大多数的实体店只能得到用户最终的购买清单数据，对于一些更深层次的用户行为信息，如用户在购物过程中查看过哪些商品以及在每个商品上的停留时间，却很难获得，但只有采集到这些信息零售商才能更全面地了解用户的兴趣爱好。

现有的追踪顾客线下行为的方法主要分为两种，一种是利用人工的方式收集数据，另外一种则是利用感知设备自动识别顾客行为。人工的方法一般是通过实体店内工作人员的肉眼观察记录或者对顾客的问卷调查，此类方法需要耗费大量的人力成本，缺乏现实实施的可行性。自动识别的方法则主要依赖于摄像头或智能手机识别顾客的行为或对其进行位置追踪。基于摄像头的方法通过在店内部署大量的摄像头捕捉顾客购物过程的视频，并通过视频图像处理技术识别顾客的行为，但是视频处理需要消耗大量的计算资源，而且对光线状况、摄像头与顾客的相对位置等都有着较高的要求。另外，如果要对顾客进行个性化营销，则需要获取其身份信息，但无论是面部识别还是基于身体特征的识别在用户移动性较强的实体店内都无法达到很好的识别效果。基于智能手机的方法利用手机上的惯性传感器或WiFi信号、蓝牙信号追踪顾客在店内的位置，手机对顾客具有唯一的标识作用，因此通过手机可以很容易将顾客位置与其身份相关联。这种方法的缺点是只能获得顾客感兴趣的商品区域，无法识别出顾客有无翻看过商品以及翻看的是哪件商品。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种线下顾客行为识别方法、系统、存储介质及终端，用于解决现有技术中无法有效识别线下顾客的购物行为的技术问题。

为实现上述目的及其它相关目的，本发明的第一方面提供一种线下顾客行为识别方法，包括：采集顾客的运动状态数据并判断顾客的运动状态，包括行走状态和非行走状态；在判断顾客的运动状态为非行走状态的情况下，采集顾客的手部动作数据并识别出与商品发生交互行为的候选手势；采集所述候选手势对应时间的商品动作数据，并识别出与顾客发生交互行为的候选商品；基于相邻所述候选手势之间的手部动作数据和对应时间的所述候选商品的商品动作数据，分别构建手部动作序列和商品动作序列；基于所述手部动作序列和所述商品动作序列的相似性，获取顾客与商品的匹配结果。

于本发明的第一方面的一些实施例中，所述线下顾客行为识别方法包括：通过可穿戴设备采集顾客的所述运动状态数据和手部动作数据；通过RFID系统采集所述商品动作数据。。

于本发明的第一方面的一些实施例中，所述线下顾客行为识别方法包括：通过识别顾客与商品是否同步发生预设动作来实时获取所述顾客与商品的匹配结果。

于本发明的第一方面的一些实施例中，所述预设动作包括摇一摇手势；所述顾客与商品的匹配结果的实时获取方式包括：基于所述手部动作数据获取手部折返频次信息，并基于傅里叶变换获取所述手部动作数据的周期，以识别顾客是否发生所述摇一摇手势；在识别出顾客发生摇一摇手势的情况下，基于对应时间内的所述商品动作数据判断商品是否发生所述摇一摇手势；基于所述手部动作数据与所述商品动作数据的时间重叠度及对应的信号最大能量频率差，判断所述摇一摇手势的同步性以实时匹配对应的顾客和商品。

于本发明的第一方面的一些实施例中，所述候选手势的获取方式包括：以顾客的肘部为世界坐标系的原点，基于四元数计算顾客手部相对于肘部的位移量；当所述位移量达到预设值时判断顾客与商品发生交互动作，获取所述候选手势。

于本发明的第一方面的一些实施例中，所述手部动作数据包括加速度数据；所述手部动作序列的构建方式包括：将所述加速度数据每个坐标轴的分量分割为多个时间窗口的数据；计算每个所述时间窗口的熵值，并与预设阈值对比判断各个窗口的手部动作，包括手部运动状态和手部静止状态；采用二进制方式表示所述手部运动状态和手部静止状态以构建所述手部动作序列。

于本发明的第一方面的一些实施例中，所述顾客的运动状态的判断方式包括：获取顾客的运动状态数据，包括重力加速度数据和水平加速度数据；将所述重力加速度数据和水平加速度数据分割为多个时间窗口的数据，并计算每个窗口的时域特征值和频域特征值；基于所述时域特征值和频域特征值构建决策树来判断顾客的运动状态。

为实现上述目的及其它相关目的，本发明的第二方面提供一种顾客行为识别系统，包括：运动状态判断模块，用于采集顾客的运动状态数据并判断顾客的运动状态，包括行走状态和非行走状态；候选手势识别模块，用于在判断顾客的运动状态为非行走状态的情况下，采集顾客的手部动作数据并识别出与商品发生交互行为的候选手势；候选商品识别模块，用于采集所述候选手势对应时间的商品动作数据，并识别出与顾客发生交互行为的候选商品；动作序列构建模块，基于相邻所述候选手势之间的手部动作数据和对应时间的所述候选商品的商品动作数据，分别构建手部动作序列和商品动作序列；匹配模块，基于所述手部动作序列和所述商品动作序列的相似性，获取顾客与商品的匹配结果。

为实现上述目的及其它相关目的，本发明的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述线下顾客行为识别方法。

为实现上述目的及其它相关目的，本发明的第四方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述线下顾客行为识别方法。

如上所述，本发明提出的线下顾客行为识别方法、系统、存储介质及终端，具有以下有益效果：能够同时识别顾客、与顾客交互的商品以及顾客与商品之间的交互行为；通过顾客手部的可穿戴电子设备追踪顾客的动作，利用RFID检测商品动作，并对顾客动作和商品动作进行相似性匹配，有效地降低了用户和环境多样性对顾客行为识别的影响，获得顾客准确的购物信息，不仅便于商家为顾客提供个性化的服务，也便于顾客建立自己的线下购物日志，实时获取商品相关信息，快速结账等等，有利于提高线下顾客的购物体验。

附图说明

图1显示为本发明一实施例中一种线下顾客行为识别方法流程示意图。

图2显示为本发明一实施例中另一种线下顾客行为识别方法流程示意图。

图3显示为本发明一实施例中一种线下顾客行为识别系统结构示意图。

图4显示为本发明一实施例中一种电子终端的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其它优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，在下述描述中，参考附图，附图描述了本发明的若干实施例。应当理解，还可使用其它实施例，并且可以在不背离本发明的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本发明。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其它特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

本发明提出一种线下顾客行为识别方法、系统、存储介质及终端，用于解决现有技术中通过人力调研或摄像监控获取线下顾客购物信息存在的弊端。

为了使本发明的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本发明实施例中的技术方案进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例一

如图1所示，本实施例提出一种线下顾客行为识别方法的流程示意图，其包括步骤S11～S15，可具体表述如下：

步骤S11.采集顾客的运动状态数据并判断顾客的运动状态，包括行走状态和非行走状态(即顾客停下来可能查看或拿取商品时的状态)。例如，可通过可穿戴设备内设的惯性传感器采集顾客的运动状态数据，如加速度数据、角速度数据等。顾客的行走状态有着一定的多样性，如有无摆臂、打电话、看手机、发送短信、上楼梯、下楼梯以及手放在上衣或下衣的口袋里等等。顾客可以是进入实体店后穿戴该可穿戴设备，也可以是该可穿戴设备进入店内后激活开始工作。

本实施例以智能手表为例进行说明，通过智能手表中的惯性传感器采集顾客基于手表自身坐标系的加速度数据Acc＝(A

其中，G＝(g

加速度A

在本实施例较佳的实施方式中，将计算得到的A

步骤S12.在判断顾客的运动状态为非行走状态的情况下，采集顾客的手部动作数据并识别出与商品发生交互行为的候选手势。当顾客处于非行走状态亦即停下来时，就有可能与商品发生交互行为，为此需要检测顾客这段时间内是否有拿起、放回等手势动作，以减少后续进行运动序列匹配时的冗余数据，因此，优选智能手表、智能腕带、智能手环、智能戒指或其它以手腕为支撑的或可佩戴于手部的可穿戴设备。

在本实施例较佳的实施方式中，所述候选手势的识别方式包括：采集顾客的手部动作数据；基于所述手部动作数据计算预设时间内可穿戴设备(如智能手表)的位移量；基于所述位移量识别出候选手势。本实施方式识别候选手势的基本依据是：顾客在拿放商品时的动作方式虽然丰富多样，但会有一个共同的特征，即顾客在伸手时手部会产生一个较大的位移，所以可通过检测单位时间内可穿戴设备位移的大小判断是否有拿放商品的动作产生。虽然顾客在查看商品时或者其他的一些手势动作也有可能会使手部有较大的位移，但是由于系统后续还会通过动作序列匹配进一步确认动作，因此这一步并不需要非常高的识别准确率，仅需将候选手势识别出来，即将有可能是拿放商品的动作检测出来。由于顾客拿起、放回商品时可穿戴设备上的惯性传感器信号会因顾客、商品、商品位置、拿放方式等不同而呈现出明显不同的变化特征，因此，本实施方式避免使用这些信号变化作为特征进行手势识别，排除了上述因素的影响，识别过程简单高效。

进一步地，候选手势识别过程中需对可穿戴设备的位移量进行计算。在一些示例中，将惯性传感器数据分成1s时长、50％重叠的窗口并计算每个时间窗口内的手表位移；由可穿戴设备提供的基于自身坐标系的加速度Acc、从自身坐标系转换到世界坐标系的转换矩阵R就可以得到可穿戴设备在世界坐标系中的加速度Acc

优选的，本实施例提出一种基于四元数的位移量计算方式：假设顾客在拿放商品时，肘部保持静止，而只有前臂和手部绕肘部运动。基于这个假设，只需追踪手部可穿戴设备相对于手肘的轨迹即可计算其位移。尽管很多情况下，顾客的肘部也会经常随着上臂的运动而运动，但是前臂和手部绕肘部的运动依然在整个动作中占据主导地位。因此，通过可穿戴设备提供的四元数来追踪其绕肘部的运动，而四元数可以很好地描述3D空间中一个向量绕一个旋转轴的旋转运动。可穿戴设备提供的四元数描述的是其从与世界坐标系平行的姿态到当前姿态的旋转。由于本实施例只需要通过位移的相对大小来检测是否有拿放商品的动作产生，不需要计算准确的位移大小，所以可假设可穿戴设备到肘部的距离为单位距离1，以肘部为世界坐标系的原点，当可穿戴设备与世界坐标系平行时其坐标可以由四元数计算。本实施方式提出的位移量的计算可有效降低位移积累误差，提高顾客手部动作识别的准确性。

步骤S13.采集所述候选手势对应时间的商品动作数据，并识别出与顾客发生交互行为的候选商品。本实施例通过RFID系统采集所述商品动作数据，其中，RFID系统由读写器(Reader)、电子标签(Tag)和数据管理系统三部分组成，电子标签贴于商品上，读写器用来读电子标签的天线部署在天花板或货架上，数据管理系统在服务器上。通过读写器读取商品对应电子标签的运动数据作为商品动作数据。

在本实施例较佳的实施方式中，通过电子标签信号的相位变化量表征商品的位移量，识别出候选手势对应时间内位移量超过预设值的商品为与顾客发生交互行为的候选商品，对应的商品动作数据即为候选商品动作数据。

步骤14.基于相邻所述候选手势之间的手部动作数据和对应时间的所述候选商品的商品动作数据，分别构建手部动作序列和商品动作序列。所述手部动作数据包括加速度数据。所述手部动作序列的构建方式包括：将所述加速度数据每个坐标轴的分量分割为多个时间窗口的数据；计算每个所述时间窗口的熵值，并与预设阈值对比判断获取顾客各个窗口的手部动作，包括手部运动状态和手部静止状态；采用二进制方式表示所述手部运动状态和手部静止状态以构建所述手部动作序列。所述商品动作序列的构建方式与所述手部动作序列的构建方式类似。

具体的，所述时间窗口的熵值的计算公式可表示如下：

其中，P表示信号值的离散概率分布，N表示计算离散概率时一共将信号的值分成了多少个离散单元(bins)。

在一些示例中，当顾客用佩戴手表的手拿起商品并查看时，手表与商品的运动状态应该同步。考虑到惯性传感器数据和RFID相位信号的异构性以及单纯用一个RFID标签很难计算商品的轨迹、速度、旋转等物理量，优选通过运动状态和静止状态两个状态来表征手表与商品交互时的状态。手表在运动时，其加速度信号会有明显的波动，反之，则处于稳定的状态，所以可以通过信号数据的熵来检测手表的状态：系统将信号分成0.5秒、50％重叠的时间窗口，然后计算每个窗口的熵。如果加速度三个轴的信号的熵，有两个轴超过一个阈值就认为手表处于运动状态，用1表示，反之则处于静止状态，用0表示。所以可以得到手表二进制的状态序列，如1010101100……，系统只计算每两个候选手势之间的信号数据对应的状态序列。同理，也可以得到候选商品对应时间内的状态序列。

步骤S15.基于所述手部动作序列和所述商品动作序列的相似性，获取顾客与商品的匹配结果。其中，动作序列的相似性的判断可以通过相似系数、匹配系数、一致度等进行度量，相似系数又包括关联系数、距离系数、内积系数、信息系数、概率系数等等。

优选的，利用杰卡德相似系数(Jaccard Index)来衡量两个二进制序列的相似性，若杰卡德系数大于预设阈值，判断顾客手部动作与商品运动同步，即可实现顾客与商品的匹配；若一件商品与连续的多个候选手势都可以匹配，则将间隔时间最长的两个候选手势作为拿放商品的动作，并记录相应的商品浏览时间信息；若一件商品与多位顾客或一位顾客与多件商品在同一时间内都满足匹配条件，则选取相似性最高的手部动作序列和商品动作序列对应的顾客和商品作为匹配结果。由于商店里的商品在大部分的时间内都是静止的，运动状态比静止状态在相似性衡量中更重要，可忽略两个二进制序列中值都是0的位置，因此，本实施方式尤其适用于本发明的应用场景。

进一步地，通过模拟实体店的实验室环境实验对本实施例提出的方法进行评估：

房间面积是7.8×10.2m^2。房间内部署了4个货架，分别放有贴有RFID标签的玩具、图书、衣服和零食，总共有80件商品。实验中使用两台读写器读取标签，每个读写器都配有两个天线。四个天线分别用于读取每个货架上的标签。

实验共招募了8名志愿者来模拟商店中的顾客行为，并使用房间内的摄像头记录志愿者的真实行为。志愿者通过戴有手表的手与商品交互，一次只能拿放一件商品。实验构建了三组志愿者与商品交互的数据集：(1)实验场景中只有一名志愿者，要求志愿者对所有的商品都执行一次完整的交互行为，包括拿起、查看和放回。用户在拿放商品时可以采用不同的方式，如用户放回一件商品后手不收回来直接拿起旁边的商品。(2)实验场景中有两名志愿者，其中一名志愿者在与商品交互时，另一名志愿者在附近走动，或与另一件商品交互。这一数据集可以评估本方法的抗干扰能力以及动作序列匹配对不同“用户-商品”交互行为的区分能力。(3)实验场景中分别有2、4、6名志愿者，其中一半的人佩戴手表，另外一半则没有。志愿者随机拿放货架上的商品。这一数据集是为了检测本方法在真实场景下的性能。由于实验空间比较狭小，所以实验场景中最多只有6名志愿者。为了产生更多的运动行为，志愿者尽量在整个房间内走动，而不是只在几个货架之间。

本方法在检测出候选手势和候选标签后，会通过运动状态序列匹配进一步关联顾客与商品。以召回率和精确率表示本方法的性能。召回率指真实的“顾客——商品”交互事件中被本方法检测出的比例，而精确率则是本方法检测出的交互事件中正确的比例。在场景中人数较少时，如数据集1或数据集3中只有两个人的场景，本方法可以非常准确地识别出顾客与商品的交互行为(召回率和精确率都可以达到95％以上)。而当场景中的干扰因素增多时，如数据集2或数据集3中6个人的场景，由于候选标签误报率的增加，本方法的匹配性能会有所下降，但是在6个人的场景下，召回率和精确率依然可以达到85％以上，而在数据集2中，即便是两名志愿者同时拿起和放回两件商品，本方法也可以达到83％的匹配准确率。实验结果充分说明了本方法的有效性和鲁棒性。

在一些实施方式中，所述方法可应用于控制器，所述电控单元例如为ARM(Advanced RISC Machines)控制器、FPGA(Field Programmable Gate Array)控制器、SoC(System on Chip)控制器、DSP(Digital Signal Processing)控制器、或者MCU(Microcontroller Unit)控制器等等。在一些实施方式中，所述方法也可应用于包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其它输出或控制设备，以及外部端口等组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑。在另一些实施方式中，所述方法还可应用于服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成。

实施例二

如图2所示，本实施例提出另一种线下顾客行为识别方法的流程示意图，其中，智能手表对顾客进行行走检测，并在检测到顾客处于非行走状态时进行候选手势识别；RFID标签设于商品上，通过读取标签的信号进行候选标签的选择(同前文候选商品的识别)；基于候选手势和候选标签进行运动序列构建，并对构建的运动序列进行匹配，从而获取顾客(User)与商品(item)的匹配结果。本实施例上述方法流程与实施例一类似，故此不再赘述。

在本实施例较佳的实施方式中，所述线下顾客行为识别方法还包括：通过识别顾客与商品是否同步发生预设动作来实时获取所述顾客与商品的匹配结果。由于动作序列匹配需要在交互行为完成后才能给出结果，因此无法在顾客查看商品时就实时将二者关联到一起。为了使顾客可以实时获取商品更全面的信息如优惠、评论等，本实施例提出一种基于识别顾客和商品是否同步发生摇一摇手势的实时匹配方式，即顾客在查看商品时，可以摇动几下商品，通过检测这一过程中可穿戴电子设备与RFID标签运动的同步性实现顾客与商品的匹配。本实施方式可举例说明如下(以智能手表为例)：

步骤S21.通过手表检测顾客的摇一摇手势。顾客用类似挥手的手势摇动商品，达到预设频次。摇动手势近似一种摆动运动，所以可以通过一定时间内的折返点个数和信号的周期性来检测。当手表摆动到折返点时，其角速度为0，但是由于噪声的影响，以及摇动手势和商品的多样性，角速度的过零点并不一定对应折返点。优选的，设定只有当角速度信号中两个过零点中间的信号最大值或最小值大于一个阈值时才认为这两个过零点对应着手表的折返点。同时，通过傅里叶变换检测信号的周期性。当手表其中一个轴上的角速度信号在5秒时间内的折返点个数大于5并且其傅里叶变换后频谱图的最大值也大于一个阈值时，判断顾客执行了摇一摇手势，并将第一个折返点和最后一个折返点中间的数据作为手势对应的信号。

步骤S22.将检测出的摇一摇手势对应时间段内相位变化超过一定阈值的标签对应的商品作为候选商品，检测其标签是否呈现出对应的信号变化特征，标签信号相位表征的是标签到读写器天线的距离变化，所以可以用相位的差分表征其速度的变化。采用和手表同样的方法检测商品是否发生摇一摇手势，并提取出相对应的数据。

步骤S23.通过对检测出摇一摇手势的顾客和商品进行同步性检测完成匹配。具体的，通过两个指标来衡量其同步性：一是顾客与商品发生摇一摇手势的时间重叠度；二是顾客与商品发生摇一摇手势分别对应的信号数据的最大能量频率差。由于第一个和最后一个折返点实际上是动作的结束和开始时刻，为降低估算的时刻误差，优选的，基于第二个和倒数第二个折返点之间的时间区间计算时间重叠度。在计算手表的信号频率时，选用角速度振动幅度最大的轴的数据。

进一步地，通过模拟实体店的实验室环境实验对基于摇一摇手势匹配的顾客行为识别方法进行评估(实验室其它条件与实施例一相同)：在收集数据时，每次实验场景中同时有6名志愿者，其中3个人佩戴手表。为了产生更多的手势数据，实验要求每个志愿者每两次交互行为中要有一次执行摇一摇手势。将收集到的数据和实施例一中的三组交互行为的数据集混合在一起进行测试。实验结果表明采用摇一摇手势匹配的方法的平均召回率和精确率分别高达97.1％和97.4％。

值得一提的是，摇一摇手势匹配的实时性和高准确率使其可以为对应的系统增添很多新的功能，例如顾客在执行完摇一摇手势后，系统实时地将手表和商品关联，并在手表屏幕上显示三个选项供顾客选择：查看、收藏、购买；查看即实时查看更多的商品信息包括优惠、评论等；收藏即将商品添加到自己的收藏清单中，当顾客发现自己刚刚放回到货架上的商品并没有添加到购物日志中时，就可以通过摇一摇手势将其添加进去；购买即将商品添加到购物车中，实现自动支付。

实施例三

如图3所示，本实施例提出一种顾客行为识别系统的结构示意图，其包括：运动状态判断模块31，用于采集顾客的运动状态数据并判断顾客的运动状态，包括行走状态和非行走状态；候选手势识别模块32，用于在判断顾客的运动状态为非行走状态的情况下，采集顾客的手部动作数据并识别出与商品发生交互行为的候选手势；候选商品识别模块33，用于采集所述候选手势对应时间的商品动作数据，并识别出与顾客发生交互行为的候选商品；动作序列构建模块34，基于相邻所述候选手势之间的手部动作数据和对应时间的所述候选商品的商品动作数据，分别构建手部动作序列和商品动作序列；匹配模块35，基于所述手部动作序列和所述商品动作序列的相似性，获取顾客与商品的匹配结果。

需要说明的是，本实施例提供的模块与上文中提供的方法、实施方式类似，故不再赘述。另外需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，匹配模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上匹配模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

实施例四

本发明实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的线下顾客行为识别方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

实施例五

如图4所示，本发明实施例提供一种电子终端的结构示意图。本实施例提供的电子终端，包括：处理器41、存储器42、通信器43；存储器42通过系统总线与处理器41和通信器43连接并完成相互间的通信，存储器42用于存储计算机程序，通信器43用于和其它设备进行通信，处理器41用于运行计算机程序，使电子终端执行如上线下顾客行为识别方法的各个步骤。

上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其它设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

综上所述，本发明提供线下顾客行为识别方法、系统、存储介质及终端，能够同时识别顾客、与顾客交互的商品以及顾客与商品之间的交互行为；通过顾客手部的可穿戴电子设备追踪顾客的动作，利用RFID检测商品动作，并对顾客动作和商品动作进行相似性匹配，从而可以获得顾客准确的购物信息，不仅便于商家为顾客提供个性化的服务，也便于顾客建立自己的线下购物日志，实时获取商品相关信息，快速结账等等，有利于提高线下顾客的购物体验。所以，本发明有效克服了现有技术中的种种缺点而具有高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。