基于表情的购票数据处理方法、系统及控制器

技术领域

本发明涉及智能购票技术领域，具体涉及一种基于表情的购票数据处理方法、系统及控制器。

背景技术

目前，随着轨道行业的快速发展，大交通、大轨道不断涌出，逐渐实现了多线路交汇换乘。而不同乘车凭证与支付方式也随之不断涌入轨道行业，致使轨道车站设备类型日益繁多，功能不断扩大，新技术、新方法不断应用于设备业务处理中，比如，对于需要在车站通过自助购票设备进行购票的乘客来说，随着购票业务新功能的复杂性的增加，购票操作的困扰也随之增加。

发明人发现，对于现有的自助购票设备而言，乘客可能会在看到设备界面上的线路选择、多车站选择、多种支付方式选择、多种物理接口选择等复杂的选择可能之后，处于迷茫而不知所措的状态，不得不去求助站务人员进行指导的情况，如此，将可能大大降低乘客购票体验，降低购票效率，同时也大大增加现有站务人员的工作压力。

发明内容

本发明实施例提供一种基于表情的购票数据处理方法、系统及控制器，所述基于表情的购票数据处理方法可以可以基于购票乘客在在当前购票进程段的停留时长以及乘客表情特征准确地确定当前购票进程段对应的购票疑惑结果，进而对购票乘客精准地执行提示操作，大大提高了购票效率，降低了购票乘客的购票焦虑与疑惑，减少了站务人员的工作压力。

一种基于表情的购票数据处理方法，包括：

接收购票启动指令，获取购票乘客的视频数据以及购票操作数据；

根据所述购票操作数据确定当前购票进程段；

确定所述购票乘客在所述当前购票进程段超时停留时，自所述视频数据中提取与所述当前购票进程段对应的乘客表情特征；

通过预设购票表情模型对所述乘客表情特征进行识别，得到与所述乘客表情特征对应的购票疑惑结果；

根据所述购票疑惑结果执行与所述当前购票进程段对应的提示操作。

一种控制器，用于执行所述的基于表情的购票数据处理方法。

一种基于表情的购票数据处理系统，包括用于执行所述的基于表情的购票数据处理方法的控制器。

本发明提供的基于表情的购票数据处理方法、系统及控制器，本发明的基于表情的购票数据处理方法包括：接收购票启动指令，获取购票乘客的视频数据以及购票操作数据；根据所述购票操作数据确定当前购票进程段；确定所述购票乘客在所述当前购票进程段超时停留时，自所述视频数据中提取与所述当前购票进程段对应的乘客表情特征；通过预设购票表情模型对所述乘客表情特征进行识别，得到与所述乘客表情特征对应的购票疑惑结果；根据所述购票疑惑结果执行与所述当前购票进程段对应的提示操作。

本发明实施例中，在确定购票乘客在当前购票进程段超时停留时，通过预设购票表情模型对乘客表情特征进行识别，进而得到与乘客表情特征对应的购票疑惑结果，并根据该购票疑惑结果对购票乘客精准地执行提示操作，大大提高了购票效率，降低了购票乘客的购票焦虑与疑惑，减少了站务人员的工作压力。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中基于表情的购票数据处理方法的流程图。

图2是本发明一实施例中基于表情的购票数据处理方法的步骤S20的流程图。

图3是本发明一实施例中基于表情的购票数据处理方法的步骤S30的流程图。

图4是本发明一实施例中基于表情的购票数据处理方法的步骤S40的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在一实施例中，如图1所示，本发明提供一种基于表情的购票数据处理方法，包括以下步骤S10-S30：

S10、接收购票启动指令，获取购票乘客的视频数据以及购票操作数据；其中，所述视频数据可以通过安装在购票设备上的摄像设备进行实时拍摄得到，其中，购票设备可以为TVM(Ticket Vending Machine；自助售票机)设备。而购票操作数据是指在接收购票启动指令提示购票乘客已经开始进行购票之后，购票乘客在购票设备上进行操作所产生的数据。进一步地，所述步骤S10之前，也即所述接收购票启动指令之前，所述方法还包括：在接收到购票乘客触发购票设备上的预设触发区域之后发送购票请求时，生成购票启动指令。也即，在该实施例中，只有当购票乘客在购票设备上通过点击、滑动或触摸等预设触发方式去对预设触发区域进行触发(比如在购票设备的预设显示界面中点击确认购票按键之后，认为预设触发区域已经被触发)以向控制器发送购票请求之后，才会生成购票启动指令，此时表示购票乘客已经开始进行购票操作。可理解地，上述摄像设备可以通过USB(UniversalSerial Bus；通用串行总线)或其他连接方式与控制器通信连接，因此，摄像设备采集的视频数据可以通过USB等方式传送到购票设备的控制器中。

S20、根据所述购票操作数据确定当前购票进程段；可理解地，在购票乘客通过购票设备完成购票的整个购票流程中，整个购票流程将对应于一组的预设购票流程信息；而一个预设购票流程信息中包含多个购票进程段。可理解地，对于不同的购票流程来说，购票进程段的数量可以根据需求设定，具体地，购票进程段可以包括但不限定于为线路选择进程段、车站选择进程段、张票选择进程段、支付方式选择进程段等其中的一个或多个。而当前购票进程段是指购票乘客当前所进行的购票操作在整个购票流程中所对应的购票进程段，当前购票进程段可以根据所述购票操作数据进行确定。

在一实施例中，如图2所示，所述步骤S20，也即根据所述购票操作数据确定当前购票进程段，包括：

S201，获取预设购票流程信息，所述预设购票流程信息中包含预设数量的购票进程段，以及与每一个购票进程段分别关联的购票操作流程；可理解地，在购票乘客通过购票设备完成购票的整个购票流程中，整个购票流程将对应于一组的预设购票流程信息；而一个预设购票流程信息中包含预设数量(预设数量可以根据需求设定)的购票进程段，以及与每一个购票进程段分别关联的购票操作流程；其中，购票操作流程是指每一个购票进程段需要执行的所有购票操作的相关信息(亦可以是指从所有相关信息中提炼的部分关键特征信息)。进一步地，所述预设购票流程信息中还可以包含与每一个购票进程段分别关联的预设超时时长；而预设超时时长用于表征一个购票进程段正常进行购票操作时所需要消耗的最长购票时长，因此，若在一个购票进程段中，购票乘客进行购票操作所消耗的购票时长超过了该预设超时时长，说明当前购票乘客可能存在购票疑惑而无法继续进行购票操作，才会使得购票时长不正当延长。

可理解地，上述实施例中，对于不同购票设备或者不同车次车票对应的购票流程来说，购票进程段的数量和类型可以根据需求设定，具体地，购票进程段可以包括但不限定于为线路选择进程段、车站选择进程段、张票选择进程段、支付方式选择进程段等其中的一个或多个，每个购票进程段可以根据其购票操作流程完成所需要的时间，创建各自的预设超时时长并与该购票进程段及其购票操作流程进行关联，之后根据上述相互关联的预设数量的购票进程段、购票操作流程和预设超时时长生成预设购票流程信息以供随时调取。

S202，将所述购票操作数据与所述预设购票流程信息中的各所述购票操作流程进行匹配；可理解地，购票操作数据是指在接收购票启动指令提示购票乘客已经开始进行购票之后，购票乘客在购票设备上进行操作所产生的数据，购票操作数据由控制器实时采集到之后，将该购票操作数据与每一个购票进程段所对应的购票操作流程分别进行对比匹配，即可确定当前购票乘客已经处于哪一个购票进程段中。

S203，将与所述购票操作数据匹配的所述购票操作流程记录为当前购票进程段。也即，在购票操作数据与其中一个购票进程段所对应的购票操作流程匹配成功时，说明当前购票乘客已经处于被匹配成功的该购票进程段中，此时，该购票进程段即被记录为当前购票进程段。

在本实施例中，将整个购票流程划分为多个购票进程段，其购票操作流程的划分将会更为清晰，对于当前购票进程段的确认也会更易于操作，进而，对于每一个购票进程段的具体购票操作流程的内容的设定也将更为简约精确，进而，对于购票是否存在疑惑的判断也将更为精准。并且，如此设定还可以使得在每一个购票进程段中需要进行提示操作时，其需要进行提示的购票操作流程更为清晰，提升了用户体验。

S30、确定所述购票乘客在所述当前购票进程段超时停留时，自所述视频数据中提取与所述当前购票进程段对应的乘客表情特征；可理解地，将上述均对应于当前购票进程段的停留时长与预设超时时长进行对比，若停留时长(购票乘客在当前购票进程段进行购票操作所消耗的购票时长)超过了预设超时时长，说明当前购票乘客可能存在购票疑惑而无法继续进行购票操作，才会使得购票时长不正当延长，因此，此时需要自所述视频数据中提取与所述当前购票进程段对应的乘客表情特征，进而根据上述乘客表情特征进一步确定购票乘客是否存在购票疑惑。

在一实施例中，可以基于卷积神经网络算法训练乘客特征提取模型，进而通过训练成功的乘客特称提取模型对乘客在购票操作时的视频数据中的乘客表情特征进行提取，可理解地，基于卷积神经网络算法训练乘客特征提取模型的过程在此不再赘述。通过基于卷积神经网络算法训练得到的乘客特征提取模型来提取乘客表情特征，其特征提取效率和准确度都将更高。

在一实施例中，所述预设购票流程信息中还包含与每一个购票进程段分别关联的预设超时时长；如图3所示，所述步骤S30中，自所述视频数据中提取与所述当前购票进程段对应的乘客表情特征之前，所述方法还包括：

S301，通过购票设备中的计时模块获取所述购票乘客在所述当前购票进程段的停留时长，所述停留时长是指所述购票乘客开始进入所述当前购票进程段的时刻到当前时刻之间的时间间隔；可理解地，所述购票乘客在所述当前购票进程段的停留时长是指购票乘客在进入当前购票进程段的时刻开始，到当前时刻(前提是该当前时刻依旧处于该当前购票进程段中)之间的时间间隔，所述停留时长可以通过购票设备中的计时模块进行实时记录。

S302，自所述预设购票流程信息中获取与所述当前购票进程段对应的预设超时时长；具体地，预设超时时长用于表征一个购票进程段正常进行购票操作时所需要消耗的最长购票时长，因此，若在一个购票进程段中，购票乘客进行购票操作所消耗的购票时长超过了该预设超时时长，说明当前购票乘客可能存在购票疑惑而无法继续进行购票操作，才会使得购票时长不正当延长。由于所述预设购票流程信息中包含与每一个购票进程段分别关联的预设超时时长，因此，可以直接从预设购票流程信息中获取与所述当前购票进程段对应的预设超时时长。

S303，在所述停留时长大于所述当前购票进程段对应的预设超时时长时，确认所述购票乘客在所述当前购票进程段超时停留；也即，将上述均对应于当前购票进程段的停留时长(购票乘客在当前购票进程段进行购票操作所消耗的购票时长)与预设超时时长进行对比之后，若停留时长大于(也即超过)预设超时时长，说明所述购票乘客在所述当前购票进程段超时停留，当前购票乘客可能存在购票疑惑而无法继续进行购票操作，才会使得购票时长不正当延长，因此，此时需要在后续步骤中自所述视频数据中提取与所述当前购票进程段对应的乘客表情特征，进而根据上述乘客表情特征进一步确定购票乘客是否存在购票疑惑，以提升对于购票乘客是否存在购票疑惑判定的精准度。

S304，在所述停留时长小于或等于所述当前购票进程段对应的预设超时时长时，确认所述购票乘客在所述当前购票进程段并未超时停留。也即，将上述均对应于当前购票进程段的停留时长与预设超时时长进行对比之后，若停留时长小于或等于(也即并未超过)预设超时时长，说明所述购票乘客在所述当前购票进程段并未超时停留，当前购票乘客的购票操作目前处于正常状况，因此，此时返回至步骤S10中重新获取购票乘客的视频数据以及购票操作数据，并继续执行后续步骤即可。

在本实施例中，将整个购票流程划分为多个购票进程段，其购票操作流程的划分将会更为清晰，对于当前购票进程段的确认也会更易于操作，进而，对于每一个购票进程段的预设超时时长的设定也将更为精确(由于对应于每一个购票进程段的预设超时时长将会更短，因此每一个预设超时时长中所预留的时间余量的设置将会更少，如此对于每一个购票进程段的停留时长是否超时的判定将更为精确)，进而，对于购票是否存在疑惑的判断也将更为精准。可理解地，上述步骤S301和302的前后顺序并不受限制，而是可以根据需求进行顺序调换。

S40、通过预设购票表情模型对所述乘客表情特征进行识别，得到与所述乘客表情特征对应的购票疑惑结果；也即，在该实施例中，可以通过预设购票表情模型对当前购票乘客的乘客表情特征进行识别，以确定购票疑惑结果，其中，所述购票疑惑结果可以表征当前购票乘客是否存在购票疑惑。

进一步地，所述步骤S40之前，所述方法还包括：

获取预设乘客特征集，所述预设乘客特征集中包含多个历史购票乘客特征，且每一个历史购票乘客特征均关联一个表情疑惑标签；所述表情疑惑标签包括疑惑标签和不疑惑标签；

基于所述预设乘客特征集构建所述预设购票表情模型。

也即，在该实施例中，需要首先构建所述预设购票表情模型，该所述预设购票表情模型需要基于上述预设乘客特征集以及预设建模工具进行构建，其中，上述建模工具可以为UML(Unified Model Language；统一建模语言)等。预设乘客特征集中包含不同购票乘客曾经进行正常购票操作时被采集的购票视频图像中提取出来的历史购票乘客特征，且每一个历史购票乘客特征均关联一个表情疑惑标签，表情疑惑标签是指与历史购票乘客特征对应的可以表征其是否疑惑的一个记录标签，该表情疑惑标签可以体现该历史购票乘客特征(在提取该历史购票乘客特征的购票视频图像中)对应的购票乘客是否存在疑惑，若存在疑惑，则该表情疑惑标签即为疑惑标签；若不存在疑惑，则该表情疑惑标签即为不疑惑标签。可理解地，由于可以表达存在疑惑或者不存在疑惑的表情特征也同样具有多样化的特性，因此，同一个历史购票乘客特征仅能关联一个表情疑惑标签，但同一个表情疑惑标签可以对应关联多个历史购票乘客特征。上述预设购票表情模型基于所述预设乘客特征集(基于预设乘客特征集中购票乘客曾经进行正常购票操作时被采集的购票视频图像中提取出来的历史购票乘客特征构建)构建，，因此，通过对于购票疑惑结果进行确定，提升了购票乘客对当前购票操作是否存在疑惑的判定的效率和准确度。

进一步地，如图4所示，所述步骤S40，也即所述通过预设购票表情模型对所述乘客表情特征进行识别，得到与所述乘客表情特征对应的购票疑惑结果，包括：

S401，将所述乘客表情特征输入所述预设购票表情模型；也即，在步骤S30中自所述视频数据中提取与所述当前购票进程段对应的乘客表情特征之后，即在该实施例中首先将所述乘客表情特征输入所述预设购票表情模型，以通过所述预设购票表情模型确定与所述乘客表情特征对应的购票疑惑结果。

S402，通过所述预设购票表情模型对输入的所述乘客表情特征与所述预设乘客特征集中的各所述历史购票乘客特征进行特征匹配，以确定与所述乘客表情特征匹配的所述历史购票乘客特征；在该步骤中，首先要将输入的所述乘客表情特征与所述预设乘客特征集中的各所述历史购票乘客特征一一进行特征对比，进而从所述预设乘客特征集中确定与所述乘客表情特征匹配的所述历史购票乘客特征。

S403，在所述预设购票表情模型中确定与已匹配的所述历史购票乘客特征对应的表情疑惑标签，并根据所述表情疑惑标签确定与所述乘客表情特征对应的购票疑惑结果，所述购票疑惑结果包括与所述疑惑标签对应的存在购票疑惑，以及与所述不疑惑标签对应的不存在购票疑惑；在该步骤中，与已匹配的所述历史购票乘客特征对应的表情疑惑标签即为输入的所述乘客表情特征对应的表情疑惑标签，因此根据上述所述乘客表情特征对应的表情疑惑标签即可确定购票疑惑结果。其中，该表情疑惑标签可以体现该历史购票乘客特征(在提取该历史购票乘客特征的购票视频图像中)对应的购票乘客是否存在疑惑，由于所述表情疑惑标签包括疑惑标签和不疑惑标签；因此，若购票乘客存在疑惑，则其对应的表情疑惑标签即为疑惑标签；若购票乘客不存在疑惑，则其对应的表情疑惑标签即为不疑惑标签。因此，所述购票疑惑结果也对应包括存在购票疑惑(与所述疑惑标签对应)以及不存在购票疑惑(与所述不疑惑标签对应)。

S404，获取所述预设购票表情模型输出的所述购票疑惑结果。也即，在所述预设购票表情模型确定与所述乘客表情特征对应的购票疑惑结果之后，不管所述购票疑惑结果是存在购票疑惑还是不存在购票疑惑，所述预设购票表情模型均会将该购票疑惑结果输出，此时，控制器即会获取该购票疑惑结果。在该实施例中，通过上述预设购票表情模型对购票疑惑结果进行确定，提升了购票乘客对当前购票操作是否存在疑惑的判定的效率和准确度。

S50、根据所述购票疑惑结果执行与所述当前购票进程段对应的提示操作。所述提示操作可以根据需求进行设定，比如，针对于不同的购票进程段，可以提示与其对应的不同的购票操作流程，或者提示购票操作流程中的关键信息等。提示操作的具体操作方式亦可以根据需求设定，比如可以在购票设备的预设显示界面中展示或/和在预设语音设备中播放或/和通过灯光进行提示等均可。

在一实施例中，所述步骤S50，也即所述根据所述购票疑惑结果执行与所述当前购票进程段对应的提示操作，包括：

判断所述购票疑惑结果是否为存在购票疑惑；也即，在通过预设购票表情模型确定所述购票疑惑结果之后，首先需要确定购票疑惑结果是存在购票疑惑还是不存在购票疑惑，并针对其做出不同的提示操作。

在所述购票疑惑结果为存在购票疑惑时，调用提示模块，并通过所述提示模块执行疑惑提示操作，所述疑惑提示操作包括：在购票设备的预设显示界面中展示或/和在预设语音设备中播放与所述当前购票进程段对应的购票操作流程。也即，在购票疑惑结果为存在购票疑惑时，调用购票设备中的提示模块进行疑惑提示操作以提示购票操作流程，上述疑惑提示操作的操作方式可以为在购票设备的预设显示界面中动态展示购票操作流程或者其关键信息(比如，可以在预设显示界面中以闪烁或以不同颜色或其他方式重点提示“下一步操作按钮”，同时，预设显示界面中还可以同时以文字动态提示下步操作的具体说明进而使得购票乘客仅需要直接点击该“下一步操作按钮”即可)，上述疑惑提示操作还可以是指在预设语音设备中播放购票操作流程或者其关键信息(比如通过语音提示当前应该点击预设显示界面中具体某一位置的“下一步操作按钮”)等；如此，通过友好的界面和语音提示，会大大提升乘客购票体验和速度，减轻站务人员工作压力。

进一步地，所述判断所述购票疑惑结果是否为存在购票疑惑之后，还包括：

在所述购票疑惑结果为不存在购票疑惑时，执行非疑惑提示操作，所述非疑惑提示操作包括：提示所述购票乘客在所述当前购票进程段的已停留信息，并将调用所述提示模块以执行所述疑惑提示操作的触发入口开启。也即，也即，在购票疑惑结果为不存在购票疑惑时，说明虽然购票乘客在当前购票进程段的停留时长已超时(超过了预设超时时长)，但表情依旧正常不存在疑惑特征，因此，此时购票乘客对当前购票操作并不存在疑惑，只是可能因为是其他原因(比如购票乘客因为查看手机或其他事由耽误了操作时间等)导致超时，所以并不会直接调用所述提示模块以执行所述疑惑提示操作，而是可以提示所述购票乘客在所述当前购票进程段的已停留信息(比如提示在当前购票进程段的停留时长等)，并将调用所述提示模块以执行所述疑惑提示操作的触发入口开启，以在对于购票疑惑结果为不存在购票疑惑为判断失误(假如购票乘客实际上是因为存在疑惑而超时，但却并未在与其对应的乘客表情特征中不表现出疑惑，即会出现判断失误)时，亦可以开启触发入口以快速实现对购票乘客的提示。

上述开启调用所述提示模块以执行所述疑惑提示操作的触发入口的方式可以根据需求设定。比如，可以在预设显示界面中显示(显示方式可以根据需求设定，可以以闪烁等方式重点凸显或者并不凸显均可)一个提示按钮，此时，仅需要触发该提示按钮，即可直接调用所述提示模块以执行上述疑惑提示操作。在另一实施例中，亦可以语音提示上述购票乘客在所述当前购票进程段的已停留信息之后，语音询问购票乘客是否需要进行提示，并监听购票乘客的语音回复，若购票乘客回复“需要”等肯定的回复，即会直接调用所述提示模块以执行上述疑惑提示操作(在该实施例中，调用所述提示模块以执行所述疑惑提示操作的触发入口通过语音开启)。

本发明上述实施例中，在确定购票乘客在当前购票进程段超时停留时，通过预设购票表情模型对乘客表情特征进行识别，进而得到与乘客表情特征对应的购票疑惑结果，并根据该购票疑惑结果对购票乘客精准地执行提示操作，大大提高了购票效率，降低了购票乘客的购票焦虑与疑惑，减少了站务人员的工作压力。本发明中，可以科学合理地自动对处于正在进行购票操作却存在购票疑惑的购票进程段中的购票乘客进行智能的提示操作，大大减少购票乘客因不知道下一步该如何进行购票操作的麻烦，具有很大的实际操作意义，优化了购票乘客的购票体验，也可以大大提高购票效率，降低乘客购票焦虑与疑惑，有效快速推动购票设备的合理使用。同时，也大大减少了站务人员的工作压力，提升乘客购票科技感。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本发明还提供一种控制器，用于执行所述的基于表情的购票数据处理方法。关于控制器的具体限定可以参见上文中对于基于表情的购票数据处理方法的限定，在此不再赘述。上述控制器中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。可理解地，上述控制器可以设置在购票设备中，亦可以独立设置在购票设备外部，并与一台或者多台购票设备通信连接。

本发明还提供一种基于表情的购票数据处理系统，包括用于执行所述的基于表情的购票数据处理方法的控制器。可理解地，上述控制器可以设置在购票设备中，亦可以独立设置在购票设备外部，并与一台或者多台购票设备通信连接。进一步地，基于表情的购票数据处理系统还可以包括购票设备，购票设备可以为TVM设备。所述购票设备上安装有摄像设备，摄像设备用于实时拍摄购票乘客在不同购票进程段的视频数据。上述摄像设备可以通过USB或其他连接方式与控制器通信连接，因此，摄像设备采集的视频数据可以通过USB等方式传送到购票设备的控制器中。购票设备上还设有显示模块和预设语音设备，显示模块用于显示预设显示界面；预设语音设备用于播报或者监听语音数据。关于基于表情的购票数据处理系统以及控制器的更多具体限定可以参见上文中对于基于表情的购票数据处理方法的限定，在此不再赘述。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。