基于人脸识别的通行方法、系统、设备及介质

技术领域

本发明涉及支付技术领域，特别是涉及一种基于人脸识别的通行方法、系统、设备及介质。

背景技术

城市公共交通(例如轨道交通、城市公交车)是城市交通的支柱，具有速度快运载量大、节约能源和用地的特点。城市公共交通对于城市未来发展起到了至关重要的作用，目前国内城市正在蓬勃发展公共交通。但是，乘客在乘坐公共交通时，现有的进出站和/或上下车的方式通常是通过刷交通卡、扫描交通APP二维码、刷金融IC卡(银联闪付)等方式进出站，需要乘客携带事先充值的交通卡，或手机开启数据流量展示交通APP二维码。导致现有的进出站和/或上下车的方式存在以下问题：

(1)交通卡欠费时需充值后才能使用；

(2)每次过进站口闸门出站口闸门、或上公交车时均需事先掏出交通卡或掏出手机打开交通APP二维码，用户体验差；

(3)乘客携带大件行李时掏出交通卡或手机操作较为不便，进出站效率低、易造成拥挤；

(4)外地旅客需购买临时票；

(5)需要在交通站点配置自助售票机来让乘客购临时票，配置自助售票机设备占用了宝贵的空间，同时需要配置运营维护人员，增加了运营成本；

(6)特定人群免费通行走边门时需要工作人员协助，无法通过系统自动保存记录；

(7)目前交通卡普遍未与身份证绑定，导致无法实现实名乘车；

(8)无法追溯可疑人员的乘车轨迹及记录。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于人脸识别的通行方法、系统、设备及介质，用于解决现有技术中存在的技术问题。

为实现上述目的及其他相关目的，本发明提供一种基于人脸识别的通行方法，包括以下步骤：

获取待通行的目标对象的人脸图像；

对获取的目标对象的人脸图像进行活体检测，将通过活体检测的人脸图像与人脸底库中的所有人脸数据进行比对；

根据比对结果从所述人脸底库中获取与人脸图像的相似度超过预设阈值的人脸数据，以及与该人脸数据对应的账户信息；

基于获取的人脸数据和对应的账户信息生成通行信息，并根据所述通行信息确认所述目标对象是否可通行。

可选地，所述账户信息至少包括：通行账户信息和/或支付账户信息；将通过活体检测的人脸图像与人脸底库中的所有人脸数据进行比对前，还包括建立所述人脸底库；建立过程如下：

通过交通应用程序和/或交通交互平台采集所述目标对象的个人注册信息；所述个人注册信息至少包括：人脸数据、手机号码信息、手机蓝牙MAC地址信息；

基于所述目标对象的个人注册信息创建对应的通行账户信息；

将创建的通行账户信息与所述目标对象的支付账户信息进行绑定，并在完成绑定后将所述目标对象的个人注册信息、通行账户信息以及支付账户信息存储至一个或多个数据库中，建立所述人脸底库。

可选地，通过交通应用程序和/或交通交互平台采集所述目标对象的人脸数据的过程包括：

通过交通应用程序和/或交通交互平台采集所述目标对象的人脸图像；

对采集的人脸图像进行活体检测，若未通过活体检测，则重新采集所述目标对象的人脸图像；

利用质量分模型对通过活体检测的人脸图像进行打分，获取质量分超过预设分数值的人脸图像；

对质量分超过预设分数值的人脸图像进行特征识别，获取所述目标对象的人脸特征，作为所述目标对象的人脸数据。

可选地，在目标对象进站或出站时，若根据某一目标对象的比对结果从所述人脸底库中获取了多个目标对象的人脸数据，则还包括：

利用手机号码信息和/或手机蓝牙MAC地址信息对所述某一目标对象进行二次验证；

基于二次验证结果从所述人脸底库中获取最终的人脸数据，以及获取与最终人脸数据对应的账户信息；或者，基于二次验证结果从上一次获取的多个目标对象的人脸数据确定最终的人脸数据，以及确定与最终人脸数据对应的账户信息。

可选地，所述人脸底库被设置于总库、站点库和/或闸机端侧库；其中，所述站点库和/或所述闸机端侧库根据所述总库得到；

若所述站点库和/或闸机端侧库存储的人脸数据超过预设的限定空间，则将预设时间段内乘坐次数最多的前K个目标对象或者预设时间段内乘坐频率最高的前K个目标对象确定为常访问目标对象；

利用LRU算法淘汰所述站点库和/或闸机端侧库中除常访问目标对象之外的人脸数据。

可选地，当确认所述目标对象可通行时，检票机将当前站点、当前时间、当前闸机编号、所述目标对象的人脸数据以及对应的通行账户信息发送至售票检票系统，生成所述目标对象的进站通行订单信息；

将所述目标对象的进站通行订单信息传输给所述检票机进行识别，根据识别结果控制当前闸机改变当前状态或维持当前状态；

和/或，当所述目标对象位于交通出站口时，检票机将当前站点、当前时间、当前闸机编号、所述目标对象的人脸数据以及对应的通行账户信息和支付账户信息发送至售票检票系统，生成所述目标对象的出站通行订单信息；

将所述目标对象的出站通行订单信息传输给所述检票机进行识别，根据识别结果控制当前闸机改变当前状态或维持当前状态。

本发明还提供一种基于人脸识别的通行系统，包括有：

采集模块，用于获取待通行的目标对象的人脸图像；

比对模块，用于对获取的目标对象的人脸图像进行活体检测，将通过活体检测的人脸图像与人脸底库中的所有人脸数据进行比对；

账户模块，用于根据比对结果从所述人脸底库中获取与人脸图像的相似度超过预设阈值的人脸数据，以及与该人脸数据对应的账户信息；

通行模块，用于根据获取的人脸数据和对应的账户信息生成通行信息，并根据所述通行信息确认所述目标对象是否可通行。

可选地，所述账户信息至少包括：通行账户信息和/或支付账户信息；所述比对模块将通过活体检测的人脸图像与人脸底库中的所有人脸数据进行比对前，还包括建立所述人脸底库；建立过程如下：

通过交通应用程序和/或交通交互平台采集所述目标对象的个人注册信息；所述个人注册信息至少包括：人脸数据、手机号码信息、手机蓝牙MAC地址信息；

基于所述目标对象的个人注册信息创建对应的通行账户信息；

将创建的通行账户信息与所述目标对象的支付账户信息进行绑定；并在完成绑定后将所述目标对象的个人注册信息、通行账户信息以及支付账户信息存储至一个或多个数据库中，建立所述人脸底库。

可选地，通过交通应用程序和/或交通交互平台采集所述目标对象的人脸数据的过程包括：

通过交通应用程序和/或交通交互平台采集所述目标对象的人脸图像；

对采集的人脸图像进行活体检测，若未通过活体检测，则重新采集所述目标对象的人脸图像；

利用质量分模型对通过活体检测的人脸图像进行打分，获取质量分超过预设分数值的人脸图像；

对质量分超过预设分数值的人脸图像进行特征识别，获取所述目标对象的人脸特征，作为所述目标对象的人脸数据。

可选地，在目标对象进站或出站时，若根据某一目标对象的比对结果从所述人脸底库中获取了多个目标对象的人脸数据，则还包括：

利用手机号码信息和/或手机蓝牙MAC地址信息对所述某一目标对象进行二次验证；

基于二次验证结果从所述人脸底库中获取最终的人脸数据，以及获取与最终人脸数据对应的账户信息；或者，基于二次验证结果从上一次获取的多个目标对象的人脸数据确定最终的人脸数据，以及确定与最终人脸数据对应的账户信息。

可选地，所述人脸底库至少包括总库、站点库和闸机端侧库；其中，所述站点库和/或所述闸机端侧库根据所述总库得到；

若所述站点库和/或闸机端侧库存储的人脸数据超过预设的限定空间，则将预设时间段内乘坐次数最多的前K个目标对象或者预设时间段内乘坐频率最高的前K个目标对象确定为常访问目标对象；

利用LRU算法淘汰所述站点库和/或闸机端侧库中除常访问目标对象之外的人脸数据。

本发明还提供一种计算机设备，包括：

一个或多个处理器；和

存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如上述中任意一项所述的方法。

本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如上述中任意一项所述的方法。

如上所述，本发明提供一种基于人脸识别的通行方法、系统、设备及介质，具有以下有益效果：通过一个或多个人脸识别终端获取待通行的目标对象的人脸图像；对获取的目标对象的人脸图像进行活体检测，将通过活体检测的人脸图像与人脸底库中的所有人脸数据进行比对，根据比对结果从人脸底库中获取与人脸图像的相似度超过预设阈值的人脸数据，以及与该人脸数据对应的账户信息；账户信息至少包括：通行账户信息和/或支付账户信息；基于获取的人脸数据和对应的账户信息生成通行信息，并根据所述通行信息确认目标对象是否能够通行。本发明能够在现有售票检票系统AFC的基础上，以人脸识别技术为核心，完成人脸信息跟交通通行账户、支付账户的关联绑定。从而在乘客进出站时，可以通过设置在进站口和/或出站口闸机端的人脸识别终端PAD对乘客进行人脸抓拍，并将抓拍的人脸发送至后台刷脸通行系统中进行活体检测、人脸特征提取和人脸比对，根据比对结果从售票检票系统AFC中找到该乘客对应的通行账号信息和支付账号信息。同时通过售票检票系统AFC对该乘客对应的通行账号信息和支付账号信息进行判断，生成进站通行订单信息或出站通行订单信息，以及闸机控制指令；并将生成的闸机控制指令发送给闸机端的检票机AGM，通过检票机AGM识别闸机控制指令，控制进站口或出站口的闸机打开或继续关闭。且在乘客出站时，售票检票系统AFC从识别到的人脸数据对应的支付账号中扣款，由此实现乘客刷脸通行及支付功能。在进行扣款时，售票检票系统AFC还将扣款结果发送给支付管理系统进行支付业务统计。本发明借助于人脸信息的独特性和唯一性，通过将乘客的人脸信息与其交通通行账户信息、支付账户信息的关联绑定，在乘客进出闸机时，利用闸机上的人脸识别终端对乘客进行人脸识别，在将识别结果传到售票检票系统AFC后，售票检票系统AFC就能自动判断乘客的交通通行账号信息和支付账号信息，从而无需掏出交通卡或手机，取代了现有技术中的公交卡、二维码等介质，提高了乘客进出站效率，减少了乘客乘坐公共交通进出站或上下车时的拥挤，提升了交通运营服务质量。本发明中的公共交通包括但不限于轨道交通、城市公交车等。本发明还可采集乘客的手机号码信息、手机蓝牙MAC地址信息，可以对乘客实现实名乘车，便于追溯乘客的乘车记录。

附图说明

图1为一实施例提供的基于人脸识别的通行方法流程示意图；

图2为另一实施例提供的基于人脸识别的通行方法流程示意图；

图3为一实施例提供的目标对象在交通应用程序和/或在交通交互平台进行注册时的流程示意图；

图4为一实施例提供的目标对象进出站时的流程示意图；

图5为一实施例提供的基于人脸识别的通行系统的硬件结构示意图；

图6为一实施例提供的终端设备的硬件结构示意图；

图7为另一实施例提供的终端设备的硬件结构示意图。

元件标号说明

M10 采集模块

M20 比对模块

M30 账户模块

M40 通行模块

1100 输入设备

1101 第一处理器

1102 输出设备

1103 第一存储器

1104 通信总线

1200 处理组件

1201 第二处理器

1202 第二存储器

1203 通信组件

1204 电源组件

1205 多媒体组件

1206 音频组件

1207 输入/输出接口

1208 传感器组件

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

乘客乘坐公共交通时涉及到购票、检票进出站或上下车，该过程中需要利用交通方的AFC系统来完成售票、检票、计费、收费、统计、清分、管理等。现场支付购票是AFC系统最为原始的购票方式，而随着互联网技术、电子支付技术的不断发展应用，AFC系统也引入了非现金的电子支付方式，如商业银行、微信、支付宝的二维码乘车码。

无论使用单程票、交通卡或者是利用二维码进出站、上下车，其背后都有对应的虚拟账户及支付账户。因此，如果有一种非接触式的介质，无需乘客主动展示、无需事先、无需携带、无需特别操作，同时又能像单程票、交通卡或二维码一样完成跟交通通行账户及支付账户的绑定，便能够解决上述存在的问题。

生物特征是一种个人身份确认的天然凭证，基于生物特征识别的身份鉴别技术可以提供高可靠、高稳定的身份鉴别方式。其中，人脸作为人的一种内在属性，具有很强的自身稳定性及个体差异性，人脸识别技术具有直接、友好、方便的特点，使用者无任何心理障碍，易于为用户所接受。因此，在各种生物特征识别技术中，人脸识别是一项更具发展潜力的生物特征识别技术，在信息安全、公共安全、金融等领域也已得到了广泛应用。

请参阅图1至4所示，本发明提供一种基于人脸识别的通行方法，包括以下步骤：

S100，通过一个或多个人脸识别终端获取待通行的目标对象的人脸图像；其中，一个或多个人脸识别终端可以设置在交通进站口和/或出站口的闸机上，也可以设置在公交车的上车处和/或下车处。本方法中的人脸识别终端PAD配置有红外双目摄像头模组、真人判断的算法以及高性能主控制器；可以快速完成活体检测算法的运行；且提供各类丰富的接口，可与不同型号的闸机进行通讯。本方法中的人脸识别终端PAD可以在PAD屏幕中可提示乘客当前通行状态。

S200，对获取的目标对象的人脸图像进行活体检测，将通过活体检测的人脸图像与人脸底库中的所有人脸数据进行比对。本方法通过对人脸图像进行活体检测，可以排除打印的人脸图片，或者人头模型，保证采集的人脸图像都是真人的人脸图像。

S300，根据比对结果从人脸底库中获取与人脸图像的相似度超过预设阈值的人脸数据，以及与该人脸数据对应的账户信息；账户信息至少包括：通行账户信息和/或支付账户信息。其中，支付账户信息包括支付宝信息、微信支付信息、银联闪付信息等。

S400，基于获取的人脸数据和对应的账户信息生成通行信息，并根据所述通行信息确认目标对象是否能够通行。

本方法能够在现有售票检票系统AFC的基础上，以人脸识别技术为核心，完成人脸信息跟交通通行账户、支付账户的关联绑定。从而在乘客进出站时，可以通过设置在进站口和/或出站口闸机端的人脸识别终端PAD对乘客进行人脸抓拍，并将抓拍的人脸发送至后台刷脸通行系统中进行活体检测、人脸特征提取和人脸比对，根据比对结果从售票检票系统AFC中找到该乘客对应的通行账号信息和支付账号信息。同时通过售票检票系统AFC对该乘客对应的通行账号信息和支付账号信息进行判断，生成进站通行订单信息或出站通行订单信息，以及闸机控制指令；并将生成的闸机控制指令发送给闸机端的检票机AGM，通过检票机AGM识别闸机控制指令，控制进站口或出站口的闸机打开或继续关闭。且在乘客出站时，售票检票系统AFC从识别到的人脸数据对应的支付账号中扣款，由此实现乘客刷脸通行及支付功能。在进行扣款时，售票检票系统AFC还将扣款结果发送给支付管理系统进行支付业务统计。本方法借助于人脸信息的独特性和唯一性，通过将乘客的人脸信息与其交通通行账户信息、支付账户信息的关联绑定，在乘客进出闸机时，利用闸机上的人脸识别终端对乘客进行人脸识别，在将识别结果传到售票检票系统AFC后，售票检票系统AFC就能自动判断乘客的交通通行账号信息和支付账号信息，从而无需掏出交通卡或手机，取代了现有技术中的公交卡、二维码等介质，提高了乘客进出站效率，减少了乘客乘坐公共交通进出站或上下车时的拥挤，提升了交通运营服务质量。其中，本方法中的目标对象可以是普通乘客，或者特定乘客。

在一示例性实施例中，将通过活体检测后的人脸图像与人脸底库中的所有人脸数据进行比对前，还包括建立人脸底库；建立过程如下：通过交通应用程序和/或交通交互平台采集目标对象的个人注册信息；个人注册信息至少包括：人脸数据、手机号码信息、手机蓝牙MAC地址信息；基于目标对象的个人注册信息创建对应的通行账户信息；将创建的通行账户信息与目标对象的支付账户信息进行绑定；并在完成绑定后将目标对象的个人注册信息、通行账户信息以及支付账户信息存储至一个或多个数据库中，建立人脸底库。本申请实施例通过采集乘客的人脸数据、手机号码信息、手机蓝牙MAC地址信息、身份证信息等信息，可以对乘客实现实名乘车，便于追溯乘客的乘车记录。其中，本申请实施例中的交通包括但不限于轨道交通、城市公交车，即交通应用程序包括但不限于轨道交通应用程序、城市公交车交通应用程序，交通交互平台包括但不限于轨道交通交互平台、城市公交车交通交互平台。作为示例，例如交通应用程序可以是交通APP，交通交互平台可以是交通微信公众号。

根据上述记载，在一示例性实施例中，如图3所示，通过交通应用程序和/或交通交互平台采集目标对象的人脸数据的过程包括：通过交通应用程序和/或交通交互平台采集目标对象的人脸图像；对采集的人脸图像进行活体检测；若未通过活体检测，则重新采集目标对象的人脸图像；利用质量分模型对通过活体检测的人脸图像进行打分，获取质量分超过预设分数值的人脸图像；对质量分超过预设分数值的人脸图像进行特征识别，获取目标对象的人脸特征，作为目标对象的人脸数据。作为示例，本申请实施例中的交通应用程序可以是轨道交通应用程序，交通交互平台可以是轨道交通交互平台。

根据上述记载，在一示例性实施例中，如图2至图4所示，在目标对象进站或出站时，若根据某一目标对象的比对结果从人脸底库中获取了多个目标对象的人脸数据，则还包括：利用手机号码信息和/或手机蓝牙MAC地址信息对某一目标对象进行二次验证；基于二次验证结果从人脸底库中获取最终的人脸数据，以及获取与最终人脸数据对应的账户信息；或者，基于二次验证结果从上一次获取的多个目标对象的人脸数据确定最终的人脸数据，以及确定与最终人脸数据对应的账户信息。作为一示例，根据乘客A的比对结果从人脸底库中获取了乘客A、B和C的人脸数据，则还包括：利用手机号码信息和/或手机蓝牙MAC地址信息对乘客A进行二次验证，例如乘客A可以在轨道交通APP和/或轨道交通微信公众号上输入手机号码的后四位信息来进行二次验证。基于二次验证结果从人脸底库中获取乘客A的人脸数据，以及获取与乘客A人脸数据对应的账户信息。作为另一示例，根据乘客X的比对结果从人脸底库中获取了乘客X、Y和Z的人脸数据，则还包括：利用手机号码信息和/或手机蓝牙MAC地址信息对乘客X进行二次验证，例如乘客X可以在轨道交通APP和/或轨道交通微信公众号上输入手机蓝牙MAC地址信息来进行二次验证。基于二次验证结果从X、Y和Z的人脸数据确定乘客X人脸数据，以及确定与乘客X人脸数据对应的账户信息。

根据上述记载，在一示例性实施例中，如图2至图4所示，人脸底库至少包括总库、站点库和闸机端侧库；将通过活体检测的人脸图像与人脸底库中的所有人脸数据进行比对，得到比对结果的过程包括：将通过活体检测的人脸图像与闸机端侧库中的所有人脸数据进行比对，得到比对通过或比对未通过的结果；和/或，将通过活体检测的人脸图像与站点库中的所有人脸数据进行比对，得到比对通过或比对未通过的结果；和/或，将通过活体检测的人脸图像与总库中的所有人脸数据进行比对，得到比对通过或比对未通过的结果；其中，站点库和/或闸机端侧库根据总库得到，例如根据实际情况从总库中调取对应的人脸数据到站点库和/或闸机端侧库。作为示例，本申请实施例采用多级架构的人脸比对方式，即先将通过活体检测的乘客D的人脸图像与闸机端侧库中的所有人脸数据进行比对，若与闸机端侧库比对通过，则根据比对结果进行从闸机端侧库中获取与乘客D人脸图像的相似度超过预设阈值的人脸数据，以及与乘客D人脸数据对应的账户信息；若与闸机端侧库比对未通过，即闸机端侧库中没有与乘客D的人脸图像的相似度超过预设阈值的人脸数据，则再将通过活体检测的人脸图像与站点库中的所有人脸数据进行比对。若与站点库比对通过，则根据比对结果进行从站点库中获取与乘客D人脸图像的相似度超过预设阈值的人脸数据，以及与乘客D人脸数据对应的账户信息。若与站点库比对未通过，即站点库中没有与乘客D的人脸图像的相似度超过预设阈值的人脸数据，则再将通过活体检测的人脸图像与总库中的所有人脸数据进行比对。若与总库比对通过，则根据比对结果进行从总库中获取与乘客D人脸图像的相似度超过预设阈值的人脸数据，以及与乘客D人脸数据对应的账户信息。若与总库比对未通过，即总库中没有与乘客D的人脸图像的相似度超过预设阈值的人脸数据，则在人脸识别终端PAD显示比对未通过的结果；并提示乘客D在轨道交通APP和/或轨道交通微信公众号进行注册。本申请实施例中，特定人员或特定乘客的人脸数据可以存储在站点库和/或闸机端侧库。

在一示例性实施例中，若站点库和/或闸机端侧库存储的人脸数据超过预设的限定空间，则将预设时间段内乘坐次数最多的前K个目标对象或者预设时间段内乘坐频率最高的前K个目标对象确定为常访问目标对象；利用LRU算法淘汰站点库和/或闸机端侧库中常访问目标对象之外的人脸数据。具体地，当数据库中存储的数据超过一定规模后，人脸识别的误识率会升高、通过率会减低，究其原因是人脸识别算法在人脸底库到达百万级时，算法无法维持原有的高准确率。然而对一个国内城市来说，乘客达到百万级别是再正常不过的事情。因此，针对这种情况，本方法通过LRU算法获取各轨道交通站点的热点数据。即通过标签技术LRU算法(Least recently used)根据数据的历史访问记录来进行淘汰数据，即建立一种淘汰机制，而将最久未使用的数据置换为热点数据，从而为站点建立常旅客人脸库。LRU核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高；如果一个数据在最近一段时间没有被访问到，那么在将来它被访问的可能性也很小”。也就是说，当限定的空间已存满数据时，应当把最久没有被访问到的数据淘汰。即利用LRU算法淘汰预设时间段内乘坐次数最多的前K个目标对象或者预设时间段内乘坐频率最高的前K个目标对象之外的人脸数据。对一个站点来说，其常旅客数量一般不会超过10万，这完全在算法高准确率范围之内。在本申请实施例，可以在站点侧部署站点库，用于将常在该站进出的乘客迅速识别出来；或者在闸机端侧部署闸机端侧库，用于将常在该闸机进出的乘客迅速识别出来。对于从未出现过的乘客，会在总库中进行识别，当识别出符合相似度阈值要求为多人时，可以要求乘客输入后四位手机号码，以便对乘客进行唯一确认。

根据上述记载，在一示例性实施例中，如图2至图4所示，当一个或多个乘客位于轨道交通进站口时，检票机AGM将当前站点、当前时间、当前闸机编号、一个或多个乘客的人脸数据以及对应的通行账户信息发送至售票检票系统AFC，生成一个或多个乘客的进站通行订单信息；将一个或多个乘客的进站通行订单信息传输给检票机AGM进行识别，根据识别结果控制当前闸机改变当前状态或维持当前状态。当一个或多个乘客位于轨道交通出站口时，检票机AGM将当前站点、当前时间、当前闸机编号、一个或多个乘客的人脸数据以及对应的通行账户信息和支付账户信息发送至售票检票系统AFC，生成一个或多个乘客的出站通行订单信息；将一个或多个乘客的出站通行订单信息传输给检票机进行识别，根据识别结果控制当前闸机改变当前状态或维持当前状态。本方法中乘客进站生成进站通行订单信息和/或乘客出站生成出站通行订单信息基于现有的售票检票系统AFC和检票机AGM实现，本方法对此不进行赘述。

根据上述记载，在一示例性实施例中，在乘客K位于轨道进站口时，设置在进站口闸机端的人脸识别终端PAD对乘客K进行人脸抓拍，并将抓拍的人脸发送至后台刷脸通行系统中进行活体检测、人脸特征提取和人脸识别。在通过人脸识别后，向人脸识别终端PAD反馈乘客识别结果，若在反馈过程中出现异常情况，则向服务台通知人工来处理异常情况。通过人脸识别终端PAD向检票机AGM发起进站请求，并由检票机AGM将当前站点、当前时间、当前闸机编号和乘客K的人脸数据发送至售票检票系统AFC，由售票检票系统AFC生成乘客K的进站通行订单信息以及闸机控制指令，并将生成的进站通行订单信息、闸机控制指令传输给检票机AGM，通过检票机AGM识别闸机控制指令，打开闸机。且在打开闸机后，判断本次是否需要进行支付费用，如果不需要，则不进行自动扣费。其中，人脸识别过程如下：先将通过活体检测的乘客K的人脸图像与闸机端侧库中的所有人脸数据进行比对，若与闸机端侧库比对通过，则根据比对结果进行从闸机端侧库中获取与乘客K人脸图像的相似度超过预设阈值的人脸数据，以及与乘客K人脸数据对应的账户信息；若与闸机端侧库比对未通过，即闸机端侧库中没有与乘客K的人脸图像的相似度超过预设阈值的人脸数据，则再将通过活体检测的人脸图像与站点库中的所有人脸数据进行比对。若与站点库比对通过，则根据比对结果进行从站点库中获取与乘客K人脸图像的相似度超过预设阈值的人脸数据，以及与乘客K人脸数据对应的账户信息。若与站点库比对未通过，即站点库中没有与乘客K的人脸图像的相似度超过预设阈值的人脸数据，则再将通过活体检测的人脸图像与总库中的所有人脸数据进行比对。若与总库比对通过，则根据比对结果进行从总库中获取与乘客K人脸图像的相似度超过预设阈值的人脸数据，以及与乘客K人脸数据对应的账户信息。若与总库比对未通过，即总库中没有与乘客K的人脸图像的相似度超过预设阈值的人脸数据，则在人脸识别终端PAD显示比对未通过的结果；并提示乘客K在轨道交通APP和/或轨道交通微信公众号进行注册。

根据上述记载，在一示例性实施例中，在乘客K位于轨道出站口时，设置在出站口闸机端的人脸识别终端PAD对乘客K进行人脸抓拍，并将抓拍的人脸发送至后台刷脸通行系统中进行活体检测、人脸特征提取和人脸识别。在通过人脸识别后，向人脸识别终端PAD反馈乘客识别结果，若在反馈过程中出现异常情况，则向服务台通知人工来处理异常情况。通过人脸识别终端PAD向检票机AGM发起出站请求，并由检票机AGM将当前站点、当前时间、当前闸机编号和乘客K的人脸数据发送至售票检票系统AFC，由售票检票系统AFC生成乘客K的出站通行订单信息以及闸机控制指令，并将生成的出站通行订单信息、闸机控制指令传输给检票机AGM，通过检票机AGM识别闸机控制指令，打开闸机。且在打开闸机后，判断本次是否需要进行支付费用，如果需要进行扣费，则由售票检票系统AFC从乘客K的人脸数据对应的支付账号中扣款，由此实现乘客刷脸通行及支付功能，在进行扣款时，售票检票系统AFC还将扣款结果发送给支付管理系统进行支付业务统计，以及由售票检票系统AFC向乘客K发起扣费提示告知。在进行扣款时，售票检票系统AFC还判断是否扣费成功，且在出现支付异常时，售票检票系统AFC还通知服务台利用人工来处理异常情况。

综上所述，本发明提供一种基于人脸识别的通行方法，能够在现有售票检票系统AFC的基础上，以人脸识别技术为核心，完成人脸信息跟交通通行账户、支付账户的关联绑定。从而在乘客进出站时，可以通过设置在进站口和/或出站口闸机端的人脸识别终端PAD对乘客进行人脸抓拍，并将抓拍的人脸发送至后台刷脸通行系统中进行活体检测、人脸特征提取和人脸比对，根据比对结果从售票检票系统AFC中找到该乘客对应的通行账号信息和支付账号信息。同时通过售票检票系统AFC对该乘客对应的通行账号信息和支付账号信息进行判断，生成进站通行订单信息或出站通行订单信息，以及闸机控制指令；并将生成的闸机控制指令发送给闸机端的检票机AGM，通过检票机AGM识别闸机控制指令，控制进站口或出站口的闸机打开或继续关闭。且在乘客出站时，售票检票系统AFC从识别到的人脸数据对应的支付账号中扣款，由此实现乘客刷脸通行及支付功能。在进行扣款时，售票检票系统AFC还将扣款结果发送给支付管理系统进行支付业务统计。本方法借助于人脸信息的独特性和唯一性，通过将乘客的人脸信息与其交通通行账户信息、支付账户信息的关联绑定，在乘客进出闸机时，利用闸机上的人脸识别终端对乘客进行人脸识别，在将识别结果传到售票检票系统AFC后，售票检票系统AFC就能自动判断乘客的交通通行账号信息和支付账号信息，从而无需掏出交通卡或手机，取代了现有技术中的公交卡、二维码等介质，提高了乘客进出站效率，减少了乘客乘坐公共交通进出站或上下车时的拥挤，提升了交通运营服务质量。其中，本方法中的目标对象可以是普通乘客，或者特定乘客。由于本方法无需交通卡、手机二维码等介质；可以无感通行、无感支付，用户体验好。本方法通过让乘客预先在交通APP和/或交通微信公众号上提前注册，在进出站时可以利用乘客的人脸图像替代交通卡、手机二维码等介质，从而可以减少售票，减少人工维护工作量，降低运维成本。

如图2至图5所示，一种基于人脸识别的通行系统，其特征在于，包括有：

采集模块M10，用于通过一个或多个人脸识别终端获取目标对象的人脸图像；其中，一个或多个人脸识别终端可以设置在交通进站口和/或出站口的闸机上，也可以设置在公交车的上车处和/或下车处。本系统中的人脸识别终端PAD配置有红外双目摄像头模组、真人判断的算法以及高性能主控制器；可以快速完成活体检测算法的运行；且提供各类丰富的接口，可与不同型号的闸机进行通讯。本系统中的人脸识别终端PAD可以在PAD屏幕中可提示乘客当前通行状态。

比对模块M20，用于对获取的目标对象的人脸图像进行活体检测，将通过活体检测的人脸图像与人脸底库中的所有人脸数据进行比对。本系统通过对人脸图像进行活体检测，可以排除打印的人脸图片，或者人头模型，保证采集的人脸图像都是真人的人脸图像。

账户模块M30，用于根据比对结果从人脸底库中获取与人脸图像的相似度超过预设阈值的人脸数据，以及与该人脸数据对应的账户信息；账户信息至少包括：通行账户信息和/或支付账户信息；其中，支付账户信息包括支付宝信息、微信支付信息、银联闪付信息等。

通行模块M40，用于根据获取的人脸数据和对应的账户信息生成通行信息，并根据所述通行信息确认目标对象是否能够通行。

本系统能够在现有售票检票系统AFC的基础上，以人脸识别技术为核心，完成人脸信息跟交通通行账户、支付账户的关联绑定。从而在乘客进出站时，可以通过设置在进站口和/或出站口闸机端的人脸识别终端PAD对乘客进行人脸抓拍，并将抓拍的人脸发送至后台刷脸通行系统中进行活体检测、人脸特征提取和人脸比对，根据比对结果从售票检票系统AFC中找到该乘客对应的通行账号信息和支付账号信息。同时通过售票检票系统AFC对该乘客对应的通行账号信息和支付账号信息进行判断，生成进站通行订单信息或出站通行订单信息，以及闸机控制指令；并将生成的闸机控制指令发送给闸机端的检票机AGM，通过检票机AGM识别闸机控制指令，控制进站口或出站口的闸机打开或继续关闭。且在乘客出站时，售票检票系统AFC从识别到的人脸数据对应的支付账号中扣款，由此实现乘客刷脸通行及支付功能。在进行扣款时，售票检票系统AFC还将扣款结果发送给支付管理系统进行支付业务统计。本系统借助于人脸信息的独特性和唯一性，通过将乘客的人脸信息与其交通通行账户信息、支付账户信息的关联绑定，在乘客进出闸机时，利用闸机上的人脸识别终端对乘客进行人脸识别，在将识别结果传到售票检票系统AFC后，售票检票系统AFC就能自动判断乘客的交通通行账号信息和支付账号信息，从而无需掏出交通卡或手机，取代了现有技术中的公交卡、二维码等介质，提高了乘客进出站效率，减少了乘客乘坐公共交通进出站或上下车时的拥挤，提升了交通运营服务质量。其中，本系统中的目标对象可以是普通乘客，或者特定乘客。

在一示例性实施例中，比对模块M20将通过活体检测的人脸图像与人脸底库中的所有人脸数据进行比对前，还包括建立人脸底库；建立过程如下：通过交通应用程序和/或交通交互平台采集目标对象的个人注册信息；个人注册信息至少包括：人脸数据、手机号码信息、手机蓝牙MAC地址信息；基于目标对象的个人注册信息创建对应的通行账户信息；将创建的通行账户信息与目标对象的支付账户信息进行绑定；并在完成绑定后将目标对象的个人注册信息、通行账户信息以及支付账户信息存储至一个或多个数据库中，建立人脸底库。本申请实施例通过采集乘客的人脸数据、手机号码信息、手机蓝牙MAC地址信息、身份证信息等信息，可以对乘客实现实名乘车，便于追溯乘客的乘车记录。其中，本申请实施例中的交通包括但不限于轨道交通、城市公交车，即交通应用程序包括但不限于轨道交通应用程序、城市公交车交通应用程序，交通交互平台包括但不限于轨道交通交互平台、城市公交车交通交互平台。作为示例，例如交通应用程序可以是交通APP，交通交互平台可以是交通微信公众号。

根据上述记载，在一示例性实施例中，如图3所示，通过交通应用程序和/或交通交互平台采集目标对象的人脸数据的过程包括：通过交通应用程序和/或交通交互平台采集目标对象的人脸图像；对采集的人脸图像进行活体检测；若未通过活体检测，则重新采集目标对象的人脸图像；利用质量分模型对通过活体检测的人脸图像进行打分，获取质量分超过预设分数值的人脸图像；对质量分超过预设分数值的人脸图像进行特征识别，获取目标对象的人脸特征，作为目标对象的人脸数据。作为示例，本申请实施例中的交通应用程序可以是轨道交通应用程序，交通交互平台可以是轨道交通交互平台。

根据上述记载，在一示例性实施例中，如图2至图4所示，在目标对象进站或出站时，若根据某一目标对象的比对结果从人脸底库中获取了多个目标对象的人脸数据，则还包括：利用手机号码信息和/或手机蓝牙MAC地址信息对某一目标对象进行二次验证；基于二次验证结果从人脸底库中获取最终的人脸数据，以及获取与最终人脸数据对应的账户信息；或者，基于二次验证结果从上一次获取的多个目标对象的人脸数据确定最终的人脸数据，以及确定与最终人脸数据对应的账户信息。作为一示例，根据乘客A的比对结果从人脸底库中获取了乘客A、B和C的人脸数据，则还包括：利用手机号码信息和/或手机蓝牙MAC地址信息对乘客A进行二次验证，例如乘客A可以在轨道交通APP和/或轨道交通微信公众号上输入手机号码的后四位信息来进行二次验证。基于二次验证结果从人脸底库中获取乘客A的人脸数据，以及获取与乘客A人脸数据对应的账户信息。作为另一示例，根据乘客X的比对结果从人脸底库中获取了乘客X、Y和Z的人脸数据，则还包括：利用手机号码信息和/或手机蓝牙MAC地址信息对乘客X进行二次验证，例如乘客X可以在轨道交通APP和/或轨道交通微信公众号上输入手机蓝牙MAC地址信息来进行二次验证。基于二次验证结果从X、Y和Z的人脸数据确定乘客X人脸数据，以及确定与乘客X人脸数据对应的账户信息。

根据上述记载，在一示例性实施例中，如图2至图4所示，人脸底库至少包括总库、站点库和闸机端侧库；将通过活体检测的人脸图像与人脸底库中的所有人脸数据进行比对，得到比对结果的过程包括：将通过活体检测的人脸图像与闸机端侧库中的所有人脸数据进行比对，得到比对通过或比对未通过的结果；和/或，将通过活体检测的人脸图像与站点库中的所有人脸数据进行比对，得到比对通过或比对未通过的结果；和/或，将通过活体检测的人脸图像与总库中的所有人脸数据进行比对，得到比对通过或比对未通过的结果；其中，站点库和/或闸机端侧库根据总库得到，例如根据实际情况从总库中调取对应的人脸数据到站点库和/或闸机端侧库。作为示例，本申请实施例采用多级架构的人脸比对方式，即先将通过活体检测的乘客D的人脸图像与闸机端侧库中的所有人脸数据进行比对，若与闸机端侧库比对通过，则根据比对结果进行从闸机端侧库中获取与乘客D人脸图像的相似度超过预设阈值的人脸数据，以及与乘客D人脸数据对应的账户信息；若与闸机端侧库比对未通过，即闸机端侧库中没有与乘客D的人脸图像的相似度超过预设阈值的人脸数据，则再将通过活体检测的人脸图像与站点库中的所有人脸数据进行比对。若与站点库比对通过，则根据比对结果进行从站点库中获取与乘客D人脸图像的相似度超过预设阈值的人脸数据，以及与乘客D人脸数据对应的账户信息。若与站点库比对未通过，即站点库中没有与乘客D的人脸图像的相似度超过预设阈值的人脸数据，则再将通过活体检测的人脸图像与总库中的所有人脸数据进行比对。若与总库比对通过，则根据比对结果进行从总库中获取与乘客D人脸图像的相似度超过预设阈值的人脸数据，以及与乘客D人脸数据对应的账户信息。若与总库比对未通过，即总库中没有与乘客D的人脸图像的相似度超过预设阈值的人脸数据，则在人脸识别终端PAD显示比对未通过的结果；并提示乘客D在轨道交通APP和/或轨道交通微信公众号进行注册。本申请实施例中，特定人员或特定乘客的人脸数据可以存储在站点库和/或闸机端侧库。

在一示例性实施例中，若站点库和/或闸机端侧库存储的人脸数据超过预设的限定空间，则将预设时间段内乘坐次数最多的前K个目标对象或者预设时间段内乘坐频率最高的前K个目标对象确定为常访问目标对象；利用LRU算法淘汰站点库和/或闸机端侧库中常访问目标对象之外的人脸数据。具体地，当数据库中存储的数据超过一定规模后，人脸识别的误识率会升高、通过率会减低，究其原因是人脸识别算法在人脸底库到达百万级时，算法无法维持原有的高准确率。然而对一个国内城市来说，乘客达到百万级别是再正常不过的事情。因此，针对这种情况，本系统通过LRU算法获取各轨道交通站点的热点数据。即通过标签技术LRU算法(Least recently used)根据数据的历史访问记录来进行淘汰数据，即建立一种淘汰机制，而将最久未使用的数据置换为热点数据，从而为站点建立常旅客人脸库。LRU核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高；如果一个数据在最近一段时间没有被访问到，那么在将来它被访问的可能性也很小”。也就是说，当限定的空间已存满数据时，应当把最久没有被访问到的数据淘汰。即利用LRU算法淘汰预设时间段内乘坐次数最多的前K个目标对象或者预设时间段内乘坐频率最高的前K个目标对象之外的人脸数据。对一个站点来说，其常旅客数量一般不会超过10万，这完全在算法高准确率范围之内。在本申请实施例，可以在站点侧部署站点库，用于将常在该站进出的乘客迅速识别出来；或者在闸机端侧部署闸机端侧库，用于将常在该闸机进出的乘客迅速识别出来。对于从未出现过的乘客，会在总库中进行识别，当识别出符合相似度阈值要求为多人时，可以要求乘客输入后四位手机号码，以便对乘客进行唯一确认。

根据上述记载，在一示例性实施例中，如图2至图4所示，当一个或多个乘客位于轨道交通进站口时，检票机AGM将当前站点、当前时间、当前闸机编号、一个或多个乘客的人脸数据以及对应的通行账户信息发送至售票检票系统AFC，生成一个或多个乘客的进站通行订单信息；将一个或多个乘客的进站通行订单信息传输给检票机AGM进行识别，根据识别结果控制当前闸机改变当前状态或维持当前状态。当一个或多个乘客位于轨道交通出站口时，检票机AGM将当前站点、当前时间、当前闸机编号、一个或多个乘客的人脸数据以及对应的通行账户信息和支付账户信息发送至售票检票系统AFC，生成一个或多个乘客的出站通行订单信息；将一个或多个乘客的出站通行订单信息传输给检票机进行识别，根据识别结果控制当前闸机改变当前状态或维持当前状态。本系统中乘客进站生成进站通行订单信息和/或乘客出站生成出站通行订单信息基于现有的售票检票系统AFC和检票机AGM实现，本系统对此不进行赘述。

根据上述记载，在一示例性实施例中，在乘客K位于轨道进站口时，设置在进站口闸机端的人脸识别终端PAD对乘客K进行人脸抓拍，并将抓拍的人脸发送至后台刷脸通行系统中进行活体检测、人脸特征提取和人脸识别。在通过人脸识别后，向人脸识别终端PAD反馈乘客识别结果，若在反馈过程中出现异常情况，则向服务台通知人工来处理异常情况。通过人脸识别终端PAD向检票机AGM发起进站请求，并由检票机AGM将当前站点、当前时间、当前闸机编号和乘客K的人脸数据发送至售票检票系统AFC，由售票检票系统AFC生成乘客K的进站通行订单信息以及闸机控制指令，并将生成的进站通行订单信息、闸机控制指令传输给检票机AGM，通过检票机AGM识别闸机控制指令，打开闸机。且在打开闸机后，判断本次是否需要进行支付费用，如果不需要，则不进行自动扣费。其中，人脸识别过程如下：先将通过活体检测的乘客K的人脸图像与闸机端侧库中的所有人脸数据进行比对，若与闸机端侧库比对通过，则根据比对结果进行从闸机端侧库中获取与乘客K人脸图像的相似度超过预设阈值的人脸数据，以及与乘客K人脸数据对应的账户信息；若与闸机端侧库比对未通过，即闸机端侧库中没有与乘客K的人脸图像的相似度超过预设阈值的人脸数据，则再将通过活体检测的人脸图像与站点库中的所有人脸数据进行比对。若与站点库比对通过，则根据比对结果进行从站点库中获取与乘客K人脸图像的相似度超过预设阈值的人脸数据，以及与乘客K人脸数据对应的账户信息。若与站点库比对未通过，即站点库中没有与乘客K的人脸图像的相似度超过预设阈值的人脸数据，则再将通过活体检测的人脸图像与总库中的所有人脸数据进行比对。若与总库比对通过，则根据比对结果进行从总库中获取与乘客K人脸图像的相似度超过预设阈值的人脸数据，以及与乘客K人脸数据对应的账户信息。若与总库比对未通过，即总库中没有与乘客K的人脸图像的相似度超过预设阈值的人脸数据，则在人脸识别终端PAD显示比对未通过的结果；并提示乘客K在轨道交通APP和/或轨道交通微信公众号进行注册。

根据上述记载，在一示例性实施例中，在乘客K位于轨道出站口时，设置在出站口闸机端的人脸识别终端PAD对乘客K进行人脸抓拍，并将抓拍的人脸发送至后台刷脸通行系统中进行活体检测、人脸特征提取和人脸识别。在通过人脸识别后，向人脸识别终端PAD反馈乘客识别结果，若在反馈过程中出现异常情况，则向服务台通知人工来处理异常情况。通过人脸识别终端PAD向检票机AGM发起出站请求，并由检票机AGM将当前站点、当前时间、当前闸机编号和乘客K的人脸数据发送至售票检票系统AFC，由售票检票系统AFC生成乘客K的出站通行订单信息以及闸机控制指令，并将生成的出站通行订单信息、闸机控制指令传输给检票机AGM，通过检票机AGM识别闸机控制指令，打开闸机。且在打开闸机后，判断本次是否需要进行支付费用，如果需要进行扣费，则由售票检票系统AFC从乘客K的人脸数据对应的支付账号中扣款，由此实现乘客刷脸通行及支付功能，在进行扣款时，售票检票系统AFC还将扣款结果发送给支付管理系统进行支付业务统计，以及由售票检票系统AFC向乘客K发起扣费提示告知。在进行扣款时，售票检票系统AFC还判断是否扣费成功，且在出现支付异常时，售票检票系统AFC还通知服务台利用人工来处理异常情况。

综上所述，本发明提供一种基于人脸识别的通行系统，能够在现有售票检票系统AFC的基础上，以人脸识别技术为核心，完成人脸信息跟交通通行账户、支付账户的关联绑定。从而在乘客进出站时，可以通过设置在进站口和/或出站口闸机端的人脸识别终端PAD对乘客进行人脸抓拍，并将抓拍的人脸发送至后台刷脸通行系统中进行活体检测、人脸特征提取和人脸比对，根据比对结果从售票检票系统AFC中找到该乘客对应的通行账号信息和支付账号信息。同时通过售票检票系统AFC对该乘客对应的通行账号信息和支付账号信息进行判断，生成进站通行订单信息或出站通行订单信息，以及闸机控制指令；并将生成的闸机控制指令发送给闸机端的检票机AGM，通过检票机AGM识别闸机控制指令，控制进站口或出站口的闸机打开或继续关闭。且在乘客出站时，售票检票系统AFC从识别到的人脸数据对应的支付账号中扣款，由此实现乘客刷脸通行及支付功能。在进行扣款时，售票检票系统AFC还将扣款结果发送给支付管理系统进行支付业务统计。本系统借助于人脸信息的独特性和唯一性，通过将乘客的人脸信息与其交通通行账户信息、支付账户信息的关联绑定，在乘客进出闸机时，利用闸机上的人脸识别终端对乘客进行人脸识别，在将识别结果传到售票检票系统AFC后，售票检票系统AFC就能自动判断乘客的交通通行账号信息和支付账号信息，从而无需掏出交通卡或手机，取代了现有技术中的公交卡、二维码等介质，提高了乘客进出站效率，减少了乘客乘坐公共交通进出站或上下车时的拥挤，提升了交通运营服务质量。其中，本系统中的目标对象可以是普通乘客，或者特定乘客。由于本系统无需交通卡、手机二维码等介质；可以无感通行、无感支付，用户体验好。本系统通过让乘客预先在交通APP和/或交通微信公众号上提前注册，在进出站时可以利用乘客的人脸图像替代交通卡、手机二维码等介质，从而可以减少售票，减少人工维护工作量，降低运维成本。

本申请实施例还提供了一种基于人脸识别的交通通行设备，包括有：

通过一个或多个人脸识别终端获取待通行的目标对象的人脸图像；

对获取的目标对象的人脸图像进行活体检测，将通过活体检测的人脸图像与人脸底库中的所有人脸数据进行比对；

根据比对结果从人脸底库中获取与人脸图像的相似度超过预设阈值的人脸数据，以及与该人脸数据对应的账户信息；账户信息至少包括：通行账户信息和/或支付账户信息；

基于获取的人脸数据和对应的账户信息生成通行信息，并根据所述通行信息确认目标对象是否能够通行。

在本实施例中，该设备执行上述系统或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。

本申请实施例还提供了一种计算机设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中数据处理方法所包含步骤的指令(instructions)。

图6为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图7为本申请的另一个实施例提供的终端设备的硬件结构示意图。图7是对图6在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，音频组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件1206被配置为输出和/或输入语音信号。例如，音频组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，音频组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图7实施例中所涉及的通信组件1203、音频组件1206以及输入/输出接口1207、传感器组件1208均可以作为图6实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。