一种目标检测方法、系统、计算机设备及机器可读介质

技术领域

本发明涉及图像识别技术领域，特别是涉及一种目标检测方法、系统、计算机设备及机器可读介质。

背景技术

人员的结构化检测包含了人体检测，人脸检测，人头检测等，在监控安防领域人脸识别，人群计数以及行为分析识别等应用方面都有很重要的意义。目前人员的结构化检测主要采用的方式基本倾向于基于深度学习的多任务单独检测，这种方式在背景复杂的监控场景下，容易受到光线、天气、遮挡等影响，同时由于人自身的灵活性，姿态角度的易变性，更容易出现有人头无人体或者有其一无其他的检测框的情况，说明这种方式忽略了人员的结构化信息，即人脸、人头和人体的相关性，导致在一定程度上影响了检测效果。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种目标检测方法、系统、计算机设备及机器可读介质，用于解决现有技术中存在的技术问题。

为实现上述目的及其他相关目的，本发明提供一种目标检测方法，包括以下步骤：

利用神经网络从目标图像中提取多个目标特征，并基于提取的多个目标特征关联多个目标，形成结构化目标；其中，所述多个目标属于同一对象；

预测所述结构化目标的分类置信度以及所述结构化目标的回归值，并根据预测结果在所述目标图像中显示所述结构化目标。

可选地，所述根据预测结果在所述目标图像中显示所述结构化目标，包括：

从所述预测结果中提取出所述结构化目标的回归位置；

将所述结构化目标的回归位置映射至所述目标图像中，并在所述目标图像中定位和显示所述结构化目标。

可选地，预测所述结构化目标的回归值的过程包括：将从所述目标图像中提取出的多个目标特征与所述目标图像中预先关联的锚框信息或锚点信息进行结合，根据结合结果预测所述结构化目标的回归值。

可选地，在利用神经网络从目标图像中提取多个目标特征前，还包括对所述目标图像进行归一化。

可选地，还包括在所述神经网络的网络结构中加上FPN结构，并利用加上FPN结构后的神经网络从所述目标图像中提取多个目标特征。

可选地，所述多个目标至少包括人体、人头和人脸。

本发明还提供一种目标检测系统，包括有：

特征提取模块，用于利用神经网络从目标图像中提取多个目标特征；

关联模块，用于根据提取的多个目标特征关联多个目标，形成结构化目标；其中，所述多个目标属于同一对象；

结构化预测模块，用于预测所述结构化目标的分类置信度以及所述结构化目标的回归值；

显示模块，用于根据预测结果在所述目标图像中显示所述结构化目标。

可选地，所述显示模块根据预测结果在所述目标图像中显示所述结构化目标，包括：

从所述预测结果中提取出所述结构化目标的回归位置；

将所述结构化目标的回归位置映射至所述目标图像中，并在所述目标图像中定位和显示所述结构化目标。

可选地，所述结构化模块预测所述结构化目标的回归值的过程包括：还包括将从所述目标图像中提取出的多个目标特征与所述目标图像中预先关联的锚框信息或锚点信息进行结合，根据结合结果预测所述结构化目标的回归值。

可选地，还包括在所述神经网络的网络结构中加上FPN结构，并利用加上FPN结构后的神经网络从所述目标图像中提取多个目标特征。

本发明还提供一种计算机设备，包括：

一个或多个处理器；和

存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如上述中任意一项所述的方法。

本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如上述中任意一项所述的方法。

如上所述，本发明提供一种目标检测方法、系统、计算机设备及机器可读介质，具有以下有益效果：本发明利用神经网络从目标图像中提取多个目标特征；基于提取的多个目标特征关联多个目标，形成结构化目标；预测结构化目标的分类置信度以及结构化目标的回归值，并根据预测结果在目标图像中显示结构化目标。其中，多个目标属于同一对象，包括该对象的人体目标、人头目标和人脸目标。由于现有技术对人员单独进行目标检测时会忽略同一个人中人体、人脸和人头的相关性，从而会失去该人员的结构化信息。而本发明针对目前存在的问题，设计了一种人员结构化检测方式，采用深度学习来构建检测神经网络，通过改进目标的预测方式，整合关联多个目标，将单独的目标标签预测变为整体结构化预测，同时联合多个目标的标签进行anchor(即锚点或锚框)关联聚类，建立结构化模型。由于结构化模型结合了人员目标的结构相关性，能够将单独的人体目标和与之相关的人脸目标、人头目标进行关联，从而减少了对同一人员中多个目标的漏检，也减少了对不相关目标的误检。并且本申请实施例在对某个人员进行跟踪识别前，可以先对该人员的人体目标、人脸目标和人头目标进行关联，从而在提升目标关联准确度的同时，还能够提升后续的跟踪识别效果。本申请实施例通过将人体检测、人脸检测、人头检测等多目标单独检测直接整合成一个结构化目标进行检测，能够保留同一个人员中人体目标、人头目标和人脸目标的相关性，不仅有助于消除误检，而且结构化目标的绑定还有助于简化后续一系列跟踪识别阶段对目标的关联性操作，即对于实时监控下的人员，只需判断该人员的身份即可获取该人员的人体、人头、人脸等信息，而无需再判定该人体、人脸和人头的信息是否都对应到同一个人，从而增强了人员目标的关联性，减少了跟踪识别阶段再进行目标关联的误差，提升了跟踪识别的效果。

附图说明

图1为一实施例提供的目标检测方法的流程示意图；

图2为另一实施例提供的目标检测方法的流程示意图；

图3为一实施例提供的目标检测系统的硬件结构示意图；

图4为一实施例提供的结构化预测模块的示意图；

图5为一实施例提供的终端设备的硬件结构示意图；

图6为另一实施例提供的终端设备的硬件结构示意图。

元件标号说明

M10 特征提取模块

M20 关联模块

M30 结构化预测模块

M40 显示模块

1100 输入设备

1101 第一处理器

1102 输出设备

1103 第一存储器

1104 通信总线

1200 处理组件

1201 第二处理器

1202 第二存储器

1203 通信组件

1204 电源组件

1205 多媒体组件

1206 音频组件

1207 输入/输出接口

1208 传感器组件

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种目标检测方法，包括以下步骤：

S100，利用神经网络从目标图像中提取多个目标特征；其中，本申请实施例可以用一个神经网络从目标图像中提取多个目标特征，也可以用多个神经网络从目标图像中提取多个目标特征；目标图像可以是单帧图像，也可以是多帧图像。

S200，基于提取的多个目标特征关联多个目标，形成结构化目标；其中，多个目标属于同一对象，且多个目标至少包括人体目标、人头目标和人脸目标。

S300，预测结构化目标的分类置信度以及结构化目标的回归值，并根据预测结果在目标图像中显示结构化目标。

本申请实施例针对目前存在的问题，设计了一种人员结构化检测方式，采用深度学习来构建检测神经网络，通过改进目标的预测方式，整合关联多个目标，将单独的目标标签预测变为整体结构化预测，同时联合多个目标的标签进行anchor(即锚点或锚框)关联聚类，建立结构化模型。由于结构化模型结合了人员目标的结构相关性，能够将单独的人体目标和与之相关的人脸目标、人头目标进行关联，从而减少了对同一人员中多个目标的漏检，也减少了对不相关目标的误检。并且本申请实施例在对某个人员进行跟踪识别前，可以先对该人员的人体目标、人脸目标和人头目标进行关联，从而在提升目标关联准确度的同时，还能够提升后续的跟踪识别效果。本申请实施例通过将人体检测、人脸检测、人头检测等多目标单独检测直接整合成一个结构化目标进行检测，能够保留同一个人员中人体目标、人头目标和人脸目标的相关性，不仅有助于消除误检，而且结构化目标的绑定还有助于简化后续一系列跟踪识别阶段对目标的关联性操作，即对于实时监控下的人员，只需判断该人员的身份即可获取该人员的人体、人头、人脸等信息，而无需再判定该人体、人脸和人头的信息是否都对应到同一个人，从而增强了人员目标的关联性，减少了跟踪识别阶段再进行目标关联的误差，提升了跟踪识别的效果。作为示例，以单人检测为例进行结构化检测，其中，人体、人脸和人头的检测都是不同的目标任务，他们可以单独检测，但同时它们同属于同一个人，是同一个人的信息，因此可以将同一个人的人体、人脸和人头作为同一个结构化目标进行检测和/或预测，所以本申请实施例将同一个人的人体、人头和人脸作为一个结构化目标进行检测。

根据上述记载，在一示例性实施例中，根据预测结果在目标图像中显示结构化目标的过程包括：根据预测结果提取出多个目标的回归位置，将多个目标的回归位置映射至所述目标图像中，并在目标图像中定位和显示所述结构化目标。作为示例，例如根据预测结果提取出人体目标、人头目标和人脸目标的回归位置，再将人体目标、人头目标和人脸目标的回归位置映射至原始输入图像(即目标图像)的位置中，获得人体、人头和人脸在原始输入图像中的实际位置，完成结构化目标在原始输入图像上的定位和显示。

根据上述记载，预测结构化目标的回归值的过程包括：在形成结构化目标后，将从目标图像中提取出的多个目标特征与目标图像中已关联的anchor进行结合，即将从目标图像中提取出的多个目标特征与目标图像中已关联的锚框信息或锚点信息进行结合，然后根据结合结果预测结构化目标的回归值。作为示例，对于某单帧目标图像中的某人员A，首先从目标图像中提取出人员A的人头特征、人脸特征和人体特征，然后根据提取出的人头特征、人脸特征和人体特征将人员A的人头目标、人脸目标和人体目标进行关联，形成结构化目标。再将人员A在该帧目标图像中的人头框、人脸框和人体框进行关联，得到人员A对应的关联的anchor。最后将从目标图像中提取出的人头特征、人脸特征和人体特征与目标图像中已关联的anchor进行结合，然后根据结合结果预测结构化目标的回归值。

根据上述记载，在利用神经网络从目标图像中提取多个目标特征前，还包括对所述目标图像进行归一化，消除所述目标图像的平均特性。作为示例，具体地，通过图像采集装置获取目标图像，对采集的目标图像进行归一化，即减均值除方差，从而有助于消除目标图像的平均特性，保留目标图像的差异性特点，使进入提取特征模块的输入更具代表性。

根据上述记载，从目标图像中提取多个目标特征的神经网络可以选择经典的网络结构，或者自定义的全卷积网络作为基础的特征提取层，然后再对获取的目标图像进行特征提取。作为示例，基础特征提取网络可以选择VGG网络，resnet系列网络等，同样也可以选择自定义的全卷积网络。本申请实施例还可以在神经网络的网络结构上加上FPN结构，并利用加上FPN结构后的神经网络从目标图像中提取多个目标特征，本申请实施例通过在基础的网络结构上加上FPN结构可以增强目标特征的组成。

在一具体实施例中，本方法提供一种对人员结构化检测的方式，如图2所示，包括：

步骤S101，图像预处理。首先通过图像采集装置获取目标图像，对获取的目标图像进行归一化，即减均值、除方差，消除目标图像的平均特性，保留目标图像的差异性特点，使进入提取特征模块的输入更具代表性。

步骤S102，图像特征提取。通过选择经典的网络结构，或者自定义的全卷积网络作为基础的特征提取层，对输入的目标图像进行特征提取，基础特征提取网络可以选择VGG网络、resnet系列网络等，同样可以选择自定义网络，在基础的网络结构上加上FPN结构来增强目标特征的组成。本申请实施例采用基础的全卷积网络框架进行图片特征提取，保留目标图像深度信息。

步骤S103，图像结构化预测。根据提取到的特征，获取结构化目标的分类置信度以及结构化目标的回归值。其中，结构化目标的回归值通过结合已关联的anchor信息(即锚点信息或锚框信息)来联合产生，即对某图像中的人员A而言，在形成人员A的结构化目标后，再获得该图像中人员A所对应的已关联的锚框信息或锚点信息，然后将将从该图像中提取出的多个目标特征与该图像中人员A所对应的已关联的锚框信息或锚点信息进行结合，根据结合结果来预测结构化目标的回归值。本申请实施例中，关联的anchor同单独目标的anchor相比，不同的是前者的目标变为了结构化的多目标标签，而非单独的目标框标签。作为示例，在本申请实施例中，单个人体目标、人头目标或人脸目标的目标框标签为(xywh)，结构化目标的多目标标签则是(xywhxywhxywh)。再设定合理的阈值，根据设定的阈值和预测出的回归值一次性提取出人体、人头和人脸的回归位置；即预测结构化目标就相当于同时预测人体、人头和人脸这三类目标，从而可以一次性获取每一类目标的位置信息，对应为(xywhxywhxywh)。所以，本申请实施例通过结合关联的anchor可以直接预测输出结构化目标所有的回归位置，方便进行人员结构化预测建模，从而可以提升各部分检出以及降低误检率。

步骤S104，目标显示。再将预测提取出的目标位置信息映射到原始输入图像(即目标图像)的位置，获得结构化目标的实际目标位置，完成结构化目标在原始输入图像上的定位和显示。

本方法利用神经网络从目标图像中提取多个目标特征；基于提取的多个目标特征关联多个目标，形成结构化目标；预测结构化目标的分类置信度以及结构化目标的回归值，并根据预测结果在目标图像中显示结构化目标。其中，多个目标属于同一对象，包括该对象的人体目标、人头目标和人脸目标。由于现有技术对人员单独进行目标检测时会忽略同一个人中人体、人脸和人头的相关性，从而会失去该人员的结构化信息。而本方法针对目前存在的问题，设计了一种人员结构化检测方式，采用深度学习来构建检测神经网络，通过改进目标的预测方式，整合关联多个目标，将单独的目标标签预测变为整体结构化预测，同时联合多个目标的标签进行anchor(即锚点或锚框)关联聚类，建立结构化模型。由于结构化模型结合了人员目标的结构相关性，能够将单独的人体目标和与之相关的人脸目标、人头目标进行关联，从而减少了对同一人员中多个目标的漏检，也减少了对不相关目标的误检。并且本申请实施例在对某个人员进行跟踪识别前，可以先对该人员的人体目标、人脸目标和人头目标进行关联，从而在提升目标关联准确度的同时，还能够提升后续的跟踪识别效果。本申请实施例通过将人体检测、人脸检测、人头检测等多目标单独检测直接整合成一个结构化目标进行检测，能够保留同一个人员中人体目标、人头目标和人脸目标的相关性，不仅有助于消除误检，而且结构化目标的绑定还有助于简化后续一系列跟踪识别阶段对目标的关联性操作，即对于实时监控下的人员，只需判断该人员的身份即可获取该人员的人体、人头、人脸等信息，而无需再判定该人体、人脸和人头的信息是否都对应到同一个人，从而增强了人员目标的关联性，减少了跟踪识别阶段再进行目标关联的误差，提升了跟踪识别的效果。

如图3和图4所示，本发明还提供一种目标检测系统，包括有：

特征提取模块M10，用于利用神经网络从目标图像中提取多个目标特征；本申请实施例可以用一个神经网络从目标图像中提取多个目标特征，也可以用多个神经网络从目标图像中提取多个目标特征；目标图像可以是单帧图像，也可以是多帧图像。

关联模块M20，用于根据提取的多个目标特征关联多个目标，形成结构化目标；其中，所述多个目标属于同一对象；

结构化预测模块M30，用于预测所述结构化目标的分类置信度以及所述结构化目标的回归值；

显示模块M40，用于根据预测结果在所述目标图像中显示所述结构化目标。

本申请实施例针对目前存在的问题，设计了一种人员结构化检测方式，采用深度学习来构建检测神经网络，通过改进目标的预测方式，整合关联多个目标，将单独的目标标签预测变为整体结构化预测，同时联合多个目标的标签进行anchor(即锚点或锚框)关联聚类，建立结构化模型。由于结构化模型结合了人员目标的结构相关性，能够将单独的人体目标和与之相关的人脸目标、人头目标进行关联，从而减少了对同一人员中多个目标的漏检，也减少了对不相关目标的误检。并且本申请实施例在对某个人员进行跟踪识别前，可以先对该人员的人体目标、人脸目标和人头目标进行关联，从而在提升目标关联准确度的同时，还能够提升后续的跟踪识别效果。本申请实施例通过将人体检测、人脸检测、人头检测等多目标单独检测直接整合成一个结构化目标进行检测，能够保留同一个人员中人体目标、人头目标和人脸目标的相关性，不仅有助于消除误检，而且结构化目标的绑定还有助于简化后续一系列跟踪识别阶段对目标的关联性操作，即对于实时监控下的人员，只需判断该人员的身份即可获取该人员的人体、人头、人脸等信息，而无需再判定该人体、人脸和人头的信息是否都对应到同一个人，从而增强了人员目标的关联性，减少了跟踪识别阶段再进行目标关联的误差，提升了跟踪识别的效果。作为示例，以单人检测为例进行结构化检测，其中，人体、人脸和人头的检测都是不同的目标任务，他们可以单独检测，但同时它们同属于同一个人，是同一个人的信息，因此可以将同一个人的人体、人脸和人头作为同一个结构化目标进行检测和/或预测，所以本申请实施例将同一个人的人体、人头和人脸作为一个结构化目标进行检测。

根据上述记载，在一示例性实施例中，根据预测结果在目标图像中显示结构化目标的过程包括：根据预测结果提取出多个目标的回归位置，将多个目标的回归位置映射至所述目标图像中，并在目标图像中定位和显示所述结构化目标。作为示例，例如根据预测结果提取出人体目标、人头目标和人脸目标的回归位置，再将人体目标、人头目标和人脸目标的回归位置映射至原始输入图像(即目标图像)的位置中，获得人体、人头和人脸在原始输入图像中的实际位置，完成结构化目标在原始输入图像上的定位和显示。

根据上述记载，预测结构化目标的回归值的过程包括：在形成结构化目标后，将从目标图像中提取出的多个目标特征与目标图像中已关联的anchor进行结合，即将从目标图像中提取出的多个目标特征与目标图像中已关联的锚框信息或锚点信息进行结合，然后根据结合结果预测结构化目标的回归值。作为示例，对于某单帧目标图像中的某人员A，首先从目标图像中提取出人员A的人头特征、人脸特征和人体特征，然后根据提取出的人头特征、人脸特征和人体特征将人员A的人头目标、人脸目标和人体目标进行关联，形成结构化目标。再将人员A在该帧目标图像中的人头框、人脸框和人体框进行关联，得到人员A对应的关联的anchor。最后将从目标图像中提取出的人头特征、人脸特征和人体特征与目标图像中已关联的anchor进行结合，然后根据结合结果预测结构化目标的回归值。

根据上述记载，在利用神经网络从目标图像中提取多个目标特征前，还包括对所述目标图像进行归一化，消除所述目标图像的平均特性。作为示例，具体地，通过图像采集装置获取目标图像，对采集的目标图像进行归一化，即减均值除方差，从而有助于消除目标图像的平均特性，保留目标图像的差异性特点，使进入提取特征模块的输入更具代表性。

根据上述记载，从目标图像中提取多个目标特征的神经网络可以选择经典的网络结构，或者自定义的全卷积网络作为基础的特征提取层，然后再对获取的目标图像进行特征提取。作为示例，基础特征提取网络可以选择VGG网络，resnet系列网络等，同样也可以选择自定义的全卷积网络。本申请实施例还可以在神经网络的网络结构上加上FPN结构，并利用加上FPN结构后的神经网络从目标图像中提取多个目标特征，本申请实施例通过在基础的网络结构上加上FPN结构可以增强目标特征的组成。

在一具体实施例中，本系统提供一种对人员结构化检测的方式，如图2所示，包括：

步骤S101，图像预处理。首先通过图像采集装置获取目标图像，对获取的目标图像进行归一化，即减均值、除方差，消除目标图像的平均特性，保留目标图像的差异性特点，使进入提取特征模块的输入更具代表性。

步骤S102，图像特征提取。通过选择经典的网络结构，或者自定义的全卷积网络作为基础的特征提取层，对输入的目标图像进行特征提取，基础特征提取网络可以选择VGG网络、resnet系列网络等，同样可以选择自定义网络，在基础的网络结构上加上FPN结构来增强目标特征的组成。本申请实施例采用基础的全卷积网络框架进行图片特征提取，保留目标图像深度信息。

步骤S103，图像结构化预测。根据提取到的特征，获取结构化目标的分类置信度以及结构化目标的回归值。其中，结构化目标的回归值通过结合已关联的anchor信息(即锚点信息或锚框信息)来联合产生，即对某图像中的人员A而言，在形成人员A的结构化目标后，再获得该图像中人员A所对应的已关联的锚框信息或锚点信息，然后将将从该图像中提取出的多个目标特征与该图像中人员A所对应的已关联的锚框信息或锚点信息进行结合，根据结合结果来预测结构化目标的回归值。本申请实施例中，关联的anchor同单独目标的anchor相比，不同的是前者的目标变为了结构化的多目标标签，而非单独的目标框标签。作为示例，在本申请实施例中，单个人体目标、人头目标或人脸目标的目标框标签为(xywh)，结构化目标的多目标标签则是(xywhxywhxywh)。再设定合理的阈值，根据设定的阈值和预测出的回归值一次性提取出人体、人头和人脸的回归位置；即预测结构化目标就相当于同时预测人体、人头和人脸这三类目标，从而可以一次性获取每一类目标的位置信息，对应为(xywhxywhxywh)。所以，本申请实施例通过结合关联的anchor可以直接预测输出结构化目标所有的回归位置，方便进行人员结构化预测建模，从而可以提升各部分检出以及降低误检率。

步骤S104，目标显示。再将预测提取出的目标位置信息映射到原始输入图像(即目标图像)的位置，获得结构化目标的实际目标位置，完成结构化目标在原始输入图像上的定位和显示。

本系统利用神经网络从目标图像中提取多个目标特征；基于提取的多个目标特征关联多个目标，形成结构化目标；预测结构化目标的分类置信度以及结构化目标的回归值，并根据预测结果在目标图像中显示结构化目标。其中，多个目标属于同一对象，包括该对象的人体目标、人头目标和人脸目标。由于现有技术对人员单独进行目标检测时会忽略同一个人中人体、人脸和人头的相关性，从而会失去该人员的结构化信息。而本系统针对目前存在的问题，设计了一种人员结构化检测方式，采用深度学习来构建检测神经网络，通过改进目标的预测方式，整合关联多个目标，将单独的目标标签预测变为整体结构化预测，同时联合多个目标的标签进行anchor(即锚点或锚框)关联聚类，建立结构化模型。由于结构化模型结合了人员目标的结构相关性，能够将单独的人体目标和与之相关的人脸目标、人头目标进行关联，从而减少了对同一人员中多个目标的漏检，也减少了对不相关目标的误检。并且本申请实施例在对某个人员进行跟踪识别前，可以先对该人员的人体目标、人脸目标和人头目标进行关联，从而在提升目标关联准确度的同时，还能够提升后续的跟踪识别效果。本申请实施例通过将人体检测、人脸检测、人头检测等多目标单独检测直接整合成一个结构化目标进行检测，能够保留同一个人员中人体目标、人头目标和人脸目标的相关性，不仅有助于消除误检，而且结构化目标的绑定还有助于简化后续一系列跟踪识别阶段对目标的关联性操作，即对于实时监控下的人员，只需判断该人员的身份即可获取该人员的人体、人头、人脸等信息，而无需再判定该人体、人脸和人头的信息是否都对应到同一个人，从而增强了人员目标的关联性，减少了跟踪识别阶段再进行目标关联的误差，提升了跟踪识别的效果。

本申请实施例还提供了一种计算机设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中数据处理方法所包含步骤的指令(instructions)。

图5为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图6为本申请的另一个实施例提供的终端设备的硬件结构示意图。图6是对图5在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，音频组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件1206被配置为输出和/或输入语音信号。例如，音频组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，音频组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图6实施例中所涉及的通信组件1203、音频组件1206以及输入/输出接口1207、传感器组件1208均可以作为图5实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。