排序方法、装置、系统和电子设备

技术领域

本公开涉及人工智能技术领域，更具体地，涉及一种排序方法、装置、系统和电子设备。

背景技术

用户在实体店面进行消费或办理业务时，实体店面可以发放排队序号，实体店面的工作人员通过广播叫号的方式维护现场的有序度。例如，用户在银行网点办理业务时，领取纸质条码排队，工作人员在柜台通过广播叫号的方式提醒用户去相应的业务窗口办理业务。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题，部分用户在情绪爆发时可能导致排队现场混乱，降低了用户体验。

发明内容

有鉴于此，本公开提供了一种用于降低发生排队现场混乱的概率的排序方法、装置、系统和电子设备。

本公开的一个方面提供了由服务器端执行的排序方法，包括：获取生物特征关联信息；响应于生物特征关联信息，确定生物特征关联信息表征的情绪状态信息，并且基于第一映射关系从已发放业务办理序号中确定与生物特征关联信息对应的未处理业务办理序号，第一映射关系是业务办理序号和生物特征关联信息之间的关系，已发放业务办理序号是从来自第一客户端的业务办理请求中获取的；基于生物特征关联信息表征的情绪状态信息和与生物特征关联信息对应的未处理业务办理序号，确定与未处理业务办理序号对应的情绪状态信息；以及基于与未处理业务办理序号对应的情绪状态信息，调整未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序。

本公开的一个方面提供了一种由第一客户端执行的排序方法，包括：接收用户的用户操作；响应于用户操作，基于已使用业务办理序号确定待发放业务办理序号，并且获取用户的生物特征关联信息；以及输出基于待发放业务办理序号确定的已发放业务办理序号，并且向服务器端发送业务办理请求，业务办理请求包括已发放业务办理序号和生物特征关联信息，以便服务器端确定第一映射关系，并且基于第一映射关系和与当前生物特征关联信息表征的当前情绪状态信息确定与未处理业务办理序号对应的当前情绪状态信息，进而调整未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序，其中，第一映射关系是业务办理序号和生物特征关联信息之间的关系。

本公开的一个方面提供了一种由第二客户端执行的排序方法，包括：接收来自服务器端的排序关联信息，排序关联信息包括未处理业务办理序号，其中，未处理业务办理序号的排序是服务器端基于与未处理业务办理序号对应的情绪状态信息，调整后的未处理业务办理序号在未处理业务办理序号序列中的排序，未处理业务办理序号是服务器端基于生物特征关联信息表征的情绪状态信息和第一映射关系来确定的，第一映射关系是业务办理序号和生物特征关联信息之间的关系；以及输出排序关联信息，以便参照排序关联信息处理与未处理业务办理序号对应的业务办理请求。

本公开的一个方面提供了一种服务器端中的排序装置，包括：特征关联信息获取模块、情绪和序号信息确定模块、情绪序号确定模块和排序调整模块。其中，特征关联信息获取模块用于获取生物特征关联信息；情绪和序号信息确定模块用于响应于生物特征关联信息，确定生物特征关联信息表征的情绪状态信息，并且基于第一映射关系从已发放业务办理序号中确定与生物特征关联信息对应的未处理业务办理序号，第一映射关系是业务办理序号和生物特征关联信息之间的关系，已发放业务办理序号是从来自第一客户端的业务办理请求中获取的；情绪序号确定模块用于基于生物特征关联信息表征的情绪状态信息和与生物特征关联信息对应的未处理业务办理序号，确定与未处理业务办理序号对应的情绪状态信息；以及排序调整模块用于基于与未处理业务办理序号对应的情绪状态信息，调整未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序。

本公开的一个方面提供了一种第一客户端中的排序装置，包括：用户操作接收模块、用户操作响应模块和用户操作处理模块。其中，用户操作接收模块用于接收用户的用户操作；用户操作响应模块用于响应于用户操作，基于已使用业务办理序号确定待发放业务办理序号，并且获取用户的生物特征关联信息；以及用户操作处理模块用于输出基于待发放业务办理序号确定的已发放业务办理序号，并且向服务器端发送业务办理请求，业务办理请求包括已发放业务办理序号和生物特征关联信息，以便服务器端确定第一映射关系，并且基于第一映射关系和与当前生物特征关联信息表征的当前情绪状态信息确定与未处理业务办理序号对应的当前情绪状态信息，进而调整未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序，其中，第一映射关系是业务办理序号和生物特征关联信息之间的关系。

本公开的一个方面提供了一种第二客户端中的排序装置，包括：排序关联信息接收模块、排序关联信息输出模块。其中，排序关联信息接收模块，用于接收来自服务器端的排序关联信息，排序关联信息包括未处理业务办理序号，其中，未处理业务办理序号的排序是服务器端基于与未处理业务办理序号对应的情绪状态信息，调整后的未处理业务办理序号在未处理业务办理序号序列中的排序，未处理业务办理序号是服务器端基于生物特征关联信息表征的情绪状态信息和第一映射关系来确定的，第一映射关系是业务办理序号和生物特征关联信息之间的关系；以及排序关联信息输出模块，用于输出排序关联信息，以便参照排序关联信息处理与未处理业务办理序号对应的业务办理请求。

本公开的一个方面提供了一种排序系统，包括分别与服务器端通信连接的第一客户端和第二客户端，其中：服务器端响应于生物特征关联信息，确定生物特征关联信息表征的情绪状态信息，并且基于第一映射关系从已发放业务办理序号中确定与生物特征关联信息对应的未处理业务办理序号，以及确定与未处理业务办理序号对应的情绪状态信息，以便基于与未处理业务办理序号对应的情绪状态信息，调整未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序，其中，第一映射关系是基于第一客户端发送的业务办理请求中包括的已发放业务办理序号和生物特征关联信息来确定的；以及第二客户端接收来自服务器端的排序关联信息，并且输出排序关联信息，以便参照排序关联信息处理与未处理业务办理序号对应的业务办理请求，其中，排序关联信息包括未处理业务办理序号，其中，未处理业务办理序号的排序是调整后的未处理业务办理序号在未处理业务办理序号序列中的排序。

本公开的另一方面提供了一种电子设备，包括一个或多个处理器以及存储装置，其中，存储装置用于存储可执行指令，可执行指令在被处理器执行时，实现如上所述的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，计算机程序包括计算机可执行指令，指令在被执行时用于实现如上所述的方法。

本公开实施例提供的排序方法、装置、系统和电子设备，在确定生物特征关联信息表征的情绪状态信息之后，确定与该情绪状态信息对应的未处理业务办理序号，进而可以根据未处理业务办理序号对应的用户的情绪信息，调整未处理业务办理序号在未处理业务办理序号序列中的排序，以便基于用户的情绪及时调整各用户的业务处理顺序，提升用户体验和满意度。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的排序方法、装置、系统和电子设备的应用场景；

图2示意性示出了根据本公开实施例的可以应用排序方法、排序装置的示例性系统架构；

图3示意性示出了现有技术中排序方法的逻辑示意图；

图4示意性示出了根据本公开实施例的排序方法的流程图；

图5示意性示出了根据本公开实施例的第一映射关系的示意图；

图6示意性示出了根据本公开实施例的排序方法的逻辑示意图；

图7示意性示出了根据本公开实施例自助抽号系统和业务办理系统的示意图；

图8示意性示出了根据本公开另一实施例的排序方法的流程图；

图9示意性示出了根据本公开另一实施例的排序方法的流程图；

图10示意性示出了根据本公开实施例的排序装置的框图；

图11示意性示出了根据本公开另一实施例的排序装置的框图；

图12示意性示出了根据本公开另一实施例的排序装置的框图；

图13示意性示出了根据本公开实施例的排序系统的框图；

图14示意性示出了根据本公开另一实施例的排序系统的框图；以及

图15示意性示出了根据本公开实施例的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。

本公开的实施例提供了一种排序方法、装置、系统和电子设备。该排序方法包括情绪状态信息确定过程和排序调整过程。在资源转移方案确定过程中，首先，获取生物特征关联信息，然后，响应于生物特征关联信息，确定生物特征关联信息表征的情绪状态信息，并且基于第一映射关系从已发放业务办理序号中确定与生物特征关联信息对应的未处理业务办理序号，接着，基于生物特征关联信息表征的情绪状态信息和与生物特征关联信息对应的未处理业务办理序号，确定与未处理业务办理序号对应的情绪状态信息。在完成情绪状态信息确定过程之后进入排序调整过程，基于与未处理业务办理序号对应的情绪状态信息，调整未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序。

图1示意性示出了根据本公开实施例的排序方法、装置、系统和电子设备的应用场景。

如图1所示，以用户在银行网点办理业务的场景为例进行说明。如用户在XX银行的网点办理汇款业务，首先在取号机上选择取号功能。与现有技术中取号机仅打印序号不同的是，本公开实施例在用户选择取号功能后，会采集用户的生物特征关联信息，如用户的声音信息、面部图像信息等，在显示或打印给该用户分配的业务办理序号的同时，还会将分配的业务办理序号和该用户的生物特征关联信息发送给服务器端，使得服务器端关联该分配的业务办理序号和该用户的生物特征关联信息。在完成分配业务办理序号之后，与现有技术直接基于分配的业务办理序号进行叫号所不同的是，本公开的实施例还会持续从银行网点采集各用户的生物特征关联信息，并基于生物特征关联信息确定各用户的情绪状态信息，以便基于各用户的情绪状态信息对各业务办理序号的排序进行调整，对处于负面情绪的用户进行安抚，提升银行网点整体的服务满意度。例如，016号用户处于焦躁状态，多次询问大厅经理业务处理进度，则可以将016号的排序向前调整，如调整至015号之前，甚至直接调整至排序的最前面(如5号窗口已完成上一个用户的业务处理任务，可以由5号窗口播报：请016号到5号窗口)，以避免016号用户因焦躁导致的喧哗，影响到其他用户。又例如，006号用户在专注的看电影或打游戏，其对排序的要求不高，则可以将016号和006号的排序进行互换。

本公开实施例提供的排序方法、装置、系统和电子设备，对银行网点的用户情绪进行识别、监控，以便及时对处于负面情绪的用户进行安抚，提前处于负面情绪的用户的业务办理顺序，提升用户体验和满意度。

需要说明的是，上述银行网点场景仅为示例性说明，还可以是诸如餐饮店、证券交易场所等需要对用户进行排序的多种场景，在此不做限定。

图2示意性示出了根据本公开实施例的可以应用排序方法、排序装置的示例性系统架构。需要注意的是，图2所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。需要说明的是，本公开实施例提供的排序方法、装置、系统和电子设备可用于人工智能领域在排序相关方面，也可用于除人工智能领域之外的多种领域，如金融领域，本公开实施例提供的排序方法、装置、系统和电子设备的应用领域不做限定。

如图2所示，根据该实施例的系统架构200可以包括终端设备201、202、203，网络204和服务器205。网络204可以包括多个网关、路由器、集线器、网线等，用以在终端设备201、202、203和服务器205之间提供通信链路的介质。网络204可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备201、202、203通过网络204与其他终端设备和服务器205进行交互，以接收或发送信息等，如发送业务办理请求、业务办理序号或生物特征关联信息等。终端设备201、202、203可以安装有各种通讯客户端应用，例如排号系统、银行类应用、电商类应用、网页浏览器应用、搜索类应用、办公类应用、即时通信工具、邮箱客户端、社交平台软件等应用(仅为示例)。

终端设备201、202、203包括但不限于现场机器人、排号终端、智能手机、台式电脑、增强现实设备、平板电脑、膝上型便携计算机、零售终端等等可以支持办公、排号、显示或播报等功能的电子设备。

服务器205可以接收业务办理请求、情绪识别请求等，并对请求进行处理。例如，服务器205可以为后台管理服务器、服务器集群等。后台管理服务器可以对接收到的服务请求、信息请求等进行分析处理，并将处理结果(如调整后的业务办理序号的排序、下一个待播报的业务办理序号等)反馈给终端设备。

需要说明的是，本公开实施例所提供的排序方法可以由终端设备201、202、203或服务器205执行。相应地，本公开实施例所提供的排序装置可以设置于终端设备201、202、203或服务器205中。应该理解，终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图3示意性示出了现有技术中排序方法的逻辑示意图。

为了便于更好地理解本公开的实施例，首先对现有技术中叫号系统的输入和输出进行示例性说明。如图3所示，现有技术中，排号终端可以是按照排号由小至大的顺序给需要办理业务的用户分配业务办理序号，如按照1、2、3、4等的顺序分配业务办理序号。排号终端在分配业务办理序号的过程中会将分配的业务办理序号发送给服务器端(也可以不发送业务办理序号)，服务器端可以直接按照接收到的业务办理序号，基于各窗口可以办理的业务以及各窗口当前是否向服务器端发送了叫号指令等，给窗口分配业务办理序号，以便引导用户前往与各自的业务办理序号相匹配的窗口进行业务办理。如排号终端输出的已发放业务办理序号的排序与服务器端输出的排序关联信息中序号的排序是保持一致的。参考图3中已发放业务办理序号“100”和“101”是按照大小进行排序的，在排序关联信息中“100”和“101”同样是按照大小进行排序的。但是，这样不便于叫号系统及时地调整排序以满足不同场景下对排序进行调整的需求。

图4示意性示出了根据本公开实施例的排序方法的流程图。为了便于理解本公开的实施例，以下以银行网点场景为例对排序方法进行示例性说明。

如图4所示，该由服务器端执行的排序方法可以包括操作S402～操作S408。

在操作S402中，获取生物特征关联信息。

在本实施例中，可以通过银行网点已有的终端设备采集生物特征关联信息，然后发送给服务器端。例如，可以使用监控系统的摄像头按照预设频率采集银行网点。例如，可以使用已有麦克风(如客服电脑、排号终端等终端设备已有的麦克风)进行语音信息采集。例如，可以使用监控系统的摄像头按照预设频率采集银行网点。可以通过新增的终端设备采集生物特征关联信息，然后发送给服务器端。例如，可以在诸如大堂经理的办公处、咨询前台、容易发生争吵或表达抱怨的位置处设置新的麦克风，以采集用户的语音信息，便于基于语音信息所要表达的语义等来确定用户的情绪状态。例如，可以在银行网点的一处或多处设置摄像头，以拍摄用户的图像，便于确定用户的面部表情、肢体动作等。

在操作S404中，响应于生物特征关联信息，确定生物特征关联信息表征的情绪状态信息，并且基于第一映射关系从已发放业务办理序号中确定与生物特征关联信息对应的未处理业务办理序号，第一映射关系是业务办理序号和生物特征关联信息之间的关系，已发放业务办理序号是从来自第一客户端的业务办理请求中获取的。

在本实施例中，可以通过情绪识别来确定生物特征关联信息表征的情绪状态信息。具体地，可以通过语义、面部表情或肢体动作等来进行情绪识别。例如，通过语音识别将采集的语音信息转换为文本信息，然后对文本进行语义理解，确定该语音信息表征的语义信息，进而基于该用户表达的语义信息确定该用户的情绪状态信息。例如，通过面部识别从拍摄的图像中确定面部图像，然后对各面部图像进行表情识别，以确定各用户的情绪状态。例如，通过对包括人体图像的图像进行面部识别，以确定该人体图像是哪个用户的，然后通过肢体识别来确定该用户的情绪状态，如肢体的动作幅度是否超过幅度阈值、是否与他人肢体发生干涉等、是否预设的肢体动作等。

情绪状态信息可以包括：正面情绪、中性情绪和负面情绪等。此外，也可以将情绪状态划分为更多类，如可以将负面情绪划分为：焦躁、不耐烦、愤怒等。

以下以通过语音识别和语义理解的方式来确定生物特征关联信息表征的情绪状态信息为例进行示例性说明。

首先对相关技术进行示例性说明。

语音识别可以是指基于诸如深度全序列卷积神经网络，将语音转成文字的技术，让机器能够“听懂”人类的语言。

自然语言处理可以是研究人类用自然语言与计算机之间进行通信的技术，包括但不限于语音交互、语义理解和知识学习等。

声纹识别可以是根据说话人的发音生理和行为特征，自动识别说话人身份的一种生物识别方法。

语音端点检测(又称语音边界检测，简称语音VAD)，其目的是从声音信号流里识别和消除长时间的静音期，以达到在不降低业务质量的情况下节省话路资源的作用，有利于减少用户感觉到的端到端的时延。

声音特征提取主要是提取基频特征、共振峰特征、梅尔(Mel)频率倒谱系数特征等，提取的方法包括短时傅立叶变换(提取具有规律的线性分辨率)、Mel滤波器组、Bark滤波器组模拟人耳听觉特性，通过不同提取方法得到的声学特征所表征的语音特点不同。

具体地，当用户在办理业务的过程中言辞激动时，麦克风会捕捉到这部分音频，并通过语音识别技术将语音信息转成文字，利用自然语言处理技术中的语言处理技术，对该用户所表现出的情绪类别及其置信度进行识别，识别分析结果一般有三类：负向情绪、中性情绪、正向情绪。在将语音信息转成文字的过程中，可以涉及语音断句检测、噪声抑制、有效语音提取等。这个过程可以是在本地服务器进行的，还可以是在远程的语音识别平台、语义理解平台等实现的，在此不做限定。

在一个实施例中，确定生物特征关联信息表征的情绪状态信息可以包括如下操作。

首先，将生物特征关联信息发送至生物识别平台，以使生物识别平台对生物特征关联信息进行情绪识别。其中，生物识别平台包括但不限于：语音识别平台、语义理解平台、图像识别平台等。

然后，接收来自生物识别平台的情绪状态信息。这样无需自行搭建生物识别平台，可以有效利用已有平台降低系统开发难度。例如，可以通过接口调用的方式来实现情绪识别。

图5示意性示出了根据本公开实施例的第一映射关系的示意图。

如图5所示，该第一映射关系是生物特征关联信息与未处理业务办理序号之间的关系，其中，生物特征关联信息包括但不限于以下至少一种：声纹特征、人脸特征、肢体动作特征等。这些特征便于确定是哪个用户处于负面情绪状态，便于快速确定需要调整排序的已发放业务办理序号。生物特征关联信息还可以包括诸如：语音信息、图像信息、语义信息、表情信息等。如可以从生物特征关联信息中提取出生物特征。

需要说明的是，当采用多种特征结合来确定用户的情绪状态信息时，还有助于提升用户的情绪状态信息判定结果的准确度。如基于语义特征或面部表情特征可以大致确定用户是否处于负面情绪状态，而结合语义特征和面部表情特征则可以提升针对习惯性语言表达不文明的用户和面部天生较狰狞的用户的情绪状态识别的准确度。又例如，结合语义特征、面部表情特征和音量特征便于确定用户是处于不耐烦状态还是处于愤怒状态。

在操作S406中，基于生物特征关联信息表征的情绪状态信息和与生物特征关联信息对应的未处理业务办理序号，确定与未处理业务办理序号对应的情绪状态信息。

在本实施例中，可以基于生物特征关联信息来确定与未处理业务办理序号对应的情绪状态信息。例如，生物特征关联信息与未处理业务办理序号之间存在第一映射关系，并且可以通过情绪识别等方式确定该生物特征关联信息表征的情绪状态信息，这样就可以确定该生物特征关联信息对应的情绪状态信息。

在操作S408中，基于与未处理业务办理序号对应的情绪状态信息，调整未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序。

在本实施例中，可以针对各用户的情绪状态对各自对应的未处理业务办理序号进行排序优化，在不会明显改变非负面情绪状态的用户体验度的基础上，有效降低处于负面情绪状态的用户的体验，降低其因为不满造成对其他用户的干扰。

例如，可以将处于负面情绪状态的用户的未处理业务办理序号的排序向前调整。向前调整的幅度可以是基于负面情绪的程度而定的，如处于愤怒状态的用户可以将其未处理业务办理序号排序设置成下一个待处理的业务办理序号。此外，可以将正面情绪状态的用户和正常情绪状态的用户的排序向后顺延。另外，还可以采用业务办理序号互换的方式实现调整未处理业务办理序号序列中的排序。例如，如果有用户处于观看电影、打游戏等状态时，则预判其对靠前排序的需求不高，可以将其排序与处于负面情绪状态的用户的业务办理序号序列的排序进行互换，这样可以尽量降低因排序调整对其他用户的影响。

在一个实施例中，情绪状态信息包括：负面情绪。相应地，基于与未处理业务办理序号对应的情绪状态信息，调整未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序包括：如果与未处理业务办理序号对应的情绪状态信息是负面情绪，则调前未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序。通过调前未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序，可以有效安抚负面情绪的用户。

图6示意性示出了根据本公开实施例的排序方法的逻辑示意图。

如图6所示，排号终端可以是按照排号由小至大的顺序给需要办理业务的用户分配业务办理序号，如按照1、2、3、4等的顺序分配业务办理序号。排号终端在分配业务办理序号的过程中会将分配的业务办理序号发送给服务器端。与现有技术不同的是，服务器端并不是仅仅按照接收到的业务办理序号，基于各窗口可以办理的业务以及各窗口当前是否向服务器端发送了叫号指令等，给窗口分配业务办理序号，而是进一步考虑与各未处理业务办理序号对应的当前情绪状态信息，如果未处理业务办理序号对应的当前情绪状态是负面情绪状态，则可以调前其在未处理业务办理序号序列中的排序，以便按照调整后的排序引导用户前往与各自的业务办理序号相匹配的窗口进行业务办理(也可以是仅显示给各窗口的业务办理人员，由业务办理人员决定是否尽快接待当前情绪状态是负面情绪状态的用户)。如排号终端输出的已发放业务办理序号的排序与服务器端输出的排序关联信息中排序是不一致的。参考图6中已发放业务办理序号“100”和“101”是按照大小进行排序的，在排序关联信息中“100”和“101”并不是按照大小进行排序的。这样便于叫号系统及时地调整排序以满足不同场景下对排序进行调整的需求。

在一个实施例中，如果与未处理业务办理序号对应的情绪状态信息是负面情绪，则调前未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序可以包括如下操作。

首先，获取负面程度，负面程度与排序调整策略之间存在第二映射关系。其中，排序调整策略可以是预先设定好的，如焦躁的负面程度小于不耐烦的负面程度，不耐烦的负面程度小于愤怒的负面程度。

然后，基于负面程度和第二映射关系确定排序调整策略。例如，愤怒情绪对应的排序调整策略是提前至排序的最前方或前几位(Top N，N为大于或等于1的正整数)。不耐烦情绪对应的排序调整策略是向前提前P位。焦躁对应的排序调整策略是向前提前Q位。其中，P的取值可以大于Q的取值。

接着，基于排序调整策略调整与未处理业务办理序号对应的业务办理请求在服务器端的待处理业务办理请求序列中的排序。

通过以上方式可以较好地优化排序的调整过程，提升用户体验。

在一个实施例中，为了降低对能耗和计算资源的消耗，生物特征关联信息是在满足预设条件时采集到的。

相应地，基于生物特征关联信息表征的情绪状态信息和与生物特征关联信息对应的未处理业务办理序号，确定与未处理业务办理序号对应的情绪状态信息包括：将生物特征关联信息表征的情绪状态信息作为与未处理业务办理序号对应的情绪状态信息。

例如，如果面部识别消耗的计算资源大于语音识别的计算资源，则可以使得面部识别的功能处于休眠状态，语音识别的功能处于在线状态，当语音识别到了目标语音，如表征存在负面情绪的概率较高时，则可以进一步唤醒面部识别的功能，以提升情绪识别的准确度。当然也可以是的面部识别等功能处于在线状态，而是对语音识别等功能处于休眠状态，在此不做限定。

又例如，语音识别处于休眠状态，当检测到存在超过预设声音强度阈值时，才会唤醒语音识别等功能。

以下对第一映射关系的构建过程进行示例性说明。

在一个实施例中，在获取生物特征关联信息之前，排序方法还可以包括如下操作。

首先，接收来自第一客户端的业务办理请求，业务办理请求包括已发放业务办理序号和生物特征关联信息。其中，业务办理请求还可以进一步包括诸如待办理业务，如开户、销户、存款、转账等业务。这样便于服务器端根据用户所要办理的业务进行未处理业务办理序号分配。此外，办理不同业务所需的平均时长不同，在进行未处理业务办理序号分配时，对于处于负面情绪状态的用户，与该用户对应的未处理业务办理序号，可以被分配到当前正在办理的业务所需平均时长较短的窗口。

然后，从生物特征关联信息中提取生物特征信息。例如，从面部图像中提取出面部特征，从语音信息中提取出声纹特征等。

接着，关联已发放业务办理序号和生物特征信息，得到第一映射关系。例如，将已发放业务办理序号和生物特征关联信息相关联地存储在数据库中，如基于键值对的方式进行存储。

需要说明的是，可以对第一映射关系进行管理和维护，如删除至少部分第一映射关系、修改至少部分第一映射关系、新增第一映射关系等。如可以定期清除一部分长期未使用过的第一映射关系、可以更新第一映射关系中生物特征关联信息或已发放业务办理序号、可以新增生物特征关联信息及对应的已发放业务办理序号等。

以更新第一映射关系中生物特征关联信息为例进行说明，上述方法还可以包括如下操作。

首先，如果已存在与生物特征关联信息对应的第一映射关系，则比对生物特征关联信息和第一映射关系包括的生物特征关联信息的生物特征质量。需要说明的是，对于不同类型的生物特征关联信息，可以新增该生物特征关联信息，如第一映射关系中已包括声纹特征，如果进一步采集了用户面部图像，则可以将面部特征添加到第一映射关系中。

然后，将第一映射关系包括的生物特征关联信息更新为生物特征质量高的生物特征关联信息。其中，高质量可以由多个参数共同表征，如由更清晰的面部图像中提取的面部特征的质量更高，如时间越靠后的面部图像或语音信息中提取的面部特征或声纹特征的质量更高。

在一个实施例中，在调整未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序之后，排序方法还可以包括如下操作。输出排序关联信息给第二客户端，以便于第二客户端响应包括未处理业务办理序号的业务办理请求，排序关联信息包括调整后的已发放业务办理序号的排序。这样便于业务办理人员等基于该调整后的排序进行业务处理。其中，排序关联信息可以包括多种提示信息或指令信息，如调整后的未处理业务办理序号、调整前的未处理业务办理序号、调整后的未处理业务办理序号对应的情绪状态信息、对应的业务等。

例如，输出排序关联信息给第二客户端包括以下至少一种：按照调整后的已发放业务办理序号的排序输出已发放业务办理序号至第二客户端；输出与负面情绪对应的已发放业务办理序号；显示与负面情绪对应的已发放业务办理序号的提示信息。

以下以用户在银行网点办理业务为例对排序方法进行示例性说明。

图7示意性示出了根据本公开实施例自助抽号系统和业务办理系统的示意图。

如图7所示，可以包括如下四个主要阶段：声纹注册、情绪识别、声纹验证和业务办理。

关于声纹注册，可以包括如下操作。

声音采样：当用户要办理业务时，需先在抽号机抽号，抽号时要求用户按照页面提示说出提示语才可完成抽号，当用户说提示语的时候，系统会捕捉这部分音频(声音采样的过程)。

语音VAD：又称语音端点检测，对上一步捕捉到的音频流使用语音VAD技术进行处理，目的是从声音信号流里识别和消除长时间的静音期，提取有效音频流数据。

噪声抑制：对音频流文件进行噪声抑制处理，使噪声降低到允许环境噪声的范围内。

有效语音提取：通过语音VAD和噪声抑制处理后可提取到有效语音。

声音特征提取：通过提取算法提取声音特征，主要提取声音的基频特征、共振峰特征、Mel频率倒谱系数特征等，组成一组语音特征向量。

将提取的声音特征保存至声纹数据库。

关于情绪识别，可以包括如下操作。

当用户在办理业务的过程中言辞激动时，麦克风会捕捉到这部分音频，并通过语音识别技术将语音转成文字，利用自然语言处理技术中的语言处理技术，对该用户所表现出的情绪类别及其置信度进行识别，识别分析结果一般有三类：负向情绪、中性情绪、正向情绪，只有当分析结果为负向情绪时，才会提醒客服优先处理。

关于声纹验证(定位负面情绪状态用户)，可以包括如下操作。

获取上一步有负面情绪用户的声音，与之前注册的声音特征进行比对，根据抽号系统记录的声纹和号码对应关系，判别出来用户的号码，提醒客服优先办理该用户的业务。声纹验证的过程和原理如下：

获取声音->语音VAD->噪声抑制->有效语音提取->声音特征提取->声音特征比对(与声纹数据库中之前注册的声音特征通过比对算法进行比对)

关于业务办理，可以包括如下操作。

通过上述声纹注册和声纹验证的过程，系统已经帮助客服识别出了需急切办理业务的用户，并及时提醒客服，优先办理该用户业务，同时会对客服办理业务的效率做一个整体打分，便于后续做质检，不断提升客服服务水平和质量，最终提升用户满意度。

图8示意性示出了根据本公开另一实施例的排序方法的流程图。

如图8所示，该排序方法可以包括操作S802～806。

在操作S802，接收用户的用户操作。例如，可以是点击操作、滑动操作、书写操作、将面部图像移动至指定识别区域操作、眨眼操作、转动头部操作等。

在操作S804，响应于用户操作，基于已使用业务办理序号确定待发放业务办理序号，并且获取用户的生物特征关联信息。例如，当前已使用了006号，则可以确定待发放业务办理序号是007号等。需要说明的是，不同的领域的业务办理可以单独使用一套计数规则，如个人客户可以使用一套业务办理序号，集体客户可以使用另一套业务办理序号等。

在操作S806，输出基于待发放业务办理序号确定的已发放业务办理序号，并且向服务器端发送业务办理请求，业务办理请求包括已发放业务办理序号和生物特征关联信息，以便服务器端确定第一映射关系，并且基于第一映射关系和与当前生物特征关联信息表征的当前情绪状态信息确定与未处理业务办理序号对应的当前情绪状态信息，进而调整未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序。

其中，第一映射关系是业务办理序号和生物特征关联信息之间的关系。

需要说明的是，关于第一映射关系、业务办理序号、生物特征关联信息等可以参考以上相关部分的说明内容，在此不再一一赘述。

在一个实施例中，用户操作包括以下至少一种：用户针对用户交互界面中显示的取号控件的操作；用户发出语义指令的操作，如用户站在指定位置、输出语音“注册”等，表征开始进行生物特征关联信息采集的操作；用户提供生物特征关联信息的操作，如用户按照提示信息说出对应的语音信息、将面部图像置于指定识别区域、说话、激烈的动作等等，生物特征关联信息包括：语音信息、人脸图像信息、肢体动作图像信息中至少一种。

在一个实施例中，为了提升已有终端设备的利用率，以及降低资源消耗，排序方法还可以包括如下操作。

首先，在满足预设条件时采集生物特征关联信息，预设条件包括：时间条件、声音条件和动作条件中至少一种。如按照预设时间周期进行信息采集、当声音强度超过预设声音强度阈值时进行信息采集、当检测到图像中存在大动作时进行语音信息采集等。

然后，将生物特征关联信息发送给服务器端，以便服务器端确定生物特征关联信息表征的当前情绪状态信息，并且服务器端基于生物特征关联信息、当前情绪状态信息和第一映射关系确定与未处理业务办理序号对应的当前情绪状态信息。

图9示意性示出了根据本公开另一实施例的排序方法的流程图。

如图9所示，该排序方法可以包括操作S902～操作S904。

在操作S902，接收来自服务器端的排序关联信息，排序关联信息包括未处理业务办理序号，其中，未处理业务办理序号的排序是服务器端基于与未处理业务办理序号对应的情绪状态信息，调整后的未处理业务办理序号在未处理业务办理序号序列中的排序，未处理业务办理序号是服务器端基于生物特征关联信息表征的情绪状态信息和第一映射关系来确定的，第一映射关系是业务办理序号和生物特征关联信息之间的关系。

在操作S904，输出排序关联信息，以便参照排序关联信息处理与未处理业务办理序号对应的业务办理请求。这样便于业务处理人员参考排序关联信息处理进行业务处理，如是否优先办理某个未处理业务办理序号对应的业务办理请求。当然，排序关联信息中也可以包括要求某个窗口直接办理与负面情绪对应的未处理业务办理序号的指令。

在一个实施例中，排序方法还可以包括如下操作，对于与负面情绪对应的未处理业务办理序号，与未处理业务办理序号对应的业务办理请求在被处理过程中，采集并存储业务办理关联信息。这样便于对业务处理人员的办理业务的效率、质量等做一个整体打分，便于后续做质检，不断提升客服服务水平和质量，最终提升用户满意度。

本公开的一个方面提供了一种资源转移装置，图10示意性示出了根据本公开实施例的排序装置的框图。

如图10所示，该服务器端中的排序装置1000可以包括：特征关联信息获取模块1010、情绪和序号信息确定模块1020、情绪序号确定模块1030和排序调整模块1040。

其中，特征关联信息1010获取模块用于获取生物特征关联信息。

情绪和序号信息确定模块1020用于响应于生物特征关联信息，确定生物特征关联信息表征的情绪状态信息，并且基于第一映射关系从已发放业务办理序号中确定与生物特征关联信息对应的未处理业务办理序号，第一映射关系是业务办理序号和生物特征关联信息之间的关系，已发放业务办理序号是从来自第一客户端的业务办理请求中获取的。

情绪序号确定模块1030用于基于生物特征关联信息表征的情绪状态信息和与生物特征关联信息对应的未处理业务办理序号，确定与未处理业务办理序号对应的情绪状态信息。

排序调整模块1040用于基于与未处理业务办理序号对应的情绪状态信息，调整未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序。

图11示意性示出了根据本公开另一实施例的排序装置的框图。

如图11所示，该排序装置1100设置在第一客户端中，包括：用户操作接收模块1110、用户操作响应模块1120和用户操作处理模块1130。

用户操作接收模块1110用于接收用户的用户操作。

用户操作响应模块1120用于响应于用户操作，基于已使用业务办理序号确定待发放业务办理序号，并且获取用户的生物特征关联信息。

用户操作处理模块1130用于输出基于待发放业务办理序号确定的已发放业务办理序号，并且向服务器端发送业务办理请求，业务办理请求包括已发放业务办理序号和生物特征关联信息，以便服务器端确定第一映射关系，并且基于第一映射关系和与当前生物特征关联信息表征的当前情绪状态信息确定与未处理业务办理序号对应的当前情绪状态信息，进而调整未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序，其中，第一映射关系是业务办理序号和生物特征关联信息之间的关系。

图12示意性示出了根据本公开另一实施例的排序装置的框图。

如图12所示，该排序装置1200，设置在第二客户端中，可以包括：排序关联信息接收模块1210和排序关联信息输出模块1220。

排序关联信息接收模块1210用于接收来自服务器端的排序关联信息，排序关联信息包括未处理业务办理序号，其中，未处理业务办理序号的排序是服务器端基于与未处理业务办理序号对应的情绪状态信息，调整后的未处理业务办理序号在未处理业务办理序号序列中的排序，未处理业务办理序号是服务器端基于生物特征关联信息表征的情绪状态信息和第一映射关系来确定的，第一映射关系是业务办理序号和生物特征关联信息之间的关系。

排序关联信息输出模块1220用于输出排序关联信息，以便参照排序关联信息处理与未处理业务办理序号对应的业务办理请求。

需要说明的是，各模块可执行的操作参考上述方法相关描述部分，在此不再赘述。

图13示意性示出了根据本公开实施例的排序系统的框图。

如图13所示，该排序系统1300可以包括：分别与服务器端1310通信连接的第一客户端1320和第二客户端1330。

其中，服务器端1310响应于生物特征关联信息，确定生物特征关联信息表征的情绪状态信息，并且基于第一映射关系从已发放业务办理序号中确定与生物特征关联信息对应的未处理业务办理序号，以及确定与未处理业务办理序号对应的情绪状态信息，以便基于与未处理业务办理序号对应的情绪状态信息，调整未处理业务办理序号在服务器端的未处理业务办理序号序列中的排序，其中，第一映射关系是基于第一客户端1320发送的业务办理请求中包括的已发放业务办理序号和生物特征关联信息来确定的。

第二客户端1330接收来自服务器端的排序关联信息，并且输出排序关联信息，以便参照排序关联信息处理与未处理业务办理序号对应的业务办理请求，其中，排序关联信息包括未处理业务办理序号，其中，未处理业务办理序号的排序是调整后的未处理业务办理序号在未处理业务办理序号序列中的排序。

例如，可以对已有银行网点的系统进行开发/改造，一套是客服业务办理系统，一套是银行自助抽号系统。

客服业务办理系统可以具有如下功能：登录、业务办理、优先办理提醒(涉及声纹验证)、客服服务评价管理等功能。

银行自助抽号系统：抽号、注册声纹功能。

本公开实施例提供的排序系统，基于生物识别平台的语音识别、声纹识别和自然语言处理等技术，实现基于诸如智能语音语义技术的银行网点监控系统，对银行网点的用户情绪进行识别、监控，以便及时对负面情绪的用户进行安抚，帮助用户尽快办理业务，提升用户体验和满意度。

图14示意性示出了根据本公开另一实施例的排序系统的框图。

该排序系统可以包括：前端系统、服务器端、接口层和数据基础支撑。

其中，前端系统便于用户通过银行自助抽号系统进行抽号和声纹注册，按抽号顺序办理业务。客服人员通过业务办理系统帮助用户办理相关业务，同时在办理业务过程中，系统会自动提醒需急迫办理业务的号码，便于客服人员及时作出顺序调整，同时系统会对客服人员的服务打分进行记录，便于后期进行服务质检。

服务器端可以调用底层语音识别、声纹识别和自然语言处理相关功能接口，完成与前端相关的业务功能进行逻辑处理。

接口层可以提供调用底层语音识别、声纹识别和资源语言处理能力的各类应用接口(API)。

数据基础支撑可以提供数据存储、语音识别、声纹识别和自然语言处理能力。

在本实施例中，可以基于诸如智能语音技术、声纹识别技术和自然语言处理技术为底层能力支撑，对用户情绪进行识别。其中，语音识别是以语音为研究对象，通过语音信号处理和模式识别让机器自动识别和理解人类口述的语言，语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本和命令的技术。声纹识别是一种通过声音判别说话人身份的技术。自然语言处理(NLP)属于人工智能的一个子领域，是指用计算机对自然语言的形、音、义等信息进行处理，即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工。

需要说明的是，登录、客服服务评价、声纹管理，这些不是每次都需要做的。

为了支持本公开实施例的技术方案，该系统可以具有如下特征：

可以拥有一套生物识别平台，包含语音识别、声纹识别和自然语言处理能力、人脸识别、表情识别、肢体动作识别等功能。

可以具有至少一套特征库，如声纹库用于存储用户声纹、人脸特征库用于存储人脸特征等。

可以具备大数据平台，进行模型数据、结构化数据和文本数据的存储。

可以对接代码仓库，进行代码管理的能力。

需要说明的是，装置部分实施例中各模块/单元等的实施方式、解决的技术问题、实现的功能、以及达到的技术效果分别与方法部分实施例中各对应的步骤的实施方式、解决的技术问题、实现的功能、以及达到的技术效果相同或类似，在此不再一一赘述。

根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，特征关联信息获取模块1010、情绪和序号信息确定模块1020、情绪序号确定模块1030和排序调整模块1040中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，特征关联信息获取模块1010、情绪和序号信息确定模块1020、情绪序号确定模块1030和排序调整模块1040中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，特征关联信息获取模块1010、情绪和序号信息确定模块1020、情绪序号确定模块1030和排序调整模块1040中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图15示意性示出了根据本公开实施例的电子设备的方框图。图15示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图15所示，根据本公开实施例的电子设备1500包括处理器1501，其可以根据存储在只读存储器(ROM)1502中的程序或者从存储部分1508加载到随机访问存储器(RAM)1503中的程序而执行各种适当的动作和处理。处理器1501例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1501还可以包括用于缓存用途的板载存储器。处理器1501可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1503中，存储有电子设备1500操作所需的各种程序和数据。处理器1501、ROM 1502以及RAM 1503通过总线1504彼此通讯连接。处理器1501通过执行ROM 1502和/或RAM 1503中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM 1502和RAM 1503以外的一个或多个存储器中。处理器1501也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备1500还可以包括输入/输出(I/O)接口1505，输入/输出(I/O)接口1505也连接至总线1504。电子设备1500还可以包括连接至I/O接口1505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1507；包括硬盘等的存储部分1508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1510上，以便于从其上读出的计算机程序根据需要被安装入存储部分1508。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1509从网络上被下载和安装，和/或从可拆卸介质1511被安装。在该计算机程序被处理器1501执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1502和/或RAM 1503和/或ROM 1502和RAM 1503以外的一个或多个存储器。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。