掌桥专利:专业的专利平台
掌桥专利
首页

一种信息推荐的方法、装置、计算机设备及存储介质

文献发布时间:2023-06-19 12:13:22


一种信息推荐的方法、装置、计算机设备及存储介质

技术领域

本申请属于人工智能技术领域,具体涉及一种信息推荐的方法、装置、计算机设备和存储介质。

背景技术

随着电子信息技术及网络技术的发展,智能教学在日常教学中得到广泛应用,在教育日趋信息化的今天,使得教学过程得以优化,教学效率得到提高,以更丰富的展现形式,推动了教学质量的提高。在重视素质教育的今天,教育心理学家认为情绪对学生的学习活动的作用具有两面性,既可能提高学习的积极性,促进和增强学习效果,也可能降低学习的积极性,削弱和减低学习的效果。

目前,市面上已有部分辅助教学机器人应用在教学领域,但辅助教学机器人通常被作为被研究、学习的对象,用于学生在机械、电子技术方面的知识学习与实践,可见现有的辅助教学机器人作用的范围小、可拓展性差。又或者作为辅助教具,辅助教学机器人功能、教学内容由开发人员提前设计好,无法做到根据学生的当前状态进行智能辅助教学。

发明内容

本申请实施例的目的在于提出一种信息推荐的方法、装置、计算机设备及存储介质,以解决现有的辅助教学机器人在信息推荐存在的局限性较大,无法根据目标对象的情绪状态进行信息推送的技术问题。

为了解决上述技术问题,本申请实施例提供一种信息推荐的方法,采用了如下所述的技术方案:

一种信息推荐的方法,包括:

获取目标对象的人脸图像,并基于所述人脸图像确定所述目标对象的身份信息;

根据所述目标对象的身份信息获取所述目标对象的历史交互信息;

基于所述历史交互信息,从预设的信息推荐策略库中获取第一信息推荐策略,调用所述第一信息推荐策略为所述目标对象进行信息推荐,其中,所述第一信息推荐策略与所述目标对象的历史交互信息相匹配;

获取信息推荐过程中所述目标对象的特征信息,并将所述特征信息导入预先训练好的情绪识别模型,得到所述目标对象的情绪识别结果;

基于所述情绪识别结果,从预设的信息推荐策略库中获取第二信息推荐策略,调用所述第二信息推荐策略为所述目标对象进行信息推荐,其中,所述第二信息推荐策略与所述目标对象的情绪识别结果相匹配。

进一步地,所述获取目标对象的人脸图像,并基于所述人脸图像确定所述目标对象的身份信息的步骤,具体包括:

对所述目标对象的脸部进行跟踪拍摄,获取目标对象的人脸图像;

对所述人脸图像进行人脸区域分割,得到所述目标对象的脸部区域图像;

对所述目标对象的脸部区域图像进行特征识别,得到所述目标对象的脸部特征信息;

将所述脸部特征信息与预设的脸部特征信息进行对比,根据比对结果确定所述目标对象的身份信息。

进一步地,所述对所述目标对象的脸部区域图像进行特征识别,得到所述目标对象的脸部特征信息的步骤,具体包括:

在所述目标对象的脸部区域图像上采集所述目标对象的脸部特征点;

根据所述目标对象的脸部特征点建立人脸3D网格;

获取所述脸部特征点的特征值,以及根据所述特征值和所述人脸3D网格计算所述脸部特征点之间的连接关系;

对所述特征值和所述连接关系获取所述脸部特征点的3D空间分布特征信息,得到所述目标对象的脸部特征信息。

进一步地,所述获取所述脸部特征点的特征值,以及根据所述特征值和所述人脸3D网格计算所述脸部特征点之间的连接关系的步骤,具体包括:

获取所述脸部特征点的颜色信息,并基于所述颜色信息确定所述脸部特征点的特征值;

基于所述人脸3D网格计算所述脸部特征点的位置信息,并基于所述特征值和所述位置信息确定所述脸部特征点之间的连接关系。

进一步地,在所述获取信息推荐过程中所述目标对象的特征信息,并将所述特征信息导入预先训练好的情绪识别模型,得到所述目标对象的情绪识别结果之前,还包括:

获取训练样本,并提取所述训练样本的情绪特征,其中,所述情绪特征包括面部特征、声音特征和生理特征;

基于预设的特征权重算法,计算所述面部特征、所述声音特征以及所述生理特征的特征权重;

基于所述训练样本以及所述特征权重对预设的初始识别模型进行训练,得到情绪识别模型。

进一步地,所述基于预设的特征权重算法,计算所述面部特征、所述声音特征以及所述生理特征的特征权重的步骤,具体包括:

为所述面部特征、所述声音特征以及所述生理特征均赋予相同的初始权重;

对赋予初始权重后的所述面部特征、所述声音特征以及所述生理特征进行分类,得到若干个情绪特征组合;

计算同一类别的情绪特征组合中所述情绪特征的相似度,得到第一相似度;

计算不同类别的情绪特征组合之间所述情绪特征的相似度,得到第二相似度;

基于所述第一相似度和所述第二相似度分别对所述面部特征、所述声音特征以及所述生理特征的初始权重进行调整,得到所述面部特征、所述声音特征以及所述生理特征的特征权重。

进一步地,所述信息推荐策略库中预设有若干条信息推荐策略,每一条所述信息推荐策略对应一种历史交互信息,以及每一条所述信息推荐策略对应一种情绪识别结果。

为了解决上述技术问题,本申请实施例还提供一种信息推荐的装置,采用了如下所述的技术方案:

一种信息推荐的装置,包括:

身份确认模块,用于获取目标对象的人脸图像,并基于所述人脸图像确定所述目标对象的身份信息;

信息获取模块,用于根据所述目标对象的身份信息获取所述目标对象的历史交互信息;

第一推荐模块,用于基于所述历史交互信息,从预设的信息推荐策略库中获取第一信息推荐策略,调用所述第一信息推荐策略为所述目标对象进行信息推荐,其中,所述第一信息推荐策略与所述目标对象的历史交互信息相匹配;

情绪识别模块,用于获取信息推荐过程中所述目标对象的特征信息,并将所述特征信息导入预先训练好的情绪识别模型,得到所述目标对象的情绪识别结果;

第二推荐模块,用于基于所述情绪识别结果,从预设的信息推荐策略库中获取第二信息推荐策略,调用所述第二信息推荐策略为所述目标对象进行信息推荐,其中,所述第二信息推荐策略与所述目标对象的情绪识别结果相匹配。

为了解决上述技术问题,本申请实施例还提供一种计算机设备,采用了如下所述的技术方案:

一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如上述所述的信息推荐的方法的步骤。

为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:

一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如上述所述的信息推荐的方法的步骤。

与现有技术相比,本申请实施例主要有以下有益效果:

本申请公开了一种信息推荐的方法、装置、计算机设备和存储介质,属于人工智能技术领域,本申请通过基于人脸图像确定目标对象的身份信息,根据身份信息获取目标对象的历史交互信息,基于历史交互信息获取第一信息推荐策略,并调用第一信息推荐策略为目标对象进行信息推荐,获取信息推荐过程中目标对象的特征信息,并将特征信息导入预先训练好的情绪识别模型,以及基于目标对象的情绪识别结果获取第二信息推荐策略,调用第二信息推荐策略为目标对象进行信息推荐。本申请通过先根据历史交互信息为目标对象采用第一信息推荐策略进行信息推荐,并在信息推荐过程中持续捕捉目标对象的情绪特征,根据情绪特征进行目标对象的情绪识别,以判断目标对象对推送的信息的接收程度,根据目标对象的情绪识别结果再选择对应的第二信息推荐策略为目标对象进行信息推荐。本申请通过先后根据历史交互信息和情绪识别结果为目标对象采用不同的信息推荐策略,提高用户使用体验和信息推荐的准确度,实现智能辅教。

附图说明

为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1示出了本申请可以应用于其中的示例性系统架构图;

图2示出了根据本申请的信息推荐的方法的一个实施例的流程图;

图3示出了根据本申请的信息推荐的装置的一个实施例的结构示意图;

图4示出了根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是,本申请实施例所提供的信息推荐的方法一般由服务器执行,相应地,信息推荐的装置一般设置于服务器中。

应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。

继续参考图2,示出了根据本申请的信息推荐的的方法的一个实施例的流程图。所述的信息推荐的方法,包括以下步骤:

S201,获取目标对象的人脸图像,并基于所述人脸图像确定所述目标对象的身份信息。

具体的,在接收到信息推荐指令时,通过预设的摄像系统对目标对象的脸部进行跟踪拍摄,,获取目标对象的人脸图像,并通过人脸特征识别的方式获取目标对象的脸部特征信息,以及将目标对象的脸部特征信息与预先存储在服务中的脸部特征信息进行一一对比,根据比对结果确定目标对象的身份信息。

在本申请一种具体的实施例中,本申请信息推荐的方法可以应用于儿童绘本推荐,通过辅助教学机器人获取小朋友的人脸图像,对获取的人脸图像进行特征识别,并比对识别的人脸特征和预先存储在服务中的脸部特征确定小朋友的身份信息,身份信息如姓名、年龄、性别、班级、代课老师等等。

在本实施例中,信息推荐的方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收到信息推荐指令。需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

S202,根据所述目标对象的身份信息获取所述目标对象的历史交互信息。

具体的,根据目标对象的身份信息获取目标对象的历史交互信息,其中,历史交互信息包括目标对象的历史推荐信息以及目标对象在接收历史推荐信息过程中的反馈信息等等。在本申请上述具体的实施例中,历史交互信息可以是小朋友的绘本阅读进度信息、每种绘本的阅读次数信息或者绘本阅读时的反馈信息,上述的各种历史交互信息可以在产生时被服务器获取并储存。

S203,基于所述历史交互信息,从预设的信息推荐策略库中获取第一信息推荐策略,调用所述第一信息推荐策略为所述目标对象进行信息推荐,其中,所述第一信息推荐策略与所述目标对象的历史交互信息相匹配。

其中,信息推荐策略库中预设有多条信息推荐策略,且每一条信息推荐策略都对应一种历史交互信息。

具体的,在识别目标用户的身份信息之后,基于身份信息获取目标对象的历史交互信息,然后基于目标对象的历史交互信息从预设的信息推荐策略库中获取第一信息推荐策略,调用第一信息推荐策略为所述目标对象进行信息推荐,其中,第一信息推荐策略与目标对象的历史交互信息相匹配。

在本申请上述具体的实施例中,信息推荐策略库中的信息推荐策略可以由代课老师预先配置,一种具体的绘本推荐策略例如讲解式、直播式、讨论式、问答式等等,例如,对于小朋友第一次接触的绘本,选择讲解式的绘本推荐策略,讲解式的绘本推荐策略在辅助教学机器人播放绘本的同时附带语音讲解,方便小朋友理解绘本内容。而针对于小朋友已经多次阅读的绘本,可以根据历史交互信息分别选择直播式、讨论式或问答式绘本推荐策略。

S204,获取信息推荐过程中所述目标对象的特征信息,并将所述特征信息导入预先训练好的情绪识别模型,得到所述目标对象的情绪识别结果。

具体的,为了提高用户使用体验和信息推荐的准确度,在信息推荐过程中,获取信息推荐过程中目标对象的特征信息,并将特征信息导入预先训练好的情绪识别模型,得到目标对象的情绪识别结果,以判断目标对象对推送的信息的接收程度,并通过目标对象的情绪识别结果调整信息推荐策略。其中,特征信息包括面部信息、声音信息和生理信息,可以通过加入特征权重算法的方式训练情绪识别模型,以进一步提高情绪识别的精度,获得更好的用户体验。

在本申请上述具体的实施例中,在小朋友阅读绘本过程中,实时通过摄像系统获取小朋友的脸部信息,通过收音系统获取小朋友的声音信息,以及通过小朋友佩戴的智能手环获取小朋友的生理信息,然后将获取到的面部信息、声音信息和生理信息导入预先训练好的情绪识别模型,得到小朋友的当前情绪识别结果,通过小朋友的当前情绪识别结果判断小朋友对推送的信息的接收程度,并通过小朋友的当前情绪识别结果调整绘本推荐策略。

S205,基于所述情绪识别结果,从预设的信息推荐策略库中获取第二信息推荐策略,调用所述第二信息推荐策略为所述目标对象进行信息推荐,其中,所述第二信息推荐策略与所述目标对象的情绪识别结果相匹配。

其中,信息推荐策略库中预设有多条信息推荐策略,且每一条信息推荐策略都对应一种情绪识别结果。

具体的,在通过预设的情绪识别模型获得目标对象的情绪识别结果后,基于目标对象的情绪识别结果从预设的信息推荐策略库中获取第二信息推荐策略,调用第二信息推荐策略为目标对象进行信息推荐,其中,第二信息推荐策略与目标对象的情绪识别结果相匹配。本申请通过先后根据历史交互信息和情绪识别结果为目标对象采用不同的信息推荐策略,提高用户使用体验和信息推荐的准确度,实现智能辅教。

在本申请上述具体的实施例中,在问答式绘本推荐策略的情境下,若小朋友的当前情绪识别结果为“焦虑”、“不耐烦”或“疑惑”等负面情绪时,表明在当前绘本推荐策略下小朋友难以理解绘本内容,因此服务器根据小朋友的当前情绪识别结果更改绘本推荐策略为讨论式绘本推荐策略,以讨论式绘本推荐策略为小朋友播放绘本,并持续识别在讨论式绘本推荐策略下小朋友的情绪识别结果,以继续判断是否需要进一步更改绘本推荐策略,重复上述过程,直至小朋友的情绪识别结果为“愉悦”、“积极”等正面情绪为止。

进一步地,所述获取目标对象的人脸图像,并基于所述人脸图像确定所述目标对象的身份信息的步骤,具体包括:

对所述目标对象的脸部进行跟踪拍摄,获取目标对象的人脸图像;

对所述人脸图像进行人脸区域分割,得到所述目标对象的脸部区域图像;

对所述目标对象的脸部区域图像进行特征识别,得到所述目标对象的脸部特征信息;

将所述脸部特征信息与预设的脸部特征信息进行对比,根据比对结果确定所述目标对象的身份信息。

具体的,服务器在获取目标对象的人脸图像时,通过摄像系统对目标对象的脸部进行跟踪拍摄,获取目标对象的人脸图像,对人脸图像进行人脸区域分割,得到目标对象的脸部区域图像,例如,对人脸图像进行人脸区域分割,得到眼睛区域、嘴唇区域、鼻子区域、眉毛区域、脸部轮廓区域等,基于上述脸部区域图像获取脸部特征信息,最后服务器将得到的脸部特征信息与预先存储在服务中的脸部特征信息进行一一对比,根据比对结果确定目标对象的身份信息,身份信息如姓名、年龄、性别等等。

在上述实施例中,通过获取目标对象的人脸图像,以及对人脸图像进行人脸区域分割和识别脸部区域图像获取目标对象的脸部特征信息,通过比对目标对象的脸部特征信息与预先存储在服务中的脸部特征信息,确定目标对象的身份信息,以便根据目标对象的身份信息确定信息推荐策略。

进一步地,所述对所述目标对象的脸部区域图像进行特征识别,得到所述目标对象的脸部特征信息的步骤,具体包括:

在所述目标对象的脸部区域图像上采集所述目标对象的脸部特征点;

根据所述目标对象的脸部特征点建立人脸3D网格;

获取所述脸部特征点的特征值,以及根据所述特征值和所述人脸3D网格计算所述脸部特征点之间的连接关系;

对所述特征值和所述连接关系获取所述脸部特征点的3D空间分布特征信息,得到所述目标对象的脸部特征信息。

进一步地,所述获取所述脸部特征点的特征值,以及根据所述特征值和所述人脸3D网格计算所述脸部特征点之间的连接关系的步骤,具体包括:

获取所述脸部特征点的颜色信息,并基于所述颜色信息确定所述脸部特征点的特征值;

基于所述人脸3D网格计算所述脸部特征点的位置信息,并基于所述特征值和所述位置信息确定所述脸部特征点之间的连接关系。

其中,可以通过Susan(Smallest Univalue Segment Assimilating Nucleus)算子采集目标对象的脸部特征点,用一个圆形模板遍历图像,若模板内其他任意像素的灰度值与模板中心像素(核)的灰度值的差小于一定阈值,就认为该点与核具有相同(或相近)的灰度值,满足这样条件的像素组成的区域称为核值相似区(Univalue SegmentAssimilating Nucleus,USAN)。把图像中的每个像素与具有相近灰度值的局部区域相联系是SUSAN准则的基。根据Susan算子的特性,Susan算子它既可用来检测边缘,又能用来提取角点。

具体的,服务器在目标对象的脸部区域图像上通过预设的Susan算子采集目标对象的脸部特征点,例如眼睛区域的特征点、嘴唇区域的特征点、鼻子区域的特征点、眉毛区域的特征点、脸部轮廓区域的特征点等等。然后服务器根据目标对象的脸部特征点建立人脸3D网格,获取脸部特征点的特征值,以及根据特征值和人脸3D网格计算脸部特征点之间的连接关系,其中,连接关系可以是脸部特征点之间的拓扑连接关系、空间几何距离或者各种脸部特征点组合的动态连接关系等。最后服务器对特征值和连接关系获取脸部特征点的3D空间分布特征信息,得到目标对象的脸部特征信息,其中,通过对特征值和连接关系的分析,可以获得立体的人脸形状信息,从而获得得到目标对象的脸部特征信息。

服务器通过获取各个脸部特征点的颜色信息,以及基于颜色信息和人脸3D网格计算各个脸部特征点的位置信息,然后服务器基于颜色信息确定脸部特征点的特征值,以及基于特征值和位置信息确定脸部特征点之间的连接关系。

具体而言,通过颜色信息可以针对人脸特征的特征点对相关特征值进行度量,特征值为各个脸部特征点在2D平面上的包括对位置、距离、形状、大小、角度、弧度以及曲率中的一种或者多种的度量,此外,特征值还包括对色彩、亮度、纹理等的度量。例如根据虹膜中心像素点向周围延伸,得到眼睛的全部像素位置、眼睛的形状、眼角的倾斜弧度、眼睛的颜色等等。结合颜色信息和深度信息,则可以计算出特征点之间的连接关系,其中,连接关系可以是脸部特征点之间的拓扑连接关系、空间几何距离或者各种脸部特征点组合的动态连接关系等。

在上述实施例中,通过Susan算子快速采集目标对象的脸部特征点,通过脸部特征点的构建人脸3D网格,以及通过获取脸部特征点的颜色、位置等信息,结合构建的人脸3D网格计算各个脸部特征点的特征值和各个脸部特征点之间的连接关系,通过分析各个脸部特征点的特征值和各个脸部特征点之间的连接关系可以得到目标对象的立体的人脸形状信息,从而得到目标对象整体的脸部特征信息,以便通过比对目标对象的脸部特征信息与预先存储在服务中的脸部特征信息进行一一对比,以确定目标对象的身份。

进一步地,在所述获取信息推荐过程中所述目标对象的特征信息,并将所述特征信息导入预先训练好的情绪识别模型,得到所述目标对象的情绪识别结果之前,还包括:

获取训练样本,并提取所述训练样本的情绪特征,其中,所述情绪特征包括面部特征、声音特征和生理特征;

基于预设的特征权重算法,计算所述面部特征、所述声音特征以及所述生理特征的特征权重;

基于所述训练样本以及所述特征权重对预设的初始识别模型进行训练,得到情绪识别模型。

其中,预设的初始识别模型采用的是深度卷积神经网络模型,卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力,能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification),因此也被称为“平移不变人工神经网络”。卷积神经网络仿造生物的视知觉(visual perception)机制构建,可以进行监督学习和非监督学习,其卷积层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-like topology)特征,例如像素和音频进行学习,有稳定的效果且对数据没有额外的特征工程要求。

具体的,服务器在进行情绪识别之前,需要预先训练情绪识别模型,通过获取训练样本,并提取训练样本的情绪特征,其中,情绪特征包括面部特征、声音特征和生理特征,基于预设的特征权重算法,计算面部特征、声音特征以及生理特征的特征权重,基于训练样本以及特征权重对预设的初始识别模型进行训练,得到情绪识别模型。本申请基于特征权重算法,综合了面部特征、声音特征和生理特征等多维度情绪特征以及各个情绪特征的特征权重来训练情绪识别模型,以实现对用户情绪进行综合识别,提高了情绪识别的准确率。

其中,预设的特征权重算法可以采用Relief算法,Relief算法从任意一个情绪特征组合D中随机选择一个样本R,然后从D中寻找与样本R最近邻的样本H,样本H称为NearHit,从其他情绪特征组合中寻找与样本R最近邻样本M,样本M称为NearMiss,然后根据以下规则更新每个特征的权重:如果R和Near Hit在某个特征上的距离小于R和Near Miss上的距离,这里的距离即两个情绪特征之间的相似度,则说明该特征对区分同类和不同类的最近邻是有益的,则增加该特征的权重;反之,如果R和Near Hit在某个特征的距离大于R和Near Miss上的距离,说明该特征对区分同类和不同类的最近邻起负面作用,则降低该特征的权重。以上过程重复m次,最后得到各特征的平均权重,特征的权重越大,表示该特征的分类能力越强,反之,表示该特征分类能力越弱。Relief算法的运行时间随着样本的抽样次数m和原始特征个数N的增加线性增加,因而运行效率非常高。

在上述实施例中,通过提取训练样本的面部特征、声音特征以及生理特征,通过Relief算法计算面部特征、声音特征以及生理特征的特征权重,在进行初始识别模型训练时,通过引入面部特征、声音特征以及生理特征的特征权重进行模型训练,提高情绪识别的准确率,服务器在获取信息推荐过程中目标对象的特征信息,并将特征信息导入预先训练好的情绪识别模型,可以获得目标对象的情绪识别结果。

进一步地,所述基于预设的特征权重算法,计算所述面部特征、所述声音特征以及所述生理特征的特征权重的步骤,具体包括:

为所述面部特征、所述声音特征以及所述生理特征均赋予相同的初始权重;

对赋予初始权重后的所述面部特征、所述声音特征以及所述生理特征进行分类,得到若干个情绪特征组合;

计算同一类别的情绪特征组合中所述情绪特征的相似度,得到第一相似度;

计算不同类别的情绪特征组合之间所述情绪特征的相似度,得到第二相似度;

基于所述第一相似度和所述第二相似度分别对所述面部特征、所述声音特征以及所述生理特征的初始权重进行调整,得到所述面部特征、所述声音特征以及所述生理特征的特征权重。

具体的,服务器在获取训练样本的面部特征、声音特征以及生理特征后,为面部特征、声音特征以及生理特征均赋予相同的初始权重,然后对赋予初始权重后的面部特征、声音特征以及生理特征进行分类,得到若干个情绪特征组合,计算同一类别的情绪特征组合中情绪特征的相似度,得到第一相似度,计算不同类别的情绪特征组合之间情绪特征的相似度,得到第二相似度,最后服务器基于第一相似度和第二相似度分别对面部特征、声音特征以及生理特征的初始权重进行调整,得到面部特征、声音特征以及生理特征的特征权重。

在上述实施例中,服务器基于特征权重算法计算出训练样本的面部特征、声音特征以及生理特征的的特征权重,以便在进行情绪识别模型训练时联合训练样本和训练样本的面部特征、声音特征以及生理特征的的特征权重进行训练,提高了情绪识别的准确率。

进一步地,所述信息推荐策略库中预设有若干条信息推荐策略,每一条所述信息推荐策略对应一种历史交互信息,以及每一条所述信息推荐策略对应一种情绪识别结果。

本实施例公开了一种信息推荐的方法,属于人工智能技术领域,本申请通过基于人脸图像确定目标对象的身份信息,根据身份信息获取目标对象的历史交互信息,基于历史交互信息获取第一信息推荐策略,并调用第一信息推荐策略为目标对象进行信息推荐,获取信息推荐过程中目标对象的特征信息,并将特征信息导入预先训练好的情绪识别模型,以及基于目标对象的情绪识别结果获取第二信息推荐策略,调用第二信息推荐策略为目标对象进行信息推荐。本申请通过先根据历史交互信息为目标对象采用第一信息推荐策略进行信息推荐,并在信息推荐过程中持续捕捉目标对象的情绪特征,根据情绪特征进行目标对象的情绪识别,以判断目标对象对推送的信息的接收程度,根据目标对象的情绪识别结果再选择对应的第二信息推荐策略为目标对象进行信息推荐。本申请通过先后根据历史交互信息和情绪识别结果为目标对象采用不同的信息推荐策略,提高用户使用体验和信息推荐的准确度,实现智能辅教。

需要强调的是,为进一步保证上述身份信息的私密和安全性,上述身份信息还可以存储于一区块链的节点中。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,该计算机可读指令可存储于一计算机可读取存储介质中,该计算机可读指令在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。

应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图3,作为对上述图2所示方法的实现,本申请提供了一种信息推荐的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。

如图3所示,本实施例所述的信息推荐的装置包括:

身份确认模块301,用于获取目标对象的人脸图像,并基于所述人脸图像确定所述目标对象的身份信息;

信息获取模块302,用于根据所述目标对象的身份信息获取所述目标对象的历史交互信息;

第一推荐模块303,用于基于所述历史交互信息,从预设的信息推荐策略库中获取第一信息推荐策略,调用所述第一信息推荐策略为所述目标对象进行信息推荐,其中,所述第一信息推荐策略与所述目标对象的历史交互信息相匹配;

情绪识别模块304,用于获取信息推荐过程中所述目标对象的特征信息,并将所述特征信息导入预先训练好的情绪识别模型,得到所述目标对象的情绪识别结果;

第二推荐模块305,用于基于所述情绪识别结果,从预设的信息推荐策略库中获取第二信息推荐策略,调用所述第二信息推荐策略为所述目标对象进行信息推荐,其中,所述第二信息推荐策略与所述目标对象的情绪识别结果相匹配。

进一步地,所述身份确认模块301具体包括:

图像拍摄子模块,用于对所述目标对象的脸部进行跟踪拍摄,获取目标对象的人脸图像;

图像分割子模块,用于对所述人脸图像进行人脸区域分割,得到所述目标对象的脸部区域图像;

特征识别子模块,用于对所述目标对象的脸部区域图像进行特征识别,得到所述目标对象的脸部特征信息;

身份确认子模块,用于将所述脸部特征信息与预设的脸部特征信息进行对比,根据比对结果确定所述目标对象的身份信息。

进一步地,所述特征识别子模块具体包括:

特征点采集单元,用于在所述目标对象的脸部区域图像上采集所述目标对象的脸部特征点;

3D网格构建单元,用于根据所述目标对象的脸部特征点建立人脸3D网格;

特征计算单元,用于获取所述脸部特征点的特征值,以及根据所述特征值和所述人脸3D网格计算所述脸部特征点之间的连接关系;

特征识别单元,用于对所述特征值和所述连接关系获取所述脸部特征点的3D空间分布特征信息,得到所述目标对象的脸部特征信息。

进一步地,所述特征计算具体包括:

特征值计算子单元,用于获取所述脸部特征点的颜色信息,并基于所述颜色信息确定所述脸部特征点的特征值;

连接关系确定子单元,用于基于所述人脸3D网格计算所述脸部特征点的位置信息,并基于所述特征值和所述位置信息确定所述脸部特征点之间的连接关系。

进一步地,所述信息推荐的装置还包括:

情绪特征提取模块,用于获取训练样本,并提取所述训练样本的情绪特征,其中,所述情绪特征包括面部特征、声音特征和生理特征;

特征权重计算模块,用于基于预设的特征权重算法,计算所述面部特征、所述声音特征以及所述生理特征的特征权重;

情绪模型训练模块,用于基于所述训练样本以及所述特征权重对预设的初始识别模型进行训练,得到情绪识别模型。

进一步地,所述特征权重计算模块具体包括:

权重赋值单元,用于为所述面部特征、所述声音特征以及所述生理特征均赋予相同的初始权重;

特征分类单元,用于对赋予初始权重后的所述面部特征、所述声音特征以及所述生理特征进行分类,得到若干个情绪特征组合;

第一相似度计算单元,用于计算同一类别的情绪特征组合中所述情绪特征的相似度,得到第一相似度;

第二相似度计算单元,用于计算不同类别的情绪特征组合之间所述情绪特征的相似度,得到第二相似度;

特征权重计算单元,用于基于所述第一相似度和所述第二相似度分别对所述面部特征、所述声音特征以及所述生理特征的初始权重进行调整,得到所述面部特征、所述声音特征以及所述生理特征的特征权重。

进一步地,所述信息推荐策略库中预设有若干条信息推荐策略,每一条所述信息推荐策略对应一种历史交互信息,以及每一条所述信息推荐策略对应一种情绪识别结果。

本实施例公开了一种信息推荐的装置,属于人工智能技术领域,本申请通过基于人脸图像确定目标对象的身份信息,根据身份信息获取目标对象的历史交互信息,基于历史交互信息获取第一信息推荐策略,并调用第一信息推荐策略为目标对象进行信息推荐,获取信息推荐过程中目标对象的特征信息,并将特征信息导入预先训练好的情绪识别模型,以及基于目标对象的情绪识别结果获取第二信息推荐策略,调用第二信息推荐策略为目标对象进行信息推荐。本申请通过先根据历史交互信息为目标对象采用第一信息推荐策略进行信息推荐,并在信息推荐过程中持续捕捉目标对象的情绪特征,根据情绪特征进行目标对象的情绪识别,以判断目标对象对推送的信息的接收程度,根据目标对象的情绪识别结果再选择对应的第二信息推荐策略为目标对象进行信息推荐。本申请通过先后根据历史交互信息和情绪识别结果为目标对象采用不同的信息推荐策略,提高用户使用体验和信息推荐的准确度,实现智能辅教。

为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图4,图4为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是,图中仅示出了具有组件41-43的计算机设备4,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable GateArray,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器41可以是所述计算机设备4的内部存储单元,例如该计算机设备4的硬盘或内存。在另一些实施例中,所述存储器41也可以是所述计算机设备4的外部存储设备,例如该计算机设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。当然,所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中,所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件,例如信息推荐的方法的计算机可读指令等。此外,所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中,所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据,例如运行所述信息推荐的方法的计算机可读指令。

所述网络接口43可包括无线网络接口或有线网络接口,该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

本申请公开了一种计算机设备,属于人工智能技术领域,本申请通过基于人脸图像确定目标对象的身份信息,根据身份信息获取目标对象的历史交互信息,基于历史交互信息获取第一信息推荐策略,并调用第一信息推荐策略为目标对象进行信息推荐,获取信息推荐过程中目标对象的特征信息,并将特征信息导入预先训练好的情绪识别模型,以及基于目标对象的情绪识别结果获取第二信息推荐策略,调用第二信息推荐策略为目标对象进行信息推荐。本申请通过先根据历史交互信息为目标对象采用第一信息推荐策略进行信息推荐,并在信息推荐过程中持续捕捉目标对象的情绪特征,根据情绪特征进行目标对象的情绪识别,以判断目标对象对推送的信息的接收程度,根据目标对象的情绪识别结果再选择对应的第二信息推荐策略为目标对象进行信息推荐。本申请通过先后根据历史交互信息和情绪识别结果为目标对象采用不同的信息推荐策略,提高用户使用体验和信息推荐的准确度,实现智能辅教。

本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令可被至少一个处理器执行,以使所述至少一个处理器执行如上述的信息推荐的方法的步骤。

本申请公开了一种存储介质,属于人工智能技术领域,本申请通过基于人脸图像确定目标对象的身份信息,根据身份信息获取目标对象的历史交互信息,基于历史交互信息获取第一信息推荐策略,并调用第一信息推荐策略为目标对象进行信息推荐,获取信息推荐过程中目标对象的特征信息,并将特征信息导入预先训练好的情绪识别模型,以及基于目标对象的情绪识别结果获取第二信息推荐策略,调用第二信息推荐策略为目标对象进行信息推荐。本申请通过先根据历史交互信息为目标对象采用第一信息推荐策略进行信息推荐,并在信息推荐过程中持续捕捉目标对象的情绪特征,根据情绪特征进行目标对象的情绪识别,以判断目标对象对推送的信息的接收程度,根据目标对象的情绪识别结果再选择对应的第二信息推荐策略为目标对象进行信息推荐。本申请通过先后根据历史交互信息和情绪识别结果为目标对象采用不同的信息推荐策略,提高用户使用体验和信息推荐的准确度,实现智能辅教。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。

显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。

相关技术
  • 信息推荐方法、装置、计算机设备和计算机可读存储介质
  • 一种信息推荐方法、装置、计算机设备及存储介质
技术分类

06120113212638