掌桥专利:专业的专利平台
掌桥专利
首页

特征提取方法、装置、电子设备及存储介质

文献发布时间:2023-06-19 11:54:11


特征提取方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域,尤其涉及一种特征提取方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展和互联网规模的日益扩大,互联网中存在的对象的类型也越来越多,例如用户、视频、作者等,随着对象类型的增多,在提取对象的对象特征时需要考虑的信息也越来越多,如何确定对象的对象特征成为亟待解决的问题。

发明内容

本公开提供了一种特征提取方法、装置、电子设备及存储介质,提高了提取的对象特征的准确率。

根据本公开实施例的一方面,提供一种特征提取方法,所述特征提取方法包括:

获取关联信息,所述关联信息中包括多个对象及任两个对象之间的关联关系,所述多个对象包括在服务器上注册的账号和通过所述服务器发布的多媒体资源;

将第一对象确定为初始的目标对象,所述第一对象为在所述服务器上注册的任一账号或通过所述服务器发布的任一多媒体资源;

从所述关联信息中,基于当前的目标对象选取满足关联条件的下一个目标对象,直至已确定的目标对象的数量达到目标数量,构造目标对象集合,所述关联条件是指所述下一个目标对象与所述当前的目标对象之间的关联关系为当前确定的目标关联关系,所述目标对象集合中包括所述目标数量的目标对象及任两个目标对象之间的关联关系;

对所述目标对象集合进行特征提取,得到所述第一对象的对象特征。

本公开实施例提供的方法,在构建目标对象集合的过程中,根据不同对象之间的关联关系,确定当前的目标对象关联的下一个目标对象,以使下一个目标对象与当前的目标对象之间的关联关系为当前的目标关联关系,考虑了不同的关联关系对目标对象的影响,通过跨关系确定了多个目标对象,从而利用目标对象集合提取特征时,能够充分考虑各个对象之间的关联关系对第一对象的影响,提高对象特征的准确率。

在一些实施例中,所述从所述关联信息中,基于当前的目标对象选取满足关联条件的下一个目标对象,包括:

基于所述关联信息,确定所述当前的目标对象的多种类型的关联关系;

从所述多种类型中选取一种类型的关联关系,将选取的关联关系确定为所述当前的目标关联关系;

从所述关联信息中,选取与所述当前的目标对象之间的关联关系为所述当前的目标关联关系的对象,将选取的对象确定为下一个目标对象。

本公开实施例中,从当前的目标对象的多种类型的关联关系中,选取一种类型的关联关系,并根据选取的关联关系确定下一个目标对象,考虑了不同关联关系对关联的两个对象的影响,与直接依据一种类型的关联关系来确定下一个目标对象相比,选取关联关系的过程中已经考虑了不同关联关系对目标对象的影响。

在一些实施例中,所述从所述关联信息中,选取与所述当前的目标对象之间的关联关系为所述当前的目标关联关系的对象,将选取的对象确定为下一个目标对象,包括:

从所述关联信息中,选取与所述当前的目标对象之间的关联关系为所述当前的目标关联关系的多个备选对象;

将所述多个备选对象中的任一对象确定为下一个目标对象。

本公开实施例中,在当前的目标对象与多个备选对象之间的关联关系均为目标关联关系的情况下,将多个备选对象中选取任一对象确定,实现对下一个目标对象的选取,保证能够选取出满足关联条件的目标对象。

在一些实施例中,所述特征提取方法还包括:

按照所述关联信息中包含的多种类型的关联关系,将所述关联信息划分为多个关联子信息,各个关联子信息中包含多个对象,且同一个关联子信息中不同的对象之间存在同一种类型的关联关系;

所述对所述目标对象集合进行特征提取,得到所述第一对象的对象特征,包括:

从所述多个关联子信息中,确定包含所述第一对象的目标关联子信息;

对所述目标对象集合及所述目标关联子信息进行特征提取,得到所述对象特征。

本公开实施例中,将关联信息划分为多个关联子信息,基于目标对象集合和目标关联子信息提取对象特征,在充分考虑各个对象之间的关联关系对第一对象的影响的同时,还考虑了同一关联关系对应的其他对象对第一对象的影响,进一步提高了对象特征的准确率。

在一些实施例中,所述目标关联子信息为多个,所述对所述目标对象集合及所述目标关联子信息进行特征提取,得到所述对象特征,包括:

对于各个目标关联子信息,对所述目标对象集合及所述目标关联子信息进行特征提取,得到所述第一对象的第一特征;

基于多个目标关联子信息对应的第一权重,对所述多个目标关联子信息对应的第一特征进行加权处理,得到所述对象特征,各个目标关联子信息对应的第一权重表征所述目标关联子信息对应的关联关系对所述第一对象的对象特征的影响程度。

本公开实施例中,在存在多个目标关联子信息的情况下,考虑不同的目标关联子信息对应的关联关系对第一对象的第一特征的影响程度不同,对得到的各个目标关联子信息对应的第一特征进行加权处理,将加权处理得到的特征作为对象特征,进一步提高了对象特征的准确率。

在一些实施例中,所述目标关联子信息为多个,所述对所述目标对象集合及所述目标关联子信息进行特征提取,得到所述对象特征,包括:

对于各个目标关联子信息,对所述目标对象集合及所述目标关联子信息进行特征提取,得到所述第一对象的第一特征;

基于多个目标关联子信息对应的第一权重,对所述多个目标关联子信息对应的第一特征进行加权处理,得到所述第一对象的第二特征,各个目标关联子信息对应的第一权重表征所述目标关联子信息对应的关联关系对所述第一对象的对象特征的影响程度;

对所述关联信息进行特征提取,得到所述第一对象的第三特征;

将所述第二特征与所述第三特征进行拼接,得到所述对象特征。

本公开实施例中,在提取对象特征时,对关联信息进行特征提取,不仅考虑了各个对象之间的关联关系对第一对象的影响,以及同一关联关系对应的其他对象对第一对象的影响,还考虑了第一对象所对应的全局信息,进一步提高了对象特征的准确率。

在一些实施例中,所述第一对象所属的类型为目标类型,所述对于各个目标关联子信息,对所述目标对象集合及所述目标关联子信息进行特征提取,得到所述第一对象的第一特征,包括:

对于所述各个目标关联子信息,将所述目标关联子信息划分为多个第一子信息,各个第一子信息中包含所述第一对象以及属于参考类型的其他对象,且所述其他对象与所述第一对象构成所述目标关联子信息对应的关联关系,且不同第一子信息中包含的参考类型不同,所述参考类型与所述目标类型不同;

将所述目标对象集合划分为多个第二子信息,各个第二子信息中包含所述第一对象以及其他对象,且所述第一对象与所述其他对象之间的关联关系包括至少两种,不同第二子信息中所述第一对象与所述其他对象之间的关联关系不完全相同;

分别对所述多个第一子信息及所述多个第二子信息进行特征提取,得到所述多个第一子信息对应的第四特征及所述多个第二子信息对应的第五特征;

基于所述多个第一子信息对应的第二权重及所述多个第二子信息对应的第二权重,对所述多个第一子信息对应的第四特征及所述多个第二子信息对应的第五特征进行加权处理,得到所述第一对象的第一特征,各个第一子信息对应的第二权重表征同一关联关系下不同的对象对所述第一对象的对象特征的影响程度,各个第二子信息对应的第二权重表征不同的关联关系下不同的对象对所述第一对象的对象特征的影响程度。

本公开实施例中,对目标关联子信息和目标对象集合进行进一步地划分,得到目标关联子信息对应的多个第一子信息和目标对象集合对应的多个第二子信息,提取各个第一子信息对应的第四特征时,能够充分考虑与第一对象关联的不同类型的对象对第一对象的影响,提取各个第二子信息对应的第五特征时,能够充分考虑不同关联关系对第一对象的影响,与直接对目标关联子信息进行特征提取相比,提高了得到的第一特征的准确率。

在一些实施例中,所述对于所述各个目标关联子信息,将所述目标关联子信息划分为多个第一子信息,包括:

对于所述各个目标关联子信息,确定与所述目标类型不同的多个参考类型;

每次选取其中一个参考类型,从所述目标关联子信息中选取所述第一对象以及满足第一选取条件的其他对象,构成一个第一子信息,直至所述多个参考类型选取完成,得到多个第一子信息,其中,选取的对象满足第一选取条件是指所述对象属于所述参考类型,且与所述第一对象构成所述目标关联子信息对应的关联关系。

本公开实施例中,根据参考类型构建第一子信息,保证各个第一子信息能够体现出属于对应的参考类型的对象对第一对象的影响程度。

在一些实施例中,所述将所述目标对象集合划分为多个第二子信息,包括:

确定所述目标对象集合中包括的多种类型的关联关系;

每次选取所述多种类型中至少两种类型的关联关系,从所述目标对象集合中选取所述第一对象及满足第二选取条件的其他对象,构成一个第二子信息,直至所述多种类型的关联关系中不存在未被同时选取的至少两种类型的关联关系,得到多个第二子信息,其中,选取的对象满足第二选取条件是指选取的对象与所述第一对象之间的关联关系为所述至少两种类型的关联关系。

本公开实施例中,根据不同的关联关系构建第二子信息,保证各个第二子信息能够体现出对应的至少两种类型的关联关系对第一对象的影响程度。

在一些实施例中,所述对所述目标对象集合进行特征提取,得到所述第一对象的对象特征,包括:

调用特征提取模型,对所述目标对象集合进行特征提取,得到所述第一对象的对象特征。

本公开实施例中,调用特征提取模型能够快速准确地提取出第一对象的对象特征,提高对象特征的提取效率。

在一些实施例中,所述对所述目标对象集合及所述目标关联子信息进行特征提取,得到所述对象特征,包括:

调用特征提取模型,对所述目标对象集合及所述目标关联子信息进行特征提取,得到所述对象特征。

本公开实施例中,调用特征提取模型,对目标对象集合及目标关联子信息进行处理,提高了对象特征的提取效率的同时,还提高了对象特征的准确率。

在一些实施例中,所述特征提取模型包括多个第一特征提取网络和第二特征提取网络,所述目标关联子信息为多个,所述调用特征提取模型,对所述目标对象集合及所述目标关联子信息进行特征提取,得到所述对象特征,包括:

调用各个第一特征提取网络,分别对所述目标对象集合及各个目标关联子信息进行特征提取,得到所述第一对象的第一特征;

调用所述第二特征提取网络,基于多个目标关联子信息对应的第一权重,对所述多个目标关联子信息对应的第一特征进行加权处理,得到所述对象特征,各个目标关联子信息对应的第一权重表征所述目标关联子信息对应的关联关系对所述第一对象的对象特征的影响程度。

在一些实施例中,所述特征提取模型包括多个第一特征提取网络、第二特征提取网络和第三特征提取网络,所述目标关联子信息为多个,所述调用特征提取模型,对所述目标对象集合及所述目标关联子信息进行特征提取,得到所述对象特征,包括:

调用各个第一特征提取网络,分别对所述目标对象集合及各个目标关联子信息进行特征提取,得到所述第一对象的第一特征;

调用所述第二特征提取网络,基于多个目标关联子信息对应的第一权重,对所述多个目标关联子信息对应的第一特征进行加权处理,得到所述第一对象的第二特征,各个目标关联子信息对应的第一权重表征所述目标关联子信息对应的关联关系对所述第一对象的对象特征的影响程度;

调用所述第三特征提取网络,对所述关联信息进行特征提取,得到所述第一对象的第三特征;

调用所述第二特征提取网络,对所述第二特征与所述第三特征进行拼接,得到所述对象特征。

在一些实施例中,所述调用所述第二特征提取网络,基于多个目标关联子信息对应的第一权重,对所述多个目标关联子信息对应的第一特征进行加权处理,得到所述第一对象的第二特征之前,所述特征提取方法还包括:

调用所述第二特征提取网络,对所述多个目标关联子信息进行处理,得到所述多个目标关联子信息对应的第一权重。

在一些实施例中,所述调用各个第一特征提取网络,对所述目标对象集合及各个目标关联子信息进行特征提取,得到所述第一对象的第一特征,包括:

对于各个目标关联子信息,调用所述目标关联子信息对应的第一特征提取网络中的特征提取层,将所述目标关联子信息划分为多个第一子信息,各个第一子信息中包含所述第一对象以及属于参考类型的其他对象,且所述其他对象与所述第一对象构成所述目标关联子信息对应的关联关系,且不同第一子信息中包含的参考类型不同;

调用所述特征提取层,将所述目标对象集合划分为多个第二子信息,各个第二子信息中包含所述第一对象以及其他对象,且所述第一对象与所述其他对象之间的关联关系包括至少两种,不同第二子信息中所述第一对象与所述其他对象之间的关联关系不完全相同;

调用所述特征提取层,分别对所述多个第一子信息及所述多个第二子信息进行特征提取,得到所述多个第一子信息对应的第四特征及所述多个第二子信息对应的第五特征;

调用所述第一特征提取网络中的拼接层,基于所述多个第一子信息对应的第二权重及所述多个第二子信息对应的第二权重,对所述多个第一子信息对应的第四特征及所述多个第二子信息对应的第五特征进行加权处理,得到所述第一对象的第一特征,各个第一子信息对应的第二权重表征同一关联关系下不同的对象对所述第一对象的对象特征的影响程度,各个第二子信息对应的第二权重表征不同的关联关系下不同的对象对所述第一对象的对象特征的影响程度。

在一些实施例中,所述调用所述第一特征提取网络中的拼接层,基于所述多个第一子信息对应的第二权重及所述多个第二子信息对应的第二权重,对所述多个第一子信息对应的第四特征及所述多个第二子信息对应的第五特征进行加权处理,得到所述第一对象的第一特征之前,所述特征提取方法还包括:

调用所述第一特征提取网络中的注意力层,分别对所述多个第一子信息及所述多个第二子信息进行处理,得到所述多个第一子信息对应的第二权重及所述多个第二子信息对应的第二权重。

在一些实施例中,所述调用所述目标关联子信息对应的第一特征提取网络中的特征提取层,将所述目标关联子信息划分为多个第一子信息,包括:

调用所述特征提取层,确定与所述目标类型不同的多个参考类型;

调用所述特征提取层,每次选取其中一个参考类型,从所述目标关联子信息中选取所述第一对象以及满足第一选取条件的其他对象,构成一个第一子信息,直至所述多个参考类型选取完成,得到多个第一子信息,其中,选取的对象满足第一选取条件是指所述对象属于所述参考类型,且与所述第一对象构成所述目标关联子信息对应的关联关系。

在一些实施例中,所述调用所述特征提取层,从所述目标对象集合中划分出多个第二子信息,包括:

调用所述特征提取层,确定所述目标对象集合中包括的多种类型的关联关系;

调用所述特征提取层,每次选取所述多种类型中至少两种类型的关联关系,从所述目标对象集合中选取所述第一对象及满足第二选取条件的其他对象,构成一个第二子信息,直至所述多种类型的关联关系中不存在未被同时选取的至少两种类型的关联关系,得到多个第二子信息,其中,选取的对象满足第二选取条件是指选取的对象与所述第一对象之间的关联关系为所述至少两种类型的关联关系。

在一些实施例中,所述特征提取模型的训练过程如下:

获取样本关联信息中的两个样本对象,所述两个样本对象之间的相似度大于参考相似度;

调用所述特征提取模型,分别获取所述两个样本对象对应的预测特征;

采用目标函数对所述两个样本对象对应的预测特征进行处理,得到损失值;

基于所述损失值,训练所述特征提取模型。

在一些实施例中,所述基于所述损失值,训练所述特征提取模型之后,所述特征提取方法还包括:

响应于所述损失值小于参考数值,结束训练所述特征提取模型。

在一些实施例中,所述关联信息为异构图,所述异构图包括多个对象节点以及任两个对象节点之间的连接线,一个对象节点代表一个对象,一个连接线代表所述一个连接线连接的两个对象节点对应的对象之间的关联关系;

所述从所述关联信息中,基于当前的目标对象选取满足关联条件的下一个目标对象,直至已确定的目标对象的数量达到目标数量,构造目标对象集合,包括:

从所述异构图中,基于当前的目标对象节点选取满足关联条件的下一个目标对象节点,直至已确定的目标对象节点的数量达到所述目标数量,构造目标节点网络,所述关联条件是指所述下一个目标对象节点与所述当前的目标对象节点之间的连接线与当前确定的目标关联关系匹配,所述目标节点网络中包括所述目标数量的目标对象节点及任两个目标对象节点之间的连接线;

所述对所述目标对象集合进行特征提取,得到所述第一对象的对象特征,包括:

对所述目标节点网络进行特征提取,得到所述对象特征。

本公开实施例中,在构建目标节点网络的过程中,根据不同对象节点之间的连接线匹配的关联关系,确定当前的目标对象节点关联的下一个目标对象节点,以使下一个目标对象节点与当前的目标对象节点之间的连接线与当前的目标关联关系匹配,考虑了不同的关联关系对目标对象节点的影响,实现了跨关系的多个目标对象节点的确定,从而利用目标节点网络提取特征时,能够充分考虑各个对象节点之间的连接线匹配的关联关系对第一对象的影响,提高对象特征的准确率。

在一些实施例中,所述特征提取方法还包括:

按照所述异构图中包含的多种连接线,将所述异构图划分为多个关联关系子图,各个关联关系子图中包含多个对象节点,且同一个关联关系子图中不同的对象节点之间的连接线与同一种类型的关联关系匹配;

所述对所述关系网络进行特征提取,得到所述第一对象的对象特征,包括:

从所述多个关联关系子图中,确定包含所述第一对象对应的第一对象节点的目标关联关系子图;

对所述目标节点网络及所述目标关联关系子图进行特征提取,得到所述对象特征。

本公开实施例中,将异构图划分为多个关联关系子图,基于目标节点集合和目标关联关系子图提取对象特征,在充分考虑各个对象节点之间的连接线匹配的关联关系对第一对象节点的影响的同时,还考虑了基于同一种连接线连接的其他对象节点对第一对象节点的影响,进一步提高了对象特征的准确率。

根据本公开实施例的再一方面,提供一种特征提取装置,所述特征提取装置包括:

关联信息获取单元,被配置为执行获取关联信息,所述关联信息中包括多个对象及任两个对象之间的关联关系,所述多个对象包括在服务器上注册的账号和通过所述服务器发布的多媒体资源;

初始对象确定单元,被配置为执行将第一对象确定为初始的目标对象,所述第一对象为在所述服务器上注册的任一账号或通过所述服务器发布的任一多媒体资源;

对象集合构造单元,被配置为执行从所述关联信息中,基于当前的目标对象选取满足关联条件的下一个目标对象,直至已确定的目标对象的数量达到目标数量,构造目标对象集合,所述关联条件是指所述下一个目标对象与所述当前的目标对象之间的关联关系为当前确定的目标关联关系,所述目标对象集合中包括所述目标数量的目标对象及任两个目标对象之间的关联关系;

特征提取单元,被配置为执行对所述目标对象集合进行特征提取,得到所述第一对象的对象特征。

在一些实施例中,所述对象集合构造单元,包括:

关联关系确定子单元,被配置为执行基于所述关联信息,确定所述当前的目标对象的多种类型的关联关系;

关联关系选取子单元,被配置为执行从所述多种类型中选取一种类型的关联关系,将选取的关联关系确定为所述当前的目标关联关系;

对象确定子单元,被配置为执行从所述关联信息中,选取与所述当前的目标对象之间的关联关系为所述当前的目标关联关系的对象,将选取的对象确定为下一个目标对象。

在一些实施例中,所述对象确定子单元,被配置为执行:

从所述关联信息中,选取与所述当前的目标对象之间的关联关系为所述当前的目标关联关系的多个备选对象;

将所述多个备选对象中的任一对象确定为下一个目标对象。

在一些实施例中,所述特征提取装置还包括:

关联信息划分单元,被配置为执行按照所述关联信息中包含的多种类型的关联关系,将所述关联信息划分为多个关联子信息,各个关联子信息中包含多个对象,且同一个关联子信息中不同的对象之间存在同一种类型的关联关系;

所述特征提取单元,被配置为执行:

从所述多个关联子信息中,确定包含所述第一对象的目标关联子信息;

对所述目标对象集合及所述目标关联子信息进行特征提取,得到所述对象特征。

在一些实施例中,所述目标关联子信息为多个,所述特征提取单元,包括:

第一特征提取子单元,被配置为执行对于各个目标关联子信息,对所述目标对象集合及所述目标关联子信息进行特征提取,得到所述第一对象的第一特征;

对象特征提取子单元,被配置为执行基于多个目标关联子信息对应的第一权重,对所述多个目标关联子信息对应的第一特征进行加权处理,得到所述对象特征,各个目标关联子信息对应的第一权重表征所述目标关联子信息对应的关联关系对所述第一对象的对象特征的影响程度。

在一些实施例中,所述目标关联子信息为多个,所述特征提取单元,包括:

第一特征提取子单元,被配置为执行对于各个目标关联子信息,对所述目标对象集合及所述目标关联子信息进行特征提取,得到所述第一对象的第一特征;

第二特征确定子单元,被配置为执行基于多个目标关联子信息对应的第一权重,对所述多个目标关联子信息对应的第一特征进行加权处理,得到所述第一对象的第二特征,各个目标关联子信息对应的第一权重表征所述目标关联子信息对应的关联关系对所述第一对象的对象特征的影响程度;

第三特征提取子单元,被配置为执行对所述关联信息进行特征提取,得到所述第一对象的第三特征;

对象特征提取子单元,被配置为执行将所述第二特征与所述第三特征进行拼接,得到所述对象特征。

在一些实施例中,所述第一对象所属的类型为目标类型,所述第一特征提取子单元,被配置为执行:

对于所述各个目标关联子信息,将所述目标关联子信息划分为多个第一子信息,各个第一子信息中包含所述第一对象以及属于参考类型的其他对象,且所述其他对象与所述第一对象构成所述目标关联子信息对应的关联关系,且不同第一子信息中包含的参考类型不同,所述参考类型与所述目标类型不同;

将所述目标对象集合划分为多个第二子信息,各个第二子信息中包含所述第一对象以及其他对象,且所述第一对象与所述其他对象之间的关联关系包括至少两种,不同第二子信息中所述第一对象与所述其他对象之间的关联关系不完全相同;

分别对所述多个第一子信息及所述多个第二子信息进行特征提取,得到所述多个第一子信息对应的第四特征及所述多个第二子信息对应的第五特征;

基于所述多个第一子信息对应的第二权重及所述多个第二子信息对应的第二权重,对所述多个第一子信息对应的第四特征及所述多个第二子信息对应的第五特征进行加权处理,得到所述第一对象的第一特征,各个第一子信息对应的第二权重表征同一关联关系下不同的对象对所述第一对象的对象特征的影响程度,各个第二子信息对应的第二权重表征不同的关联关系下不同的对象对所述第一对象的对象特征的影响程度。

在一些实施例中,所述第一特征提取子单元,被配置为执行:

对于所述各个目标关联子信息,确定与所述目标类型不同的多个参考类型;

每次选取其中一个参考类型,从所述目标关联子信息中选取所述第一对象以及满足第一选取条件的其他对象,构成一个第一子信息,直至所述多个参考类型选取完成,得到多个第一子信息,其中,选取的对象满足第一选取条件是指所述对象属于所述参考类型,且与所述第一对象构成所述目标关联子信息对应的关联关系。

在一些实施例中,所述第一特征提取子单元,被配置为执行:

确定所述目标对象集合中包括的多种类型的关联关系;

每次选取所述多种类型中至少两种类型的关联关系,从所述目标对象集合中选取所述第一对象及满足第二选取条件的其他对象,构成一个第二子信息,直至所述多种类型的关联关系中不存在未被同时选取的至少两种类型的关联关系,得到多个第二子信息,其中,选取的对象满足第二选取条件是指选取的对象与所述第一对象之间的关联关系为所述至少两种类型的关联关系。

在一些实施例中,所述特征提取单元,被配置为执行调用特征提取模型,对所述目标对象集合进行特征提取,得到所述第一对象的对象特征。

在一些实施例中,所述特征提取单元,被配置为执行调用特征提取模型,对所述目标对象集合及所述目标关联子信息进行特征提取,得到所述对象特征。

在一些实施例中,所述特征提取模型包括多个第一特征提取网络和第二特征提取网络,所述目标关联子信息为多个,所述特征提取单元,包括:

第一特征提取子单元,被配置为执行调用各个第一特征提取网络,分别对所述目标对象集合及各个目标关联子信息进行特征提取,得到所述第一对象的第一特征;

对象特征提取子单元,被配置为执行调用所述第二特征提取网络,基于多个目标关联子信息对应的第一权重,对所述多个目标关联子信息对应的第一特征进行加权处理,得到所述对象特征,各个目标关联子信息对应的第一权重表征所述目标关联子信息对应的关联关系对所述第一对象的对象特征的影响程度。

在一些实施例中,所述特征提取模型包括多个第一特征提取网络、第二特征提取网络和第三特征提取网络,所述目标关联子信息为多个,所述特征提取单元,包括:

第一特征提取子单元,被配置为执行调用各个第一特征提取网络,分别对所述目标对象集合及各个目标关联子信息进行特征提取,得到所述第一对象的第一特征;

第二特征确定子单元,被配置为执行调用所述第二特征提取网络,基于多个目标关联子信息对应的第一权重,对所述多个目标关联子信息对应的第一特征进行加权处理,得到所述第一对象的第二特征,各个目标关联子信息对应的第一权重表征所述目标关联子信息对应的关联关系对所述第一对象的对象特征的影响程度;

第三特征提取子单元,被配置为执行调用所述第三特征提取网络,对所述关联信息进行特征提取,得到所述第一对象的第三特征;

对象特征提取子单元,被配置为执行调用所述第二特征提取网络,对所述第二特征与所述第三特征进行拼接,得到所述对象特征。

在一些实施例中,所述特征提取单元,还包括:

第一权重确定子单元,被配置为执行调用所述第二特征提取网络,对所述多个目标关联子信息进行处理,得到所述多个目标关联子信息对应的第一权重。

在一些实施例中,所述第一特征提取子单元,被配置为执行:

对于各个目标关联子信息,调用所述目标关联子信息对应的第一特征提取网络中的特征提取层,将所述目标关联子信息划分为多个第一子信息,各个第一子信息中包含所述第一对象以及属于参考类型的其他对象,且所述其他对象与所述第一对象构成所述目标关联子信息对应的关联关系,且不同第一子信息中包含的参考类型不同;

调用所述特征提取层,将所述目标对象集合划分为多个第二子信息,各个第二子信息中包含所述第一对象以及其他对象,且所述第一对象与所述其他对象之间的关联关系包括至少两种,不同第二子信息中所述第一对象与所述其他对象之间的关联关系不完全相同;

调用所述特征提取层,分别对所述多个第一子信息及所述多个第二子信息进行特征提取,得到所述多个第一子信息对应的第四特征及所述多个第二子信息对应的第五特征;

调用所述第一特征提取网络中的拼接层,基于所述多个第一子信息对应的第二权重及所述多个第二子信息对应的第二权重,对所述多个第一子信息对应的第四特征及所述多个第二子信息对应的第五特征进行加权处理,得到所述第一对象的第一特征,各个第一子信息对应的第二权重表征同一关联关系下不同的对象对所述第一对象的对象特征的影响程度,各个第二子信息对应的第二权重表征不同的关联关系下不同的对象对所述第一对象的对象特征的影响程度。

在一些实施例中,所述特征提取单元,还包括:

第二权重确定子单元,被配置为执行调用所述第一特征提取网络中的注意力层,分别对所述多个第一子信息及所述多个第二子信息进行处理,得到所述多个第一子信息对应的第二权重及所述多个第二子信息对应的第二权重。

在一些实施例中,所述第一特征提取子单元,被配置为执行:

调用所述特征提取层,确定与所述目标类型不同的多个参考类型;

调用所述特征提取层,每次选取其中一个参考类型,从所述目标关联子信息中选取所述第一对象以及满足第一选取条件的其他对象,构成一个第一子信息,直至所述多个参考类型选取完成,得到多个第一子信息,其中,选取的对象满足第一选取条件是指所述对象属于所述参考类型,且与所述第一对象构成所述目标关联子信息对应的关联关系。

在一些实施例中,所述第一特征提取子单元,被配置为执行:

调用所述特征提取层,确定所述目标对象集合中包括的多种类型的关联关系;

调用所述特征提取层,每次选取所述多种类型中至少两种类型的关联关系,从所述目标对象集合中选取第一对象及满足第二选取条件的其他对象,构成一个第二子信息,直至所述多种类型的关联关系中不存在未被同时选取的至少两种类型的关联关系,得到多个第二子信息,其中,选取的对象满足第二选取条件是指选取的对象与所述第一对象之间的关联关系为所述至少两种类型的关联关系。

在一些实施例中,所述特征提取装置还包括:

模型训练单元,被配置为执行获取样本关联信息中的两个样本对象,所述两个样本对象之间的相似度大于参考相似度;

所述模型训练单元,还被配置为执行调用所述特征提取模型,分别获取所述两个样本对象对应的预测特征;

所述模型训练单元,还被配置为执行采用目标函数对所述两个样本对象对应的预测特征进行处理,得到损失值;

所述模型训练单元,还被配置为执行基于所述损失值,训练所述特征提取模型。

在一些实施例中,所述模型训练单元,还被配置为执行响应于所述损失值小于参考数值,结束训练所述特征提取模型。

在一些实施例中,所述关联信息为异构图,所述异构图包括多个对象节点以及任两个对象节点之间的连接线,一个对象节点代表一个对象,一个连接线代表所述一个连接线连接的两个对象节点对应的对象之间的关联关系;

所述对象集合构造单元,被配置为执行从所述异构图中,基于当前的目标对象节点选取满足关联条件的下一个目标对象节点,直至已确定的目标对象节点的数量达到所述目标数量,构造目标节点网络,所述关联条件是指所述下一个目标对象节点与所述当前的目标对象节点之间的连接线与当前确定的目标关联关系匹配,所述目标节点网络中包括所述目标数量的目标对象节点及任两个目标对象节点之间的连接线;

所述特征提取单元,被配置为执行对所述目标节点网络进行特征提取,得到所述对象特征。

在一些实施例中,所述特征提取装置还包括:

关联信息划分单元,被配置为执行按照所述异构图中包含的多种连接线,将所述异构图划分为多个关联关系子图,各个关联关系子图中包含多个对象节点,且同一个关联关系子图中不同的对象节点之间的连接线与同一种类型的关联关系匹配;

所述特征提取单元,被配置为执行:

从所述多个关联关系子图中,确定包含所述第一对象对应的第一对象节点的目标关联关系子图;

对所述目标节点网络及所述目标关联关系子图进行特征提取,得到所述对象特征。

根据本公开实施例的再一方面,提供了一种电子设备,所述电子设备包括:

一个或多个处理器;

用于存储所述一个或多个处理器可执行指令的存储器;

其中,所述一个或多个处理器被配置为执行上述方面所述的特征提取方法。

根据本公开实施例的再一方面,提供一种计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述方面所述的特征提取方法。

根据本公开实施例的再一方面,提供一种计算机程序产品,该计算机程序产品包括计算机程序,所述计算机程序被处理器执行以实现上述方面所述的特征提取方法。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种特征提取方法的流程图;

图2是根据一示例性实施例示出的另一种特征提取方法的流程图;

图3是根据一示例性实施例示出的另一种特征提取方法的流程图;

图4是根据一示例性实施例示出的另一种特征提取方法的流程图;

图5是根据一示例性实施例示出的另一种特征提取方法的流程图;

图6是根据一示例性实施例示出的一种特征提取模型的模型结构的示意图;

图7是根据一示例性实施例示出的另一种特征提取模型的模型结构的示意图;

图8是根据一示例性实施例示出的另一种特征提取方法的流程图;

图9是根据一示例性实施例示出的另一种特征提取方法的示意图;

图10是根据一示例性实施例示出的一种特征提取装置的框图;

图11是根据一示例性实施例示出的另一种特征提取装置的框图;

图12是根据一示例性实施例示出的一种终端的结构框图;

图13是根据一示例性实施例示出的一种服务器的结构框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是,本公开的说明书和权利要求书及上述附图说明中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等),均为经用户授权或者经过各方充分授权的信息。

为了便于理解本公开实施例提供的特征提取方法,对本公开实施例涉及到的关键词进行解释:

网络嵌入技术:网络嵌入技术是指通过机器学习,将复杂网络转换成低维稠密、且保持网络原有拓扑性质的特征向量的一种技术。通过网络嵌入得到的特征向量可以用于进行多种操作,例如应用于节点分类、节点预测、链路预测等。其中,网络嵌入包括基于同构图的网络嵌入和基于异构图的网络嵌入,同构图是指包括的节点种类单一、边种类单一的网络,异构图是指节点种类与边种类之和大于2的图,例如,异构图包括一种节点种类和多种边种类,或者异构图包括多种节点种类和一种节点种类,或者异构图包括多种节点种类和多种边种类。

本公开实施例提供的特征提取方法可以应用于多种场景下:

例如,应用于为用户推荐视频的场景下。用户通过终端在服务器上注册该用户对应的账号,登录有账号的终端能够通过服务器发布多媒体资源,且通过服务器发布的多媒体资源能够通过登录有账号的终端进行显示,且用户通过登录有账号的终端对多媒体资源进行操作,产生了账号与多媒体资源之间的关联关系,或者用户通过登录有账号的终端对其他账号进行操作,产生了账号与账号之间的关联关系,或者根据发布的多媒体资源的类型,产生了多媒体资源与多媒体资源之间的关联关系。基于在服务器上注册的账号、通过服务器发布的多媒体资源、账号与账号之间的关联关系、账号与多媒体资源之间的关联关系以及多媒体资源与多媒体资源之间的关联关系,能够获取到包含账号、多媒体资源以及各种类型的关联关系的关联信息。

对于任一账号来说,按照包含该账号的关联信息中包括的多种类型的关联关系,将该关联信息划分为多个关联子信息,从多个关联子信息中确定包含该账号的目标关联子信息,基于该目标关联子信息获取到该账号对应的用户的用户特征,之后调用推荐模型或采用其他推荐方式,对该用户特征进行处理,确定为该用户推荐的视频。

图1是根据一示例性实施例示出的一种特征提取方法的流程图,参见图1,该方法应用于电子设备中,包括以下步骤:

101、获取关联信息。

其中,关联信息中包括多种类型的对象及任两个对象之间的关联关系,多个对象包括在服务器上注册的账号和通过服务器发布的多媒体资源。其中,发布的多媒体资源包括视频、音频、文章或其他形式的多媒体资源,关联关系包括账号与账号之间的关联关系、账号与多媒体资源之间的关联关系以及多媒体资源与多媒体资源之间的关联关系,例如账号与账号之间的关注关系或其他关系,账号与多媒体资源之间的点赞关系、点击关系、评论关系、转发关系、发布关系或其他关系,多媒体资源与多媒体资源之间的类型关系或其他关系。

102、将第一对象确定为初始的目标对象。

其中,第一对象为关联信息中的任一对象,即第一对象为在服务器上注册的任一账号或通过服务器发布的任一多媒体资源。初始的目标对象是指从该第一对象开始,依次获取与该第一对象相关的多个目标对象。

103、从关联信息中,基于当前的目标对象选取满足关联条件的下一个目标对象,直至已确定的目标对象的数量达到目标数量,构造目标对象集合。

其中,关联条件是指下一个目标对象与当前的目标对象之间的关联关系为当前确定的目标关联关系,构造的目标对象集合中包括目标数量的目标对象及任两个目标对象之间的关联关系。

构造目标对象集合的过程如下:以第一对象为初始的目标对象,从该第一对象的多种类型的关联关系中,确定第一对象的第一关联关系,从第一对象关联的多个对象中,选取与第一对象之间的关联关系为第一关联关系的第二对象,将选取的第二对象确定为下一个目标对象;同理,对于第二对象,从该第二对象的多种类型的关联关系中,确定第二对象的第二关联关系,从第二对象关联的多个对象中,选取与第二对象之间的关联关系为第二关联关系的第三对象,将选取的第三对象确定为下一个目标对象;同理,对于第三对象执行选取与第二对象之间的关联关系的第三对象,将选取的第三对象确定为下一个目标对象,继续根据第三对象,确定下一个目标对象,直至已确定的目标对象的数量达到目标数量,得到目标对象集合。

104、对目标对象集合进行特征提取,得到第一对象的对象特征。

其中,对象特征为用于描述第一对象的特征,对象特征为向量形式、矩阵形式或其他形式。由于构造得到的目标对象集合是以第一对象开始,依次根据对象与对象之间的关联关系,确定了多个目标对象,则确定的多个目标对象均是与第一对象之间存在直接或间接的关联关系的对象,因此通过对目标对象集合进行特征提取,能够得到第一对象的对象特征。

本公开实施例提供的方法,在构建目标对象集合的过程中,根据不同对象之间的关联关系,确定当前的目标对象关联的下一个目标对象,以使下一个目标对象与当前的目标对象之间的关联关系为当前的目标关联关系,考虑了不同的关联关系对目标对象的影响,通过跨关系确定了多个目标对象,从而利用目标对象集合提取特征时,能够充分考虑各个对象之间的关联关系对第一对象的影响,提高对象特征的准确率。

图2是根据一示例性实施例示出的另一种特征提取方法的流程图,参见图2,该方法的执行主体为电子设备,包括以下步骤:

201、电子设备获取关联信息。

其中,关联信息中包括多个对象及任两个对象之间的关联关系,且多个对象包括在服务器上注册的账号和通过服务器发布的多媒体资源。其中,发布的多媒体资源包括视频、音频、文章或其他形式的多媒体资源,关联关系包括账号与账号之间的关联关系、账号与多媒体资源之间的关联关系,以及多媒体资源与多媒体资源之间的关联关系,例如账号与账号之间的关注关系或其他关系,账号与多媒体资源之间的点赞关系、点击关系、评论关系、转发关系、发布关系或其他关系,多媒体资源与多媒体资源之间的类型关系或其他关系,该类型关系是指不同的多媒体资源属于同一类型,例如,两个多媒体资源都是美食视频。

其中,通过服务器发布的多媒体资源是指该多媒体资源可在登录有账号的终端中进行显示。例如,登录有账号A的终端通过服务器发布了视频,则登录其他账号的终端也可以显示该视频,且终端可以对该视频进行操作。并且,对视频进行操作之后即可产生终端登录的账号与该视频之间的关联关系。

在一些实施例中,任两个对象之间的关联关系是基于一个对象对另一个对象执行的操作确定的。例如,任两个对象分别为用户对应的账号和视频,用户通过登录对应的账号的终端点赞了该视频,则确定账号与视频之间存在点赞关系;或者任两个对象分别为两个用户对应的账号,一个账号关注了另一个账号,则确定这两个账号之间存在关注关系。

在一些实施例中,关联信息是其他电子设备发送给该电子设备的,或者是由该电子设备基于在服务器上注册的账号、通过服务器发布的多媒体资源,以及对象与对象之间的关联关系获取的,本公开实施例对获取关联信息的方式不做限制。

需要说明的是,本公开实施例对关联信息在电子设备中的存储形式不做限制,例如关联信息以表格形式存储、图网络形式存储或其他形式存储。例如,关联信息以图网络形式存储时,由于关联信息中包括多种类型的对象,因此该关联信息为异构图,该异构图中包括多个对象节点以及任两个对象节点之间的连接线,一个对象节点代表一个对象,一个连接线代表一个连接线连接的两个对象节点对应的对象之间的关联关系。

202、电子设备将第一对象确定为初始的目标对象。

本公开实施例中,以提取第一对象的对象特征为例,对特征提取过程进行说明。

其中,第一对象为关联信息中的任一账号或任一多媒体资源。以第一对象为初始的目标对象是指从该第一对象开始,根据各个对象之间的关联关系,依次获取与该第一对象相关的多个目标对象,后续根据获取到的多个目标对象及各个目标对象之间的关联关系,来提取第一对象的对象特征。

203、电子设备从关联信息中,基于当前的目标对象选取满足关联条件的下一个目标对象,直至已确定的目标对象的数量达到目标数量,构造目标对象集合。

其中,关联条件是指下一个目标对象与当前的目标对象之间的关联关系为当前确定的目标关联关系,目标对象集合中包括目标数量的目标对象及任两个目标对象之间的关联关系,目标数量为任意数量,例如,目标数量为10、20或其他数量。

在一些实施例中,电子设备基于当前的目标对象选取满足关联条件的下一个目标对象,包括:电子设备基于关联信息,确定当前的目标对象的多种类型的关联关系;从确定的多种类型中选取一种类型的关联关系,将选取的关联关系确定为当前的目标关联关系;再从关联信息中,选取与当前的目标对象之间的关联关系为当前的目标关联关系的对象,将选取的对象确定为下一个目标对象。从当前的目标对象的多种类型中选取一种类型的关联关系,并根据选取的关联关系确定下一个目标对象,考虑了不同关联关系对关联的两个对象的影响,与直接依据一种类型的关联关系来确定下一个目标对象相比,选取关联关系的过程中已经考虑了不同关联关系对目标对象的影响。并且,多次选取目标对象的过程中,所依据的目标关联关系不完全相同,即根据多种目标关联关系,才确定了多个目标对象,实现了跨关系的目标对象的确定。并且,这种选取下一个目标对象的方式,最终选取出的多个目标对象不仅包括直接与第一对象关联的对象,还包括间隔了一个或多个其他目标对象与该第一对象关联的对象。

在一些实施例中,电子设备确定了当前的目标关联关系之后,从关联信息中,选取与当前的目标对象之间的关联关系为当前的目标关联关系的多个备选对象;将多个备选对象中的任一对象确定为下一个目标对象,实现了对下一个目标对象的选取,保证能够选取出满足关联条件的目标对。

以目标数量为m为例,对构造目标对象集合的过程进行说明:对于第一对象,电子设备获取第一对象,确定该第一对象的多种类型的关联关系,从多种类型的关联关系中选取第一关联关系,再基于选取的第一关联关系,确定与第一对象之间的关联关系为该第一关联关系的多个备选对象,从多个备选对象中选取任一对象作为第二对象;对于第二对象,重复执行上述第一对象确定下一个目标对象的操作,得到第二对象关联的第三对象,继续重复执行上述第一对象确定下一个目标对象的操作,直至得到第m个目标对象,电子设备基于获取的m个目标对象及目标对象与目标对象之间的关联关系,构造目标对象集合。其中,m为正整数,第一关系为多种类型的关联关系中的任一关联关系。

在一些实施例中,采用下述公式确定第t个目标对象关联的第t+1个目标对象:

其中,p(r

上述构造目标对象集合的过程中,确定第t个目标对象关联的第t+1个目标对象时,该第t+1个目标对象满足的联合概率分布为:p(r

204、电子设备按照关联信息中包含的多种类型的关联关系,将关联信息划分为多个关联子信息,并从多个关联子信息中确定包含第一对象的多个目标关联子信息。

其中,各个关联子信息中包含多个对象,且同一个关联关系子信息中不同的对象之间存在同一种类型的关联关系。

例如,关联信息中包含的关联关系包括点赞关系、转发关系、评论关系,则将关联信息划分为三个关联子信息,点赞关系、转发关系、评论关系分别对应一个关联子信息,则点赞关系对应的关联子信息中包括的每两个对象之间的关联关系为点赞关系,转发关系对应的关联子信息中包括的每两个对象之间的关联关系为转发关系,评论关系对应的关联子信息中包括的每两个对象之间的关联关系为评论关系。

电子设备根据关联子信息是否包含第一对象,再从多个关联子信息中确定多个目标关联子信息,后续基于该多个目标关联子信息提取第一对象的特征。

在一些实施例中,仅有一个关联子信息包含第一对象的情况下,确定一个目标关联子信息,后续基于该目标关联子信息提取第一对象的特征。

205、电子设备对于各个目标关联子信息,对目标对象集合及该目标关联子信息进行特征提取,得到第一对象的第一特征。

其中,第一特征用于描述第一对象在对应的关联关系的影响下的特征。例如,目标关联子信息对应的关联关系为点赞关系,则第一特征是依据与第一对象之间的关联关系为点赞关系的其他对象确定的;或者,目标关联子信息对应的关联关系为评论关系,则第一特征是依据与第一对象之间的关联关系为评论关系的其他对象确定的,这两种不同的关联关系,得到的第一特征不同。

在一些实施例中,参见图3,电子设备获取第一特征的过程如下所示:

2051、电子设备对于各个目标关联子信息,将目标关联子信息划分为多个第一子信息。

其中,各个第一子信息中包含第一对象以及属于参考类型的其他对象,且其他对象与第一对象构成目标关联子信息对应的关联关系,且不同第一子信息中包含的参考类型不同。其中,第一对象所属的类型为目标类型,参考类型与目标类型不同。

在一些实施例中,对于各个目标关联子信息,确定与目标类型不同的多个参考类型;每次选取其中一个参考类型,从目标关联子信息中选取第一对象以及满足第一选取条件的其他对象,将第一对象和选取的其他对象构成一个第一子信息,直至多个参考类型选取完成,得到多个第一子信息,其中,选取的对象满足第一选取条件是指对象属于参考类型,且与第一对象构成目标关联子信息对应的关联关系。

例如,目标关联子信息中包括账号、音频和视频三种类型的对象,目标关联子信息对应的关联关系为点赞关系,第一对象为账号,则根据音频类型,选取目标关联子信息中与该账号关联的音频,将账号和音频构成一个第一子信息,该第一子信息中音频与账号之间为点赞关系;根据视频类型,选取目标关联子信息中与该账号关联的视频,将账号和视频构成一个第一子信息,该第一子信息中视频与账号之间为点赞关系。

需要说明的是,每个第一子信息中可以仅包括属于目标类型的第一对象,也可以还包括属于目标类型的其他对象。例如,第一对象为第一账号,第一子信息中还可以包括第二账号,第一账号与第二账号分别与视频关联。

2052、电子设备将目标对象集合划分为多个第二子信息。

其中,各个第二子信息中包含第一对象以及其他对象,且第一对象与其他对象之间的关联关系包括至少两种类型,不同第二子信息中第一对象与其他对象之间的关联关系不完全相同。

在一些实施例中,电子设备确定目标对象集合中包括的多种类型的关联关系;每次选取多种类型中至少两种类型的关联关系,从目标对象集合中选取第一对象及满足第二选取条件的其他对象,构成一个第二子信息,直至多种类型的关联关系中不存在未被同时选取的至少两种类型的关联关系,得到多个第二子信息,其中,选取的对象满足第二选取条件是指选取的对象与第一对象之间的关联关系为至少两种类型的关联关系。

例如,目标对象集合中包括点赞关系、评论关系、转发关系,第一对象为账号,则选取与该账号存在点赞关系的第一视频及存在转发关系的第二视频,构成一个第二子信息,其中,第一视频和第二视频可以相同,也可以不同。

2053、电子设备分别对多个第一子信息及多个第二子信息进行特征提取,得到多个第一子信息对应的第四特征及多个第二子信息对应的第五特征。

电子设备对各个第一子信息进行特征提取,得到各个第一子信息对应的第四特征,各个第一子信息对应的第四特征用于描述第一对象在该第一子信息中包括的参考类型的对象的影响下的特征,对各个第二子信息进行特征提取,得到各个第二子信息对应的第五特征,各个第二子信息对应的第五特征用于描述第一对象在该第二子信息中包括的至少两种类型的关联关系的影响下的特征。

2054、电子设备基于多个第一子信息对应的第二权重及多个第二子信息对应的第二权重,对多个第一子信息对应的第四特征及多个第二子信息对应的第五特征进行加权处理,得到第一对象的第一特征。

其中,各个第一子信息对应的第二权重表征同一关联关系下不同的对象对第一对象的对象特征的影响程度,各个第二子信息对应的第二权重表征不同的关联关系下不同的对象对第一对象的对象特征的影响程度。

在上述图3所示的过程中,对目标关联子信息和目标对象集合进行进一步地划分,得到目标关联子信息对应的多个第一子信息和目标对象集合对应的多个第二子信息,提取各个第一子信息对应的第四特征时,能够充分考虑与第一对象关联的不同类型的对象对第一对象的影响,提取各个第二子信息对应的第五特征时,能够充分考虑不同关联关系对第一对象的影响,与直接对目标关联子信息进行特征提取相比,提高了得到的第一特征的准确率。

上述图3仅是一个目标关联子信息为例,对于各个目标关联子信息均能够采用上述图3所示的方式,确定各个目标关联子信息对应的第一对象的第一特征。

206、电子设备基于多个目标关联子信息对应的第一权重,对多个目标关联子信息对应的第一特征进行加权处理,得到第一对象的第二特征。

其中,各个目标关联子信息对应的第一权重表征该目标关联子信息对应的关联关系对第一对象的对象特征的影响程度。例如,对于某个账号,该账号与视频之间存在点赞关系和转发关系,且基于该账号点赞的视频较多,而转发的视频较少,则表示点赞关系对该账号的特征影响较大,转发关系对该账号的特征影响较小。

在一些实施例中,电子设备基于注意力机制,对多个目标关联子信息进行处理,得到各个目标关联子信息对应的第一权重。

207、电子设备对关联信息进行特征提取,得到第一对象的第三特征。

对关联信息进行特征提取,考虑了第一对象所对应的全局信息,因此提取得到的第三特征用于表征第一对象在整个关联关系中的全局特征。

208、电子设备将第二特征与第三特征进行拼接,得到第一对象的对象特征。

在一些实施例中,电子设备将第二特征与第三特征之和,确定为第一对象的对象特征,使得到的第一特征能够更加准确地描述第一对象。

在一些实施例中,电子设备可以不执行上述207和208,而是直接将得到的第一对象的第二特征作为第一对象的对象特征。即电子设备对目标对象集合及多个目标关联子信息进行处理,得到对象特征,这种提取对象特征的方式,在充分考虑各个对象之间的关联关系对第一对象的影响的同时,还考虑了同一关联关系对应的其他对象对第一对象的影响,进一步提高了提取的特征的准确率。

另外,在一些实施例中,基于推荐模型对得到的对象特征进行处理,确定为第一对象推荐的另一对象,由于本公开实施例中得到的对象特征的准确率更加准确,因此推荐模型能够根据该对象特征,能够更加准确地为该对象推荐感兴趣的另一对象,提高了推荐效果。其中,推荐模型为任一用于进行对象推荐的模型。其中,推荐模型为基于内容的推荐模型、基于协同过滤的推荐模型、基于神经网络的推荐模型或者其他推荐模型。

本公开实施例提供的方法,在构建目标对象集合的过程中,根据不同对象之间的关联关系,确定当前的目标对象关联的下一个目标对象,以使下一个目标对象与当前的目标对象之间的关联关系为当前的目标关联关系,考虑了不同的关联关系对目标对象的影响,通过跨关系确定了多个目标对象,从而利用目标对象集合提取特征时,能够充分考虑各个对象之间的关联关系对第一对象的影响,提高对象特征的准确率。

并且,在存在多个目标关联子信息的情况下,考虑不同的目标关联子信息对应的关联关系对第一对象的第一特征的影响程度不同,对得到的各个目标关联子信息对应的第一特征进行加权处理,将加权处理得到的特征作为对象特征,进一步提高了对象特征的准确率。

在一些实施例中,以关联信息以异构图为例,对上述图2所示的特征提取过程进行说明:

图4是根据一示例性实施例示出的另一种特征提取方法的流程图,参见图3该方法的执行主体为电子设备,包括以下步骤:

401、电子设备获取异构图。

其中,异构图中包括多个对象节点以及任两个对象节点之间的连接线,一个对象节点代表一个对象,一个连接线代表一个连接线连接的两个对象节点对应的对象之间的关联关系。

402、电子设备将第一对象对应的第一对象节点确定为初始的目标对象节点。

本公开实施例中,以提取第一对象的对象特征为例,将第一对象对应的第一对象节点确定为初始的目标对象节点。

403、电子设备从异构图中,基于当前的目标对象节点选取满足关联条件的下一个目标对象节点,直至已确定的目标对象节点的数量达到目标数量,构造目标节点网络。

其中,关联条件是指下一个目标对象节点与当前的目标对象节点之间的连接线与当前确定的目标关联关系匹配,目标节点网络中包括目标数量的目标对象节点及任两个目标对象节点之间的连接线。

在一些实施例中,电子设备基于当前的目标对象节点选取满足关联条件的下一个目标对象节点,包括:电子设备基于异构图,确定当前的目标对象节点与其他对象节点连接的多种连接线;从确定的多种连接线中选取一种连接线,将选取的连接线确定为当前的目标连接线;再从异构图中,选取与当前的目标对象节点之间的连接线为当前的目标连接线的对象节点,将选取的对象节点确定为下一个目标对象节点。

在一些实施例中,电子设备确定了当前的目标连接线之后,从异构图中,选取与当前的目标对象节点之间的连接线为当前的目标连接线的多个备选对象节点;将多个备选对象节点中的任一对象节点确定为下一个目标对象节点。

404、电子设备按照异构图中包含的多种连接线,将异构图划分为多个关联关系子图,并从多个关联关系子图中确定包含第一对象节点的多个目标关联关系子图。

其中,各个关联关系子图中包含多个对象节点,且同一个关联关系子图中不同的对象节点之间的连接线与同一种类型的关联关系匹配。

电子设备根据关联关系子图是否包含第一对象节点,再从多个关联关系子图中确定多个目标关联关系子图,后续基于该多个目标关联关系子图提取第一对象节点的特征。

405、电子设备对于各个目标关联关系子图,对目标节点网络及该目标关联关系子图进行特征提取,得到第一对象节点对应的第一特征。

在一些实施例中,参见图5,电子设备获取第一特征的过程如下所示:

4051、电子设备对于各个目标关联关系子图,将目标关联关系子图划分为多个第一子图。

其中,各个第一子图中包含第一对象节点以及属于参考节点类型的其他对象节点,同一第一子图中每两个对象节点之间的连接线与目标关联关系子图对应的关联关系匹配,且不同第一子图中包含的参考节点类型不同。其中,第一对象节点所属的类型为目标节点类型,参考节点类型与目标节点类型不同。

在一些实施例中,对于各个目标关联关系子图,确定与目标类型不同的多个参考节点类型;每次选取其中一个参考节点类型,从目标关联关系子图中选取第一对象节点和满足第三选取条件的其他对象节点,将第一对象节点和其他对象节点构成一个第一子图,直至多个参考节点类型选取完成,得到多个第一子图。其中,选取的对象节点满足第三选取条件是指对象节点属于参考节点类型,且与第一对象节点之间存在连接线。

4052、电子设备将目标节点子图划分为多个第二子图。

其中,各个第二子图中包含第一对象节点以及其他对象节点,且第一对象节点与其他对象节点之间的连接线与至少两种类型的关联关系匹配,不同第二子图中第一对象节点与其他对象节点之间的关联关系不完全相同。

在一些实施例中,电子设备确定目标节点子图中包括的多种类型的关联关系;每次选取多种类型中至少两种类型的关联关系,从目标节点子图中选取与第一对象节点连接的其他对象节点,构成一个第二子图,其中,其他对象节点与第一对象节点之间的连接线为与该至少两种类型的关联关系匹配的连接线,直至多种类型的关联关系中不存在未被同时选取的至少两种类型的关联关系,得到多个第二子图。

4053、电子设备分别对多个第一子图及多个第二子图进行特征提取,得到多个第一子图对应的第四特征及多个第二子图对应的第五特征。

电子设备对各个第一子图进行特征提取,得到各个第一子图对应的第四特征,各个第一子图对应的第四特征用于描述第一对象节点在该第一子图中包括的参考节点类型的对象节点的影响下的特征,对各个第二子图进行特征提取,得到各个第二子图对应的第五特征,各个第二子图对应的第五特征用于描述第一对象节点在该第二子图中包括的至少两种类型的关联关系的影响下的特征。

4054、电子设备基于多个第一子图对应的第二权重及多个第二子图对应的第二权重,对多个第一子图对应的第四特征及多个第二子图对应的第五特征进行加权处理,得到第一对象节点的第一特征。

其中,各个第一子图对应的第二权重表征同一关联关系下不同的对象节点对第一对象节点的对象特征的影响程度,各个第二子图对应的第二权重表征不同的关联关系下不同的对象节点对第一对象节点的对象特征的影响程度。

上述图5所示的过程中,提取第四特征或第五特征,实现了在关联关系子图中的元路径级别的特征提取,并根据多个第一子图对应的第二权重及多个第二子图对应的第二权重,对多个第四特征和多个第五特征进行加权处理,得到了第一对象在关联关系级别的特征。其中,在关联关系子图中的元路径用于指示从关联关系子图进一步划分出的子图。

上述图5仅是一个目标关联关系子图为例,对于各个目标关联关系子图均能够采用上述图5所示的方式,确定各个目标关联关系子图对应的第一对象节点的第一特征。

406、电子设备基于多个目标关联关系子图对应的第一权重,对多个目标关联关系子图对应的第一特征进行加权处理,得到第一对象节点对应的第二特征。

其中,各个目标关联关系子图对应的第一权重表征该目标关联关系子图对应的关联关系对第一对象节点的对象特征的影响程度。

407、电子设备对异构图进行特征提取,得到第一对象节点对应的第三特征。

408、电子设备将第二特征与第三特征进行拼接,得到第一对象节点对应的对象特征。

在一些实施例中,电子设备可以不执行上述407-408,而是直接将得到的第一对象节点对应的第二特征作为第一对象节点对应的对象特征,即作为第一对象的对象特征。

相关技术中,基于关联关系将异构图拆分为不同的关联关系子图,仅根据关联关系子图进行特征提取,但是这种提取方式没有考虑不同的关联关系之间的相互影响,导致提取的特征的准确率较低。

本公开实施例提供的方法,在构建目标节点网络的过程中,根据不同对象节点之间的连接线匹配的关联关系,确定当前的目标对象节点关联的下一个目标对象节点,以使下一个目标对象节点与当前的目标对象节点之间的连接线与当前的目标关联关系匹配,考虑了不同的关联关系对目标对象节点的影响,实现了跨关系的多个目标对象节点的确定,从而利用目标节点网络提取特征时,能够充分考虑各个对象节点之间的连接线匹配的关联关系对第一对象的影响,提高对象特征的准确率。

并且,将异构图划分为多个关联关系子图,基于目标节点集合和目标关联关系子图提取对象特征,在充分考虑各个对象节点之间的连接线匹配的关联关系对第一对象节点的影响的同时,还考虑了基于同一种连接线连接的其他对象节点对第一对象节点的影响,进一步提高了对象特征的准确率。

并且,本公开实施例中,通过构造目标节点网络,捕捉到了异构图中的语义信息,且将异构图划分为不同的关联关系子图,学习到了在不同关联关系下的差异化表达,即能够提取出不同关联关系对应的特征,还能够捕捉异构图中的全局信息,在确定对象特征时,综合考虑异构图中的语义信息、全局信息以及不同关联关系下的差异化表达,提高了提取的特征的准确率。

在一些实施例中,电子设备调用特征提取模型来提取对象的特征,该特征提取模型为电子设备训练并存储的,或者是其他电子设备发送该电子设备的。其中,特征提取模型的模型结构参见图6,特征提取模型包括多个第一特征提取网络601(图6中以两个为例)、第二特征提取网络602和第三特征提取网络603。

在一些实施例中,参见图7,各个第一特征提取网络601中包括特征提取层611、注意力层621和拼接层631,第二特征提取网络602中包括注意力层612和拼接层622。

电子设备调用特征提取模型,提取第一对象的对象特征的过程详见下述图6所示的实施例:

图8是根据一示例性实施例示出的另一种特征提取方法的流程图,参见图8,该方法的执行主体为电子设备,包括以下步骤:

801、电子设备获取关联信息。

802、电子设备将第一对象确定为初始的目标对象。

803、电子设备从关联信息中,基于当前的目标对象选取满足关联条件的下一个目标对象,直至已确定的目标对象的数量达到目标数量,构造目标对象集合。

804、电子设备按照关联信息中包含的多种类型的关联关系,将关联信息划分为多个关联子信息,并从多个关联子信息中确定包含第一对象的多个目标关联子信息。

本公开实施例中801-804的实施方式与上述图2所示的实施例中201-204的实施方式同理,在此不再赘述。

805、电子设备调用各个第一特征提取网络,分别对目标对象集合及各个目标关联子信息进行特征提取,得到第一对象的第一特征。

其中,第一特征提取网络中包括特征提取层、注意力层和拼接层。

在一些实施例中,对于各个目标关联子信息,调用目标关联子信息对应的第一特征提取网络中的特征提取层,将目标关联子信息划分为多个第一子信息;调用特征提取层,将目标对象集合划分为多个第二子信息;调用特征提取层,分别对多个第一子信息及多个第二子信息进行特征提取,得到多个第一子信息对应的第四特征及多个第二子信息对应的第五特征;调用第一特征提取网络中的注意力层,分别对多个第一子信息及多个第二子信息进行处理,得到多个第一子信息对应的第二权重及多个第二子信息对应的第二权重;调用拼接层,基于多个第一子信息对应的第二权重及多个第二子信息对应的第二权重,对多个第一子信息对应的第四特征及多个第二子信息对应的第五特征进行加权处理,得到第一对象的第一特征。

在一些实施例中,调用特征提取层,确定与目标类型不同的多个参考类型;调用特征提取层,每次选取其中一个参考类型,从目标关联子信息中选取第一对象以及满足第一选取条件的其他对象,将第一对象和选取的其他对象构成一个第一子信息,直至多个参考类型选取完成,得到多个第一子信息,其中,选取的对象满足第一选取条件是指对象属于参考类型,且与第一对象构成目标关联子信息对应的关联关系。

在一些实施例中,调用特征提取层,确定目标对象集合中包括的多种类型的关联关系;调用特征提取层,每次选取多种类型中至少两种类型的关联关系,从目标对象集合中选取第一对象及满足第二选取条件的其他对象,构成一个第二子信息,直至多种类型的关联关系中不存在未被同时选取的至少两种类型的关联关系,得到多个第二子信息,其中,选取的对象满足第二选取条件是指选取的对象与第一对象之间的关联关系为至少两种类型的关联关系。

806、电子设备调用第二特征提取网络,基于多个目标关联子信息对应的第一权重,对多个目标关联子信息对应的第一特征进行加权处理,得到第一对象的第二特征。

其中,第二特征提取网络包括注意力层和拼接层。

在一些实施例中,电子设备调用第二特征提取网络中的注意力层,对多个目标关联子信息进行处理,得到多个目标关联子信息对应的第一权重;调用拼接层,基于多个目标关联子信息对应的第一权重,对多个目标关联子信息对应的第一特征进行加权处理,得到第一对象的第二特征。

807、电子设备调用第三特征提取网络,对关联信息进行特征提取,得到第一对象的第三特征。

808、电子设备调用第二特征提取网络,将第二特征与第三特征进行拼接,得到第一对象的对象特征。

在一些实施例中,电子设备调用第二特征提取网络中的拼接层,将第二特征与第三特征进行拼接,得到第一对象的对象特征。

在一些实施例中,先执行807,然后同时执行806,即电子设备调用第二特征提取网络,基于多个目标关联子信息对应的第一权重,对多个目标关联子信息对应的第一特征进行加权处理,得到第一对象的第二特征,将第二特征与第三特征进行拼接,得到第一对象的对象特征。

另外,在一些实施例中,关联信息为异构图的情况下,基于异构图,确定目标节点网络及多个目标关联关系子图,调用特征提取模型,对目标节点网络及多个目标关联关系子图进行处理,得到第一对象节点对应的对象特征。

例如,参见图9,将账号分为用户账号和作者账号两种类型,异构图中包括用户账号对应的用户节点、作者账号对应的作者节点和视频对应的视频节点,基于该异构图,确定包括目标用户节点的目标节点网络、评论关系子图和关注关系子图,将目标节点网络和评论关系子图输入至第一个第一特征提取网络,通过第一特征提取网络中的特征提取层,对目标节点网络和评论关系子图进行特征提取,得到评论关系子图划分得到的两个第一子图对应的第四特征和目标节点网络划分得到的一个第二子图对应的第五特征,通过第一特征提取网络中的注意力层,得到两个第一子图对应的第二权重及第二子图对应的第二权重,再通过第一特征提取层中的拼接层,得到评论关系子图对应的第一特征。同理,对于第二目标关联关系网络,将目标节点网络和第二目标关联关系网络输入至第二个第一特征提取网络,经过第二个第一特征提取网络,得到关注关系子图对应的第一特征。

然后将得到的评论关系子图对应的第一特征和关注关系子图对应的第一特征输入至第二特征提取网络,经过第二特征提取网络中的注意力层,得到两个目标关联关系子图对应的第一权重,经过第二特征提取网络中的拼接层得到目标用户节点对应的第二特征。在获取第二特征的同时,将异构图输入至第三特征提取网络,输出目标用户节点对应的第三特征,将第三特征输入至第二特征提取网络,经过第二特征提取网络中的拼接层,对第二特征和第三特征进行拼接,得到目标用户节点对应的用户特征。

本公开实施例提供的方法,在构建目标对象集合的过程中,根据不同对象之间的关联关系,确定当前的目标对象关联的下一个目标对象,以使下一个目标对象与当前的目标对象之间的关联关系为当前的目标关联关系,考虑了不同的关联关系对目标对象的影响,通过跨关系确定了多个目标对象,从而利用目标对象集合提取特征时,能够充分考虑各个对象之间的关联关系对第一对象的影响,提高对象特征的准确率。

本公开实施例中,在调用特征提取模型提取对象特征之前,需要先训练特征提取模型,该特征提取模型的训练过程如下:电子设备获取样本关联信息中的两个样本对象,两个样本对象之间的相似度大于参考相似度;调用特征提取模型,分别获取两个样本对象对应的预测特征;采用目标函数对两个样本对象对应的预测特征进行处理,得到损失值;基于损失值,训练特征提取模型,即基于损失值调整特征提取模型中的各项参数,基于调整后的特征提取模型,继续基于样本对象进行训练,直至得到的损失值小于参考数值,结束训练特征提取模型。

在一些实施例中,样本对象为样本异构图中的样本对象节点时,电子设备预先设置关联关系为r时元路径的模式S:φ(v

其中,

在一些实施例中,调用Skip-Gram模型确定任一对象节点关联的其他对象节点之间的关系。将采样路径中除对象节点v

进一步地,采用下述目标函数,确定损失值:

其中,θ表示模型中的参数,v

其中,H表示损失值,c

需要说明的是,还可以采用其他方式训练特征提取模型,例如,获取样本对象的样本特征,根据获取到的预测特征与样本特征之间的差异,调整特征提取模型的各项参数,以使该差异不断减小,实现对特征提取模型的训练。

图10是根据一示例性实施例示出的一种特征提取装置的框图。参见图10,该装置包括:

关联信息获取单元1001,被配置为执行获取关联信息,关联信息中包括多个对象及任两个对象之间的关联关系,多个对象包括在服务器上注册的账号和通过服务器发布的多媒体资源;

初始对象确定单元1002,被配置为执行将第一对象确定为初始的目标对象,第一对象为在服务器上注册的任一账号或通过服务器发布的任一多媒体资源;

对象集合构造单元1003,被配置为执行从关联信息中,基于当前的目标对象选取满足关联条件的下一个目标对象,直至已确定的目标对象的数量达到目标数量,构造目标对象集合,关联条件是指下一个目标对象与当前的目标对象之间的关联关系为当前确定的目标关联关系,目标对象集合中包括目标数量的目标对象及任两个目标对象之间的关联关系;

特征提取单元1004,被配置为执行对目标对象集合进行特征提取,得到第一对象的对象特征。

本公开实施例提供的装置,在构建目标对象集合的过程中,根据不同对象之间的关联关系,确定当前的目标对象关联的下一个目标对象,以使下一个目标对象与当前的目标对象之间的关联关系为当前的目标关联关系,考虑了不同的关联关系对目标对象的影响,通过跨关系确定了多个目标对象,从而利用目标对象集合提取特征时,能够充分考虑各个对象之间的关联关系对第一对象的影响,提高对象特征的准确率。

在一些实施例中,参见图11,对象集合构造单元1003,包括:

关联关系确定子单元1013,被配置为执行基于关联信息,确定当前的目标对象的多种类型的关联关系;

关联关系选取子单元1023,被配置为执行从多种类型中选取一种类型的关联关系,将选取的关联关系确定为当前的目标关联关系;

对象确定子单元1033,被配置为执行从关联信息中,选取与当前的目标对象之间的关联关系为当前的目标关联关系的对象,将选取的对象确定为下一个目标对象。

在一些实施例中,参见图11,对象确定子单元1033,被配置为执行:

从关联信息中,选取与当前的目标对象之间的关联关系为当前的目标关联关系的多个备选对象;

将多个备选对象中的任一对象确定为下一个目标对象。

在一些实施例中,参见图11,该特征提取装置还包括:

关联信息划分单元1005,被配置为执行按照关联信息中包含的多种类型的关联关系,将关联信息划分为多个关联子信息,各个关联子信息中包含多个对象,且同一个关联子信息中不同的对象之间存在同一种类型的关联关系;

特征提取单元1004,被配置为执行:

从多个关联子信息中,确定包含第一对象的目标关联子信息;

对目标对象集合及目标关联子信息进行特征提取,得到对象特征。

在一些实施例中,目标关联子信息为多个,参见图11,特征提取单元1004,包括:

第一特征提取子单元1014,被配置为执行对于各个目标关联子信息,对目标对象集合及目标关联子信息进行特征提取,得到第一对象的第一特征;

对象特征提取子单元1024,被配置为执行基于多个目标关联子信息对应的第一权重,对多个目标关联子信息对应的第一特征进行加权处理,得到对象特征,各个目标关联子信息对应的第一权重表征目标关联子信息对应的关联关系对第一对象的对象特征的影响程度。

在一些实施例中,目标关联子信息为多个,参见图11,特征提取单元1004,包括:

第一特征提取子单元1014,被配置为执行对于各个目标关联子信息,对目标对象集合及目标关联子信息进行特征提取,得到第一对象的第一特征;

第二特征确定子单元1034,被配置为执行基于多个目标关联子信息对应的第一权重,对多个目标关联子信息对应的第一特征进行加权处理,得到第一对象的第二特征,各个目标关联子信息对应的第一权重表征目标关联子信息对应的关联关系对第一对象的对象特征的影响程度;

第三特征提取子单元1044,被配置为执行对关联信息进行特征提取,得到第一对象的第三特征;

对象特征提取子单元1024,被配置为执行将第二特征与第三特征进行拼接,得到对象特征。

在一些实施例中,第一对象所属的类型为目标类型,参见图11,第一特征提取子单元1014,被配置为执行:

对于各个目标关联子信息,将目标关联子信息划分为多个第一子信息,各个第一子信息中包含第一对象以及属于参考类型的其他对象,且其他对象与第一对象构成目标关联子信息对应的关联关系,且不同第一子信息中包含的参考类型不同,参考类型与目标类型不同;

将目标对象集合划分为多个第二子信息,各个第二子信息中包含第一对象以及其他对象,且第一对象与其他对象之间的关联关系包括至少两种,不同第二子信息中第一对象与其他对象之间的关联关系不完全相同;

分别对多个第一子信息及多个第二子信息进行特征提取,得到多个第一子信息对应的第四特征及多个第二子信息对应的第五特征;

基于多个第一子信息对应的第二权重及多个第二子信息对应的第二权重,对多个第一子信息对应的第四特征及多个第二子信息对应的第五特征进行加权处理,得到第一对象的第一特征,各个第一子信息对应的第二权重表征同一关联关系下不同的对象对第一对象的对象特征的影响程度,各个第二子信息对应的第二权重表征不同的关联关系下不同的对象对第一对象的对象特征的影响程度。

在一些实施例中,参见图11,第一特征提取子单元1014,被配置为执行:

对于各个目标关联子信息,确定与目标类型不同的多个参考类型;

每次选取其中一个参考类型,从目标关联子信息中选取第一对象以及满足第一选取条件的其他对象,构成一个第一子信息,直至多个参考类型选取完成,得到多个第一子信息,其中,选取的对象满足第一选取条件是指对象属于参考类型,且与第一对象构成目标关联子信息对应的关联关系。

在一些实施例中,参见图11,第一特征提取子单元1014,被配置为执行:

确定目标对象集合中包括的多种类型的关联关系;

每次选取多种类型中至少两种类型的关联关系,从目标对象集合中选取第一对象及满足第二选取条件的其他对象,构成一个第二子信息,直至多种类型的关联关系中不存在未被同时选取的至少两种类型的关联关系,得到多个第二子信息,其中,选取的对象满足第二选取条件是指选取的对象与第一对象之间的关联关系为至少两种类型的关联关系。

在一些实施例中,特征提取单元1004,被配置为执行调用特征提取模型,对目标对象集合进行特征提取,得到第一对象的对象特征。

在一些实施例中,特征提取单元1004,被配置为执行调用特征提取模型,对目标对象集合及目标关联子信息进行特征提取,得到对象特征。

在一些实施例中,特征提取模型包括多个第一特征提取网络和第二特征提取网络,目标关联子信息为多个,参见图11,特征提取单元1004,包括:

第一特征提取子单元1014,被配置为执行调用各个第一特征提取网络,分别对目标对象集合及各个目标关联子信息进行特征提取,得到第一对象的第一特征;

对象特征提取子单元1024,被配置为执行调用第二特征提取网络,基于多个目标关联子信息对应的第一权重,对多个目标关联子信息对应的第一特征进行加权处理,得到对象特征,各个目标关联子信息对应的第一权重表征目标关联子信息对应的关联关系对第一对象的对象特征的影响程度。

在一些实施例中,特征提取模型包括多个第一特征提取网络、第二特征提取网络和第三特征提取网络,目标关联子信息为多个,参见图11,特征提取单元1004,包括:

第一特征提取子单元1014,被配置为执行调用各个第一特征提取网络,分别对目标对象集合及各个目标关联子信息进行特征提取,得到第一对象的第一特征;

第二特征确定子单元1034,被配置为执行调用第二特征提取网络,基于多个目标关联子信息对应的第一权重,对多个目标关联子信息对应的第一特征进行加权处理,得到第一对象的第二特征,各个目标关联子信息对应的第一权重表征目标关联子信息对应的关联关系对第一对象的对象特征的影响程度;

第三特征提取子单元1044,被配置为执行调用第三特征提取网络,对关联信息进行特征提取,得到第一对象的第三特征;

对象特征提取子单元1024,被配置为执行调用第二特征提取网络,对第二特征与第三特征进行拼接,得到对象特征。

在一些实施例中,参见图11,特征提取单元1004,还包括:

第一权重确定子单元1054,被配置为执行调用第二特征提取网络,对多个目标关联子信息进行处理,得到多个目标关联子信息对应的第一权重。

在一些实施例中,参见图11,第一特征提取子单元1014,被配置为执行:

对于各个目标关联子信息,调用目标关联子信息对应的第一特征提取网络中的特征提取层,将目标关联子信息划分为多个第一子信息,各个第一子信息中包含第一对象以及属于参考类型的其他对象,且其他对象与第一对象构成目标关联子信息对应的关联关系,且不同第一子信息中包含的参考类型不同;

调用特征提取层,将目标对象集合划分为多个第二子信息,各个第二子信息中包含第一对象以及其他对象,且第一对象与其他对象之间的关联关系包括至少两种,不同第二子信息中第一对象与其他对象之间的关联关系不完全相同;

调用特征提取层,分别对多个第一子信息及多个第二子信息进行特征提取,得到多个第一子信息对应的第四特征及多个第二子信息对应的第五特征;

调用第一特征提取网络中的拼接层,基于多个第一子信息对应的第二权重及多个第二子信息对应的第二权重,对多个第一子信息对应的第四特征及多个第二子信息对应的第五特征进行加权处理,得到第一对象的第一特征,各个第一子信息对应的第二权重表征同一关联关系下不同的对象对第一对象的对象特征的影响程度,各个第二子信息对应的第二权重表征不同的关联关系下不同的对象对第一对象的对象特征的影响程度。

在一些实施例中,参见图11,特征提取单元1004,还包括:

第二权重确定子单元1064,被配置为执行调用第一特征提取网络中的注意力层,分别对多个第一子信息及多个第二子信息进行处理,得到多个第一子信息对应的第二权重及多个第二子信息对应的第二权重。

在一些实施例中,参见图11,第一特征提取子单元1014,被配置为执行:

调用特征提取层,确定与目标类型不同的多个参考类型;

调用特征提取层,每次选取其中一个参考类型,从目标关联子信息中选取第一对象以及满足第一选取条件的其他对象,构成一个第一子信息,直至多个参考类型选取完成,得到多个第一子信息,其中,选取的对象满足第一选取条件是指对象属于参考类型,且与第一对象构成目标关联子信息对应的关联关系。

在一些实施例中,参见图11,第一特征提取子单元1014,被配置为执行:

调用特征提取层,确定目标对象集合中包括的多种类型的关联关系;

调用特征提取层,每次选取多种类型中至少两种类型的关联关系,从目标对象集合中选取第一对象及满足第二选取条件的其他对象,构成一个第二子信息,直至多种类型的关联关系中不存在未被同时选取的至少两种类型的关联关系,得到多个第二子信息,其中,选取的对象满足第二选取条件是指选取的对象与第一对象之间的关联关系为至少两种类型的关联关系。

在一些实施例中,参见图11,该特征提取装置还包括:

模型训练单元1006,被配置为执行获取样本关联信息中的两个样本对象,两个样本对象之间的相似度大于参考相似度;

模型训练单元1006,还被配置为执行调用特征提取模型,分别获取两个样本对象对应的预测特征;

模型训练单元1006,还被配置为执行采用目标函数对两个样本对象对应的预测特征进行处理,得到损失值;

模型训练单元1006,还被配置为执行基于损失值,训练特征提取模型。

在一些实施例中,模型训练单元1006,还被配置为执行响应于损失值小于参考数值,结束训练特征提取模型。

在一些实施例中,关联信息为异构图,异构图包括多个对象节点以及任两个对象节点之间的连接线,一个对象节点代表一个对象,一个连接线代表一个连接线连接的两个对象节点对应的对象之间的关联关系;

对象集合构造单元1003,被配置为执行从异构图中,基于当前的目标对象节点选取满足关联条件的下一个目标对象节点,直至已确定的目标对象节点的数量达到目标数量,构造目标节点网络,关联条件是指下一个目标对象节点与当前的目标对象节点之间的连接线与当前确定的目标关联关系匹配,目标节点网络中包括目标数量的目标对象节点及任两个目标对象节点之间的连接线;

特征提取单元1004,被配置为执行对目标节点网络进行特征提取,得到对象特征。

在一些实施例中,参见图11,该特征提取装置还包括:

关联信息划分单元1005,被配置为执行按照异构图中包含的多种连接线,将异构图划分为多个关联关系子图,各个关联关系子图中包含多个对象节点,且同一个关联关系子图中不同的对象节点之间的连接线与同一种类型的关联关系匹配;

特征提取单元1004,被配置为执行:

从多个关联关系子图中,确定包含第一对象对应的第一对象节点的目标关联关系子图;

对目标节点网络及目标关联关系子图进行特征提取,得到对象特征。

关于上述实施例中的装置,其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

在示例性实施例中,提供了一种电子设备,该电子设备包括一个或多个处理器,以及用于存储该一个或多个处理器可执行指令的存储器;其中,该一个或多个处理器被配置为执行上述实施例中的特征提取方法。

在一些实施例中中,该电子设备提供为终端。图12是根据一示例性实施例示出的一种终端1200的结构框图。该终端1200可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1200还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

终端1200包括有:处理器1201和存储器1202。

处理器1201可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1201可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1201还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。

存储器1202可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1202中的非暂态的计算机可读存储介质用于存储至少一条程序代码,该至少一条程序代码用于被处理器1201所执行以实现本公开中方法实施例提供的特征提取方法。

在一些实施例中,终端1200还可选包括有:外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地,外围设备包括:射频电路1204、显示屏1205、摄像头组件1206、音频电路1207、定位组件1208和电源1209中的至少一种。

外围设备接口1203可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中,处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上;在一些其他实施例中,处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。

射频电路1204用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1204包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1204还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本公开对此不加以限定。

显示屏1205用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时,显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时,显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1205可以为一个,设置在终端1200的前面板;在另一些实施例中,显示屏1205可以为至少两个,分别设置在终端1200的不同表面或呈折叠设计;在另一些实施例中,显示屏1205可以是柔性显示屏,设置在终端1200的弯曲表面上或折叠面上。甚至,显示屏1205还可以设置成非矩形的不规则图形,也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。

摄像头组件1206用于采集图像或视频。可选地,摄像头组件1206包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。

音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1201进行处理,或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1207还可以包括耳机插孔。

定位组件1208用于定位终端1200的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1208可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯定位系统或欧盟的伽利略定位系统的定位组件。

电源1209用于为终端1200中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中,终端1200还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于:加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。

加速度传感器1211可以检测以终端1200建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1211可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1211采集的重力加速度信号,控制显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1211还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1212可以检测终端1200的机体方向及转动角度,陀螺仪传感器1212可以与加速度传感器1211协同采集用户对终端1200的3D动作。处理器1201根据陀螺仪传感器1212采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1213可以设置在终端1200的侧边框和/或显示屏1205的下层。当压力传感器1213设置在终端1200的侧边框时,可以检测用户对终端1200的握持信号,由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在显示屏1205的下层时,由处理器1201根据用户对显示屏1205的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1214用于采集用户的指纹,由处理器1201根据指纹传感器1214采集到的指纹识别用户的身份,或者,由指纹传感器1214根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1201授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1214可以被设置在终端1200的正面、背面或侧面。当终端1200上设置有物理按键或厂商Logo时,指纹传感器1214可以与物理按键或厂商Logo集成在一起。

光学传感器1215用于采集环境光强度。在一个实施例中,处理器1201可以根据光学传感器1215采集的环境光强度,控制显示屏1205的显示亮度。具体地,当环境光强度较高时,调高显示屏1205的显示亮度;当环境光强度较低时,调低显示屏1205的显示亮度。在另一个实施例中,处理器1201还可以根据光学传感器1215采集的环境光强度,动态调整摄像头组件1206的拍摄参数。

接近传感器1216,也称距离传感器,设置在终端1200的前面板。接近传感器1216用于采集用户与终端1200的正面之间的距离。在一个实施例中,当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变小时,由处理器1201控制显示屏1205从亮屏状态切换为息屏状态;当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变大时,由处理器1201控制显示屏1205从息屏状态切换为亮屏状态。

本领域技术人员可以理解,图12中示出的结构并不构成对终端1200的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。

在一些实施例中,该电子设备提供为服务器。图13是根据一示例性实施例示出的一种服务器的结构框图,该服务器1300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central Processing Units,CPU)1301和一个或一个以上的存储器1302,其中,存储器1302中存储有至少一条程序代码,该至少一条程序代码由处理器1301加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。

在示例性实施例中,还提供了一种计算机可读存储介质,当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述特征提取方法中电子设备所执行的步骤。可选地,计算机可读存储介质可以是ROM(只读存储器,Read Only Memory)、RAM(随机存取存储器,Random Access Memory)、CD-ROM(只读光盘,Compact Disc Read-OnlyMemory)、磁带、软盘和光数据存储设备等。

在示例性实施例中,还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序被处理器执行以实现上述特征提取方法。

本领域技术人员在考虑说明书及实践这里的公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。

应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

相关技术
  • 特征提取方法、特征提取装置、存储介质与电子设备
  • 特征提取方法、特征提取装置、存储介质及电子设备
技术分类

06120113098086