一种个性化评论生成方法及装置

技术领域

本发明涉及大数据处理技术领域，具体涉及一种个性化评论生成方法及装置。另外，还涉及一种电子设备及处理器可读存储介质。

背景技术

近年来，随着互联网技术的快速发展，各种社交应用越来越广泛。自动评论技术被用于各种社交应用场景以增加用户活跃度，吸引更多的客户，比如常见的有新闻评论，视频评论，商品评论等。然而，目前现有技术中通常只关注在单一模态的评论，即输入端只有一种模态，比如，新闻评论里的只关注文字信息，图片评论只关注图片信息等。但是在社交领域，UGC（user generated content，用户生产内容）往往是多模态的，比如文本+图片，单一模态的输入会导致信息不完整，从而导致评论生成的相关性变差。同时，评论是一种很个性化的内容生成，如何结合评论者信息和被评论内容来指导评论的情感极性目前探索较少。目前，在评论生成过程中，往往只关注一方面的增强，而没有结合多模态、知识增强以及个性化情绪可控等多方面的因素，导致评论生成的精确度和鲁棒性较差，难以生成更具个性化并富含知识的评论。因此，如何设计一种更加有效的个性化评论生成方案来提升评论生成效率和精确度成为亟待解决的难题。

发明内容

为此，本发明提供一种个性化评论生成方法及装置，以解决现有技术中存在的个性化评论生成方案局限性较高，从而导致评论生成的精确度和鲁棒性较差的缺陷。

第一方面，本发明提供一种个性化评论生成方法，包括：

从待评论的多模态用户内容中提取多模态数据，并基于所述多模态数据获取相应的多模态知识；

基于所述多模态知识、所述多模态数据以及获取的用户个性化信息进行评论情绪判别，获得情绪分布特征；并将所述情绪分布特征嵌入到所述多模态数据中，获得融入情绪特征的多模态数据；

对所述多模态知识和所述用户个性化信息进行向量编码，获得相应的多模态知识编码向量和个性化信息编码向量；

将所述融入情绪特征的多模态数据、所述多模态知识编码向量以及所述个性化信息编码向量输入到评论生成模型，获得所述评论生成模型生成的对应所述多模态用户内容的评论信息；其中，所述评论生成模型是基于第一多模态样本数据，及所述第一多模态样本数据对应的标准评论信息进行训练得到的。

进一步的，所述基于所述多模态数据获取相应的多模态知识，具体包括：

基于所述多模态数据及其分别对应的搜索引擎，获得原始多模态知识；基于多模态排序模型对所述原始多模态知识进行段落重排，获得候选多模态知识，从所述候选多模态知识中获取与所述多模态数据的相关度满足预设相关度阈值的多模态知识；

其中，所述多模态排序模型是基于多模态样本知识以及所述多模态样本知识对应的排序结果进行训练得到的。

进一步的，所述从待评论的多模态用户内容中提取多模态数据，具体包括：

从所述多模态用户内容中提取文本数据和图片数据；

所述基于所述多模态数据及其分别对应的搜索引擎，获得原始多模态知识，具体包括：将所述文本数据输入到文本搜索引擎，获得所述文本搜索引擎检索到的文本关联知识；将所述图片数据输入到图片搜索引擎，获得所述图片搜索引擎检索到的图片关联知识；将所述文本关联知识和所述图片关联知识作为原始多模态知识。

进一步的，从所述候选多模态知识中获取与所述多模态数据的相关度满足预设相关度阈值的多模态知识，具体包括：

基于所述多模态排序模型的文本编码模型，对所述候选多模态知识中的文本数据进行编码，获得第一文本向量；基于所述多模态排序模型的图片编码模型，对所述候选多模态知识中的图片数据进行编码，获得第一图片向量；将所述第一文本向量和所述第一图片向量相加得到候选多模态知识的向量；

基于所述文本编码模型，对所述多模态数据中的文本数据进行编码，获得第二文本向量；基于所述图片编码模型，对所述多模态数据中的图片数据进行编码，获得第二图片向量；将所述第二文本向量和所述第二图片向量相加得到多模态数据的向量；

通过所述多模态数据的向量与所述候选多模态知识的向量的相关度排序得到最终的满足预设相关度阈值的多模态知识。进一步的，所述基于所述多模态知识、所述多模态数据以及获取的用户个性化信息进行评论情绪判别，获得情绪分布特征，具体包括：

将所述多模态知识、所述多模态数据以及所述用户个性化信息输入到评论情绪判别模型，获得所述评论情绪判别模型输出的情绪分布特征；其中，所述评论情绪判别模型基于第二多模态样本数据、以及所述第二多模态样本数据对应的评论情绪判别结果进行训练得到。

进一步的，对所述多模态知识和所述用户个性化信息进行向量编码，获得相应的多模态知识编码向量和个性化信息编码向量，具体包括：将所述用户个性化信息输入到个性化编码模型中，获得所述个性化信息编码向量；将所述多模态知识输入到知识编码模型中，获得所述多模态知识编码向量；其中，所述个性化信息编码向量的维度和所述多模态知识编码向量的维度相同。

进一步的，所述将所述情绪分布特征嵌入到所述多模态数据中，获得融入情绪特征的多模态数据，具体包括：

将所述多模态数据输入到嵌入模型，得到相应的多模态嵌入向量；

将所述多模态嵌入向量与所述情绪分布特征进行融合处理，获得融入情绪特征的多模态数据。

第二方面，本发明还提供一种个性化评论生成装置，包括：

数据获取单元，用于从待评论的多模态用户内容中提取多模态数据，并基于所述多模态数据获取相应的多模态知识；

情绪分析单元，用于基于所述多模态知识、所述多模态数据以及获取的用户个性化信息进行评论情绪判别，获得情绪分布特征；并将所述情绪分布特征嵌入到所述多模态数据中，获得融入情绪特征的多模态数据；

向量编码单元，用于对所述多模态知识和所述用户个性化信息进行向量编码，获得相应的多模态知识编码向量和个性化信息编码向量；

评论生成单元，用于将所述融入情绪特征的多模态数据、所述多模态知识编码向量以及所述个性化信息编码向量输入到评论生成模型，获得所述评论生成模型生成的对应所述多模态用户内容的评论信息；其中，所述评论生成模型是基于第一多模态样本数据，及所述第一多模态样本数据对应的标准评论信息进行训练得到的。

进一步的，所述数据获取单元，具体用于：

基于所述多模态数据及其分别对应的搜索引擎，获得原始多模态知识；基于多模态排序模型对所述原始多模态知识进行段落重排，获得候选多模态知识，从所述候选多模态知识中获取与所述多模态数据的相关度满足预设相关度阈值的多模态知识；

其中，所述多模态排序模型是基于多模态样本知识以及所述多模态样本知识对应的排序结果进行训练得到的。

进一步的，所述数据获取单元，具体用于：

从所述多模态用户内容中提取文本数据和图片数据；

所述基于所述多模态数据及其分别对应的搜索引擎，获得原始多模态知识，具体包括：将所述文本数据输入到文本搜索引擎，获得所述文本搜索引擎检索到的文本关联知识；将所述图片数据输入到图片搜索引擎，获得所述图片搜索引擎检索到的图片关联知识；将所述文本关联知识和所述图片关联知识作为原始多模态知识。

进一步的，所述数据获取单元，具体用于：

基于所述多模态排序模型的文本编码模型，对所述候选多模态知识中的文本数据进行编码，获得第一文本向量；基于所述多模态排序模型的图片编码模型，对所述候选多模态知识中的图片数据进行编码，获得第一图片向量；将所述第一文本向量和所述第一图片向量相加得到候选多模态知识的向量；

基于所述文本编码模型，对所述多模态数据中的文本数据进行编码，获得第二文本向量；基于所述图片编码模型，对所述多模态数据中的图片数据进行编码，获得第二图片向量；将所述第二文本向量和所述第二图片向量相加得到多模态数据的向量；

通过所述多模态数据的向量与所述候选多模态知识的向量的相关度排序得到最终的满足预设相关度阈值的多模态知识。进一步的，所述情绪分析单元，具体用于：

将所述多模态知识、所述多模态数据以及所述用户个性化信息输入到评论情绪判别模型，获得所述评论情绪判别模型输出的情绪分布特征；其中，所述评论情绪判别模型基于第二多模态样本数据、以及所述第二多模态样本数据对应的评论情绪判别结果进行训练得到。

进一步的，所述向量编码单元，具体用于：将所述用户个性化信息输入到个性化编码模型中，获得所述个性化信息编码向量；将所述多模态知识输入到知识编码模型中，获得所述多模态知识编码向量；其中，所述个性化信息编码向量的维度和所述多模态知识编码向量的维度相同。

进一步的，所述情绪分析单元，具体用于：

将所述多模态数据输入到嵌入模型，得到相应的多模态嵌入向量；

将所述多模态嵌入向量与所述情绪分布特征进行融合处理，获得融入情绪特征的多模态数据。

第三方面，本发明还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述计算机程序时实现如上述任意一项所述的个性化评论生成方法的步骤。

第四方面，本发明还提供一种处理器可读存储介质，所述处理器可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的个性化评论生成方法的步骤。

本发明提供的个性化评论生成方法，通过从待评论的多模态用户内容中提取多模态数据，并基于所述多模态数据获取相应的多模态知识；然后，基于所述多模态知识、所述多模态数据以及获取的用户个性化信息进行评论情绪判别，获得情绪分布特征；并将所述情绪分布特征嵌入到所述多模态数据中，获得融入情绪特征的多模态数据；进一步对所述多模态知识和所述用户个性化信息进行向量编码，获得相应的多模态知识编码向量和个性化信息编码向量；最后，将所述融入情绪特征的多模态数据、所述多模态知识编码向量以及所述个性化信息编码向量输入到评论生成模型，获得所述评论生成模型生成的对应所述多模态用户内容的评论信息。能够充分利用多模态信息，提高了评论生成精确性和鲁棒性，从而能够生成更具个性化并富含知识的评论。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。

图1是本发明实施例提供的个性化评论生成方法的流程示意图之一；

图2是本发明实施例提供的个性化评论生成方法的流程示意图之二；

图3是本发明实施例提供的个性化评论生成方法的流程示意图之三；

图4是本发明实施例提供的个性化评论生成方法中的相关度分析流程示意图；

图5是本发明实施例提供的个性化评论生成装置的结构示意图；

图6是本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

下面基于本发明所述的个性化评论生成方法，对其实施例进行详细描述。如图1所示，其为本发明实施例提供的个性化评论生成方法的流程示意图，具体过程包括以下步骤：

步骤101：从待评论的多模态用户内容中提取多模态数据，并基于所述多模态数据获取相应的多模态知识。

其中，所述多模态用户内容可以是指是指社交领域的多模态的UGC（usergenerated content，用户生产内容）或者多模态的post。所述多模态数据可以是指多模态UGC中包含的文本数据和图片数据等。比如，所述多模态UGC可以是指用户创作的包含图片和文本的新闻内容。所述文本数据可以是网络流行语“yyds”，所述图片数据可以是指用“yyds”形容的某个球员的图片。

如图2所示，在本发明实施过程中，首先从所述多模态用户内容中提取文本数据（即post文本）和图片数据（即post图片）；然后，基于所述多模态数据及其分别对应的搜索引擎召回不同的知识，获得原始多模态知识，并基于多模态排序模型（即多模态的知识重排模型）对所述原始多模态知识进行段落重排，获得候选多模态知识，从所述候选多模态知识中获取与所述多模态数据的相关度满足预设相关度阈值的多模态知识。其中，所述多模态排序模型依赖于大量社交，新闻多模态数据训练好的跨模态匹配模型，然后用训练好的文本编码模型（text encoder），图片编码模型（image encoder）分别对不同模态数据encode得到各自embedding（即相应的文本向量和图片向量），并将其相加得到最终embedding（即候选多模态知识的向量或多模态数据的向量），然后计算相关度分数用以排序。需要说明的是，在多模态排序模型训练阶段可通过跨模态对边学些学习（相似度矩阵拉近对角线正样本对距离，拉远其他负样本对距离）学习到一个image encoder和一个text encoder使得text 和 image两个模态经过encode后的向量表示能映射到同一个语义空间。

比如，可利用社交领域获取的多模态数据确定多模态样本知识，训练一个多模态匹配模型，从而得到多模态排序模型，利用该多模态排序模型在知识重排阶段利用多模态信息进行重排，让排序结果更精确。

具体的，基于所述多模态数据及其分别对应的搜索引擎，获得原始多模态知识，对应的实现过程包括：将所述文本数据输入到文本搜索引擎，获得所述文本搜索引擎检索到的文本关联知识，并将所述图片数据输入到图片搜索引擎，获得所述图片搜索引擎检索到的图片关联知识，最后将所述文本关联知识和所述图片关联知识作为原始多模态知识。需要说明的是，所述文本关联知识是基于文本检索返回的与该文本相关的多模态知识；同样，所述图片关联知识是基于图片检索返回的与该图片相关的多模态知识。

其中，所述文本搜索引擎（即全文搜索引擎）可以是指通过从互联网上提取的各个网站的以网页文字为主的信息而建立的数据库，检索与用户文本数据查询条件匹配的相关记录（即文本关联知识），然后按一定的排列顺序将结果返回给用户。同样的，所述图片搜索引擎可以是指通过从互联网上提取的各个网站的以网页图片为主的信息而建立的数据库，检索与用户图片数据查询条件匹配的相关记录（即图片关联知识），然后按一定的排列顺序将结果返回给用户。

另外，从所述候选多模态知识中获取与所述多模态数据的相关度满足预设相关度阈值的多模态知识，对应的实现过程包括：基于所述多模态排序模型中的文本编码模型，对所述候选多模态知识中的文本数据进行编码，获得第一文本向量；基于所述多模态排序模型中的图片编码模型，对所述候选多模态知识中的图片数据进行编码，获得第一图片向量；将所述第一文本向量和所述第一图片向量相加得到候选多模态知识的向量；基于所述文本编码模型，对所述多模态数据中的文本数据进行编码，获得第二文本向量；基于所述图片编码模型，对所述多模态数据中的图片数据进行编码，获得第二图片向量；将所述第二文本向量和所述第二图片向量相加得到多模态数据的向量；通过所述多模态数据的向量与所述候选多模态知识的向量的相关度排序得到最终的满足预设相关度阈值的多模态知识。也就是，用多模态排序模型对召回的多模态知识段落进行排序，并返回最终排序之后的多模态知识段落。

如图4所示，所述多模态排序模型训练阶段是通过跨模态对边（相关度矩阵拉近对角线正样本对距离，拉远其他负样本对距离）学习到一个image encoder和一个textencoder，使得text数据（即所述多模态数据中的文本数据和所述候选多模态知识中的文本数据）和 image（即所述多模态数据中的图片数据和所述候选多模态知识中的图片数据）两个模态经过编码后的向量表示能映射到同一个语义空间。

下面以一个简单例子说明重排过程：

获得输入的多模态数据（即多模态UGC）。该多模态数据的内容包括:文本“C球员和D球队达成协议”以及“该C球员打球时的图片”。然后，分别基于文本数据和图片数据通过相应的搜索引擎检索相关的数据作为其知识，将检索回的数据按照段落划分为不同的知识段落，比如多模态知识K1、多模态知识K2以及多模态知识K3。其中所述多模态知识K1、多模态知识K2以及多模态知识K3均包含文本数据和图片数据。再然后，分别用text encoder和image encoder将多模态UGC和多模态知识的文本数据和图片数据encode成向量表示，再将各自的text 向量和image向量相加，得到最终的多模态UGC和多模态知识的向量表示UGC_embedding（即对所述多模态数据中的文本数据和图片数据进行编码获得的第二编码向量）； K1_embedding、K2_embedding、K2_embedding（即对所述候选多模态知识中的文本数据和图片数据进行编码获得的第三编码向量）。最后通过计算UGC_embedding与候选多模态知识（K1_embedding, K2_embedding, K2_embedding）的相关度排序得到相关度最高的知识段落。

在本步骤知识召回阶段，分别通过文本数据检索和图像数据检索召回相关多模态知识，从而增大知识的召回范围。所述的多模态排序模型依赖于在大量社交领域数据，利用多模态数据训练好的跨模态匹配模型，然后用训练好的text encoder（即文本编码模型）、image encoder（即图片编码模型）分别对不同模态知识编码得到各自embedding，并将其相加得到最终的embedding，然后计算知识段落candidates embedding与post embedding相关度分数用以排序，得到按照相关度高低排序的多模态知识。

需要说明的是，本发明所述的多模态数据包括但不限于文本数据和图片数据，还可以是视频数据等，相应的，所述多模态知识包括但不限于图片数据对应的知识和文本数据对应的知识，还可以是视频数据对应的知识，在此不再详细赘述。

在执行步骤102之前，还需要获取预设设置的评论者ID（即用户标识信息），根据评论者ID获取相应的用户个性化信息，比如“足球迷，喜欢A球员，不讨厌B球员”。

步骤102：基于所述多模态知识、所述多模态数据以及获取的用户个性化信息进行评论情绪判别，获得情绪分布特征；并将所述情绪分布特征嵌入到所述多模态数据中，获得融入情绪特征的多模态数据。

具体的，如图3所示，可将所述多模态知识、所述多模态数据以及所述用户个性化信息输入到评论情绪判别模型，获得所述评论情绪判别模型输出的情绪分布特征，即情绪分布表征。进一步的，将所述多模态数据（即多模态UGC）输入到嵌入模型（embedding层），得到相应的多模态嵌入向量，并将所述多模态嵌入向量与所述情绪分布特征进行融合处理，获得融入情绪特征的多模态数据。也就是，多模态UGC经过embedding层后直接与情绪分布特征相加后得到融入情绪特征的多模态数据，并送入后续的生成模型。其中，所述评论情绪判别模型基于预设的第二多模态样本数据、以及所述第二多模态样本数据对应的评论情绪判别结果进行训练得到。

在获得评论情绪判别模型过程中，可首先通过开源标注数据集训练一个情绪分类模型，然后通过activate learning 在社交领域的评论数据上逐步提升模型表现，得到最终社交评论的评论情绪判别模型，通过用该评论情绪判别模型对收集的评论数据进行情绪判别，得到的结果作为（多模态数据+多模态知识+ 用户个性化信息）评论情绪判别模型的标签，用以训练最终的（多模态数据+多模态知识+用户个性化信息）的评论情绪判别模型

步骤103：对所述多模态知识和所述用户个性化信息进行向量编码，获得相应的多模态知识编码向量和个性化信息编码向量。

在本步骤实施过程中，可将所述用户个性化信息输入到个性化编码模型中，获得个性化信息编码向量；将所述多模态知识输入到知识编码模型中，获得所述多模态知识编码向量。其中，所述个性化信息编码向量的维度和所述多模态知识编码向量的维度相同。所述个性化编码模型和所述知识编码模型可通过预训练得到。

具体的，用户个性化信息和多模态知识分别通过个性化信息encoder（即个性化编码模型）和多模态知识encoder（即知识编码模型）转化为固定的数量的向量，比如16*512维向量，所述个性化编码模型和所述知识编码模型的backbone都可使用transformer实现。另外，为了输出固定维度向量，在所述个性化编码模型和所述知识编码模型后接一个Perceiver Resampler。

步骤104：将所述融入情绪特征的多模态数据、所述多模态知识编码向量以及所述个性化信息编码向量输入到评论生成模型，获得所述评论生成模型生成的对应所述多模态用户内容的评论信息；其中，所述评论生成模型是基于第一多模态样本数据，及所述第一多模态样本数据对应的标准评论信息进行训练得到的。其中融入情绪特征的多模态数据（即多模态post）作为input输入，所述多模态知识和所述个性化信息等其他信息以crossattention 的方式融入评论生成模型，指导最终的评论生成。利用该评论生成模型在评论生成阶段结合多模态post，多模态知识以及个性化信息和情绪信息指导最后的评论生成。

需要说明的是，所述评论生成模型可通过gated xattn –dense结构，并融入用户个性化信息和多模态知识得到。在所述评论生成模型会循环输出下一个词在预定义好得词表里得概率分布，每次取出概率最大得词作为输出，循环反复，指导输出特殊词表述生成结束，从而得到对应所述多模态用户内容的评论信息。

本发明在评论生成的整个pipeline里充分利用多模态信息，无论是在知识检索，知识重排，还是最终的评论生成过程，都是多模态参与，让最终的评论信息与用户生产内容相关度更高。采用文本数据和图片数据的检索过程可以带回更加丰富的信息，特别在新闻领域的图片，往往能检索回非常有信息量的知识。而利用评论的情绪信息，指导（多模态数据+多模态知识+用户个性化信息）评论情绪判别模型的学习，规避了没有直接监督数据的难点。在最终的评论生成模型的生成过程中融入多模态数据的相关知识，用户面对该多模态数据的情绪信息及用户个性化信息，从而能够生成更具个性化并富含知识的评论。

本发明实施例所述的个性化评论生成方法，通过从待评论的多模态用户内容中提取多模态数据，并基于所述多模态数据获取相应的多模态知识；然后，基于所述多模态知识、所述多模态数据以及获取的用户个性化信息进行评论情绪判别，获得情绪分布特征；并将所述情绪分布特征嵌入到所述多模态数据中，获得融入情绪特征的多模态数据；进一步对所述多模态知识和所述用户个性化信息进行向量编码，获得相应的多模态知识编码向量和个性化信息编码向量；最后，将所述融入情绪特征的多模态数据、所述多模态知识编码向量以及所述个性化信息编码向量输入到评论生成模型，获得所述评论生成模型生成的对应所述多模态用户内容的评论信息。能够充分利用多模态信息，提高了评论生成精确性和鲁棒性，从而能够生成更具个性化并富含知识的评论。

与上述提供的一种个性化评论生成方法相对应，本发明还提供一种个性化评论生成装置。由于该装置的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的个性化评论生成装置的实施例仅是示意性的。请参考图5所示，其为本发明实施例提供的一种个性化评论生成装置的结构示意图。

本发明所述的个性化评论生成装置，具体包括如下部分：

数据获取单元501，用于从待评论的多模态用户内容中提取多模态数据，并基于所述多模态数据获取相应的多模态知识；

情绪分析单元502，用于基于所述多模态知识、所述多模态数据以及获取的用户个性化信息进行评论情绪判别，获得情绪分布特征；并将所述情绪分布特征嵌入到所述多模态数据中，获得融入情绪特征的多模态数据；

向量编码单元503，用于对所述多模态知识和所述用户个性化信息进行向量编码，获得相应的多模态知识编码向量和个性化信息编码向量；

评论生成单元504，用于将所述融入情绪特征的多模态数据、所述多模态知识编码向量以及所述个性化信息编码向量输入到评论生成模型，获得所述评论生成模型生成的对应所述多模态用户内容的评论信息；其中，所述评论生成模型是基于第一多模态样本数据，及所述第一多模态样本数据对应的标准评论信息进行训练得到的。

进一步的，所述数据获取单元，具体用于：

基于所述多模态数据及其分别对应的搜索引擎，获得原始多模态知识；基于多模态排序模型对所述原始多模态知识进行段落重排，获得候选多模态知识，从所述候选多模态知识中获取与所述多模态数据的相关度满足预设相关度阈值的多模态知识；

其中，所述多模态排序模型是基于多模态样本知识以及所述多模态样本知识对应的排序结果进行训练得到的。

进一步的，所述数据获取单元，具体用于：

从所述多模态用户内容中提取文本数据和图片数据；

所述基于所述多模态数据及其分别对应的搜索引擎，获得原始多模态知识，具体包括：将所述文本数据输入到文本搜索引擎，获得所述文本搜索引擎检索到的文本关联知识；将所述图片数据输入到图片搜索引擎，获得所述图片搜索引擎检索到的图片关联知识；将所述文本关联知识和所述图片关联知识作为原始多模态知识。

进一步的，所述数据获取单元，具体用于：

基于所述多模态排序模型中的文本编码模型，对所述候选多模态知识中的文本数据进行编码，获得第一文本向量；基于所述多模态排序模型中的图片编码模型，对所述候选多模态知识中的图片数据进行编码，获得第一图片向量；将所述第一文本向量和所述第一图片向量相加得到候选多模态知识的向量；

基于所述文本编码模型，对所述多模态数据中的文本数据进行编码，获得第二文本向量；基于所述图片编码模型，对所述多模态数据中的图片数据进行编码，获得第二图片向量；将所述第二文本向量和所述第二图片向量相加得到多模态数据的向量；

通过所述多模态数据的向量与所述候选多模态知识的向量的相关度排序得到最终的满足预设相关度阈值的多模态知识。进一步的，所述情绪分析单元，具体用于：

将所述多模态知识、所述多模态数据以及所述用户个性化信息输入到评论情绪判别模型，获得所述评论情绪判别模型输出的情绪分布特征；其中，所述评论情绪判别模型基于第二多模态样本数据、以及所述第二多模态样本数据对应的评论情绪判别结果进行训练得到。

进一步的，所述向量编码单元，具体用于：将所述用户个性化信息输入到个性化编码模型中，获得所述个性化信息编码向量；将所述多模态知识输入到知识编码模型中，获得所述多模态知识编码向量；其中，所述个性化信息编码向量的维度和所述多模态知识编码向量的维度相同。

进一步的，所述情绪分析单元，具体用于：

将所述多模态数据输入到嵌入模型，得到相应的多模态嵌入向量；

将所述多模态嵌入向量与所述情绪分布特征进行融合处理，获得融入情绪特征的多模态数据。

本发明实施例所述的个性化评论生成装置，通过从待评论的多模态用户内容中提取多模态数据，并基于所述多模态数据获取相应的多模态知识；然后，基于所述多模态知识、所述多模态数据以及获取的用户个性化信息进行评论情绪判别，获得情绪分布特征；并将所述情绪分布特征嵌入到所述多模态数据中，获得融入情绪特征的多模态数据；进一步对所述多模态知识和所述用户个性化信息进行向量编码，获得相应的多模态知识编码向量和个性化信息编码向量；最后，将所述融入情绪特征的多模态数据、所述多模态知识编码向量以及所述个性化信息编码向量输入到评论生成模型，获得所述评论生成模型生成的对应所述多模态用户内容的评论信息。能够充分利用多模态信息，提高了评论生成精确性和鲁棒性，从而能够生成更具个性化并富含知识的评论。

与上述提供的个性化评论生成方法相对应，本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。如图6所示，其为本发明实施例公开的一种电子设备的实体结构示意图。该电子设备可以包括：处理器（processor）601、存储器（memory）602和通信总线603，其中，处理器601，存储器602通过通信总线603完成相互间的通信，通过通信接口604与外部进行通信。处理器601可以调用存储器602中的逻辑指令，以执行个性化评论生成方法，该方法包括：从待评论的多模态用户内容中提取多模态数据，并基于所述多模态数据获取相应的多模态知识；基于所述多模态知识、所述多模态数据以及获取的用户个性化信息进行评论情绪判别，获得情绪分布特征；并将所述情绪分布特征嵌入到所述多模态数据中，获得融入情绪特征的多模态数据；对所述多模态知识和所述用户个性化信息进行向量编码，获得相应的多模态知识编码向量和个性化信息编码向量；将所述融入情绪特征的多模态数据、所述多模态知识编码向量以及所述个性化信息编码向量输入到评论生成模型，获得所述评论生成模型生成的对应所述多模态用户内容的评论信息；其中，所述评论生成模型是基于第一多模态样本数据，及所述第一多模态样本数据对应的标准评论信息进行训练得到的。

此外，上述的存储器602中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：存储芯片、U盘、移动硬盘、只读存储器 （ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在处理器可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的个性化评论生成方法。该方法包括：从待评论的多模态用户内容中提取多模态数据，并基于所述多模态数据获取相应的多模态知识；基于所述多模态知识、所述多模态数据以及获取的用户个性化信息进行评论情绪判别，获得情绪分布特征；并将所述情绪分布特征嵌入到所述多模态数据中，获得融入情绪特征的多模态数据；对所述多模态知识和所述用户个性化信息进行向量编码，获得相应的多模态知识编码向量和个性化信息编码向量；将所述融入情绪特征的多模态数据、所述多模态知识编码向量以及所述个性化信息编码向量输入到评论生成模型，获得所述评论生成模型生成的对应所述多模态用户内容的评论信息；其中，所述评论生成模型是基于第一多模态样本数据，及所述第一多模态样本数据对应的标准评论信息进行训练得到的。

又一方面，本发明实施例还提供一种处理器可读存储介质，所述处理器可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的个性化评论生成方法。该方法包括：从待评论的多模态用户内容中提取多模态数据，并基于所述多模态数据获取相应的多模态知识；基于所述多模态知识、所述多模态数据以及获取的用户个性化信息进行评论情绪判别，获得情绪分布特征；并将所述情绪分布特征嵌入到所述多模态数据中，获得融入情绪特征的多模态数据；对所述多模态知识和所述用户个性化信息进行向量编码，获得相应的多模态知识编码向量和个性化信息编码向量；将所述融入情绪特征的多模态数据、所述多模态知识编码向量以及所述个性化信息编码向量输入到评论生成模型，获得所述评论生成模型生成的对应所述多模态用户内容的评论信息；其中，所述评论生成模型是基于第一多模态样本数据，及所述第一多模态样本数据对应的标准评论信息进行训练得到的。

所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器（例如软盘、硬盘、磁带、磁光盘（MO）等）、光学存储器（例如CD、DVD、BD、HVD等）、以及半导体存储器（例如ROM、EPROM、EEPROM、非易失性存储器（NANDFLASH）、固态硬盘（SSD））等。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。