基于大语言模型进行社交媒体内容生成的装置及方法

[技术领域]

本发明涉及大语言模型技术领域，具体地说是一种基于大语言模型进行社交媒体内容生成的装置及方法。

[背景技术]

随着社交媒体的普及，网络评论对于产品和服务的评价起着重要作用。然而，针对一款特定的产品或服务，手动撰写一个高质量的评论可能是时间消耗和劳动密集型的。现有技术中，社交媒体评论主要由用户手动撰写，依赖用户手动生成评论的方式既耗时又耗力。此外，用户撰写的评论可能存在质量不一、客观性差、信息有限等问题。即使是由人工智能生成的评论，在不同环境下，不同的用户需求，也可能显示出内容贫乏，低度相关性，以及缺乏深度的问题。

在对特定内容进行评价时，现有技术大多采用关键词匹配、情感倾向分析等技术，虽然可以实现一定的自动化和智能化，但生成的内容往往缺乏深度和创新性，且针对不同的内容，比如是小红书笔记，现有的技术无法完全满足用户对于精准、具有深度的评论生成的需求。

综上，主要存在以下不足之处：

(1)用户手动撰写评论需要投入大量的时间和精力，尤其是对于需要创建大量评论的内容开发者而言，负担重大，效率低下。

(2)现有的评论生成技术大多基于模板和固定模式，生成的评论往往陷入僵化和刻板，缺乏深度和创新性，无法满足用户对于具有创新性和深度的评论内容的需求。

(3)虽有一些基于机器学习的文本生成技术，但其训练较为复杂并且在生成的内容的质量、逻辑连贯性、相关性等方面仍存在不足，不能很好地适应各种应用场景的需求。

因此，亟需一种能够精准、快速生成评论内容、提高评论内容质量，并且适应性强的新技术来解决上述问题。若能提供一种基于大语言模型的技术以自动产生高质量的评论，将能满足平台运营者和个人用户的需求。

[发明内容]

本发明的目的就是要解决上述的不足而提供一种基于大语言模型进行社交媒体内容生成的装置及方法，通过基于大语言模型以及采用自动化的方式生成评论，不仅解决了手动撰写评论的时间和精力消耗问题，提升了工作效率，而且生成出的评论具备一定的深度和创新性，大大提升了评论内容的质量和用户体验。

本发明一方面，提供了一种基于大语言模型进行社交媒体内容生成的装置，包括链接抓取模块、数据预处理模块、语言模型及输出模块，所述链接抓取模块、数据预处理模块、语言模型、输出模块依次连接，其中，

所述链接抓取模块，用于负责从给定的包括但不限于小红书笔记链接中抓取所需的笔记内容；

所述数据预处理模块，用于对抓取到的笔记内容进行预处理；

所述语言模型，用于接受预处理后的笔记内容和预设的提示词，并基于该模型进行计算，生成相应的评论内容；

所述输出模块，用于将生成的评论内容进行格式化后输出。

作为一种实施例，所述链接抓取模块中，链接抓取法采用HTTP请求，利用爬虫技术抓取给定小红书链接的网页源代码，通过正则表达式或者HTML解析方法从网页源代码中提取出所需要的笔记内容。

作为一种实施例，所述数据预处理模块的预处理包括但不限于清洗无效信息以及格式化数据，使其格式适应于语言模型的输入。

作为一种实施例，所述数据预处理模块中，预处理通过但不限于标记化、词干提取、词形还原及去除停用词技术进行，将非结构化的文本数据处理成结构化或者半结构化的形式，以供进一步分析。

作为一种实施例，所述语言模型为大语言模型SGPT4.0结构，基于Transformer架构，具备自注意力机制，能够捕获文本序列中的长距离依赖关系，通过在海量文本数据上进行预训练学习到的复杂的文本表示模型。

作为一种实施例，所述输出模块中，语言模型的输出为每个单词的概率分布，通过挑选概率值最大的单词或使用抽样的方式生成一段文本，该模块需要处理分类问题时的softmax函数，以及文本生成问题时的文本后处理技术。

本发明另一方面，提供了一种基于大语言模型进行社交媒体内容生成的方法，包括以下步骤：根据输入的包括但不限于小红书链接，获取对应的笔记内容，对笔记内容进行预处理后，将预处理后的内容和预设的提示词输入到语言模型中，之后语言模型根据其内部预训练好的参数对输入进行计算，并生成相应的评论内容，最后经过输出模块处理后，以特定的格式输出生成的评论。

作为一种实施例，本发明基于大语言模型进行社交媒体内容生成的方法，包括以下步骤：

首先，链接抓取模块发起HTTP请求，获取到小红书笔记的网页内容；

然后，数据预处理模块接手处理这些信息，包括对笔记内容进行中文分词，去除停顿词，对图片和视频进行特征提取；

处理完的数据被送入已经预训练好的SGPT4.0语言模型，该模型接收到两部分输入，一部分是上述处理过的笔记内容，另一部分是用户定义的提示词；

在SGPT4.0语言模型计算完毕后，生成的评论被送入输出模块，最后输出评论内容。

作为一种实施例，所述语言模型接收到输入后开始计算，执行Encoder-Decoder架构，Encoder部分分析处理笔记内容的语义，Decoder部分根据提示词，生成蕴含笔记内容语义的相关评论。

本发明第三方面，提出了一种计算机设备，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；所述存储器用于存储程序，所述处理器用于运行程序，所述程序运行时执行上述方法。

本发明同现有技术相比，具有如下优点：

(1)提升工作效率：本发明采用自动化的方式生成评论，大大减少了手动撰写评论的时间和精力消耗，提升了工作效率；

(2)提高评论质量：本发明相比于简单的关键词匹配等技术，其基于大语言模型SGPT4.0进行内容生成，具有更强的语义理解能力，并能生成更为深度和创新性的评论，从而提高了评论的质量；

(3)强大的适应性：本发明不仅适用于小红书这一特定的社交媒体平台，也可扩展至其他类型的社交媒体平台，具有强大的适应性；

(4)节省资源：本发明通过自动化的方式生成评论，可以节约大量的人力物力和时间资源；

(5)有用性能出现：本发明相较于之前主要由人工生成评论的方式，通过引入了大语言模型对内容进行理解和生成，使得生成的评论更具有参考价值；

(6)操作简便：本发明只需输入小红书链接和预设的提示词，即可生成符合需求的评论，无需复杂的操作，大大简化了用户的使用流程；

(7)经实验证明，采用本发明的技术方案，不仅可以快速生成评论，而且生成的评论质量高，深受用户欢迎，值得推广应用。

[附图说明]

图1是本发明的原理框图；

图2是本发明装置的结构示意图；

图3是本发明方法的流程示意图；

图4是本发明计算机设备的结构示意图。

[具体实施方式]

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图和具体实施例，对本发明作以下进一步说明：

在一些实施例中，本发明提供了一种基于大语言模型进行社交媒体内容生成的装置，其主要包含以下几个部分：

链接抓取模块，用于负责从给定的小红书笔记链接中抓取所需的笔记内容；

数据预处理模块，用于对抓取到的笔记内容进行预处理，包括但不限于清洗无效信息、格式化数据等，使其格式适应于语言模型的输入；

语言模型SGPT4.0，用于接受预处理后的笔记内容和预设的提示词，并基于该模型进行计算，生成相应的评论内容；

输出模块，用于将生成的评论内容进行格式化后输出；

各模块之间的连接关系为，链接抓取模块到数据预处理模块，再到语言模型，然后输出模块。

在其他一些实施例中，各模块的具体实现如下：

(1)链接抓取模块：链接抓取法主要采用HTTP请求，利用爬虫技术抓取给定小红书链接的网页源代码，通过正则表达式或者HTML解析方法从网页源代码中提取出所需要的笔记内容。

(2)数据预处理模块：预处理通过诸如标记化(tokenization)、词干提取(stemming)、词形还原(lemmatization)、去除停用词(stop words removal)等技术进行，其主要目的是将非结构化的文本数据处理成结构化或者半结构化的形式，以供进一步分析。

(3)大语言模型SGPT4.0结构：基于Transformer架构，其具备自注意力机制(Self-Attention)，能够捕获文本序列中的长距离依赖关系；大语言模型是通过在海量文本数据上进行预训练学习到的复杂的文本表示模型；关于其具体计算公式和机制如下，对于序列中的每个元素x_i，都会分别计算其查询向量(Q，Query)、键向量(K，Key)和值向量(V，Value)：

[ ext{Q}_i＝ ext{W}^Q x_i,quad ext{K}_i＝ ext{W}^K x_i,quad ext{V}_i＝ ext{W}^V x_i]

这里的( ext{W}^Q, ext{W}^K, ext{W}^V)是可训练的权重矩阵，此处为本领域技术人员所知，故不再详细介绍。

(4)输出模块：一般情况下，语言模型的输出为每个单词的概率分布，通过挑选概率值最大的单词或使用抽样的方式生成一段文本；这一模块还需要处理分类问题时的softmax函数，文本生成问题时的文本后处理技术等。

此外，以上为一般性应用实现，对于具体实施方案，需要根据技术需求和环境进行具体的设计和实施，一般会涉及架构设计、系统优化、性能调优等方面。

在另外一些实施例中，本发明提供了一种基于大语言模型进行社交媒体内容生成的方法，其原理及主要步骤为：根据输入的小红书链接，获取对应的笔记内容，对内容进行预处理后，将预处理后的内容和预设的提示词输入到SGPT4.0模型中，之后模型根据其内部预训练好的参数对输入进行计算，并生成相应的评论内容，最后经过输出模块处理后，以特定的格式输出生成的评论。

通过以上的技术方案和措施，不仅解决了手动撰写评论的时间和精力消耗问题，而且生成出的评论具备一定的深度和创新性，大大提升了评论内容的质量和用户体验；同时，本发明的模型可应用于各类社交媒体评论生成，适应性强，具有较大的应用价值。

以下结合一个具体实施例对本发明作进一步说明：

开始时，具体实现的系统接收到了一个小红书笔记的链接，以及用户定义的一个生成评论的提示词为"给这款产品打分"。

首先，链接抓取模块发起HTTP请求，获取到小红书笔记的网页内容。用JavaScript进行DOM操作，获得页面中关于笔记的关键信息，例如笔记发布者、发布时间、笔记内容等。

随后，数据预处理模块接手处理这些信息。通过对笔记内容进行中文分词，去除停顿词，对图片和视频(如果存在的话)进行特征提取。在这个过程中，使用了jieba分词工具和opencv图像处理库进行操作。

处理完的数据接着被送入已经预训练好的SGPT4.0模型。模型接收到两部分输入，一部分是上述处理过的笔记内容，另一部分是用户定义的提示词。大语言模型开始计算，执行Encoder-Decoder架构，Encoder部分分析处理笔记内容的语义，Decoder部分根据提示词，生成蕴含笔记内容语义的相关评论。

在SGPT4.0模型计算完毕后，生成的评论被送入输出模块。在这里进行最后的后处理，例如清理不完整的句子、校验语法等。最后输出一段完整的、通顺的、高质量的评论内容。

该实施例，展示了从抓取网页内容到生成评论的全过程。每个模块之间的动态关系清晰，各自的作用效果明显。在实际应用中，还可以根据实际需求，调整模块参数或修改模块实现，以优化评论生成效果。

在另外一些实施例中，附图4为本发明计算机设备的示意图。所述计算机设备包括处理器、存储器和总线；处理器与存储器通过总线连接，存储器用于存储程序，处理器用于运行程序，程序运行时执行上述本发明提供的基于大语言模型进行社交媒体内容生成的方法。进一步地，本发明还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，程序执行上述本发明提供的基于大语言模型进行社交媒体内容生成的方法。

计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解，附图4仅为计算机设备的示例，并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。

处理器可以是中央处理单元CPU，还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC、现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。该处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分。

存储器可用于存储计算机程序和/或模块/单元，处理器通过运行或执行存储在存储器内的计算机程序和/或模块/单元，以及调用存储在存储器内的数据，实现计算机设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡SMC，安全数字SD卡，闪存卡，至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。

本发明实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机设备可读取存储介质中。基于这样的理解，本发明实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机，服务器，移动计算设备或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤；而前述的存储介质包括U盘、移动硬盘、只读存储器、随机存取存储器、磁盘或者光盘等各种可以存储程序代码的介质。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上实施例仅用以说明本发明的技术方案，而并非对其进行限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化；尽管参照前述实施例对本发明进行了详细的说明，但本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

本发明不受上述实施方式的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。