数据中心网络运维评估方法、装置及存储介质

技术领域

本发明涉及网络运维技术领域，特别涉及一种数据中心网络运维评估方法、装置及存储介质。

背景技术

评估大语言模型在网络运维领域的综合能力对于提高网络运维效率、保障网络安全、降低故障和问题的影响具有重要意义，通过评估其能力，可以优化网络运维流程、提高系统性能，并实现自动化和智能化的网络运维。

相关技术中，传统的评测方法通常通过Zero-shot评估或者Few-shot评估的方式对大语言模型在网络运维领域的综合能力进行评估。

然而，在当前大语言模型网络运维领域，上述的评测方法在对模型文本输出的准确解析上以及在全面性和准确性之间的平衡方面存在不足，亟待改进。

发明内容

本发明提供一种数据中心网络运维评估方法、装置及存储介质，以解决传统的评测方法在对模型文本输出的准确解析上以及在全面性和准确性之间的平衡方面存在不足的问题。

本发明第一方面实施例提供一种数据中心网络运维评估方法，包括以下步骤：

采集多种网络运维场景的提示语、网络运维题目标准答案、网络拓扑和配置信息；

对所述多种网络运维场景的提示语进行处理得到多样性提示语变体，并将所述多样性提示语变体输入至预设的大语言模型，且通过所述预设的大语言模型推理输出多样模型文本，且利用预设的正则表达式和预设的输出概率提取策略对所述多样模型文本进行解析，得到至少一个关键信息；

基于所述多样性提示语变体、所述网络拓扑和所述配置信息，模拟实际网络运维情境，得到实际网络运维情境的模型输出结果，并根据所述模型输出结果进行仿真测试，得到仿真测试结果；

根据所述至少一个关键信息和所述网络运维题目标准答案得到第一评分结果，并根据所述仿真测试结果和目标结果进行比对得到第二评分结果，且根据所述第一评分结果和所述第二评分结果得到网络运维评估结果。

根据本发明的一个实施例，在根据所述第一评分结果和所述第二评分结果得到网络运维评估结果之后，还包括：

根据所述网络运维评估结果生成网络运维优化建议。

根据本发明的一个实施例，所述对所述多种网络运维场景的提示语进行处理得到多样性提示语变体，包括：

利用预设的自然语言处理算法，对所述多种网络运维场景的提示语进行分析，得到初始提示语变体；

利用预设的语境感知算法，对所述初始提示语变体进行处理得到所述多样性提示语变体，其中，所述多样性提示语变体覆盖所述多种网络运维场景，且在每种网络运维场景具有多种难度级别。

根据本发明的一个实施例，所述根据所述至少一个关键信息和所述网络运维题目标准答案得到第一评分结果，包括：

获取每个关键信息对应的权重，并计算所述每个关键信息和对应标准答案的相似度；

基于所述相似度和所述每个关键信息对应的权重，得到所述第一评分结果。

根据本发明的一个实施例，在获取所述每个关键信息对应的权重之前，还包括：

判断是否接收到权重更新指令；

若接收到所述权重更新指令，则基于所述权重更新指令更新所述每个关键信息对应的权重。

根据本发明实施例的数据中心网络运维评估方法，通过采集多种网络运维场景的信息，处理和输入至大语言模型，并结合网络拓扑和配置信息模拟实际网络运维情境，得到模型输出结果和仿真测试结果，根据关键信息和标准答案进行评分并根据仿真测试结果和目标结果进行比对，最终得出网络运维评估结果。由此，改善了传统评测方法在评估大语言模型网络运维能力方面的不足，能够全面评估大语言模型在网络安全方面的响应能力，识别潜在威胁和漏洞，提升整体安全性，保护网络免受恶意攻击。

本发明第二方面实施例提供一种数据中心网络运维评估装置，包括：

采集模块，用于采集多种网络运维场景的提示语、网络运维题目标准答案、网络拓扑和配置信息；

处理模块，用于对所述多种网络运维场景的提示语进行处理得到多样性提示语变体，并将所述多样性提示语变体输入至预设的大语言模型，且通过所述预设的大语言模型推理输出多样模型文本，且利用预设的正则表达式和预设的输出概率提取策略对所述多样模型文本进行解析，得到至少一个关键信息；

模拟模块，用于基于所述多样性提示语变体、所述网络拓扑和所述配置信息，模拟实际网络运维情境，得到实际网络运维情境的模型输出结果，并根据所述模型输出结果进行仿真测试，得到仿真测试结果；

评估模块，用于根据所述至少一个关键信息和所述网络运维题目标准答案得到第一评分结果，并根据所述仿真测试结果和目标结果进行比对得到第二评分结果，且根据所述第一评分结果和所述第二评分结果得到网络运维评估结果。

根据本发明的一个实施例，在根据所述第一评分结果和所述第二评分结果得到网络运维评估结果之后，所述评估模块，还用于：

根据所述网络运维评估结果生成网络运维优化建议。

根据本发明的一个实施例，所述处理模块，用于：

利用预设的自然语言处理算法，对所述多种网络运维场景的提示语进行分析，得到初始提示语变体；

利用预设的语境感知算法，对所述初始提示语变体进行处理得到所述多样性提示语变体，其中，所述多样性提示语变体覆盖所述多种网络运维场景，且在每种网络运维场景具有多种难度级别。

根据本发明的一个实施例，所述评估模块，用于：

获取每个关键信息对应的权重，并计算所述每个关键信息和对应标准答案的相似度；

基于所述相似度和所述每个关键信息对应的权重，得到所述第一评分结果。

根据本发明的一个实施例，在获取所述每个关键信息对应的权重之前，所述评估模块，还用于：

判断是否接收到权重更新指令；

若接收到所述权重更新指令，则基于所述权重更新指令更新所述每个关键信息对应的权重。

根据本发明实施例的数据中心网络运维评估装置，通过采集多种网络运维场景的信息，处理和输入至大语言模型，并结合网络拓扑和配置信息模拟实际网络运维情境，得到模型输出结果和仿真测试结果，根据关键信息和标准答案进行评分并根据仿真测试结果和目标结果进行比对，最终得出网络运维评估结果。由此，改善了传统评测方法在评估大语言模型网络运维能力方面的不足，能够全面评估大语言模型在网络安全方面的响应能力，识别潜在威胁和漏洞，提升整体安全性，保护网络免受恶意攻击。

本发明第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的数据中心网络运维评估方法。

本发明第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的数据中心网络运维评估方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明的一个实施例的网络运维评估系统主要模块的工作流程图；

图2为根据本发明实施例提供的一种数据中心网络运维评估方法的流程图；

图3为根据本发明实施例的数据中心网络运维评估装置的方框示意图；

图4为根据本发明实施例的电子设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例的数据中心网络运维评估方法、装置及存储介质，针对上述背景技术中提到的传统评测方法在对模型文本输出的准确解析上以及在全面性和准确性之间的平衡方面存在不足的问题，本发明提供了一种数据中心网络运维评估方法，在该方法中，通过采集多种网络运维场景的信息，处理和输入至大语言模型，并结合网络拓扑和配置信息模拟实际网络运维情境，得到模型输出结果和仿真测试结果，根据关键信息和标准答案进行评分并根据仿真测试结果和目标结果进行比对，最终得出网络运维评估结果。由此，改善了传统评测方法在评估大语言模型网络运维能力方面的不足，能够全面评估大语言模型在网络安全方面的响应能力，识别潜在威胁和漏洞，提升整体安全性，保护网络免受恶意攻击。

在介绍本发明实施例的数据中心网络运维评估方法之前，首先介绍一下本发明的数据中心网络运维评估方法应用于的网络运维评估系统。

具体地，如图1所示，该网络运维评估系统包括数据获取装置、提示语生成模块、网络运维大模型推理模块、笔试题答案解析模块、评分模块、仿真测试环境评测模块、上机配置操作解析模块、综合评估和结果分析模块。

其中，数据获取模块，用于收集多样的输入提示语、网络运维题目标准答案、网络拓扑和配置信息；提示语生成模块，用于通过自然语言处理生成变体，确保覆盖不同场景和难度级别，即确保输入提示语的多样性和覆盖性，提示语生成模块还包括零样本模块、少样本模块、思维链模块和检索增强模块，其中，检索增强模块的示例可以来自预先建立的向量数据库模块，该向量数据库模块的建立方式可以采用相关技术中的建立方式，为避免冗余，在此不做详细赘述；网络运维大模型推理模块，用于利用大型语言模型进行推理，生成多样的文本输出；笔试题答案解析模块用于利用正则表达式和输出概率提取技术对模型文本输出进行准确解析；评分模块，用于通过直接对比模型输出与标准答案进行评分；仿真测试环境评测模块，用于利用进程虚拟化网络仿真工具构建真实的网络运维测试环境；综合评估和结果分析模块，用于结合各个模块，形成综合评估流程，提供全面的网络运维能力评估和改进建议。

由此，通过上述协同工作的多个模块实现了对模型网络运维能力全面的评估和分析。

下面介绍应用于网络运维评估系统的数据中心网络运维评估方法。

具体而言，图2为本发明实施例提供的一种数据中心网络运维评估方法的流程示意图。

如图2所示，该数据中心网络运维评估方法包括以下步骤：

在步骤S201中，采集多种网络运维场景的提示语、网络运维题目标准答案、网络拓扑和配置信息。

其中，网络运维题目标准答案指的是对于网络运维题目的正确答案，网络拓扑指的是网络的组织结构、设备之间的连接关系，配置信息包括各种设备和服务的配置参数，例如IP地址、子网掩码、路由规则等。

优选地，本发明实施例可以通过进程虚拟化网络仿真工具Mininet构建网络拓扑和配置信息，在此不做具体限定。

具体地，本发明实施例可以通过上述的网络运维评估系统中的数据获取模块采集多种网络运维场景的提示语、网络运维题目标准答案以及构建的网络拓扑和配置信息。其中，针对网络运维场景的提示语的采集，网络运维评估系统提供用户界面或API（Application Programming Interface，应用程序编程接口）接口，用户可以输入各种网络运维场景的提示语。

进一步地，网络运维题目标准答案、网络拓扑和配置信息存储于数据库，从而确保网络运维评估系统能够对比模型输出与真实情境进行评估。

在步骤S202中，对多种网络运维场景的提示语进行处理得到多样性提示语变体，并将多样性提示语变体输入至预设的大语言模型，且通过预设的大语言模型推理输出多样模型文本，且利用预设的正则表达式和预设的输出概率提取策略对多样模型文本进行解析，得到至少一个关键信息。

其中，预设的大语言模型可以是本领域技术人员预先设定的大语言模型，例如GPT-3，用作推理引擎，在此不做具体限定。预设的正则表达式可以是本领域技术人员预先设定的正则表达式，预设的输出概率提取策略可以是本领域技术人员预先设定的输出概率提取策略，也可以是通过有限次实验得到的输出概率提取策略，在此不做具体限定。

具体地，本发明实施例可以通过网络运维评估系统的提示语生成模块对多种网络运维场景的提示语进行处理得到多样性提示语变体，并将生成的多样性提示语变体输入至预设的大语言模型，并利用推理模块强大的推理能力生成多样的文本输出，覆盖各种可能的运维情境。

由此，通过引入正则表达式和输出概率提取技术，能够有效地处理模型输出，对模型文本输出进行准确解析，使评估更加精确，在全面性和准确性之间取得了更好的平衡，确保评估结果更为可靠和有说服力。

进一步地，通过网络运维评估系统的解析模块，利用正则表达式和输出概率提取技术对模型文本输出进行准确解析，从而提取得到关键信息。通过设计正则表达式模式，以匹配和提取模型输出中的关键信息，例如配置变化、故障诊断等，利用输出概率提取策略，提高了解析模块对不同模型输出情况的适应性和准确性。

进一步地，在一些实施例中，对多种网络运维场景的提示语进行处理得到多样性提示语变体，包括：利用预设的自然语言处理算法（Natural Language Processing，NLP），对多种网络运维场景的提示语进行分析，得到初始提示语变体；利用预设的语境感知算法，对初始提示语变体进行处理得到多样性提示语变体，其中，多样性提示语变体覆盖多种网络运维场景，且在每种网络运维场景具有多种难度级别。

其中，预设的自然语言处理算法和预设的语境感知算法可以是本领域技术人员预先设定的自然语言处理算法和语境感知算法，在此不做具体限定。

具体地，本发明实施例可以利用预设的自然语言处理算法，对用户输入的多种网络运维场景的提示语进行分析，从而得到初始提示语变体，并通过引入预设的语境感知算法，对初始提示语变体进行处理得到多样性提示语变体，如思维链提示、检索增强生成、少样本提示等，确保生成的提示语变体在不同的网络运维场景下都具有合适的语境和难度，即确保评估过程中模型能够面对不同类型和难度的任务，从而有助于更全面地了解模型的性能，并防止过于依赖特定类型的输入。多样性变体方法包括零样本，少样本，思维链和检索增强等方法，通过少样本设置可以帮助大语言模型理解问题领域和任务格式，通过思维链设置可以引导大语言模型进行逻辑推理，给出答题步骤。

零样本提示语直接提供原始题目内容，例如：“问题：在网络故障排除中，哪个命令通常用于检查两台网络设备之间的连通性？a. traceroute b. ping c. netstat d.ifconfig。答案：”；

少样本提示语通过提供问答示例，辅助大语言模型理解问答形式，例如：“问题：下列哪项最能有效地防止网络中的ARP欺骗攻击？a. 使用WPA2加密 b. 启用MAC地址过滤 c.启用端口安全 d. 使用静态ARP条目。答案：d. 使用静态ARP条目。问题：在网络故障排除中，哪个命令通常用于检查两台网络设备之间的连通性？a. traceroute b. ping c.netstat d. ifconfig。答案：”；

思维链提示语通过引导词辅助大语言模型输出解题过程，例如，“问题：下列哪个协议常用于远程服务器管理和文件传输？a. HTTP b. FTP c. SMTP d. POP3。请分步骤思考：”；

检索增强提示语则通过提供相关背景知识辅助大语言模型作答，例如“请根据下文提供的材料回答问题。材料：FTP（File Transfer Protocol）是一种用于文件传输的协议，常用于远程服务器管理和文件传输。问题：下列哪个协议常用于远程服务器管理和文件传输？a. HTTP b. FTP c. SMTP d. POP3。答案：”。

在步骤S203中，基于多样性提示语变体、网络拓扑和配置信息，模拟实际网络运维情境，得到实际网络运维情境的模型输出结果，并根据模型输出结果进行仿真测试，得到仿真测试结果。

具体地，本发明实施例可以通过网络运维评估系统的仿真测试环境评测模块利用进程虚拟化网络仿真工具，如Mininet，构建网络运维测试环境，包括构建虚拟网络拓扑，包括交换机、路由器和主机等网络设备，以及设定设备的初始配置，并提供模拟运维场景的测试脚本，进而运行测试指令，从而模拟实际网络运维情境，从而得到实际网络运维情境的模型输出结果，并根据模型输出结果进行仿真测试，得到仿真测试结果。以下为测试题目、提示语、模型输出和解析出测试指令的例子。

测试题目：“Configure a BGP neighbor relationship between R1, R2 andR3.Configure R1 and R3 in AS 200, Configure R2 in AS 100.”

提示语：“You are a helpful network expert to write networkconfiguration files using FRRouting software.

This task focuses on BGP.The topology information is as follows:

{{There are 3 nodes in topology.

R1 has 3 interfaces: R1-S0 R1-S1 R1-E0.R1-S0 has IP address of1.1.1.1/8, R1-S1 has IP address of 3.3.3.1/8, R1-E0 has IP address of10.1.1.1/8.

R2 has 3 interfaces: R2-S0 R2-S1 R2-E0.R2-S0 has IP address of1.1.1.2/8, R2-S1 has IP address of 2.2.2.1/8, R2-E0 has IP address of20.1.1.1/8.

R3 has 3 interfaces: R3-S0 R3-S1 R3-E0.R3-S0 has IP address of2.2.2.2/8, R3-S1 has IP address of 3.3.3.2/8, R3-E0 has IP address of30.1.1.1/8.

The network links are between: R1-S0 and R2-S0, R1-S1 and R3-S1, R2-S1 and R3-S0.}}

Your task is to write FRR configuration files for network nodesrespectively based on the task description:

{{onfigure a BGP neighbor relationship between R1, R2 andR3.Configure R1 and R3 in AS 200, Configure R2 in AS 100.}}

You must use FRR rules to configure. And the output must obey thefollowing format:

{{Configuration file of:...

###

Configuration file of:...

###

...

...

###

Configuration file of:... }}”。

模型输出：“Configuration file of R1: ...

###

Configuration file of R2: ...

###

Configuration file of R3: ...”。

测试指令：“

R1.conf:

frr defaults datacenter

!

router bgp 200

neighbor 1.1.1.2 remote-as 100

neighbor 3.3.3.2 remote-as 200

address-family ipv4 unicast

network 1.0.0.0/8

network 3.0.0.0/8

network 10.0.0.0/8

exit-address-family

!

line vty

!

end

R2.conf:

frr defaults datacenter

!

router bgp 100

neighbor 2.2.2.2 remote-as 200

neighbor 1.1.1.1 remote-as 200

address-family ipv4 unicast

network 1.0.0.0/8

network 2.0.0.0/8

network 20.0.0.0/8

exit-address-family

!

line vty

!

end

R3.conf:

frr defaults datacenter

!

router bgp 200

neighbor 2.2.2.1 remote-as 100

neighbor 3.3.3.1 remote-as 200

address-family ipv4 unicast

network 2.0.0.0/8

network 3.0.0.0/8

network 30.0.0.0/8

exit-address-family

!

line vty

!

end”

在步骤S204中，根据至少一个关键信息和网络运维题目标准答案得到第一评分结果，并根据仿真测试结果和目标结果进行比对得到第二评分结果，且根据第一评分结果和第二评分结果得到网络运维评估结果。

具体而言，对于笔试题目，本发明实施例通过利用正则表达式和概率分布技术对模型文本输出进行准确解析并直接对比模型答案（即关键信息）与网络运维题目标准答案的方式，从而得到第一评分结果，以确保评分的客观性和公正性。而对于上机题目，本发明实施例可以采用Mininet构建真实测试环境，运行测试指令模拟实际网络运维情境，使得评估更接近实际场景，进而比对仿真测试结果和目标结果得到第二评分结果，从而能够更全面地评估模型在网络运维方面的能力。

由此，通过根据关键信息和网络运维题目标准答案进行评分，得到第一评分结果，并根据仿真测试结果和目标结果进行比对，得到第二评分结果，避免了主观因素对评分结果的影响，提高了评估结果的准确性和客观性，通过综合考虑第一评分结果和第二评分结果，得到网络运维评估结果，实现了更全面地评估网络运维的情况。

进一步地，在一些实施例中，根据至少一个关键信息和网络运维题目标准答案得到第一评分结果，包括：获取每个关键信息对应的权重，并计算每个关键信息和对应标准答案的相似度；基于相似度和每个关键信息对应的权重，得到第一评分结果。

可选地，获取每个关键信息对应的权重的方式有很多种，本发明实施例可以通过数据驱动法，基于历史数据或统计分析，通过对已有数据的分析和模型建立，得出每个关键信息对应的权重。需要说明的是，上述获取每个关键信息对应的权重的方式仅为示例性的，本领域技术人员可以根据实际情况采取其他方式获取每个关键信息对应的权重，在此不做具体限定。

具体地，针对每个关键信息，本发明实施例可以使用文本相似度计算方法（如余弦相似度、编辑距离等）来评估其与对应标准答案的相似程度。例如，将关键信息和标准答案都转化为向量表示，然后计算两者之间的余弦相似度，相似度的计算结果可以用来衡量关键信息的准确性和质量。

进一步地，基于相似度和每个关键信息对应的权重，可以利用加权平均或其他计算方法来计算第一评分结果。具体而言，将每个关键信息的相似度与其对应的权重相乘，再将所有关键信息的得分相加，从而得到第一评分结果。

进一步地，在一些实施例中，在获取每个关键信息对应的权重之前，还包括：判断是否接收到权重更新指令；若接收到权重更新指令，则基于权重更新指令更新每个关键信息对应的权重。

具体地，对于每个关键信息，可以基于经验或专业知识来确定其在整个评分过程中的重要性，比如，某个关键信息可能对网络运维的成功与否有较大影响，因此可以将该关键信息的权重更新为更高的权重，而对于在评分过程中相对次要的关键信息，可以将该关键信息的权重更新为较低的权重。通过上述的权重更新设置，考虑了不同提示语的重要性和难度，实现了灵活调整不同提示语对最终评分的影响。

进一步地，在一些实施例中，在根据第一评分结果和第二评分结果得到网络运维评估结果之后，还包括：根据网络运维评估结果生成网络运维优化建议。

具体地，本发明实施例通过网络运维评估系统的综合评估和结果分析模块设计综合评估算法，并结合提示语生成模块、解析模块、评分模块和仿真测试环境评测模块，形成综合评估流程，综合考虑模型的网络运维能力，进而运用结果分析技术，深入分析模型在不同场景下的表现，提供综合评估结果、模型的网络运维能力、改进建议和优化方向。

由此，通过采用多个提示语工程方法生成多样化的输入提示语，结合正则表达式和输出概率提取技术对模型文本输出进行准确解析，能够在全面性和准确性上取得更好的平衡，提高评估结果的可信度。对于笔试题目，采用直接对比模型答案与标准答案的方式，确保评分客观；而对于上机题目，通过利用网络仿真装置构建真实测试环境，运行测试脚本模拟实际网络运维情境，评估模型输出的配置效果。引入真实测试环境构建，可以在实际网络运维情境中评估模型输出的配置效果，有助于提高运维效率、降低人为错误，并优化系统配置，确保网络服务的稳定性和可靠性。

根据本发明实施例的数据中心网络运维评估方法，通过采集多种网络运维场景的信息，处理和输入至大语言模型，并结合网络拓扑和配置信息模拟实际网络运维情境，得到模型输出结果和仿真测试结果，根据关键信息和标准答案进行评分并根据仿真测试结果和目标结果进行比对，最终得出网络运维评估结果。由此，改善了传统评测方法在评估大语言模型网络运维能力方面的不足，在自动化运维方面，本发明还可用于开发智能运维系统，更好地适应网络环境的变化。通过评估语言模型在实际网络运维中的表现，为自动化运维系统提供准确指导，提高其适应性和效果，减轻运维人员负担。总体而言，本发明不仅有助于提升网络安全防御水平，还在运维产业中提供创新方法，推动了自动化运维系统更好地适应复杂网络环境，推动了网络安全和运维产业的进步。

其次参照附图描述根据本发明实施例提出的数据中心网络运维评估装置。

图3是本发明实施例的数据中心网络运维评估装置的方框示意图。

如图3所示，该数据中心网络运维评估装置10包括：采集模块100、处理模块200、模拟模块300和评估模块400。

其中，采集模块100用于采集多种网络运维场景的提示语、网络运维题目标准答案、网络拓扑和配置信息；处理模块200用于对多种网络运维场景的提示语进行处理得到多样性提示语变体，并将多样性提示语变体输入至预设的大语言模型，且通过预设的大语言模型推理输出多样模型文本，且利用预设的正则表达式和预设的输出概率提取策略对多样模型文本进行解析，得到至少一个关键信息；模拟模块300用于基于多样性提示语变体、网络拓扑和配置信息，模拟实际网络运维情境，得到实际网络运维情境的模型输出结果，并根据模型输出结果进行仿真测试，得到仿真测试结果；评估模块400用于根据至少一个关键信息和网络运维题目标准答案得到第一评分结果，并根据仿真测试结果和目标结果进行比对得到第二评分结果，且根据第一评分结果和第二评分结果得到网络运维评估结果。

进一步地，在一些实施例中，在根据第一评分结果和第二评分结果得到网络运维评估结果之后，评估模块400，还用于：根据网络运维评估结果生成网络运维优化建议。

进一步地，在一些实施例中，处理模块200，用于：利用预设的自然语言处理算法，对多种网络运维场景的提示语进行分析，得到初始提示语变体；利用预设的语境感知算法，对初始提示语变体进行处理得到多样性提示语变体，其中，多样性提示语变体覆盖多种网络运维场景，且在每种网络运维场景具有多种难度级别。

进一步地，在一些实施例中，评估模块400，用于：获取每个关键信息对应的权重，并计算每个关键信息和对应标准答案的相似度；基于相似度和每个关键信息对应的权重，得到第一评分结果。

进一步地，在一些实施例中，在获取每个关键信息对应的权重之前，评估模块400，还用于：判断是否接收到权重更新指令；若接收到权重更新指令，则基于权重更新指令更新每个关键信息对应的权重。

需要说明的是，前述对数据中心网络运维评估方法实施例的解释说明也适用于该实施例的数据中心网络运维评估装置，此处不再赘述。

根据本发明实施例的数据中心网络运维评估装置，通过采集多种网络运维场景的信息，处理和输入至大语言模型，并结合网络拓扑和配置信息模拟实际网络运维情境，得到模型输出结果和仿真测试结果，根据关键信息和标准答案进行评分并根据仿真测试结果和目标结果进行比对，最终得出网络运维评估结果。由此，改善了传统评测方法在评估大语言模型网络运维能力方面的不足，更能全面、准确地评估大语言模型在网络运维方面的能力。

图4为本发明实施例提供的电子设备的结构示意图。该电子设备可以包括：

存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。

处理器402执行程序时实现上述实施例中提供的数据中心网络运维评估方法。

进一步地，电子设备还包括：

通信接口403，用于存储器401和处理器402之间的通信。

存储器401，用于存放可在处理器402上运行的计算机程序。

存储器401可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

如果存储器401、处理器402和通信接口403独立实现，则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构（Industry Standard Architecture，简称为ISA）总线、外部设备互连（PeripheralComponentInterconnect，简称为PCI）总线或扩展工业标准体系结构（Extended IndustryStandard Architecture，简称为EISA）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器401、处理器402及通信接口403，集成在一块芯片上实现，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。

处理器402可能是一个中央处理器（Central Processing Unit，简称为CPU），或者是特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者是被配置成实施本发明实施例的一个或多个集成电路。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的数据中心网络运维评估方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。