数据处理方法、系统、电子设备及存储介质

技术领域

本发明涉及一种数据处理技术领域，特别地涉及一种数据处理方法、系统、电子设备及存储介质。

背景技术

在人力资源管理工作中，通常涉及到大量的数据收集和整合工作，如在员工入职时需要向管理系统中增加员工个人信息、社保信息等；在员工离职后需要进行各种内部信息的更新等。目前的人力资源管理系统，如EHR系统或HRSaas系统等，通常采用Excel表或调用某些系统的API进行数据的批量操作。而在企业HR的实际工作过程中，其需要导入系统的数据通常涉及各种渠道、不同来源、不同格式，例如，收集的数据有文本格式、Excel格式、图片格式等，不同来源的文件的文案、格式、表头等各不相同，虽然现有的人力资源管理系统能够提供数据的批量导入操作，但是需要HR将上述各种原始数据整理和汇总成标准的导入格式，如Excel表，并在EHR或HRSaas系统中通过相应的页面功能反复导入/录入/修正数据，这些原始数据的整理和汇总占用了HR大量的时间。

发明内容

针对现有技术中存在的技术问题，本发明提出了一种数据处理方法、系统、电子设备及存储介质，用于将原始数据整理并汇总为指定的标准格式数据。

为了解决上述技术问题，根据本发明的一个方面，本发明提供了一种数据处理方法，包括以下步骤：

接收用户自交互界面输入的初始对话内容，并将所述初始对话内容转换为原始文本数据，其中，所述初始对应内容中包含待转换的原始数据；

调用语言模型对所述原始文本数据进行语义理解，并在语义理解过程中生成与用户交互的第二对话内容；

接收用户对所述第二对话内容的响应内容并转换为响应文本数据发送给所述语言模型，由所述语言模型进行语义理解；

响应于所述语言模型对接收到的原始文本数据和响应文本数据的语义理解处理结果得到对所述原始数据进行处理后的第一格式数据；以及

将所述第一格式数据转换为用户指定格式的数据并发送到交互界面。

可选地，在所述语言模型对所述原始文本数据和/或响应文本数据进行语义理解时，进一步包括：

所述语言模型基于自然语言提示信息对当前文本数据进行校验以确定需要补充的内容；

所述语言模型基于需要补充的内容生成补充内容描述文本；以及

将所述补充内容描述文本封装到对话模板生成所述第二对话内容。

可选地，所述原始数据为能够在交互界面中的对话显示区的显示的文本数据、图像数据，或能够在交互界面中播放的音频数据或视频数据；或者，所述原始数据为用户填加到交互界面中的文件。

可选地，所述交互界面包括应用场景选择区或列表，基于用户选择的应用场景标识确定当前的应用场景。

可选地，所述的数据处理方法进一步包括：基于确定的应用场景指定对应的提示信息，调用语言模型基于指定的提示信息对所述原始文本数据进行语义理解。

可选地，在确定当前的应用场景且接收到用户自交互界面输入的初始对话内容后建立会话，并设置会话ID；在识别到会话结束标识信息时结束会话；其中，所述会话结束标识信息包括用户自所述交互界面输入的结束指令或用户关闭交互界面的操作。

可选地，所述第一格式为提示信息中指定的格式；用户指定格式包括文本格式、表格格式、JSON格式或系统接口调用格式。

为了解决上述技术问题，根据本发明的一个方面，本发明提供了一种数据处理系统，包括交互模块、中间层处理模块和语言模型模块，其中，

所述交互模块经配置以提供交互界面，并接收用户自交互界面输入的第一对话内容，其中所述第一对话包括初始对话内容和响应对话内容，所述初始对话内容中包括待转换的原始数据，所述响应对话内容为用户输入的对第二对话内容的响应内容；

所述中间层处理模块分别与所述交互模块和所述语言模型模块相连接，经配置包括：

对话内容管理单元，经配置以从所述交互模块接收第一对话内容，并向所述交互模块发送第二对话内容；

输入数据处理单元，经配置以将第一对话内容转换为文本数据；

数据转发单元，经配置以将对应第一对话内容的文本数据发送给所述语言模型模块提供的语言模型，并将所述语言模型模块发送来的与用户交互的第二对话内容发送给所述对话内容管理单元；以及

输出数据处理单元，经配置将来自所述语言模型模块的第一格式数据转换为用户指定格式的数据，并经由所述对话内容管理单元发送到交互界面模块；

所述语言模型模块与所述中间层处理模块的数据转发单元相连接，经配置以对第一对话内容的文本数据进行语义理解，并在语义理解过程中生成与用户交互的第二对话内容；当对第一对话内容的文本数据的语义理解处理结果符合自然语言提示信息时生成第一格式数据，并发送给所述输出数据处理单元。

可选地，所述交互模块提供的交互界面至少包括：

内容输入区，经配置以提供输入界面，用户自所述内容输入区输入初始对话内容和对所述第二对话内容的响应内容；以及

对话显示区，经配置显示所述第一对话内容和所述第二对话内容。

可选地，所述交互模块提供的交互界面还包括应用场景选择区或列表，经配置以提供多种应用场景。

可选地，所述中间层处理模块还包括场景适配单元，经配置以基于用户选择的应用场景指定对应的自然语言提示信息；对应地，所述语言模型模块基于指定对应的自然语言提示信息对接收到的文本数据进行语义理解。

可选地，对话内容管理单元经配置在确定当前的应用场景且接收到用户自交互界面输入的初始对话内容后建立会话，并存储会话过程中的对话内容；所述对话内容包括第一对话内容和第二对话内容。

为了解决上述技术问题，根据本发明的另一个方面，本发明提供了一种电子设备，其中包括处理器和存储器，所述存储器上存储有计算机程序指令集，在处理器执行存储器上的计算机程序指令集时实现前述的数据处理方法。

为了解决上述技术问题，根据本发明的另一个方面，本发明提供了一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序指令集，所述计算机程序指令被处理器执行时实现前述的数据处理方法。

为了解决上述技术问题，根据本发明的另一个方面，本发明提供了一种计算机程序产品，其包括计算机程序指令，所述计算机程序指令被处理器执行时实现前述的数据处理方法。

本发明实施例能够处理HR在工作过程中从各种渠道，各种来源收集到的不同格式的数据，对输入的数据进行整理、汇总，依据要求得到指定格式的数据或文件，减少了人工整体、汇总工作，提高了工作效率和准确率，并能够实现与现有EHR或HRSaas系统的快速数据交互。

附图说明

下面，将结合附图对本发明的优选实施方式进行进一步详细的说明，其中：

图1是根据本发明的一个实施例的数据处理方法流程图；

图2是根据本发明的一个实施例的交互界面示意图；

图3是根据本发明的一个实施例的数据处理系统原理框图；

图4是根据本发明另一个实施例的数据处理系统原理框图；以及

图5是根据本发明的一个实施例的一种电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在以下的详细描述中，可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中，相似的附图标记在不同图式中描述大体上类似的组件。本申请的各个特定实施例在以下进行了足够详细的描述，使得具备本领域相关知识和技术的普通技术人员能够实施本申请的技术方案。应当理解，还可以利用其它实施例或者对本申请的实施例进行结构、逻辑或者电性的改变。

图1是根据本发明一个实施例的数据处理方法流程图。在本实施例中，所述数据处理方法包括以下步骤：

步骤S11，接收用户自交互界面输入的初始对话内容，将所述初始对话内容中转换为原始文本数据，其中，所述初始对应内容中包含用户要转换的原始数据。

步骤S12，调用语言模型对所述原始文本数据进行语义理解。

步骤S13，所述语言模型在语义理解过程中判断是否得到原始数据的第一处理结果，如果不能得到，则在步骤S14生成与用户交互的第二对话内容，并执行步骤S15；如果已经得到原始数据的第一处理结果，则在步骤S18对所述第一处理结果进行处理得到第一格式数据，执行步骤S19。

步骤S15，将所述第二对话内容发送到交互界面以显示给用户。

步骤S16，接收用户对所述第二对话内容的响应内容并转换为响应文本数据发送给所述语言模型。

步骤S17，所述语言模型接收所述响应文本数据继续进行语义理解，并执行步骤S13。

步骤S19，将所述第一格式数据转换为用户指定格式的数据并发送到交互界面以提供给用户。

参见图2，图2是根据本发明一个实施例的交互界面示意图，在本实施例中，所述交互界面11至少包括内容输入区111和对话显示区112，所述内容输入区111用以提供输入界面，用户能够自所述内容输入区111输入对话内容，对话内容对应的数据格式例如为文本、语音、视频、图像等等。这些数据随着用户的输入操作显示到对话显示区112。如显示文本内容，显示图像内容，显示语音、视频等数据的符号，在用户点击时可以在当前界面播放所述的语音、视频。用户还能够输入其它类型的数据作为对话显示到对话显示区112，如表情符号、文件等。当用户想要输入整理汇总的数据时，可以以文本、图像、语音、视频等方式将原始数据输入到对话显示区112。或者通过传输文件的方式，将记载有原始数据的文件传输到交互界面11中。在一个显示方式中，在对话显示区112显示已传输的文件符号，并显示文件名及格式。为了区别与用户输入的内容是否携带原始数据，将用户输入的携带原始数据的对话内容命名为初始对话内容，将用户输入的用于响应语言模型的对话内容命为响应内容。

在对话显示区112中，以气泡形状等方式显示对话。其中，以气泡所在位置、特定标记等区分对话的发出者。例如，将承载用户对话的气泡置于显示区域的左侧，将承载语言模型发出的气泡置于显示区域的右侧。

优选地，所述交互界面11还可以包括应用场景选择区113，如图中所示。通过应用场景选择区113提供多种应用场景，如图中所示的场景1，场景2等，当然，图2仅为示例，应用场景也可以通过其他方式提供，如列表、下拉菜单等，在此不作限制。在一个实施例中，每种应用场景对应一个提供给训练好的语言模型的自然语言提示信息(简称Prompt)，所述语言模型通过对开源大模型进行微调，并通过大量数据训练得到。所述的应用场景例如对应于HR管理系统中涉及的各种场景，如“员工新增”、“合同签署”、“员工离职”、“员工信息变更”等等。语言模型基于不同场景的Prompt专注于相关场景的各种语义理解，从而能够有效提高语义理解的准确度。

在步骤S11和步骤S16，将用户输入的对话内容转换为文本数据。在转换时还包括一些必要的格式转换、内容清洗等步骤。例如，当用户输入的对话内容是以文本格式输入时，可从中去除其中一些表情符号、连续空白符等。当用户输入的对话内容是以表格格式输入时，将其中的表格去掉，并为每个表格内容设置分隔符。例如，对于.xlsx、.csv的文件内容，行之间用换行符分隔，列之间用|分隔，包含表头。如：

姓名|电话|性别

张三|138xxx|男

李四|138xxx|男

当用户输入的对话内容是以语音方式输入时，首先将语音内容识别为文本，再将识别到的文本内容经过前述的清洗步骤。当用户输入的对话内容是以视频方式输入时，首先进行视音频的分离，对音频进行识别得到第一文本，而后对视频进行关键帧提取，并对关键帧进行图像识别，进而得到第二文本。其中，当关键帧的图像为文本内容时，可通过OCR识别技术得到第二文本，当关键帧的图像为非文本内容时，采用深度学习模型得到对所述非文本内容的描述文本，将所述描述文本作为第二文本。而后再将第一文本和第二文本合并，对合并后的文本进行内容清洗。

在步骤S12中，基于当前的应用场景确定对应的自然语言提示信息，再将转换后的文本发送给所述语言模型，所述语言模型基于确定的自然语言提示信息对输入的文本进行语义理解，用以输出整理好的数据。

本发明采用的语言模型为大语言模型(Large Language Models，简称LLM)例如为通用语言模型(General Language Model，简称GLM)，由清华大学KEG实验室和智谱AI共同训练，用到最大的模型是GLM3-6B，具有1300亿参数，支持中英双语。还有其他的模型，如双语(中文和英文)双向稠密模型GLM-10B/130B；Meta开源的预训练语言模型，如OPT-2.7B/13B/30B/66B；Bloom系列模型，如Bloom-7B/13B/176B；Open AI的系列模型，GPT-4/3.5/；谷歌的PaLM2系列模型，如Gecko、Otter、Buson、Unicorn等。

本发明利用上述任意一个模型作为进行语义理解的语言模型，基于应用场景为其提供自然语言提示信息，语言模型在进行语义理解时，基于自然语言提示信息中的要求校验当前的数据是否正确、全面，如果缺少必要的数据，则会生成要求用户补充数据的对话，本发明将语言模型发出的对话称为第二对话。例如，自然语言提示信息(Prompt)中提供有需要整理的数据类型、要求等内容，所述语言模型在进行语义理解时，基于Prompt对当前文本数据进行校验以确定需要补充的内容。例如，当Prompt中规定了每个人员的信息中需要包括“手机号码”、“入职日期”、“雇佣类型”、“社保起始月”等信息时，所述语言模型校验当前文本数据是否包括了前述的各种信息，如果缺少了其中的任何一种信息，基于需要补充的内容生成补充内容描述文本，并将所述补充内容描述文本封装到对话模板生成第二对话内容，发送到交互界面，例如显示在对话显示区112中，用于提示用户补充的信息类型、内容等等。用户通过对话显示区112能够了解到还需要补充的内容。当用户通过内容输入区111补充了内容后，该补充内容被转换为文本数据并输入给所述语言模型。通过上述的过程，所述语言模型能够汇总到全面的数据内容，在此称为第一处理结果，并将其按照预置的格式排版。其中，按照预置的格式进行了排版的数据在本发明中命名为第一格式数据，所述的第一格式，也就是在Prompt中指定的预置格式。例如在Prompt中指定按照JSON格式排版，语言模型得到的一段第一格式数据如下所述：

另外，为了更好地维护当前的会话，在一个实施例中，在确定当前的应用场景且接收到用户自交互界面输入的初始对话内容后建立会话，并设置会话ID，用于存储会话过程中的相应的对话内容，从而建立会话日志，在会话日志中记录所有的对话内容，方便日后查询。在识别到会话结束标识信息时结束会话。例如，用户自所述交互界面输入的结束指令，或者用户关闭交互界面的操作，所述的结束指令、关闭操作却可以作为会话结束标识。

步骤S19中的用户指定格式例如为文本格式、表格格式、JSON格式或系统接口调用格式等等。在一个实施例中，所述的指定格式可由用户在交互界面中设置，例如在输入数据之前先进行设置操作，包括选择对应的应用场景、设置所需数据的格式，或存储的文件格式等等。在另一个实施例中，在用户没有设置所需的数据格式时，通过对话的方式给出用户可用的选项，用户以对话的方式发出其选择的格式选项。用户可用的选项例如为“Excel”、“Txt”、“Csv”、“JSON”、“直接对接系统”。当用户选择了“直接对接系统”后，获取用户当前管理系统(如HRSaas系统)的API接口及其数据格式，将第一格式数据转换成所述API要求的数据格式。例如，HRSaas系统提供的员工增员接口信息包括以下内容：

Path：/api/employee/Add

Method：POST

Headers格式：

Body格式：

本发明在获得了上述的API接口信息后，首先基于第一格式数据构造输出数据的结构体，然后调用场景对应的用户使用的API接口，并将输出数据以map的方式提交给HRSaas系统，从而实现了与HRSaas系统的直接数据交互。

本发明能够处理HR在工作过程中从各种渠道，各种来源收集到的不同格式的数据，对输入的数据进行整理、汇总，依据要求得到指定格式的数据或文件，减少了人工整体、汇总工作，提高了工作效率；本发明在输出数据时可以直接对接HR使用的HRSaas系统，简化系统操作，并且能够针对不同场景做大量扩展，例如增加各类人员信息收集、信息更新、参保、调转、离职等信息；从整体上减少了人工重复工作、提高了工作效率和准确率。

图3是根据本发明一个实施例的数据处理系统原理框图，参见图3，所述数据处理系统包括交互模块1、中间层处理模块2和语言模型模块3，其中，所述交互模块1经配置以提供交互界面11，并接收用户自交互界面输入的第一对话内容，其中所述第一对话包括初始对话内容和响应对话内容，所述初始对话内容中包括待转换的原始数据，所述响应对话内容为用户输入的对第二对话内容的响应内容。所述交互界面11如图2所示，在此不再赘述。

所述中间层处理模块2分别与所述交互模块1和所述语言模型模块3相连接，经配置包括对话内容管理单元21、输入数据处理单元22、数据转发单元23和输出数据处理单元24，其中，所述对话内容管理单元21从所述交互模块1接收第一对话内容，并向所述交互模块1发送第二对话内容。所述输入数据处理单元22与所述对话内容管理单元21相连接，将第一对话内容转换为文本数据，并发送给数据转发单元23。数据转发单元23将对应第一对话内容的文本数据发送给所述语言模型模块3提供的语言模型，并将所述语言模型模块3发送来的与用户交互的第二对话内容发送给所述对话内容管理单元21，将所述语言模型模块3提供的处理完成的第一格式数据发送给输出数据处理单元24。所述输出数据处理单元2将所述语言模型提供的处理完成的第一格式数据转换为用户指定格式的数据，经由所述对话内容管理单元21返回给交互模块1。

所述语言模型模块3与所述中间层处理模块2的数据转发单元相连接，所述语言模型模块3在接收到来自数据转发单元23的第一对话内容的文本数据后，调用已训练好的语言模型对第一对话内容的文本数据进行语义理解，并在语义理解过程中生成与用户交互的第二对话内容；当对第一对话内容的文本数据的语义理解处理结果符合时得到对所述原始数据进行处理的第一格式数据，并发送给所述输出数据处理单元24。

进一地，所述中间层处理模块2还包括场景适配单元25，如图4所示，图4是根据本发明另一个实施例的数据处理系统原理框图。当用户选择了应用场景时，如用户基于图2所示的交互界面11中的应用场景选择区113选择了一种应用场景，所述应用场景标识被发送到中间层处理模块2，在一个实施例中，可由对话内容管理单元21接收，并发送给场景适配单元25，在另一个实施例中，交互模块1可将所述应用场景标识直接发送给场景适配单元25。场景适配单元25接收到应用场景标识后，基于应用场景标识和自然语言提示信息的对应关系，确定对应的自然语言提示信息。在本实施例中，所述语言模型模块3提供有多种分别应用于不同场景的自然语言提示信息，当用户选择了一种应用场景，中间层处理模块2的场景适配单元25基于所述应用场景确定对应的自然语言提示信息，将所述自然语言提示信息的标识发送给所述语言模型模块，所述语言模型模块3调用语言模型基于指定对应的自然语言提示信息对接收到的文本数据进行语义理解。

另外，对话内容管理单元21在从交互模块1接收到应用场景标识且接收到用户自交互界面输入的初始对话内容后建立会话，并设置会话ID，在识别到会话结束标识信息时结束会话，从而能够保存会话过程中的对话内容，在一个实施例中，对话内容管理单元21以会话日志的方式记录对话内容。

图5是根据本发明一个实施例的一种电子设备的硬件结构示意图，所述电子设备例如为桌上型个人电脑、膝上型电脑、平板电脑、移动终端等等。所述电子设备包括处理器601和存储器602，所述存储器602上存储有程序指令集，在处理器601执行存储器602上的程序指令集时实现前述的数据处理方法。

具体地，上述处理器601可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或多个以上这些的组合。在合适的情况下，存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器602可在综合网关容灾设备的内部或外部。在特定实施例中，存储器602是非易失性固态存储器。

存储器可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行本发明提供的数据处理方法。

在一个示例中，电子设备还可包括通信接口603和总线604。其中，如图5所示，处理器601、存储器602、通信接口603通过总线604连接并完成相互间的通信。

通信接口603主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线604包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线604可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令可以被处理器执行时实现前述实施例中的数据处理方法。所述计算机可读存储介质可以是可有形的包含或存储计算机可执行指令以供指令执行系统、装置和设备使用或与其结合的任何介质。存储介质可以是暂态计算机可读存储介质或非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置和/或半导体存储装置。此类存储装置对应的实施例例如包括磁盘、基于CD、DVD或蓝光技术的光盘以及持久性固态存储器诸如闪存、固态驱动器等。

本发明还提供一种计算机程序产品，其包括计算机程序指令，所述计算机程序指令被处理器执行时实现前述数据处理方法。所述计算机程序产品包括但不限于公布于网站、应用商店中的应用安装包、应用插件、可以运行于某些应用中的小程序等形式。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

上述实施例仅供说明本发明之用，而并非是对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明范围的情况下，还可以做出各种变化和变型，因此，所有等同的技术方案也应属于本发明公开的范畴。