数据标注方法、装置及设备

技术领域

本发明涉及信息处理领域，尤其涉及一种数据标注方法、装置及设备。

背景技术

随着网络技术的飞速发展，算法模型的应用范围越来越广泛，例如：可以利用算法模型辅助在线服务人员为用户提供解答服务，具体的，当在线服务人员与用户进行聊天的过程中，可以利用算法模型在交互过程中提供较为合适的回复内容、回复方案等等。

为了能够保证算法模型使用的质量和效率，需要对算法模型进行定期或者不定期的迭代更新操作，目前，算法模型在迭代过程中所需要的打标数据往往是依赖于excel表格等工具来获得，具体的，excel表格中可以包括：算法模型针对会员用户的输入信息所生成的智能推荐内容，而后打标人员可以对excel表格中的智能推荐内容进行数据打标操作，获得打标数据，之后则可以基于打标数据对算法模型进行优化更新操作。

然而，由于excel表格的限制，excel表格中所包括的内容较少，此时，打标人员很难基于excel表格中所包括的数据进行精确的打标操作，这样会严重影响打标数据的精确性。

发明内容

本发明实施例提供了一种数据标注方法、装置及设备，能够通过界面中显示的数据上下文以及关联数据对待标注数据进行准确地打标操作，有效地保证了数据打标操作的准确可靠性。

第一方面，本发明实施例提供一种数据标注方法，包括：

获取待处理的数据标注任务；

响应于评测人员对所述数据标注任务输入的执行操作，显示与所述数据标注任务相对应的待标注数据、与所述数据标注任务相对应的任务标注方式、与所述待标注数据相对应的数据上下文以及关联数据，其中，所述待标注数据由预设算法模型所生成；

响应于评测人员基于所述任务标注方式、数据上下文以及关联数据对所述待标注数据输入的标注操作，获得与所述待标注数据相对应的标注结果。

第二方面，本发明实施例提供一种数据标注装置，包括：

第一获取模块，用于获取待处理的数据标注任务；

第一显示模块，用于响应于对所述数据标注任务输入的执行操作，显示与所述数据标注任务相对应的待标注数据、与所述数据标注任务相对应的任务标注方式、与所述待标注数据相对应的数据上下文以及关联数据，其中，所述待标注数据由预设算法模型所生成；

第一处理模块，用于响应于评测人员基于所述任务标注方式、数据上下文以及关联数据对所述待标注数据输入的标注操作，获得与所述待标注数据相对应的标注结果。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的数据标注方法。

第四方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第一方面中的数据标注方法。

第五方面，本发明实施例提供了一种计算机程序产品，包括：存储有计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行上述第一方面所示的数据标注方法中的步骤。

本实施例提供的数据标注方法、装置及设备，通过获取待处理的数据标注任务，响应于评测人员对所述数据标注任务输入的执行操作，显示与所述数据标注任务相对应的待标注数据、与所述数据标注任务相对应的任务标注方式、与所述待标注数据相对应的数据上下文以及关联数据，响应于评测人员基于所述任务标注方式、数据上下文以及关联数据对所述待标注数据输入的标注操作，获得与所述待标注数据相对应的标注结果，这样不仅实现了打标人员能够通过显示界面中显示的数据上下文以及关联数据进行高质量、快速的数据打标操作，有效地保证了数据打标操作的准确可靠性，并且实现方式简单、可靠，无需评测人员与其他人员之间多次的交互操作，进一步提高了该方法的实用性，有利于市场的推广与应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据标注方法的场景示意图；

图2为本发明实施例提供的一种数据标注方法的流程示意图；

图3为本发明实施例提供的数据标注任务的显示示意图；

图4为本发明实施例提供的对数据标注任务输入执行操作之后的显示示意图；

图5为本发明实施例提供的另一种数据标注方法的流程示意图；

图6为本发明实施例提供的数据集导入界面的示意图；

图7为本发明实施例提供的显示与所述数据标注任务相对应的待标注数据的流程示意图；

图8为本发明应用实施例提供的创建评测任务的示意图；

图9为本发明应用实施例提供的对评测任务执行查看操作之后的示意图；

图10为本发明应用实施例提供的对任务标注方式和待标注数据进行显示的示意图一；

图11为本发明应用实施例提供的对任务标注方式和待标注数据进行显示的示意图二；

图12为本发明实施例提供的一种数据标注装置的结构示意图；

图13为与图12示实施例提供的数据标注装置对应的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的商品或者系统中还存在另外的相同要素。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

术语定义：

评测：对已上线模型或者待上线模型产生的应答内容、方案等产物进行打标操作，打标数据会回流到算法模型的训练任务中来帮助优化模型效果。

为了便于理解本实施例中的数据标注方法、装置及设备的具体实现过程和实现效果，下面先对相关技术进行简要说明：

随着ChatGPT带来的人工智能(Artificial internal，简称AI)浪潮，算法模型的应用范围越来越广泛，例如，算法模型可以应用于在线工作台(能够为用户提供在线服务能力)中，所嵌入的算法模型能够为在线工作台中的服务小二提供辅助服务，具体能够针对会员用户在聊天过程发送的问题提供较为专业的应答内容推荐、服务过程总结等等，以辅助服务小二快速、精准地进行客户服务操作。

为了能够提高在线工作台的服务质量和效率，需要对算法模型进行定期或者不定期地迭代更新操作。对于算法模型而言，在迭代过程中所需评测数据往往依赖于excel表格工具来获得，具体的，在基于excel表格进行算法模型的迭代操作时，算法模型和数据人员需要将大量的评测数据按照既定格式整理到excel表格中，例如：将会员用户的会话内容、以及算法模型针对会员用户的会话内容所生成的推荐应答内容按照既定格式整理到excel表格中；然后将excel表格交给打标人员对推荐应答内容的可用性进行标注操作，最后将标注后的excel表格交还给数据人员，以使得数据人员可以将excel表格中的数据处理成算法模型所对应的训练数据集。

然而，上述获得算法模型所需要的标注数据的过程存在以下缺点：

(1)excel表格中所包括的内容较少，例如：表格中可以包括一句会员用户输入的内容，以及算法模型针对会员用户输入的内容所生成的智能推荐应答内容，打标人员仅能够依靠单一应答内容进行打标操作时，无法对真实服务过程做出判断，这样容易导致评测人员很难做出精确的打标操作，从而严重影响打标数据的精确性和算法模型的迭代效率；

(2)整个过程涉及多个人员角色的线下操作，具体的，表格中的数据从准备、到操作、到回流需要经过多回合的人工处理操作，从而使得打标操作的效率低下；并且，由于评测数据的承载体为excel表格，大数据量下的excel表格数据对于打标人员而言，打标操作比较繁重且容易疲劳，严重降低了数据打标效率；

(3)基于excel表格进行数据打标操作时，打标形式单一，无法进行交叉评测、排序等多种形式的评测任务，限制了数据打标操作的灵活可靠性。

为了解决上述技术问题，本实施例提供了一种数据标注方法、装置及设备，其中，参考附图1所示，数据标注方法的执行主体可以为数据标注装置，需要注意的是，该数据标注装置可以实现为终端设备、个人电脑、平板电脑、本地服务器或者云端的服务器，在数据标注装置实现为云端的服务器时，该数据标注方法可以在云端来执行，在云端可以部署有若干计算节点(云服务器)，每个计算节点中都具有计算、存储等处理资源。在云端，可以组织由多个计算节点来提供某种服务，当然，一个计算节点也可以提供一种或多种服务。云端提供该服务的方式可以是对外提供服务接口，用户调用该服务接口以使用相应的服务。服务接口包括软件开发工具包(Software Development Kit，简称SDK)、应用程序接口(Application Programming Interface，简称API)等形式。

该数据标注装置可以通信连接有任务分配装置，其中，任务分配装置用于供任务分配人员进行应用，以生成数据标注任务，上述的任务分配装置可以是任何具有一定数据传输能力的计算设备，具体实现时，任务分配装置可以是手机、个人电脑PC、平板电脑、设定应用程序等等。此外，任务分配装置的基本结构可以包括：至少一个处理器。处理器的数量取决于任务分配装置的配置和类型。任务分配装置也可以包括存储器，该存储器可以为易失性的，例如：随机存取存储器(Random Access Memory，简称RAM)，也可以为非易失性的，例如：只读存储器(Read-Only Memory，简称ROM)、闪存等，或者也可以同时包括两种类型。存储器内通常存储有操作系统(Operating System，简称OS)、一个或多个应用程序，也可以存储有程序数据等。除了处理单元和存储器之外，任务分配装置还包括一些基本配置，例如网卡芯片、IO总线、显示组件以及一些外围设备等。可选地，一些外围设备可以包括，例如键盘、鼠标、输入笔、打印机等。其它外围设备在本领域中是众所周知的，在此不做赘述。

数据标注装置是指可以在网络虚拟环境中提供数据标注操作的设备，通常是指利用网络进行信息规划以及数据标注操作的装置。在物理实现上，数据标注装置可以是任何能够提供计算服务，响应数据标注请求，并可以基于数据标注请求进行数据标注操作的设备，例如：可以是集群服务器、常规服务器、云服务器、云主机、虚拟中心等。数据标注装置的构成主要包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似。

在上述本实施例中，任务分配装置与数据标注装置进行网络连接，该网络连接可以是无线或有线网络连接。若任务分配装置可以与数据标注装置是通信连接，该移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、WiMax、5G、6G等中的任意一种。

在本申请实施例中，任务分配装置，用于供任务分配人员进行使用，具体的，任务分配装置可以显示交互界面，通过交互界面可以生成并获取数据标注请求，在获取到数据标注请求之后，为了能够实现数据标注操作，可以将数据标注请求发送至数据标注装置。

数据标注装置，用于获取任务分配装置发送的数据标注请求，在获取到数据标注请求之后，可以基于数据标注请求来获取待处理的数据标注任务，而后评测人员可以对数据标注任务输入执行操作，该执行操作可以包括：点选操作、查看操作等等，响应于评测人员对数据标注任务输入的执行操作，可以在显示界面中显示与数据标注任务相对应的待标注数据、与数据标注任务相对应的任务标注方式、与待标注数据相对应的数据上下文以及关联数据，其中，待标注数据可以包括以下至少之一：针对预设用户提出的对话信息所提供的应答内容、针对预设用户提出的对话信息所提供的解决方案，并且，待标注数据由预设算法模型所生成；在显示任务标注方式、数据上下文以及关联数据之后，评测人员可以基于任务标注方式、数据上下文以及关联数据进行数据标注操作，响应于评测人员基于任务标注方式、数据上下文以及关联数据对待标注数据输入的标注操作，可以获得与待标注数据相对应的标注结果，并可以在显示界面中对标注结果进行显示，这样不仅使得打标人员能够通过显示界面中显示的数据上下文以及关联数据进行高质量、快速的打标操作，并且还有效地保证了数据打标操作的准确可靠性，进一步提高了该方法的实用性。

下面结合附图，对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

图2为本发明实施例提供的一种数据标注方法的流程示意图；参考附图2所示，本实施例提供了一种数据标注方法，该方法的执行主体为数据标注装置，可以理解的是，该数据标注装置可以实现为软件、或者软件和硬件的组合，具体的，在数据标注装置实现为硬件时，其具体可以是具有数据标注操作的各种电子设备，包括但不限于个人电脑、服务器等等，当数据标注装置实现为软件时，其可以安装在上述所例举的电子设备中。基于上述的数据标注装置，该数据标注方法可以包括：

步骤S201：获取待处理的数据标注任务。

步骤S202：响应于评测人员对数据标注任务输入的执行操作，显示与数据标注任务相对应的待标注数据、与数据标注任务相对应的任务标注方式、与待标注数据相对应的数据上下文以及关联数据，其中，待标注数据由预设算法模型所生成。

步骤S203：响应于评测人员基于任务标注方式、数据上下文以及关联数据对待标注数据输入的标注操作，获得与待标注数据相对应的标注结果。

下面对上述各个步骤的具体实现过程和实现效果进行详细说明：

步骤S201：获取待处理的数据标注任务。

当存在数据标注需求时，则可以使得数据标注装置获取待处理的数据标注任务，其中，待处理的数据标注任务中可以包括需标注数据，或者，待处理的数据标注任务可以对应有需标注数据，而不同的应用场景中的数据标注任务所对应的需标注数据不同，例如，在客服服务的应用场景中，数据标注任务所对应的需标注数据可以为通过网络模型所生成的应答内容、服务回复方案、服务摘要信息等等；在信息推荐的场景中，数据标注任务所对应的需标注数据可以为通过网络模型所生成的推荐信息等等。

对于数据标注任务而言，其可以通过预设平台或者预设设备主动或者被动地获得，其中，预设平台或者预设设备用于供任务创建人员使用，数据标注装置用于供标注人员使用，此时，获取待处理的数据标注任务可以包括：确定与数据标注装置通信连接的预设平台或者预设设备，其中，预设平台或者预设设备中存储有待处理的数据标注任务；或者，预设平台或者预设设备可以通过人机交互操作生成待处理的数据标注任务；通过访问预设平台或者预设设备主动和被动地获取到待处理的数据标注任务，从而有效地保证了数据标注任务获取的稳定可靠性。

步骤S202：响应于评测人员对数据标注任务输入的执行操作，显示与数据标注任务相对应的待标注数据、与数据标注任务相对应的任务标注方式、与待标注数据相对应的数据上下文以及关联数据，其中，待标注数据由预设算法模型所生成。

在获取到数据标注任务之后，为了能够使得评测人员快速获知到数据标注任务的相关信息，可以在显示界面中对数据标注任务进行显示，如图3所示，在显示界面中可以显示数据标注任务相关的信息，例如：创建人信息、会员名信息、工单类型信息、工单模板信息、操作信息以及相关的操作控件，例如：“查看”控件、“选中”控件等等，评测人员可以根据需求在显示界面中针对数据标注任务输入执行操作，具体的，评测人员可以根据需求对数据标注任务中的“查看”控件输入点击操作，从而实现了评测人员可以针对数据标注任务输入查看操作。

当评测人员针对数据标注任务输入执行操作时，响应于评测人员对数据标注任务输入的执行操作，可以在显示界面中显示与数据标注任务相对应的待标注数据，需要注意的是，待标注数据由预设算法模型所生成，不同的应用场景所对应的预设算法模型不同，例如：在客服服务的应用场景中，待标注数据包括以下至少之一：针对预设用户提出的对话信息所提供的应答内容、针对预设用户提出的对话信息所提供的解决方案、针对预设用户提出的对话信息所提供的服务摘要，即预设算法模型被训练为输出应答内容、解决方案或者服务摘要，通过所输出的应答内容、解决方案或者服务摘要辅助客服人员为用户提供解答服务或者咨询服务，从而可以提高服务的质量和效率；在信息推广的应用场景中，待标注数据包括：推荐信息，此时的预设算法模型被训练为输出推荐信息，以通过推荐信息实现信息的有效推荐操作，提高预设平台中用户的粘性。

对于数据标注任务所对应的待标注数据的数量为一个或多个，在数据标注任务所对应的待标注数据的数量为多个时，在对数据标注任务、与数据标注任务相对应的多个待标注数据进行显示时，在显示界面中可以显示用于对多个待标注数据进行调整的导航区域，导航区域中可以配置有与多个待标注数据各自对应的导航控件，用户可以根据需求对任意一个导航控件输入执行操作，基于执行操作对显示界面中所显示的待标注数据进行调整或者切换，这样可以方便评测人员进行灵活的数据标注操作。

此外，为了能够提高评测人员对待标注数据进行标注或者评测操作的准确可靠性，显示界面中不仅可以显示待标注数据，还可以显示与数据标注任务相对应的任务标注方式，在一些实例中，任务标注方式包括以下至少之一：赞踩方式、排序方式，具体的，赞踩方式包括：对符合预设要求的数据执行点赞操作、对不符合预设要求的数据执行点踩操作；排序方式用于对多个预设算法模型各自对应的待标注数据进行排序操作，不同的数据标注任务可以对应有不同的任务标注方式，并且，上述的任务标注方式可以在待标注数据的一侧进行显示，本领域技术人员可以根据具体的应用场景或者应用需求来确定任务标注方式，并对任务标注方式进行灵活显示。

另外，为了能够进一步提高数据标注的准确度，在显示界面中不仅可以显示待标注数据以及任务标注方式，还可以在显示界面中显示与待标注数据相对应的数据上下文以及关联数据，如图4所示，数据上下文可以在显示界面的左侧区域进行显示，关联数据可以在显示界面的右侧区域进行显示，其中，关联数据可以包括以下至少之一：会员信息、订单信息、订单状态、摘要信息、执行记录信息等等，需要注意的是，关联数据不仅可以包括上述信息，还可以包括其他信息，本领域技术人员可以根据具体的应用场景或者应用需求对关联数据进行灵活调整或者配置操作，只要能够使得评测人员可以了解到更加全面、更加详细的与待标注数据存在关联关系的信息即可，在此不再赘述。需要注意的是，图4中所示的具体数据内容并不在本技术方案的保护范围内，重点在于各个类型的信息和数据在显示界面中的布局信息。

步骤S203：响应于评测人员基于任务标注方式、数据上下文以及关联数据对待标注数据输入的标注操作，获得与待标注数据相对应的标注结果。

在显示界面中显示任务标注方式、数据上下文以及关联数据之后，评测人员可以基于显示界面中所显示的任务标注方式、数据上下文以及关联数据对待标注数据进行标注操作，在获取到用户针对待标注数据输入的标注操作之后，可以基于标注操作获得与待标注数据相对应的标注结果，其中，不同的任务标注方式可以对应有不同形式的标注结果，例如，在任务标注方式为赞踩方式时，所获得的标注结果可以包括：用于标识待标注数据较为合理的正向标注结果(即点赞结果)、用于标识待标注数据不合理的负向标注结果(即点踩结果)等等；在任务标注方式为排序方式时，所获得的标注结果可以包括与各个待标注数据所对应的排序信息，从而有效地实现了能够准确地进行数据标注操作。

在又一些实例中，在获得与待标注数据相对应的标注结果之后，可以在显示界面中对标注结果进行显示，具体的，本实施例中的方法还可以包括：获取与待标注数据相对应的显示区域；将标注结果嵌入至待标注数据所对应的显示区域中进行显示，具体的，可以将标注结果嵌入至显示区域的左侧、右侧、上侧或者下侧进行显示，这样有效地实现了无需占用显示界面的其余空间即可准确地对标注结果进行显示，进而能够使得标注人员或者其他人员快速查看到标注结果，进一步提高了该方法的实用性。

在另一些实例中，在获得与待标注数据相对应的标注结果之后，可以基于标注结果进行相对应的数据处理操作，此时，本实施例中的方法还可以包括：识别预设算法模型是否已上线应用；在预设算法模型已上线应用时，则基于标注结果、待标注数据、以及与待标注数据相对应的数据上下文对预设算法模型进行优化更新，获得优化后网络模型；在预设算法模型未上线应用时，则基于标注结果确定预设算法模型的数据生成质量。

具体的，由于预设算法模型可以按照是否已经上线划分为不同类型，例如：若预设算法模型已经上线时，则可以确定预设算法模型为已上线应用的网络模型；若预设算法模型未上线时，则可以确定预设算法模型为未上线应用的网络模型，而对于所获得的标注结果而言，不同类型的网络模型可以对应有不同的应用方式，因此，为了能够准确地对标注结果进行应用，在获取到标注结果和预设算法模型之后，可以先识别预设算法模型是否已经上线应用，在一些实例中，识别预设算法模型是否已上线应用可以包括：获取预设算法模型所对应的实时处理数据；识别实时处理数据是否为在线线上数据；在处理数据为在线线上数据时，则确定预设算法模型已经上线应用；在实时处理数据为离线数据时，则确定预设算法模型未上线应用。

在另一些实例中，不仅可以通过预设算法模型所对应的实时处理数据的数据类型来识别预设算法模型是否已上线应用，还可以通过预设算法模型中包括的预设模型标识来识别预设算法模型是否已上线应用，此时，识别预设算法模型是否已上线应用可以包括：获取预设算法模型所对应的用于标识预设算法模型是否已上线应用的模型标识；基于模型标识来确定预设算法模型是否已上线应用，例如：在模型标识为“0”时，则确定预设算法模型未上线应用；在模型标识为“1”时，则确定预设算法模型已上线应用。

在获取到预设算法模型是否已上线应用的识别结果之后，可以基于识别结果来对标注结果进行应用，具体的，在预设算法模型已上线应用时，则待标注数据为预设算法模型的实际处理数据，为了能够提高预设算法模型的运行质量和效率，可以基于标注结果、待标注数据、以及与待标注数据相对应的数据上下文对预设算法模型进行优化更新，获得优化后网络模型，这样有效地提高了预设算法模型使用的质量和效果。在预设算法模型未上线应用时，则说明待标注数据为预设算法模型的模拟处理数据，同样为了保证预设算法模型的运行质量和效率，可以基于标注结果确定预设算法模型的数据生成质量，具体的，可以对预设时间段内的预设算法模型的输出的待标注数据以及标注结果来确定数据生成质量，这样可以保证数据生成质量获取的准确可靠性。

进一步的，在获取到数据生成质量之后，可以将数据生成质量与预设阈值进行分析比较，在数据生成质量满足预设阈值时，则说明预设算法模型已经满足上线的要求，进而可以将预设算法模型进行上线应用；在生成质量不满足预设阈值时，则说明预设算法模型不满足上线的要求，进而则禁止将预设算法模型进行上线应用，并可以进一步对预设算法模型进行调整和优化处理，这样也保证了预设算法模型的使用质量和效果。

本实施例提供的数据标注方法，通过获取待处理的数据标注任务，响应于评测人员对数据标注任务输入的执行操作，显示与数据标注任务相对应的待标注数据、与数据标注任务相对应的任务标注方式、与待标注数据相对应的数据上下文以及关联数据，响应于评测人员基于任务标注方式、数据上下文以及关联数据对待标注数据输入的标注操作，获得与待标注数据相对应的标注结果，由于待标注数据由预设算法模型所生成，这样有效地实现了打标人员能够通过显示界面中显示的数据上下文以及关联数据进行高质量、快速的数据打标操作，有效地保证了数据打标操作的准确可靠性，此外，该实现方式简单、可靠，并且无需评测人员与其他人员之间多次往复的交互操作，进一步提高了该方法的实用性，有利于市场的推广与应用。

图5为本发明实施例提供的另一种数据标注方法的流程示意图；在上述实施例的基础上，参考附图5所示，在获取待处理的数据标注任务之前，可以先基于预设需求生成数据标注任务，具体的，本实施例中的方法还可以包括：

步骤S501：获取任务创建请求。

当存在任务创建需求时，可以使得数据标注装置获取用于实现任务创建操作的任务创建请求，在一些实例中，任务创建请求可以通过人机交互操作所获得，此时，获取任务创建请求可以包括：显示人机交互界面；获取用户在人机交互界面中输入的执行操作；基于执行操作获取任务创建请求。

在另一些实例中，任务创建请求不仅可以通过人机交互操作所获得，还可以通过预设平台或者预设设备主动或者被动地获得，其中，预设平台或者预设设备用于供任务创建人员使用，数据标注装置用于供标注人员使用，此时，获取任务创建请求可以包括：确定与数据标注装置通信连接的预设平台或者预设设备，上述的预设平台或者预设设备中存储有任务创建请求；通过访问预设平台或者预设设备主动和被动地获取到任务创建请求，从而有效地保证了任务创建请求获取的稳定可靠性。

步骤S502：基于任务创建请求，确定待标注数据集、任务标注方式以及预设算法模型。

为了能够稳定地实现数据标注任务的创建操作，在获取到任务创建请求之后，可以基于任务创建请求确定待标注数据集，待标注数据集中包括待标注数据以及与待标注数据相对应的数据上下文、关联数据等等，在一些实例中，待标注数据集中的数据可以通过对电商平台中的数据进行筛选所获得，此时，基于任务创建请求确定待标注数据集可以包括：获取电商平台中的运行数据；将运行数据中包括由网络模型所生成的回复数据确定为待标注数据；统计所有的待标注数据以及对应的上下文、关联数据，生成待标注数据集。

在另一些实例中，待标注数据集可以是通过上传的数据集所获得，此时，基于任务创建请求，确定待标注数据集可以包括：基于任务创建请求，显示导入数据集的界面，如图6所示，获取用户在界面中输入的执行操作，基于上述执行操作确定数据集的名称、数据来源类型、数据导入方式以及是否包含模型结果等信息，在数据集中的数据包含在预设格式的数据文件时，预设格式可以为csv格式等等，通过上传数据文件即可完成数据集的导入操作。

需要注意的是，为了能够稳定地生成待处理的数据标注任务，不仅需要基于任务创建请求来确定待标注数据集，还可以基于任务创建请求来确定任务标注方式以及预设算法模型，其中，预设算法模型可以为在线模型或者离线模型，并且，预设算法模型的数量可以为一个或多个，预设算法模型的数量可以影响到任务标注方式，在一些实例中，在预设算法模型的数量为一个时，与数据标注任务相对应的任务标注方式包括：赞踩方式，赞踩方式包括：对符合预设要求的数据执行点赞操作、对不符合预设要求的数据执行点踩操作；在预设算法模型的数量为多个时，与数据标注任务相对应的任务标注方式包括：排序方式，排序方式用于对多个预设算法模型各自对应的待标注数据进行排序操作。

步骤S503：基于数据集、任务标注方式以及预设算法模型，生成待处理的数据标注任务。

在获取到数据集、任务标注方法以及预设算法模型之后，可以对数据集、任务标注方式以及预设算法模型进行分析处理，从而可以生成待处理的数据标注任务，在一些实例中，数据标注任务可以通过预先训练好的机器学习模型所获得，此时，基于数据集、任务标注方式以及预设算法模型，生成待处理的数据标注任务可以包括：获取预先训练好的机器学习模型，将数据集、任务标注方式以及预设算法模型输入至机器学习模型中，获得机器学习模型输出的待处理的数据标注任务。

在又一些实例中，由于所生成的待处理的数据标注任务需要分配至评测人员进行数据标注操作，而在不同的场景可以对应有不同的任务分配方式，例如：平均分配或者交叉分配；此时，为了能够保证数据标注任务生成的质量和任务标注操作的稳定可靠性，还可以综合考虑任务分配方式来生成待处理的数据标注任务，具体的，基于数据集、任务标注方式以及预设算法模型，生成待处理的数据标注任务可以包括：获取用于对数据标注任务进行分配的任务分配方式；基于数据集、任务标注方式、预设算法模型以及任务分配方式，生成待处理的数据标注任务。

具体的，在获取到任务创建请求之后，可以基于任务创建请求获得用于对数据标注任务进行分配的任务分配方式，该任务分配方式可以包括以下至少之一：用于对单个数据标注任务执行一次标注操作的平均分配方式；用于对单个数据标注任务至少执行两次标注操作的交叉评测方式。在获取到任务标注方式之后，可以基于数据集、任务标注方式、预设算法模型以及任务分配方式，生成待处理的数据标注任务，从而有效地保证了对数据标注任务进行生成的准确可靠性。

在生成待处理的数据标注任务之后，可以基于数据标注任务进行数据标注操作，需要注意的是，由于数据标注任务可以对应有不同的任务分配方式、并且可以对应有不同数量的预设算法模型，而不同的任务分配方式、预设算法模型可以对应有不同的标注结果，具体的，在任务分配方式包括交叉评测方式时，响应于评测人员基于任务标注方式、数据上下文以及关联数据对待标注数据输入的标注操作，获得与待标注数据相对应的标注结果可以包括：响应于各个评测人员基于任务标注方式、数据上下文以及关联数据对待标注数据输入的标注操作，获得与待标注数据相对应的多个初步标注结果；基于多个初步标注结果，确定与待标注数据相对应的标注结果。

具体的，在任务分配方式包括交叉评测方式时，一个数据标注任务所对应的待标注数据可以由多个标注人员进行数据标注操作，在各个标注人员对数据标注任务所对应的待标注数据进行标注操作之后，响应于各个评测人员基于任务标注方式、数据上下文以及关联数据对待标注数据输入的标注操作，可以获得与待标注数据相对应的多个初步标注结果，需要注意的是，不同的评测人员针对待标注数据所输入的初步标注结果可以相同或者不同。

在获取到多个初步标注结果之后，可以对多个初步标注结果进行分析处理，从而可以确定与待标注数据相对应的标注结果(即最终的标注结果)，在一些实例中，基于多个初步标注结果，确定与待标注数据相对应的标注结果可以包括：对多个初步标注结果进行平均值统计、中值统计或者大数投票统计等操作，将统计后的结果确定为与待标注数据相对应的最终的标注结果。或者，在另一些实例中，多个评测人员可以对应有不同的评测权重，此时，可以基于不同的评测权重来确定与待标注数据相对应的标注结果，此时，基于多个初步标注结果，确定与待标注数据相对应的标注结果可以包括：确定各个评测人员各自对应的评测权重；基于评测权重对各个评测人员所对应的评测结果进行加权求和处理，从而可以获得与待标注数据相对应的标注结果，这样有效地保证了对与待标注数据相对应的标注结果进行确定的准确可靠性。

本实施例中，通过获取任务创建请求，基于任务创建请求来确定待标注数据集、任务标注方式以及预设算法模型，而后基于数据集、任务标注方式以及预设算法模型来生成待处理的数据标注任务，这样有效地保证了数据标注任务的生成质量和效率，而后可以对所生成的数据标注任务进行数据标注操作，进一步提高了该方法的实用性。

图7为本发明实施例提供的显示与数据标注任务相对应的待标注数据的流程示意图；在上述实施例的基础上，参考附图7所示，对于与数据标注任务相对应的待标注数据而言，在不同的应用场景中，可以采用不同的方式来生成所显示的待标注数据，具体的，显示与数据标注任务相对应的待标注数据可以包括：

步骤S701：获取与数据标注任务相对应的数据集。

由于数据标注任务所对应的待标注数据包含在数据集中，为了能够准确地对与数据标注任务相对应的待标注数据进行显示，在获取到数据标注任务之后，可以基于数据标注任务确定与数据标注任务相对应的数据集，在一些实例中，数据标注任务中对应有任务id，通过任务id即可获取与数据标注任务相对应的数据集。

步骤S702：识别数据集中是否包括由预设算法模型生成的待标注数据。

对于数据集中所包括的待标注数据而言，其可能是由预设算法模型所生成，也可能是客服人员所输入的信息，为了能够准确地对由预设算法模型所生成的待标注数据进行标注操作，在获取到数据集之后，可以识别数据集中是否包括由预设算法模型所生成的待标注数据。在一些实例中，识别数据集中是否包括由预设算法模型生成的待标注数据可以包括：识别数据集中的待标注数据是否对应有用于标识由预设算法模型所生成的数据标识；在待标注数据对应有数据标识时，则确定数据集中包括由预设算法模型生成的待标注数据；在数据集中的所有待标注数据均未对应有数据标识时，则确定数据集中并不包括由预设算法模型生成的待标注数据。

在另一些实例中，不仅可以通过数据标识来识别数据集中是否包括由预设算法模型生成的待标注数据，还可以通过预设算法模型是否已上线应用来识别，此时，识别数据集中是否包括由预设算法模型生成的待标注数据可以包括：识别预设算法模型是否已上线应用；在预设算法模型未上线应用时，则确定数据集中不包括由预设算法模型生成的待标注数据；在预设算法模型已上线应用时，则确定数据集中包括由预设算法模型生成的待标注数据。

具体的，数据集中的数据包括：提问信息以及与提问信息相对应的回复信息等等，其中，回复信息可能存在以下两种情况：由预设算法模型所输出的信息、由服务人员所提供的信息；而在数据标注装置中并不包括已上线应用的预设算法模型时，数据集中不可能包括由预设算法模型所输出的信息；在数据标注装置中包括已上线应用的预设算法模型时，数据集中可以包括由预设算法模型所输出的信息。

由上可知，预设算法模型是否已上线应用与数据集中是否包括待标注数据之间存在关联关系，因此，在获取到预设算法模型之后，可以识别预设算法模型是否已上线应用，在预设算法模型未上线应用时，则说明预设算法模型无法对在线数据进行分析处理，从而可以确定数据集中不包括由预设算法模型生成的待标注数据；在预设算法模型已上线应用时，则说明预设算法模型可以对在线数据进行分析处理，可以初步确定数据集中包括由预设算法模型生成的待标注数据，为了能够进一步对待标注数据进行识别是否来自于预设算法模型，在获取到待标注数据之后，可以将待标注数据与预设算法模型的输出数据进行分析匹配，在待标注数据与输出数据相同时，则确定数据集中包括由预设算法模型生成的待标注数据；在待标注数据与输出数据不同时，则确定数据集中不包括由预设算法模型生成的待标注数据，从而有效地实现了对数据集中是否包括由预设算法模型生成的待标注数据进行准确地识别操作。

步骤S703：在数据集中包括待标注数据时，则对与数据标注任务相对应的待标注数据进行显示。

步骤S704：在数据集中不包括待标注数据时，则调用预设算法模型对数据上下文以及关联数据进行处理，生成并显示待标注数据。

具体的，在识别结果为数据集中包括待标注数据时，则可以直接对待标注数据进行显示，以使得标注人员可以直接对所显示的待标注数据进行标注操作；在识别结果为数据集中并不包括待标注数据时，为了能够实现对由预设算法模型所生成的待标注数据进行数据标注操作，则可以调用预设算法模型，而后利用预设算法模型对数据上下文以及关联数据进行处理操作，从而可以生成并显示待标注数据，这样同样实现了对由预设算法模型所生成的待标注数据进行数据标注操作，进一步提高了该方法使用的灵活可靠性。

本实施例中，通过获取与数据标注任务相对应的数据集，识别数据集中是否包括由预设算法模型生成的待标注数据，在数据集中包括待标注数据时，则对与数据标注任务相对应的待标注数据进行显示；在数据集中不包括待标注数据时，则调用预设算法模型对数据上下文以及关联数据进行处理，生成并显示待标注数据，有效地实现了无论预设算法模型是否已经上线应用，均可以实现对预设算法模型所生成的待标注数据进行数据标注操作，进一步提高了该方法使用的灵活可靠性。

具体应用时，以客户服务领域作为预设场景为例，本应用实施例提供了一种基于场景还原的可视化的数据标注方法，该方法可以通过显示界面UI对线上的真实对话服务数据以及算法模型的输出数据进行显示，由于算法模型的输出数据插入到真实的服务过程中，使得评测人员可以更加直观地了解服务的上下文，并做出更加准确的判断，极大地提高了算法评测的效率和迭代速度。具体的，该方法可以包括以下步骤：

步骤1：创建评测任务(对应于上述实施例中的数据标注任务)。

参考附图8所示，可以先创建数据集，而后可以基于所创建的数据集创建评测任务，其中，创建数据集可以包括：显示导入数据集的界面；获取用户在界面中输入的执行操作；基于执行操作确定数据集的名称信息、数据来源、数据导入方式以及是否包含模型结果等等，上述的名称信息可以是自定义的，数据来源可以包括：“在线”、“离线”等等，数据导入方式可以包括：“对象存储服务(Object Storage Service，简称OSS)”、“大数据仓库解决方案(Open Data Processing Service，简称ODPS)”、“统一数智服务(USERVICE)”等等，通过上述信息创建数据集，并可以将数据集存储在预设位置。

在创建完数据集之后，可以基于所创建的数据集来创建评测任务，具体的，创建评测任务可以包括：显示任务创建界面，而后获取用户在任务创建界面中输入的执行操作；基于执行操作创建评测任务，在一些实例中，基于执行操作可以确定评测任务的任务名称、数据集、评测模块类型、评测任务类型、评测场景、评测模式以及评测人员等等，其中，上述的名称信息可以是自定义的，数据集可以为预先创建的数据集，任务类型可以包括踩赞类型、排序类型等等，评测模式可以包括：平均分配模式、交叉评测模式，通过上述信息即可创建评测任务。

步骤2：将评测任务按照所对应的评测模式分配至评测人员，以使评测人员对评测任务进行数据评测操作。

具体的，在评测模式为平均分配模式时，可以确定评测人员的人员数量以及评测任务的任务数量将一个或多个评测任务平均分配至多个评测人员，此时，每个评测任务可以通过所分配的评测人员进行一次数据评测操作；举例来说，在评测任务包括：任务a、任务b、任务c、任务d、任务e、任务f，评测人员的数量为3个时，则可以基于平均分配模式将多个评测任务平均分配至3个评测人员，此时，每个评测人员可以对应有两个评测任务，且每个评测人员所对应的两个评测任务各不相同。

在评测模式为交叉评测模式时，可以确定评测人员的人员数量以及评测任务的任务数量将多个评测任务交叉分配至多个评测人员，此时，每个评测任务可以通过所分配的一个或多个评测人员进行一次或者多次数据评测操作。举例来说，在评测任务包括：任务a、任务b、任务c、任务d、任务e、任务f，评测人员的数量为3个时，则可以基于交叉评测模式将多个评测任务交叉分配至3个评测人员，例如：评测人员a可以对应有任务a、任务b、任务e、任务f；评测人员b可以对应有任务b、任务c、任务d、任务e；评测人员c可以对应有任务a、任务d、任务e、任务f等等，此时，每个评测人员所对应的评测任务的数量可以相同或者不同，且不同的评测任务可以经历过不同次数的数据评测操作。

步骤3：在评测人员接收到评测任务之后，可以在显示界面中显示评测任务，评测人员可以对评测任务执行查看操作，从而可以在显示界面中显示与评测任务相对应的待标注数据、与评测任务相对应的任务标注方式、与待标注数据相对应的数据上下文以及关联数据，其中，待标注数据由预设算法模型所生成。

其中，参考附图9所示，在评测人员接收到评测任务之后，可以在显示界面中显示评测任务，具体的，显示界面中可以显示评测任务的数量、评测任务的创建人信息、评测任务所对应的会员信息、评测任务所对应的工单类型、评测任务的工单标题、评测任务的查看控件等等，当用户对查看控件执行点击操作之后，则可以跳转到所对应的评测任务的详细信息显示页面，在该详细信息显示页面中可以包括：评测任务所对应的待标注数据、与评测任务相对应的任务标注方式、与待标注数据相对应的数据上下文以及关联数据，其中，一个评测任务可以对应有一个或多个待评测数据。

在一些实例中，待标注数据可以为由预设算法模型所生成的回复卡片、回复技术方案以及服务摘要等信息，具体的，在预设算法模型已上线应用时，则待标注数据可以为预设算法模型直接对线上数据进行分析处理所获得的输出信息；在预设算法模型未上线应用时，则可以调取预设算法模型对线上数据进行分析处理，从而可以获得由预设算法模型的输出信息，在获取到输出信息之后，由于数据集中包括的线上数据并不包括预设算法模型的输出信息，此时，为了能够准确地进行数据标注操作，可以将人为输入的回复数据替换为预设算法模型的输出信息，举例来说：会员提出：“这鞋子质量太差了，没穿多久就开裂了”，服务人员的回复信息：“您好，你想要退款吗？”，当预设算法模型对上述线上数据进行分析处理后，所获得的输出信息为“亲，您目前商品质量问题需要申请售后退货/退款，是吗”，在获取到输出信息之后，可以利用输出信息替换服务人员所输入的回复数据在显示界面中进行显示，从而可以结合数据上下文对待标注数据进行数据标注操作。

对于关联数据而言，其可以包括会员信息、订单信息、订单处理记录、服务处理记录等等，具体的，待标注数据以及数据上下文可以在显示界面的左侧进行显示，关联数据可以在显示界面的右侧进行显示，任务标注方式可以嵌入在待标注数据所对应的卡片的一侧进行显示，如图9，在任务标注方式为赞踩方式时，则可以基于用户输入的问题将任务标注方式在所提供的应答内容的卡片左侧进行显示，或者，如图10所示，可以基于用户输入的问题将任务标注方式在所提供的回复方案的卡片右侧进行显示；如图11所示，在任务标注方式为排序方式时，则可以基于用户输入的问题将任务标注方式在所提供的多个回复方案或者多个应答内容的卡片右侧进行显示，从而有效地实现了对评测任务所对应的详细信息进行稳定显示。

步骤4：评测人员可以基于任务标注方式、数据上下文以及关联数据对待标注数据输入的标注操作，基于标注出操作获得与待标注数据相对应的标注结果。

具体的，在任务标注方式为赞踩方式时，则可以基于赞踩方式对待标注数据执行点赞或者点踩操作，从而可以获得与待标注数据相对应的点赞后结果或者点踩后结果；在任务标注方式为排序方式时，则可以基于排序方式对多个待标注数据执行拖拽操作、拖拉操作，以实现对多个待标注数据所对应的排序位置进行调整，获得与多个待标注数据相对应的排序结果。

需要注意的是，在评测模式为交叉评测任务时，一个待标注数据可以对应有多个标注结果，此时，可以对多个标注结果进行平均值处理，从而可以获得待标注数据相对应的最终标注结果。

步骤5：在获取到标注结果之后，可以基于标注结果以及待标注数据对预设算法模型进行优化更新，获得优化后算法模型。

本应用实施例提供的技术方案，评测过程在线化，无需多余的人工适配，一站式完成完整的人工评测过程，且评测过程可追踪；有效地实现了线上化的任务评测发起操作和数据打标操作，具体可以便捷地发起多种数据集来源、多种形式的评测任务，而后可以基于评测任务进行数据打标操作，评测任务可以以踩赞方式或者排序方式来实现评测操作，上述的排序方式可以实现对多个预设算法模型所输出的多个回复信息进行排序操作，从而实现了对数据进行盲测标注操作；无论是应答内容的赞踩、多模型的双盲排序还是对方案的赞踩，都可以通过聊天流程中嵌入的评测卡片快速完成；

在线化操作发起评测任务后，评测人员将会被分配评测工单，而后评测人员可以进入工单所在的界面来处理评测任务，在进行数据打标操作时，不仅可以对评测进度进行跟踪，并且可以还原需要评测的智能应答内容所产生的服务背景和过程，在评测任务工单中，打标师可以非常清晰的看到实际的服务过程以及一些关键数据，比如：会员信息、订单信息等，这些信息都能够为打标提供充足的上下文信息；由于评测页面包含完整的线上服务过程上下文，帮助打标师在服务情景下进行打标操作，提升评测数据的准确性；嵌入服务过程的可视化的评测卡片，可以让算法工程师告别低效的excel打标，极大的提高了打标的效率，能够为模型的快速迭代提供便捷、易用的评测支持，提升了评测人员的操作效率；

此外，在评测工单中，在页面顶部配置了评测任务导航区，可以快速定位到评测卡片的位置进行操作，全部评测任务完成后，可点击“完结工单”完结本次评测任务；从而可以获得标注结果，之后可以将标注结果自动按照约定格式回流至预设算法模型，从而可以提高预设算法模型的质量和效率，进一步提高该方法的实用性，有利于市场的推广与应用。

图12为本发明实施例提供的一种数据标注装置的结构示意图；参考附图12所示，本实施例提供了一种数据标注装置，该数据标注装置可以执行上述图2所示的数据标注方法，具体的，该数据标注装置可以包括：

第一获取模块11，用于获取待处理的数据标注任务；

第一显示模块12，用于响应于对数据标注任务输入的执行操作，显示与数据标注任务相对应的待标注数据、与数据标注任务相对应的任务标注方式、与待标注数据相对应的数据上下文以及关联数据，其中，待标注数据由预设算法模型所生成；

第一处理模块13，用于响应于评测人员基于任务标注方式、数据上下文以及关联数据对待标注数据输入的标注操作，获得与待标注数据相对应的标注结果。

在一些实例中，在获取待处理的数据标注任务之前，本实施例中的第一获取模块11和第一处理模块13用于执行以下步骤：

第一获取模块11，用于获取任务创建请求；

第一处理模块13，用于基于任务创建请求，确定待标注数据集、任务标注方式以及预设算法模型；基于数据集、任务标注方式以及预设算法模型，生成待处理的数据标注任务。

在一些实例中，在预设算法模型的数量为一个时，与数据标注任务相对应的任务标注方式包括：赞踩方式，赞踩方式包括：对符合预设要求的数据执行点赞操作、对不符合预设要求的数据执行点踩操作；在预设算法模型的数量为多个时，与数据标注任务相对应的任务标注方式包括：排序方式，排序方式用于对多个预设算法模型各自对应的待标注数据进行排序操作。

在一些实例中，在第一处理模块13基于数据集、任务标注方式以及预设算法模型，生成待处理的数据标注任务时，该第一处理模块13用于执行：获取用于对数据标注任务进行分配的任务分配方式；基于数据集、任务标注方式、预设算法模型以及任务分配方式，生成待处理的数据标注任务。

在一些实例中，任务分配方式包括以下至少之一：用于对单个数据标注任务执行一次标注操作的平均分配方式；用于对单个数据标注任务至少执行两次标注操作的交叉评测方式。

在一些实例中，在任务分配方式包括交叉评测方式时，在第一处理模块13响应于评测人员基于任务标注方式、数据上下文以及关联数据对待标注数据输入的标注操作，获得与待标注数据相对应的标注结果时，该第一处理模块13用于执行：响应于各个评测人员基于任务标注方式、数据上下文以及关联数据对待标注数据输入的标注操作，获得与待标注数据相对应的多个初步标注结果；基于多个初步标注结果，确定与待标注数据相对应的标注结果。

在一些实例中，在第一显示模块13显示与数据标注任务相对应的待标注数据时，该第一显示模块13用于执行：获取与数据标注任务相对应的数据集；识别数据集中是否包括由预设算法模型生成的待标注数据；在数据集中包括待标注数据时，则对与数据标注任务相对应的待标注数据进行显示；在数据集中不包括待标注数据时，则调用预设算法模型对数据上下文以及关联数据进行处理，生成并显示待标注数据。

在一些实例中，在第一显示模块13识别数据集中是否包括由预设算法模型生成的待标注数据时，该第一显示模块13用于执行：识别预设算法模型是否已上线应用；在预设算法模型未上线应用时，则确定数据集中不包括由预设算法模型生成的待标注数据；在预设算法模型已上线应用时，则确定数据集中包括由预设算法模型生成的待标注数据。

在一些实例中，待标注数据包括以下至少之一：针对预设用户提出的对话信息所提供的应答内容；针对预设用户提出的对话信息所提供的解决方案；针对预设用户提出的对话信息所提供的服务摘要。

在一些实例中，在获得与待标注数据相对应的标注结果之后，本实施例中的第一获取模块11和第一处理模块13用于执行以下步骤：

第一获取模块11，用于获取与待标注数据相对应的显示区域；

第一处理模块13，用于将标注结果嵌入至待标注数据所对应的显示区域中进行显示。

在一些实例中，在获得与待标注数据相对应的标注结果之后，本实施例中的第一处理模块13用于执行：识别预设算法模型是否已上线应用；在预设算法模型已上线应用时，则基于标注结果、待标注数据、以及与待标注数据相对应的数据上下文对预设算法模型进行优化更新，获得优化后网络模型；在预设算法模型未上线应用时，则基于标注结果确定预设算法模型的数据生成质量。

图12所示装置可以执行图1-图11所示实施例的方法，本实施例未详细描述的部分，可参考对图1-图11所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图11所示实施例中的描述，在此不再赘述。

在一个可能的设计中，图12所示数据标注装置的结构可实现为一电子设备，该电子设备可以是控制器、个人电脑、服务器等各种设备。如图13所示，该电子设备可以包括：第一处理器21和第一存储器22。其中，第一存储器22用于存储相对应电子设备执行上述图1-图12所示实施例中提供的数据标注方法的程序，第一处理器21被配置为用于执行第一存储器22中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第一处理器21执行时能够实现如下步骤：获取待处理的数据标注任务；响应于评测人员对数据标注任务输入的执行操作，显示与数据标注任务相对应的待标注数据、与数据标注任务相对应的任务标注方式、与待标注数据相对应的数据上下文以及关联数据，其中，待标注数据由预设算法模型所生成；响应于评测人员基于任务标注方式、数据上下文以及关联数据对待标注数据输入的标注操作，获得与待标注数据相对应的标注结果。

进一步的，第一处理器21还用于执行前述图1-图11所示实施例中的全部或部分步骤。

其中，电子设备的结构中还可以包括第一通信接口23，用于电子设备与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述图1-图11所示实施例中数据标注方法所涉及的程序。

此外，本发明实施例提供了一种计算机程序产品，包括：存储有计算机指令的计算机可读存储介质，当计算机指令被一个或多个处理器执行时，致使一个或多个处理器执行上述图1-图11所示方法实施例中数据标注方法中的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器，使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。