掌桥专利:专业的专利平台
掌桥专利
首页

数据处理方法、装置、计算机设备和存储介质

文献发布时间:2024-04-18 19:58:30


数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及大数据技术领域,特别是涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

在大型科技公司中,由于监管政策和客户需求的实时变化,排产系统中的开发任务随时可能会被取消或延迟投产,因此,投产系统需要根据排产系统做出实时调整,若没能及时调整,将会导致实际上线范围与排产范围不一致,出现开发任务多上或少上,从而引发生产问题。因此,保证上线范围与排产范围的一致性,显得尤为重要。

目前,排产系统主要是供需求分析人员和开发人员在使用,投产系统主要是供投产调度人员和运维测试等人员使用。两个系统是相互独立的,因此,实际投产时,是由专人将从上述两个系统导出的上线范围和投产范围进行人工比对。

然而,由于每次上线的开发任务数量较多,且上线需求经常发生变更,使得人工比对的方式存在准确性低下,比对效率不高的问题。

发明内容

基于此,有必要针对上述技术问题,提供一种能够提高比对效率的数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面,本申请提供了一种数据处理方法。所述方法包括:

在预设的任务比对条件被触发的情况下,分别从不同的数据源中抽取出上线开发任务数据集和排产开发任务数据集;

截取上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识,得到上线任务标识集和排产任务标识集;

对上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。

在其中一个实施例中,截取上线开发任务数据集中的上线任务标识以及排产开发任务数据集中的排产任务标识,得到上线任务标识集和排产任务标识集包括:

截取上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识;

将上线任务标识和排产任务标识数据分别存储至不同的数据表的数据列中,得到上线任务标识列和排产任务标识数据列,上线任务标识集包括上线任务标识列,排产任务标识集包括排产任务标识列。

在其中一个实施例中,上线任务标识包括第一物理子系统编号和上线任务编号,排产任务标识数据包括第二物理子系统编号和排产任务编号;

将上线任务标识和排产任务标识数据分别存储至不同的数据表的数据列中,得到上线任务标识列和排产任务标识数据列包括:

拼接第一物理子系统编号和上线任务编号,并将拼接后的第一物理子系统编号和上线任务编号存储至预构建的数据表的数据列中,得到上线任务标识列;

拼接第二物理子系统编号和排产任务编号,并将拼接后的第二物理子系统编号和排产任务编号存储至预构建的数据表的数据列中,得到排产任务标识数据列。

在其中一个实施例中,对上线任务标识集和排产任务标识集进行一致性比对包括:

若检测出上线任务标识集的异常上线任务标识,则采用第一标识方式标记异常上线任务标识,异常上线任务标识为不存于排产任务标识集的开发任务标识数据;

若检测出排产任务标识集中的异常排产任务标识,则采用第二标记方式标记异常排产任务标识,异常排产任务标识为不存于上线任务标识集的开发任务标识数据。

在其中一个实施例中,对上线任务标识集和排产任务标识集进行一致性比对之前,方法还包括:

对上线任务标识集和排产任务标识集进行数据预处理,数据预处理包括数据去重、数据格式标准化以及命名规范化中的至少一种;

对上线任务标识集和排产任务标识集进行一致性比对包括:

对数据预处理后的上线任务标识集和排产任务标识集进行一致性比对。

在其中一个实施例中,对数据预处理后的上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果包括:

按照上线任务标识和排产任务标识,分别对数据预处理后的上线任务标识集和排产任务标识集进行排序处理;

对排序处理后的上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。

在其中一个实施例中,预设的任务比对条件包括以下方式中的任意一项:

第一项,到达预设的开发任务比对周期;

第二项,接收到任务比对按钮的点击操作,任务比对按钮基于Excel的VisualBasic编辑器所构建。

在其中一个实施例中,得到任务比对结果之后,还包括:

调用预设的可视化展示工具,对任务比对结果进行可视化展示;

其中,任务比对结果包括任务优先级、任务依赖关系以及异常任务标识结果。

第二方面,本申请还提供了一种数据处理装置。所述装置包括:

数据抽取模块,用于在预设的任务比对条件被触发的情况下,分别从不同的数据源中抽取出上线开发任务数据集和排产开发任务数据集;

数据截取处理模块,用于截取上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识,得到上线任务标识集和排产任务标识集;

数据比对模块,用于对上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。

第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

在预设的任务比对条件被触发的情况下,分别从不同的数据源中抽取出上线开发任务数据集和排产开发任务数据集;

截取上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识,得到上线任务标识集和排产任务标识集;

对上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。

第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

在预设的任务比对条件被触发的情况下,分别从不同的数据源中抽取出上线开发任务数据集和排产开发任务数据集;

截取上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识,得到上线任务标识集和排产任务标识集;

对上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。

第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:

在预设的任务比对条件被触发的情况下,分别从不同的数据源中抽取出上线开发任务数据集和排产开发任务数据集;

截取上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识,得到上线任务标识集和排产任务标识集;

对上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。

上述数据处理方法、装置、计算机设备、存储介质和计算机程序产品,在预设的任务比对条件被触发的情况下,分别从不同的数据源中抽取出上线开发任务数据集和排产开发任务数据集,然后,截取上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识,得到上线任务标识集和排产任务标识集,最后,对上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。整个方案,将原本相互隔离独立的投产系统和排产系统联系起来,通过预先设置任务比对条件,能够实现开发任务的自动比对,通过截取出上线任务标识和排产任务标识,比对上线任务标识集和排产任务标识集,能够高效且准确地比较上线任务和排产任务是否一致,快速检测出上线任务和排产任务中存在遗漏或重复的任务标识,提高了开发任务比对效率。进一步地,采用上述方案还能够便于操作人员及时发现异常任务并增删上线任务范围,有利于保证上线任务范围和排产任务范围的一致性,提高生产环境的数据安全性。

附图说明

图1为一个实施例中数据处理方法的应用环境图;

图2为一个实施例中数据处理方法的流程示意图;

图3为一个实施例中数据处理方法的流程示意图;

图4为另一个实施例中数据处理方法的流程示意图;

图5为又一个实施例中数据处理方法的流程示意图;

图6为一个实施例中数据处理方法的详细流程示意图;

图7为另一个实施例中数据处理方法的详细流程示意图;

图8为一个实施例中数据处理装置的结构框图;

图9为另一个实施例中数据处理装置的结构框图;

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

需要说明的是,本申请所涉及的数据(包括但不限于用于分析的数据、存储的上线任务标记集和排产任务标识集等数据、展示的任务比对结果数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本申请实施例提供的数据处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。具体地,可以是操作人员在终端102的操作界面上进行操作,进而在服务器104上部署开发任务(以下可简称任务)比对程序,并启动该程序,程序中预先设定有任务比对条件,服务器104不断监测当前程序是否满足预设的任务比对条件,若满足预设的任务比对条件,则执行开发任务比对逻辑,分别从不同的数据源中抽取出上线开发任务数据集和排产开发任务数据集,然后,截取上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识,得到上线任务标识集和排产任务标识集,最后,对上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。

其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在其中一个实施例中,如图2所示,提供了一种数据处理方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:

S200,实时判断预设的任务比对条件是否可被触发。

本实施例中,预设的任务比对条件可以包括但不限于定时任务触发条件。数据源可以是投产系统和排产系统。具体实施时,可以是操作人员预先配置任务比对条件和相应的数据源路径,编辑好任务比对程序,并将任务比对程序部署在服务器上,启动任务比对程序,服务器实时判断当前情况是否满足预设的任务比对条件。

S400,在预设的任务比对条件被触发的情况下,分别从不同的数据源中抽取出上线开发任务数据集和排产开发任务数据集。

上线开发任务数据集包括多个准备投产上线的开发任务的基本信息。开发任务的基本信息具体包括物理子系统编号(标识开发任务所属的物理子系统的唯一编号)、开发任务编号、开发任务描述、开发人员、优先级、任务状态、与开发任务相关联的需求或功能点的编号或描述、以及与开发任务相关的文档或资料的链接或路径等。

排产开发任务数据集包括多个根据产品发布计划和资源可用性,合理规划调度的开发任务的基本信息。具体地,开发任务的基本信息包括开发任务计划的上线日期或实际上线日期、物理子系统编号(标识开发任务所属的物理子系统的唯一编号)、开发任务编号、开发任务描述、开发人员、优先级、任务状态、与开发任务相关联的需求或功能点的编号或描述、以及与开发任务相关的文档或资料的链接或路径等。

其中,数据源可以包括投产系统和排产系统,也可以是存储有排产任务范围和投产任务范围的文件或数据库。

具体实施时,以数据源为投产系统和排产系统为例,可以是服务器不断监测当前情形是否满足任务比对条件,在预设的任务比对条件被触发的情况下,根据投产系统访问路径、上线任务范围文件路径以及上线任务工作表名,排产系统访问路径、排产任务范围文件路径以及排产任务工作表名等,分别从投产系统和排产系统充抽取出上线开发任务数据集和排产开发任务数据集。

可选地,在另一些实施例中,还可以是通过大数据处理工具,从投产系统和排产系统抽取出上线开发任务数据集和排产开发任务数据集。

S600,截取上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识,得到上线任务标识集和排产任务标识集。

上线任务标识包括但不限于待上线的开发任务的所属物理子系统编号、开发任务编号、任务名称等。排产任务标识包括但不限于排产的开发任务的所属物理子系统编号、开发任务编号、任务名称等。

承接上一实施例,在获取上线开发任务数据集和排产开发任务数据集后,可以是截取出上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识,得到上线任务标识集和排产任务标识集。在实际应用中,开发任务标识所在的字段位置通常在数据集中有特定的列名或标识,且上线开发任务数据集和排产开发任务数据集通过以文本文件或数据库表格形式存在。因此,本实施例中,可以是通过编程语言或工具,如Python的pandas库或Excel的公式,逐一截取出上述数据集中任务标识字段的值,得到上线任务标识和排产任务标识。再分别将截取出的上线任务标识和排产任务标识归集起来,得到上线任务标识集和排产任务标识集。在另一个实施例中,还可以是采用分隔符分割截取的方式,截取上线任务标识和排产任务标识。例如,任务标识和其他字段之间是以“_”为分隔符作为标识,且任务标识位于“_”的前面,即“任务标识_XXX”,则可以是定位“_”,然后截取“_”之前的字段,得到任务标识。

S800,对上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。

承接上一实施例,当得到上线任务标识集和排产任务标识集后,可以是对上线任务标识集和排产任务标识集进行一致性比对。具体地,可以是以唯一标识符即任务标识进行匹配,即对于每个上线任务标识集中的任务标识,与排产任务标识集进行匹配,找出匹配的对应关系;对于每个排产任务标识集中的任务标识,与上线任务标识集进行匹配,找出匹配的对应关系,以检测出存在差异的开发任务。在比对过程中,记录比对过程中的匹配结果。具体地,可以创建一个比对结果表格或文件,将上线任务标识集和排产任务标识集的匹配关系逐行记录。比对结果可以包括上线任务标识的状态、排产任务标识的状态以及它们之间的对应关系。在比对过程中,可能会出现一些不一致的情况,例如找不到匹配项或存在多个可能的匹配项。对于这些情况,也可以采取相应的处理。可以进行人工确认、进一步调查或与相关人员协商,以确定最终的比对结果。并为后续的任务管理和协调提供准确的数据支持。

上述数据处理方法中,在预设的任务比对条件被触发的情况下,分别从不同的数据源中抽取出上线开发任务数据集和排产开发任务数据集,然后,截取上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识,得到上线任务标识集和排产任务标识集,最后,对上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。整个方案,将原本相互隔离独立的投产系统和排产系统联系起来,通过预先设置任务比对条件,能够实现开发任务的自动比对,通过截取出上线任务标识和排产任务标识,比对上线任务标识集和排产任务标识集,能够高效且准确地比较上线任务和排产任务是否一致,快速检测出上线任务和排产任务中存在遗漏或重复的任务标识,提高了开发任务比对效率。进一步地,采用上述方案还能够便于操作人员及时发现异常任务并增删上线任务范围,有利于保证上线任务范围和排产任务范围的一致性,提高生产环境的数据安全性。

在其中一个实施例中,预设的任务比对条件包括以下方式中的任意一项:

第一项,到达预设的开发任务比对周期;

第二项,接收到任务比对按钮的点击操作,任务比对按钮基于Excel的VisualBasic编辑器所构建。

在实际应用中,由于每次上线的开发任务数量较多,且上线需求经常发生变更,因此,需要一种能够满足实时变化的上线需求的开发任务比对方案。在一个实施例中,可以是由开发人员设置开发任务比对的定时任务,并设置开发任务比对周期,例如,周期可以是1小时、2小时或者1天等。第一个开发任务比对周期的开始时间为设置的特定时间,当第一轮开发任务比对任务完成后,则等待下一个任务比对周期到来,若当前时间达到下一轮任务比对周期时,则触发开发任务比对任务,执行具体的任务比对的流程,即上述任务比对方法实施例中的步骤。

在另一个实施例中,由于上线任务和排产任务通常是以Excel表格的形式存在,因此,可以是开发人员通过Excel的Visual Basic编辑器,在编辑区编写按钮控件,内嵌任务对比函数,该任务对比函数包括上述任务比对方法实施例中的步骤,得到任务比对按钮。当需要比对开发任务时,操作人员只需在终端的操作界面上,点击预构建的任务比对按钮,便能触发开发任务比对流程,执行上述任务比对方法实施例中的步骤,得到任务比对结果。可以理解的是,在其他实施例中,还可以是采取其他方式触发开发任务比对流程。本实施例中,通过提供自动触发和手动触发两种触发方式,能够满足不同场景的需求,提高任务比对处理的灵活性。并且,大部分机器都部署有office环境,即通过Excel vba进行任务比对就有了天然的执行环境,相比于其他语言工具处理更为便捷,且将方案程序迁移到不同的机器上的难度更小。

如图3所示,在其中一个实施例中,S600包括:S620,截取上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识,将上线任务标识和排产任务标识数据分别存储至不同的数据表的数据列中,得到上线任务标识列和排产任务标识数据列。

S800包括:S810,对上线任务标识列和排产任务标识数据列进行一致性比对,得到任务对比结果。

本实施例中,任务集可以是以列表的形式存在。具体地,上线任务标识集包括上线任务标识列,排产任务标识集包括排产任务标识列。可以是按照上述字段位置或分隔符的方式,截取出上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识,然后,将上线任务标识和排产任务标识数据分别存储至不同的数据表的数据列中,本实施例中,可以是分别将上线任务标识和排产任务标识导入至不同的Excel表格中,得到上线任务标识列和排产任务标识数据列。

本实施例中,通过将上线任务标识和排产任务标识分别导入至不同数据表的数据列中,能够使得数据组织更为清晰,查询和比对数据时可以更快地获取结果,提高数据管理效率和数据质量,方便后续的数据分析和决策。

在其中一个实施例中,将上线任务标识和排产任务标识数据分别存储至不同的数据表的数据列中,得到上线任务标识列和排产任务标识数据列包括:

拼接第一物理子系统编号和上线任务编号,并将拼接后的第一物理子系统编号和上线任务编号存储至预构建的数据表的数据列中,得到上线任务标识列。

拼接第二物理子系统编号和排产任务编号,并将拼接后的第二物理子系统编号和排产任务编号存储至预构建的数据表的数据列中,得到排产任务标识数据列。

上线任务标识包括上线任务所属的物理子系统编号和上线任务编号,排产任务标识数据包括排产任务所属的物理子系统编号和排产任务编号。本实施例中,以上线任务标识所属的物理子系统编号为第一物理子系统编号为例,排产任务所属的物理子系统编号为第二物理子系统编号为例。

具体实施时,可以是针对上线任务,拼接第一物理子系统编号和上线任务编号,并将拼接后的第一物理子系统编号和上线任务编号存储至预构建的Excel的数据列中,得到上线任务标识列。例如,上线任务的第一物理子系统编号为A,上线任务编号为0001,则拼接上述第一物理子系统编号和上线任务编号,得到A_0001。

针对排产任务,拼接排产任务所属的第二物理子系统编号和排产任务编号,并将拼接后的第二物理子系统编号和排产任务编号存储至预构建的Excel的数据列中,得到排产任务标识数据列。例如,排产任务的第二物理子系统编号为B,上线任务编号为0001,则拼接上述第一物理子系统编号和上线任务编号,得到B_0001。

本实施例中,通过将物理子系统编号和开发任务编号进行拼接,并将拼接后的编号存储为数据列,能够可以简化数据处理的过程,不需要单独处理物理子系统编号和开发任务编号,且便于追溯到原始的编号和相关的信息。此外,拼接后的编号可以确保数据的一致性,提高数据的完整性,减少数据丢失或重复的问题。

如图4所示,在其中一个实施例中,S800包括:

S820,若检测出上线任务标识集的异常上线任务标识,则采用第一标识方式标记异常上线任务标识,异常上线任务标识为不存于排产任务标识集的开发任务标识数据。

S840,若检测出排产任务标识集中的异常排产任务标识,则采用第二标记方式标记异常排产任务标识,异常排产任务标识为不存于上线任务标识集的开发任务标识数据。

本实施例中,对上线任务标识集和排产任务标识集进行一致性比对的过程可以是:遍历上线任务标识集,将上线任务标识集中的上线任务标识逐一取出,分别与排产任务标识集中所有的排产任务标识进行匹配,检测是否能从排产任务标识集中查找出与该上线任务标识一致或相匹配的排产任务标识,若未查找到与上线任务标识一致或相匹配的排产任务标识,则表征该上线任务标识为异常任务标识,具体为需要取消投产的开发任务,此时,可采用红色对其进行标记,以便于操作人员在投产系统中删除该开发任务。按照上述方式将上线任务标识集中的每一任务标识分别与排产标识集中所有的排产任务标识进行匹配,得到上线任务标识集比对结果。

由于实际应用中,可能会存在同样地,遍历排产任务标识集,将排产任务标识集中的排产任务标识逐一取出,分别与上线任务标识集中所有的上线任务标识进行匹配,检测是否能从上线任务标识集中查找出与该排产任务标识一致或相匹配的上线任务标识,若未查找到与排产任务标识一致或相匹配的排产任务标识,则表征该排产任务标识为异常任务标识,具体为遗漏的、需要新增上线的开发任务。此时,可采用绿色将其标记出来,以便于操作人员在投产系统中新增任务。

本实施例中,通过采用不同的标记方式标记异常上线任务和异常排产任务,能够使得异常任务被准确地识别和分类,避免误判或漏判,还能清晰地指示操作人员如何对不同类型的异常任务进行处理,提高了处理效率。

如图5所示,在其中一个实施例中,S800之前,方法还包括:S700,对上线任务标识集和排产任务标识集进行数据预处理,数据预处理包括数据去重、数据格式标准化以及命名规范化中的至少一种。

S800包括:S802,对数据预处理后的上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。

在实际应用中,由于开发任务的数量庞大,且涉及的物理子系统较多,开发任务与物理子系统之间可能存在多对多的关系。因此,在得到上线任务标识集和排产任务标识集后,需进行数据预处理。具体地,数据预处理可以包括去除重复数据、处理空值或缺失值,以及数据格式标准化以及命名规范化等处理。

具体地,命名规范标准化的过程可以是:对任务标识如任务编号、任务ID(Identity,身份)或任务名称,进行命名规范的标准化,使得比对过程能够实现准确匹配。数据格式标准化处理可以是对任务编号、任务ID或任务名称的数据格式进行统一,如转换为统一的字符串格式或数字格式。经过上述数据预处理后,进一步对数据预处理后的上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。

本实施例中,通过对上线任务标识集和排产任务标识集进行数据预处理,能够提高数据的规范性和质量,有利于提高数据比对的效率和准确度。

如图6所示,在其中一个实施例中,S802包括:S812,按照上线任务标识和排产任务标识,分别对数据预处理后的上线任务标识集和排产任务标识集进行排序处理,对排序处理后的上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。

承接上一实施例,在完成对数据集的数据预处理后,为了便于数据一致性比对,提高任务比对结果的可读性。可以是对预处理后的上线任务标识集和排产任务标识集进行排序处理,如可以使用拼接后的物理子系统编号和开发任务编号作为排序依据,将预处理后的上线任务标识集和排产任务标识集,按照升序或降序进行排序,然后,对排序后的上线任务标识集和排产任务标识集进行一致性比对。本实施例中,通过对上线任务标识集和排产任务标识集进行排序处理,能够提高后续的一致性比对操作的效率,并提高任务对比结果的可读性,便于操作人员及时发现异常任务。

如图7所示,在其中一个实施例中,S800之后,还包括:S900,调用预设的可视化展示工具,对任务比对结果进行可视化展示,其中,任务比对结果包括任务优先级、任务依赖关系以及异常任务标识结果。

在实际应用中,由于任务比对结果涉及的任务数量较多,通常情况下,得到的任务比对结果也比较多。为了提高可读性,可对任务比对结果进行整理分析,整理出任务优先级、任务依赖关系和异常任务标识结果,并将整理出的上述内容整理为适合可视化展示的数据格式。

具体地,可以是调用预设的可视化展示工具,对任务比对结果进行可视化展示。例如,根据任务优先级信息,使用选定的可视化工具绘制任务优先级图表,具体可以使用柱状图、饼图、雷达图等方式展示任务优先级的分布情况,还可根据任务优先级的高低,可以对任务进行颜色编码或大小编码,以便于观察和比较。根据任务依赖关系信息,使用可视化工具绘制任务依赖关系图,具体可以使用流程图、有向图、树状图等方式展示任务之间的依赖关系,通过节点和边的连接关系,清晰展示任务之间的先后关系和依赖关系。根据异常任务标识结果,使用可视化工具绘制异常任务标识图表,具体可以使用散点图、热力图、饼图等方式展示异常任务的分布情况。异常任务可以使用特殊的标记或颜色进行标识,以便于快速识别和定位。最后,将绘制的任务优先级图表、任务依赖关系图和异常任务标识图表进行整合,形成一个综合的可视化展示结果。可以将不同的图表放置在同一个画布上,或者创建多个图表进行分组展示。

本实施例中,通过调用预设的可视化展示工具对任务比对结果进行可视化展示。这样可以直观地展示任务优先级、任务依赖关系和异常任务标识等信息,帮助用户更好地理解和分析任务比对结果。

为了对本申请提供的任务比对方法进行更为清楚的说明,下面结合一个具体实施例和附图7进行说明,该具体实施例包括以下内容:

S200,实时判断预设的任务比对条件是否可被触发。

在一个实施例中,可以是由开发人员设置开发任务比对的定时任务,并设置开发任务比对周期,例如,周期可以是1小时、2小时或者1天等。第一个开发任务比对周期的开始时间为设置的特定时间,当第一轮开发任务比对任务完成后,则等待下一个任务比对周期到来,若当前时间达到下一轮任务比对周期时,则触发开发任务比对任务,执行具体的任务比对的流程,即上述任务比对方法实施例中的步骤。还可以是开发人员通过Excel的VisualBasic编辑器,在编辑区编写按钮控件,内嵌任务对比函数,该任务对比函数包括上述任务比对方法实施例中的步骤,得到任务比对按钮。当需要比对开发任务时,操作人员只需在终端的操作界面上,点击预构建的任务比对按钮,便能触发开发任务比对流程,执行上述任务比对方法实施例中的步骤,得到任务比对结果。

S400,在预设的任务比对条件被触发的情况下,分别从不同的数据源中抽取出上线开发任务数据集和排产开发任务数据集。

S620,截取上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识,将上线任务标识和排产任务标识数据分别存储至不同的数据表的数据列中,得到上线任务标识列和排产任务标识数据列。

上线任务标识包括上线任务所属的物理子系统编号和上线任务编号,排产任务标识数据包括排产任务所属的物理子系统编号和排产任务编号。本实施例中,以上线任务标识所属的物理子系统编号为第一物理子系统编号为例,排产任务所属的物理子系统编号为第二物理子系统编号为例。

具体实施时,可以是针对上线任务,拼接第一物理子系统编号和上线任务编号,并将拼接后的第一物理子系统编号和上线任务编号存储至预构建的Excel的数据列中,得到上线任务标识列。例如,上线任务的第一物理子系统编号为A,上线任务编号为0001,则拼接上述第一物理子系统编号和上线任务编号,得到A_0001。

针对排产任务,拼接排产任务所属的第二物理子系统编号和排产任务编号,并将拼接后的第二物理子系统编号和排产任务编号存储至预构建的Excel的数据列中,得到排产任务标识数据列。例如,排产任务的第二物理子系统编号为B,上线任务编号为0001,则拼接上述第一物理子系统编号和上线任务编号,得到B_0001。

S700,对上线任务标识集和排产任务标识集进行数据预处理,数据预处理包括数据去重、数据格式标准化以及命名规范化中的至少一种。

S812,按照上线任务标识和排产任务标识,分别对数据预处理后的上线任务标识集和排产任务标识集进行排序处理,对排序处理后的上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。

S820,若检测出上线任务标识集的异常上线任务标识,则采用第一标识方式标记异常上线任务标识,异常上线任务标识为不存于排产任务标识集的开发任务标识数据。

S840,若检测出排产任务标识集中的异常排产任务标识,则采用第二标记方式标记异常排产任务标识,异常排产任务标识为不存于上线任务标识集的开发任务标识数据。

S900,预设的可视化展示工具,对任务比对结果进行可视化展示,其中,任务比对结果包括任务优先级、任务依赖关系以及异常任务标识结果。

上述数据处理方法中,将原本相互隔离独立的投产系统和排产系统联系起来,通过预先设置任务比对条件,能够实现开发任务的自动比对,通过截取出上线任务标识和排产任务标识,比对上线任务标识集和排产任务标识集,能够高效且准确地比较两个系统中的任务标识是否一致,快速检测出投产系统和排产系统中存在遗漏或重复的任务标识,提高了开发任务比对效率。进一步地,采用上述方案还能够便于操作人员及时发现异常任务并增删上线任务范围,有利于保证上线任务范围和排产任务范围的一致性,提高生产环境的数据安全性。

应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的数据处理方法的数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个数据处理装置实施例中的具体限定可以参见上文中对于数据处理方法的限定,在此不再赘述。

在其中一个实施例中,如图8所示,提供了一种数据处理装置800,包括:数据抽取模块810、数据截取处理模块820和数据比对模块830,其中:

数据抽取模块810,用于在预设的任务比对条件被触发的情况下,分别从不同的数据源中抽取出上线开发任务数据集和排产开发任务数据集。

数据截取处理模块820,用于截取上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识,得到上线任务标识集和排产任务标识集。

数据比对模块830,用于对上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。

上述数据处理装置中,在预设的任务比对条件被触发的情况下,分别从不同的数据源中抽取出上线开发任务数据集和排产开发任务数据集,然后,截取上线开发任务数据集中的上线任务标识、以及排产开发任务数据集中的排产任务标识,得到上线任务标识集和排产任务标识集,最后,对上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。整个方案,将原本相互隔离独立的投产系统和排产系统联系起来,通过预先设置任务比对条件,能够实现开发任务的自动比对,通过截取出上线任务标识和排产任务标识,比对上线任务标识集和排产任务标识集,能够高效且准确地比较上线任务和排产任务是否一致,快速检测出上线任务和排产任务中存在遗漏或重复的任务标识,提高了开发任务比对效率。进一步地,采用上述方案还能够便于操作人员及时发现异常任务并增删上线任务范围,有利于保证上线任务范围和排产任务范围的一致性,提高生产环境的数据安全性。

在其中一个实施例中,上线任务标识包括第一物理子系统编号和上线任务编号,排产任务标识数据包括第二物理子系统编号和排产任务编号;

数据截取处理模块820,还用于拼接第一物理子系统编号和上线任务编号,并将拼接后的第一物理子系统编号和上线任务编号存储至预构建的数据表的数据列中,得到上线任务标识列;以及拼接第二物理子系统编号和排产任务编号,并将拼接后的第二物理子系统编号和排产任务编号存储至预构建的数据表的数据列中,得到排产任务标识数据列。

在其中一个实施例中,数据比对模块830,还用于若检测出上线任务标识集的异常上线任务标识,则采用第一标识方式标记异常上线任务标识,异常上线任务标识为不存于排产任务标识集的开发任务标识数据;若检测出排产任务标识集中的异常排产任务标识,则采用第二标记方式标记异常排产任务标识,异常排产任务标识为不存于上线任务标识集的开发任务标识数据。

如图9所示,在其中一个实施例中,装置还包括数据预处理模块822,用于对上线任务标识集和排产任务标识集进行数据预处理,数据预处理包括数据去重、数据格式标准化以及命名规范化中的至少一种;

数据比对模块830,还用于对数据预处理后的上线任务标识集和排产任务标识集进行一致性比对。

在其中一个实施例中,数据比对模块830,还用于按照上线任务标识和排产任务标识,分别对数据预处理后的上线任务标识集和排产任务标识集进行排序处理,对排序处理后的上线任务标识集和排产任务标识集进行一致性比对,得到任务比对结果。

如图9所示,在其中一个实施例中,装置还包括可视化展示模块840,用于调用预设的可视化展示工具,对任务比对结果进行可视化展示,其中,任务比对结果包括任务优先级、任务依赖关系以及异常任务标识结果。

上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上线开发任务数据集、排产开发任务数据集、以及任务比对结果等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。

本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各数据处理方法实施例中的步骤。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各数据处理方法实施例中的步骤。

在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各数据处理方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

相关技术
  • 数据处理方法、装置、计算机设备及计算机可读存储介质
  • 数据仓库内数据处理方法、装置、计算机设备和存储介质
  • 一种数据处理方法、数据处理装置、计算机设备及可读存储介质
  • 财报数据处理方法、装置、计算机设备和存储介质
  • 测试数据表的处理方法、装置、计算机设备和存储介质
  • 内容数据的处理方法、报告数据的处理方法、计算机设备、存储介质
  • 数据处理方法、装置、计算机设备和计算机可读存储介质
技术分类

06120116498751