数据处理系统、方法及计算机装置

技术领域

本发明涉及数据处理领域，尤其涉及一种数据处理系统、方法及计算机装置。

背景技术

随着电商逐渐普及于大众生活，越来越多的用户趋向于网上购物。其中抖音电商也逐渐成为电商主流的一部分。随着用户通过抖音电商购买商品的增多，抖音商家需要处理的数据也越来越多，尤其是对于一些销售产品种类较多的电商企业来说，需要处理的数据量庞大。

传统地，大多数抖音商家选用一些成熟的软件去管控这些数据，如商品信息、订单信息等。而当抖音商家在和厂商核对时，就需要对这些数据进行集中整理，以得到一份符合厂商要求的数据表单。而不同的厂商对需要的数据以及数据要求是不同的。比如有些厂商需要反馈的数据中包含商品的单日销售数量，而不要求有月销售数量，而有些厂商需要反馈的数据中包含商品的单日销售数量，也要包含商品的约销售数量。

现有的软件在处理这类问题时，通常是设置数据导入或导出的模版，用户可以根据预先设置好的模版进行数据的导入或导出。但是，这些模版无法个性化地适用于不同的厂商。

此外，用户在设置模版时，模版中出现的数据可能会有所重复，比如说单日数据和每周的数据，其中每周的数据中就包含有单日的数据。但是由于用户在设置模版时，存在误操作而导致模版中要求出现这些重复的数据，这样一来，就会导致数据导入或导出的效率大大地降低。

发明内容

本发明的一个优势在于提供一种数据处理系统、方法及计算机装置，其中通过所述数据处理方法能够根据不同的厂商要求，自动地形成个性化的模版，从而是用户得到对应符合供应商要求的数据。

本发明的另一个优势在于提供一种数据处理系统、方法及计算机装置，其中通过所述数据处理方法能够自动地对所述数据模版中的数据归属进行相似性判断，从而能够使得在导出数据时，去除导出数据中冗余的数据，进而使得数据的导出或导入能够更加地迅速。

本发明的另一优势在于提供一种数据处理系统、方法及计算机装置，其中通过所述数据处理方法在导出或导入数据时，可以通过异步处理的方式对数据进行处理，从而有效地防止数据丢失和重复的导入或导出数据。

为到达以上至少一个优势，本发明提供一种数据处理方法，所述数据处理方法包括：

采集导出和/或导入的每个厂商的数据；

计算每个厂商同种业务类型的数据下，每种数据归属在导入或导出的数据中出现的次数和/或频率，将出现次数和/或频率低于一预设阈值的数据归属记作非计入数据模版的数据归属，而将出现次数和/或频率高于一预设阈值的数据归属记作计入所述数据模版的数据归属；

将所有计入所述数据模版的所述数据归属确定为一显示策略，而将所有非计入所述数据模版的所述数据归属确定为一非显示策略，并将所述显示策略和所述非显示策略定义为所述厂商的数据归类方式；

根据每个所述厂商的数据归类方式和一预设模版和所述显示策略和非显示策略，自动地调整所述预设模版。

根据本发明一实施例，采集的每个厂商的数据被设置为预定时长内导出和/或导入的数据。

根据本发明一实施例，根据采集的用户设定的所述预设模版，响应用户设定所述预设模版中必须显示的数据归属有关操作信号，形成必须在所述预设模版上显示的数据归属的显示模版策略和可被调整的数据归属有关的非显示模版策略。

根据本发明一实施例，所述数据处理方法还包括以下步骤：

采集每个厂商每种数据类型的所有所述数据模版；

判断每种数据类型中所述数据模版中所述数据归属之间的相似性；

屏蔽所述数据模版中，所述数据归属的相似性较高的至少两个数据归属中的至少一个，而显示所述数据模版中所述数据归属的相似性较低的所述数据归属，以形成调整后的所述数据模版。

根据本发明一实施例，屏蔽所述数据模版中，所述数据归属的相似性较高的至少两个数据归属中的至少一个，而显示所述数据模版中所述数据归属的相似性较低的所述数据归属，以形成调整后的所述数据模版包括：

隐藏所述数据模版中，所述数据归属的相似性较高的至少两个数据归属中的至少一个，而显示所述数据模版中所述数据归属的相似性较低的所述数据归属。

根据本发明一实施例，屏蔽所述数据模版中，所述数据归属的相似性较高的至少两个数据归属中的至少一个，而显示所述数据模版中所述数据归属的相似性较低的所述数据归属，以形成调整后的所述数据模版包括：

删除所述数据模版中，所述数据归属的相似性较高的至少两个数据归属中的至少一个，而显示所述数据模版中所述数据归属的相似性较低的所述数据归属。

根据本发明一实施例，判断每种数据类型中所述数据模版中所述数据归属之间的相似性，包括：

采集经由同一厂商对应所述数据类型的所述数据模版导出和/或导入的数据；

通过语义分析的方式确定同一厂商对应所述数据类型的所述数据模版中所述数据归属之间的相似性；

判断通过语义分析的方式确定同一厂商对应所述数据类型的所述数据模版中所述数据归属之间的相似性高的至少两个所述数据归属同时出现在同一厂商对应所述数据类型的所述数据模版导出和/或导入的数据中的次数和/或频率，当所述数据归属之间相似性高的至少两个所述数据归属同时出现在同一厂商对应所述数据类型的所述数据模版导出和/或导入的数据中的和/或频率超过预设值时，则确定所述数据归属之间相似性较低；反之则较高。

根据本发明的一个方面，为达到上述目的，本发明提供一种数据处理系统，所述数据处理系统包括：

数据采集模块，其中所述数据采集模块被设置采集导出和/或导入给每个厂商的数据；

数据处理模块，其中所述数据处理模块被设置计算每个厂商同种业务类型的数据下，每种数据归属在导入或导出的数据中出现的次数和/或频率，将出现次数和/或频率低于一预设阈值的数据归属记作非计入数据模版的数据归属，而将出现次数和/或频率高于一预设阈值的数据归属记作计入所述数据模版的数据归属；将所有计入所述数据模版的所述数据归属确定为一显示策略，而将所有非计入所述数据模版的所述数据归属确定为一非显示策略，并将所述显示策略和所述非显示策略定义为所述厂商的数据归类方式；和

执行模块，其中所述输出模块被设置根据每个所述厂商的数据归类方式和一预设模版和所述显示策略和非显示策略，自动地调整所述预设模版。

根据本发明的一个方面，为达到上述目的，本发明提供一种存储介质，存储有计算机程序，当所述计算机程序被执行时，使得其执行上述任一所述数据处理方法。

根据本发明的一个方面，为达到上述目的，本发明提供一种计算机装置，所述计算机装置包括一个或多个处理器和存储介质，其中所述存储介质被可通信地连接于所述处理器，并且所述处理器被设置能够执行上述任一所述数据处理方法。

附图说明

图1示出了本发明所述数据处理方法的流程图。

图2示出了本发明所述数据处理方法被执行时的一个实施例的示意图。

图3示出了本发明所述数据处理方法被执行时的一个操作界面示意图。

图4示出了本发明所述数据处理方法被执行时的另一个实施例的示意图。

图5示出了本发明所述数据处理系统的结构框图。

图6示出了本发明一计算机装置的结构框图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

示例性数据处理方法

参考图1，依本发明一较佳实施例的一种数据处理方法将在以下被详细地阐述，其中所述数据处理方法包括以下步骤：

S1001，采集导出和/或导入给每个厂商的数据，并确定每个厂商的数据归类方式。

本领域技术人员可以理解的是，采集的每个厂商的数据可以被设置为预定时长内导出和/或导入的数据，如一个月、上个季度或上个年度导出和/或导入的数据。通过这样的方式，能够在保证采集数据的数据量的同时，还能够有效减少后续数据分析的压力。

此外，可以理解的是，在导出或导入数据时，给予每个厂商一预设的标签，以将所述标签和对应的所述厂商关联。

此外，每个厂商的数据科被归属于不同的表头，也就是说，数据的数据归属即可以被实施为根据表格的表头属性确定。比如说，如下表1所示，示出了一个厂商的数据归类的方式。

表1：某厂家商品档案的数据归类方式

进一步地，所述数据处理的方法包括以下步骤：

S1002，根据每个所述厂商的数据归类方式和一预设模版，自动地调整所述预设模版，以形成与不同所述厂商个性化地匹配的一数据模版。

值得一提的是，通常情况下，对于数据的导入和导出的数据，都预设有一默认的模版。但是默认的模版并不一定适用于各个不同的厂商，这主要是因为不同的厂商对于数据的归类方式可能会有其自己个性化要求，而经由上述步骤S1001和所述步骤S1002，能够自动地为不同厂商个性化地匹配所述数据模版。

进一步地，所述步骤S1001，采集导出和/或导入给每个厂商的数据，并确定对应每个厂商的数据归类方式，包括：

S10011，采集导出和/或导入的每个厂商的数据；

S10012，计算每个厂商同种业务类型的数据下，每种数据归属在导入或导出的数据中出现的次数和/或频率，将出现次数和/或频率低于一预设阈值的数据归属记作非计入数据模版的数据归属，而将出现次数和/或频率高于一预设阈值的数据归属记作计入所述数据模版的数据归属；

S10013，将所有计入所述数据模版的所述数据归属确定为一显示策略，而将所有非计入所述数据模版的所述数据归属确定为一非显示策略，并将所述显示策略和所述非显示策略定义为所述厂商的数据归类方式。

比如，参考图2所示，在图2所示的实施例中，该厂商同种业务数据“商品档案”在上一个季度中，数据归属“退货情况说明”出现的次数和/或频率远低于设定的阈值，因此，数据归属“退货情况说明”将被记作非计入数据模版的数据归属；而对于其他的数据归属出现的次数和/或频率高于设定的阈值，因此，其他数据归属将被记作计入所述数据模版的数据归属。

对应地，通过所述步骤S1002，根据所述显示策略和所述非显示策略，自动地调整所述预设模版，从而能够使形成的所述数据模版自动地与每个所述厂商匹配。

比如说，在如图2所示的示例中，所述数据归属“退货情况说明”出现的次数和/或频率比较低，因此，可以默认该厂商在提取数据时，可以在数据中不显示该内容，因此通过执行所述步骤S10013，而形成了相应地非计入数据模版的数据归属的策略。而其他的数据归属“退货情况说明”出现的次数和/或频率较高，因此，可以默认该厂商在提取数据时，可以在该数据中希望显示该内容，同样通过执行所述步骤S10012，而形成了相应地计入数据模版的数据归属的策略。

而通过执行所述步骤S1002，从而可以根据所述步骤S1003形成的策略，自动地调整所述预设模版。比如，如果所述预设模版中存在非计入数据模版的数据归属，而通过执行所述步骤S1002而可以自动地删除和/或隐藏非计入数据模版的数据归属，如“退货情况说明”。反之，如果所述预设模版中不存在计入数据模版的数据归属，而通过执行所述步骤S1002而可以自动地显示和/或添加计入数据模版的数据归属，如其他数据归属。

本领域技术人员可以理解的是，通过上述方式，用户在数据导入或导出时，不需要手动地设置模版，尤其是在厂商较多的情况下。通过上述方式，能够有效地提高用户的数据归集效率。

作为优选地，所述数据处理方法还包括以下步骤：

S2001，根据采集的用户设定的所述预设模版，响应用户设定所述预设模版中必须显示的数据归属有关操作信号，形成必须在所述预设模版上显示的数据归属的显示模版策略和可被调整的数据归属有关的非显示模版策略。如图3示出的一操作截面图。

对应地，在执行所述步骤S1002时，所述步骤S1002包括：

S10021，根据所述显示模版策略、所述非显示模版策略以及必须在所述预设模版中显示的数据归属和可被调整的数据归属有关的策略，调整所述预设模版，从而为每个不同的所述厂商个性化地匹配所述数据模版。

比如，在如图2所示的示例中，用户可以将数据归属“商品名称”、“出货时间”等确定为必须显示的数据归属，而将“单价”、“退货数量”等作为可被调整的数据归属。

随后通过执行所述步骤S2001、所述步骤S10021，进而能够使所有的厂商的所述数据模版中都有“商品名称”、“出货时间”等必须显示的数据归属，进而使得导出或导入的数据中，都有“商品名称”、“出货时间”等必须显示的数据归属。而作为优选地，对于“单价”、“退货数量”等作为可被调整的数据归属，将会根据所述步骤S10011至所述步骤S10013确定。

本领域技术人员能够理解的是，通过上述方式，不仅能够使最终形成的所述数据模版个性化地与厂商匹配，即符合厂商的要求，而且还可以有效地减少数据处理过程中的数据量，从而有效地提高数据处理的效率。

所述数据处理方法还包括以下步骤：

S3001，采集每个厂商每种数据类型的所有所述数据模版；

S3002，判断每种数据类型中所述数据模版中所述数据归属之间的相似性；

S3003，屏蔽所述数据模版中，所述数据归属的相似性较高的至少两个数据归属中的至少一个，而显示所述数据模版中所述数据归属的相似性较低的所述数据归属，以形成调整后的所述数据模版。

作为优选地，在一个实施例中，所述步骤S3003被实施为：

S30031，隐藏所述数据模版中，所述数据归属的相似性较高的至少两个数据归属中的至少一个，而显示所述数据模版中所述数据归属的相似性较低的所述数据归属。

更优选地，在另一个实施例中，所述步骤S3003被实施为：

S30032，删除所述数据模版中，所述数据归属的相似性较高的至少两个数据归属中的至少一个，而显示所述数据模版中所述数据归属的相似性较低的所述数据归属。

值得一提的是，在本实施例中，由于删除了所述数据模版中，所述数据归属的相似性较高的至少两个数据归属中的至少一个，因此，在后续通过调整后的所述数据模版进行数据的导出或导入时，不仅能够使最终形成的数据能够满足用户的需求，而且同时还能够在数据导出或导入时减少数据处理的量，提高数据处理的效率。

优选地，在一个实施例中，所述数据归属之间的相似性判断可以通过语义分析的方式确定。

作为优选地，所述步骤S3002，判断每种数据类型中所述数据模版中所述数据归属之间的相似性，包括：

S30021，采集经由同一厂商对应所述数据类型的所述数据模版导出和/或导入的数据；

S30022，通过语义分析的方式确定同一厂商对应所述数据类型的所述数据模版中所述数据归属之间的相似性；

S30023，判断所述步骤S30022中，所述数据归属之间相似性高的至少两个所述数据归属同时出现在同一厂商对应所述数据类型的所述数据模版导出和/或导入的数据中的次数和/或频率，当所述数据归属之间相似性高的至少两个所述数据归属同时出现在同一厂商对应所述数据类型的所述数据模版导出和/或导入的数据中的和/或频率超过预设值时，则确定所述数据归属之间相似性较低；反之则较高。

比如说：在图4所示的示例中，通过语义分析，最终可能确定所述数据归属“日销售数量”和“月销售数量”相似性较高。但是通过执行所述步骤S30023可以看出，所述数据归属“日销售数量”和“月销售数量”在3n个数据中都有“日销售数量”和“月销售数量”，此时，通过执行所述步骤S30023和所述步骤S3003，进而使得最终形成的调整后的所述数据模版中还保留有所述数据归属“日销售数量”和“月销售数量”。

本领域技术人员可以理解的是，通过上述步骤，可以有效地、准确地简化最终形成的所述数据模版，从而使得经由所述数据模版导入或导出数据时，有效地消除相对于每一个厂商来说冗余的数据。

优选地，所述数据处理方法还包括：

S4001，通过消息列队的方式存储导出或导入的数据；

S4002，在存储完成后，再根据形成的所述数据模版导出或导入的数据。

本领域技术人员可以理解的是，通过执行所述步骤S4001，能够使得数据在导入或者导入时，能够先将数据存储起来，以防止数据丢失。随后再通过执行所述步骤S4002，从而能够实现对数据的异步处理。

示例性数据处理系统

参考图5，根据本发明的另一个方面，本发明提供一种数据处理系统，其中所述数据处理系统包括数据采集模块100、数据处理模块200以及执行模块300，其中所述数据采集模块100被设置采集导出和/或导入给每个厂商的数据；其中所述数据处理模块200被设置计算每个厂商同种业务类型的数据下，每种数据归属在导入或导出的数据中出现的次数和/或频率，将出现次数和/或频率低于一预设阈值的数据归属记作非计入数据模版的数据归属，而将出现次数和/或频率高于一预设阈值的数据归属记作计入所述数据模版的数据归属；将所有计入所述数据模版的所述数据归属确定为一显示策略，而将所有非计入所述数据模版的所述数据归属确定为一非显示策略，并将所述显示策略和所述非显示策略定义为所述厂商的数据归类方式；其中所述输出模块300被设置根据每个所述厂商的数据归类方式和一预设模版和所述显示策略和非显示策略，自动地调整所述预设模版。

此外，所述采集模块100、所述数据处理模块200以及所述执行模块300还被设置执行上述所述数据处理方法其他步骤。

示例性计算机装置

图6为本申请计算机装置一个实施例的结构示意图，如图6所示，上述计算机装置可以包括：一个或多个处理器和存储器；以及一个或多个计算机程序。

其中，上述计算机装置可以为电脑，服务器，移动终端（手机），收银设备，计算机，智慧屏，无人机，智能网联车（Intelligent Connected Vehicle；以下简称：ICV），智能（汽）车（smart/intelligent car）或车载设备等设备。

其中上述一个或多个计算机程序被存储在上述存储器中，上述一个或多个计算机程序包括指令，当上述指令被上述设备执行时，使得上述设备执行所述数据处理方法。

图6所示的计算机装置可以是终端设备或服务器也可以是内置于上述终端设备或服务器的电路设备。该设备可以用于执行本申请图1所示实施例提供的所述数据处理方法。

如图6所示，计算机装置900包括处理器910和存储器920。其中，处理器910和存储器920之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器920用于存储计算机程序，该处理器910用于从该存储器920中调用并运行该计算机程序。

上述存储器920可以是只读存储器（read-only memory，ROM）、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器（random access memory，RAM)或可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器（electrically erasable programmable read-only memory，EEPROM）、只读光盘（compactdisc read-only memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数值通用光碟、蓝光光碟等）、磁盘存储介质或者其它磁存储设备，或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质等。

上述处理器910可以和存储器920可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器920中存储的程序代码来实现上述功能。具体实现时，该存储器920也可以集成在处理器910中，或者，独立于处理器910。

应理解，图6所示的计算机装置900能够实现本申请图1所示实施例提供的方法的各个过程。计算机装置900中的各个模块的操作和/或功能，分别为了实现上述方法实施例中的相应流程。具体可参见本申请图1所示方法实施例中的描述，为避免重复，此处适当省略详细描述。

除此之外，为了使得计算机装置900的功能更加完善，该计算机装置900还可以包括电源940、输入单元950等中的一个或多个。

可选地，电源950用于给计算机装置中的各种器件或电路提供电源。

应理解，图6所示的计算机装置900中的处理器910可以是片上系统SOC，该处理器910中可以包括中央处理器（Central Processing Unit；以下简称：CPU），还可以进一步包括其他类型的处理器。

总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器920中。

本申请还提供一种计算机装置，所述装置包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现本申请图1所示实施例提供的方法。

以上各实施例中，涉及的处理器可以例如包括CPU、DSP、微控制器或数值信号处理器，还可包括GPU、嵌入式神经网络处理器（Neural-network Process Units）；该处理器还可包括必要的硬件加速器或逻辑处理硬件电路，如ASIC，或一个或多个用于控制本申请技术方案程序执行的集成电路等。此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储介质中。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行本申请图1所示实施例提供的方法。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行本申请图1所示实施例提供的方法。

本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory；以下简称：ROM）、随机存取存储器（Random Access Memory；以下简称：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的优势已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。