一种化妆品检验数据自动化处理及报告生成系统

技术领域

本发明属于检验检测技术领域，特别涉及一种化妆品检验数据自动化处理及报告生成系统。

背景技术

在化妆品的检验工作中，检验项目众多，例如在《化妆品安全技术规范》(2015年版)中涉及检验项目85余种，并且随着技术的发展，检验项目数量逐年增加，这些检验项目中涉及组分众多，共计500余种。在具体的检验工作中，每一检品往往涉及多个检验项目，而每一检验项目下涉及多种组分，例如在2020年国抽检验美白类化妆品的检验项目中涉及糖皮质激素和抗生素等，共计100种组分。随着组分数量的增加，检验过程中涉及的数据也呈指数型增长，以美白类化妆品的检验为例，就标准系列溶液产生的浓度数据量达到将近1000个，涉及每一批检品的关键检验数据有400余个。这些数据的计算和录入不仅仅占用了检验人员大量时间和精力，其数据的核对也是一个庞大的工作，并且面临庞大的数据量，这种方式往往无法保证数据的准确性。因此，许多实验室耗费巨资，引入实验室信息管理系统(LIMS)来减轻检验人员的工作量，例如帮助检验人员完成检品管理、原始记录的合成、结论的判定等。然而，LIMS并不能帮助检验人员完成数据的录入以及核对，甚至于无法满足特殊化妆品检验结论的判定。一方面是因为在为特殊化妆品检验结果下结论时，所用参照条件较多，需要与检出限、定量限、批件标识、标签标识以及限值等进行比对；另一方面是因为化妆品国抽方案每年都在动态调整，同一项目在不同年度判定时，参照条件不同，例如在2019年国抽工作中要求未检出染发剂组分与批件、标签标识比对，在2020年不再要求此项；不同类别的特殊化妆品的检验结果的判定所参照条件不同，例如在2020年国抽工作中要求未检出防晒剂组分与批件、标签标识同时比对。

发明内容

本发明提供一种能够完成检验结论自动化判定，检验数据的自动化核对，并且能够合成检验原始记录的系统。

为了实现上述目的，本发明通过以下技术方案予以实现：

一种化妆品检验数据自动化处理及报告生成系统，包括原始数据模块、数据存储模块和数据处理模块；所述原始数据模块包括由产生检验相关原始数据文件组成；所述数据存储模块用于存储原始数据模块中的所有原始数据的Excel文件；所述数据处理模块包括数据处理软件和Excel工作簿，用于对原始数据模块中的原始数据及数据存储模块中的Excel文件进行二次处理。

进一步地，所述原始数据模块包括检品标识、对照品标识、检验标准、对照品和检品的前处理过程、上机测定产生的数据和网站批准文件，所述检品标识包括检品的基本信息、标签标识组分信息、生产日期。

进一步地，所述数据处理模块包括检品信息提取模块、对照品信息提取模块、检验标准相关信息提取模块、自动化生成标准曲线系列浓度报表模块、自动化生成检品含量计算页报表模块、报表文件的批量化导出模块、底稿信息查询模块、原始数据核对模块和原始记录合成模块。

进一步地，所述检品信息提取模块用于从导出文件中提取检品信息至原始数据存储层，所述对照品信息提取模块用于从对照品数据库中提取对照品信息至原始数据存储层，所述检验标准相关信息提取模块用于从检验标准数据库中提取检验标准相关信息至原始数据存储层。

进一步地，所述自动化生成标准曲线系列浓度报表模块在Excel文件中自动化计算出标准曲线系列浓度并生成报表；所述自动化生成检品含量计算页报表模块在Excel文件中自动化计算出检品中检出组分的含量并生成报表；

进一步地，所述报表文件的批量化导出模块根据需要将标准曲线系列浓度报表和检品含量计算页报表批量化导出为PDF文件。

进一步地，所述底稿信息查询模块将数据存储模块的检验数据进行检验结论的自动化判定、备注信息的生成以及将其生成为符合国抽上报格式要求的文件。

进一步地，所述原始数据核对模块将PDF文件中的浓度数据与Excel文件中的浓度数据进行自动化分析核对，查找人工录入数据出现的疏漏；所述原始记录合成模块将每一检品所对应的多个PDF文件按照工作要求合成为单个文件，并进行页码编排和检品编号信息的标记。

与现有技术相比，本发明提供的化妆品检验数据自动化处理及报告生成系统具有以下有益效果：

本发明中化妆品检验数据自动化处理及报告生成系统，能够完成检验原始数据自动化核对、检验原始记录自动化合成、检验结论自动化判定，不仅系统投入和运行成本低廉，而且技术人员的可操作性强，极大地省去了机械性的重复工作环节、提高了庞大数据录入准确率，工作效率得到了大幅度提升。

附图说明

图1为本发明的系统结构设计图。

图2为本发明中标准曲线系列浓度计算逻辑图。

图3为本发明中计算检品中检出组分含量的逻辑图。

图4为本发明中批量化导出标准曲线系列浓度/检品中检出组分含量计算页的逻辑图。

图5为本发明中生成国抽上报文件的逻辑图。

图6为本发明中一种具体实施例中判定规则设置单元的问题项判定逻辑图。

图7为本发明中用于设置判定问题项规则的软件设置界面。

具体实施方式

一种化妆品检验数据自动化处理及报告生成系统，包括原始数据模块、数据存储模块、数据处理模块。

所述原始数据模块是由产生检验相关原始数据文件组成，主要有检品标识(检品的基本信息、标签标识组分信息、生产日期等)、国家局网站批准文件(批准文件标识的组分信息、保质期等)、对照品标识(纯度、厂家等)、检验标准(标准规定限值、以游离基计/以盐计组分的折算系数等)、对照品和检品的前处理过程(称样量、稀释体积、稀释倍数等)和上机测定产生的数据(标准曲线相关系数、检品中检出组分的浓度等)。

所述数据存储模块用于存储所有原始数据的Excel文件。

所述数据处理模块由数据处理软件和Excel工作簿构成，用于对原始数据进行二次处理，包括以下功能模块：

A)检品信息提取模块，用于从内网系统导出文件中提取检品信息至原始数据存储层；

B)对照品信息提取模块，用于从对照品数据库中提取对照品信息至原始数据存储层；

C)检验标准相关信息提取模块，用于从检验标准数据库中提取检验标准相关信息至原始数据存储层；

D)自动化生成标准曲线系列浓度报表模块，在Excel文件中自动化计算出标准曲线系列浓度，并生成报表，存放至至指定路径中；

E)自动化生成检品含量计算页报表模块，在Excel文件中自动化计算出检品中检出组分的含量，并生成报表，存放至至指定路径中；

F)报表文件的批量化导出模块，根据需要将标准曲线系列浓度报表和检品含量计算页报表批量化导出为PDF文件，导出至指定路径中。

G)底稿信息查询模块，将原始数据存储层的检验数据进行检验结论的自动化判定、备注信息的生成，以及将其生成为符合国抽上报格式要求的文件，导出至指定路径中；

H)原始数据核对模块，将PDF文件中的浓度数据与Excel文件中的浓度数据进行自动化核对，查找人工录入数据出现的疏漏；将需要核对的Excel文件存储路径设置到软件中；选择核对“标曲浓度”或“样品浓度”数据，通过导入需要核对的PDF文件，将对Excel文件中数据与PDF文件中的数据进行核对，并将核对结果显示在工作窗口中。

I)原始记录合成模块，将每一检品所对应的多个PDF文件按照工作要求合成为单个文件，并进行页码编排和检品编号等信息的标记。操作流程一般为首先将手写的原始记录进行扫描，并保存至特定路径，根据检品的检验项目组成，进行原始记录文件路径的设定，刷新原始记录组成列表，在检品列表中选择需要合成的原始记录，执行原始记录合成操作。

实施例1

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和实施例对本发明的具体实施方式作进一步详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。

下面对文中出现的特定名词作补充解释：

备注信息文本格式：备注信息中“检出”、“未检出”组分和“批件”、“标签”相关组分的排列组合方式。

检品数据集：与检品检验相关数据(检出限、定量限、批件标识、标签标识、标准规定等)的集合；

查询条件集：多个查询条件组成的集合；

批件：特殊化妆品在中国药品监督管理局网站上存储的批准文件；

批件标识：批件中化妆品包含组分的标识情况；

标签标识：标签中化妆品包含组分的标识情况；

标准规定：《化妆品安全技术规范》中对分析组分所规定的限值。

内网系统:单位内部用于管理检品相关数据的信息系统。

本发明提供一种能够完成检验结论自动化判定，检验数据的自动化核对，并且能够合成检验原始记录的系统。为实现上述目的，本发明采用以下技术方案：一种化妆品检验数据自动化处理及报告生成系统，由原始数据层、数据存储层、数据处理层三层构成。所述数据处理模块包括检品信息提取模块、对照品信息提取模块、检验标准相关信息提取模块、自动化生成标准曲线系列浓度报表模块、自动化生成检品含量计算页报表模块、报表文件的批量化导出模块、底稿信息查询模块、原始数据核对模块和原始记录合成模块。

本发明的运行依赖于指定的Excel工作簿，所述Excel工作簿主要包括检品信息表、检品处理表、标准规定表、标曲系列浓度表、标签和批件标识组分表、检出组分表、组分浓度表、组分含量表以及计算页表。这些工作表一方面可以完成对检品基本信息、标准规定限值、对照品/检品处理过程中产生的原始数据等信息的存储，另一方面可以完成对这些数据的调用和计算，以生成符合要求的报表。工作簿的组成及核心功能如表1所示。

表1 Excel工作簿组成设计表

所述自动化生成标准曲线系列浓度报表模块，在Excel文件中自动化计算标准曲线系列浓度，并生成报表，实现方式如下：

在Excel工作簿“标曲系列”工作表中输入对照品处理过程中的称样量和稀释体积后，由计算公式调取对照品的纯度和浓度单位，根据浓度单位查询不同单位之间的换算系数，然后计算对照品母液浓度，在输入对照品母液稀释过程中的数据后，计算出混标浓度；继续输入标曲系列的稀释倍数后，由混标浓度计算出标曲系列浓度。

自动化生成检品含量计算页报表模块，在Excel文件中自动化计算检品中检出组分的含量，并生成报表，实现方式如下：

在Excel工作簿“计算页”工作表中选择需要查看的检品编号，工作表通过数组公式将“浓度1”和“浓度2”两张工作表中该检品下的所有组分的第一个浓度分别求和，并判断其是否大于“0”，如果大于“0”表示该组分有检出，并查询该组分对应的组分序号；如果不大于“0”，表示该组分未检出，此时返回一个极大值。此时将这些检出组分的序号和极大值组合成一个新的数值序列，并进行升序排序，所有检出组分的序号都将排在数值序列前半部分。然后利用数组公式对该序列进行逐次查询，如果查询到的是组分序号而不是极大值，则调取该组分在“浓度2”表中的浓度数据，并判断其是否大于“0”，如果大于“0”说明该组分进行了复测，其检验结果应当以复测数据为准，此时调取“浓度2”表中浓度对应的称样量、稀释体积、稀释倍数等信息并生成该组分的检出结果表格；如果不大于“0”，表示该组分并未参与复测，其浓度应当以“浓度1”表中的数据为准，此时调取“浓度1”表中浓度对应的称样量、稀释体积、稀释倍数等信息并生成该组分的检出结果表格。

所述报表文件的批量化导出模块，根据需要将标准曲线系列浓度报表和检品含量计算页报表批量化导出为PDF文件，实现方式如下：

在软件中导入需要导出数据的Excel文件，完成相关设置后(设置是否合并多个报表的数据、选择需要导出的组分和检品编号)；然后执行导出操作，即可将需要的数据导出为PDF文件。实现流程有：

①遍历导入的Excel工作簿，对每一待导出报表文件对应工作表(“标曲系列”工作表或者“计算页”工作表)中填写检品编号。

②根据第一个导入的Excel工作簿待导出报表创建副本文件，清除副本文件中的数据，并保留单元格格式。

③遍历待导出表中的组分，并将需要导出组分的相关数据复制至副本文件中。(不需要导出的数据组分有两种情况，一种情况是在软件界面中设置了该组分信息不需要导出至PDF文件，另外一种情况是该组分在导入Excel文件中不存在要导出的数据，例如在检品中未检出该组分，在计算页中并无相关数据。)

④待一个导入文件中的所有待导出组分相关数据复制至副本文件后。判断是否对所有导入的Excel文件中的数据进行合并，如果不需要合并，则将副本文件中的数据导出至PDF文件中；如果需要合并则将剩余待导出报表文件中需要导出组分的相关数据复制至副本文件中，待所有待导入Excel中的数据复制至副本文件后，再将副本文件数据导出为PDF文件。

所述底稿信息查询模块，将原始数据存储层的检验数据进行检验结论的自动化判定、备注信息的生成，以及将其生成为符合国抽上报格式要求的文件。

具体流程如下：

①完善Excel工作簿的信息，包括工作簿中的检品信息、标准规定信息、检验数据、批件/标签标识结果等。

②将Excel工作簿导入至软件中，并将关键数据逐文件提取至检品数据集中，这部分数据包括分析组分的名称、编号、是否参与检验、检出限、定量限、标准规定、批件/标签标识、检出结果。

③规范化检品数据集中的数据，在检品数据集中新增列，将未检出结果标识为“0”，将小于定量限的至标识为定量限具体数值，将所有非“无需检验”组分的单项结论标识为“符合规定”。

④单项结论的判定及备注信息的生成，根据国抽工作要求，在检品数据集中查询出符合“问题项”判定规则的组分，将单项结论写为“问题项”；查询出超出标准规定限值的组分，单项结论标识为“不符合规定”；根据国抽工作的要求，将问题项组分按照要求的次序及组合方式进行组合。

⑤总结论的判定，如果存在单项结论为“不符合规定”组分，则总结论应当为“不合格”；如果不存在单项结论为“不符合规定”的组分，存在单项结论为“问题项”的组分，则总结论应当为“结果如上”，如果不存在单项结论为“不符合规定”和“问题项”的组分，则总结论为“合格”。

⑥在进行如上操作后，将检品数据集中的关键数据导出为国抽上报文件。

在上述流程中，难点在于步骤④“单项结论判定及生成备注信息”，原因在于其中问题项组分的判定规则不尽统一，以2020年国抽工作要求为例，染发剂的问题项组分判定只需要将检出组分与批件和标签标识进行核对，而防晒剂的问题项组分判定需要将检出和未检出组分均与批件和标签标识比对。表2中罗列了各种情况下检验结论问题项判定的条件，总体来看，问题项的出现有如下五种情况：①检出批件外组分(批件＝0，检出＝1)；②未检出批件内组分(批件＝1，检出＝0)；③检出标签外组分(标签＝0，检出＝1)；④未检出标签内组分(标签＝1，检出＝0)；⑤当只需要与批件或者标签核对时，该项目组分标识状态不正常，或需要与两者都要核对时两者组分标识状态均不正常，此时所有检出组分均为问题项(检出＝1)。备注信息中反应的信息也是上述五种情况中部分情况的排列组合，其格式要求决定了排列组合的方式，即是决定了查询问题项组分的查询次序。例如：备注信息文本格式为“(1)检出批件外的组分……；检出标签外的组分……；(2)未检出批件内的组分……；未检出标签内的组分……；”，分组方式为将检出批件和标签外的组分分为一组，将未检出批件和标签内的组分分为一组；排列次序为：将检出组分列在分组的前面，将批件相关组分列在组内的前面；查询次序为每一小项的排列顺序。又例：备注信息文本格式为：“(1)未检出批件内的组分……；检出批件外的组分……；(2)未检出标签内的组分……；检出标签外的组分……；”，分组方式为将批件相关的组分分为一组，将未标签相关的组分分为一组；排列次序为：将批件相关组分列在分组的前面，将未检出组分列在组内的前面。因此，在软件界面中设定分组方式和组外及组内的排序方式，即可确定查询次序。具体备注信息生成的实现如下：

①在软件界面设置问题项判定规则，即选择检出情况与批件/标签的核对情况，选择核对检出组分/未检出组分。

②在软件界面设置备注信息文本格式的要求，即选择问题项组分的排列组合方式，以确定查询次序和组合方式。

③通过调用特定检品的批件/标签状态以及问题项判定规则，从表2中筛选出符合条件的一级描述，如果该一级描述对应的查询条件只有1条，则直接按照此查询条件对检品数据集进行查询，并将查询出的组分的单项结论写为“问题项”，将查询出的组分名称合成一条备注信息，不再执行后续步骤；否则继续按照如下顺序继续操作。

④通过步骤②确定的查询次序，查询步骤③中得到的一级描述对应的查询条件，如果查询到具体条件，则按该条件查询检品数据集，将查询到组分的单项结论写为“问题项”，组分名称合成为一小项备注信息。如果未查询到具体条件，则执行针对查询条件的下一次查询。待每一分组的查询次序执行完毕后，将分别得到的每一小项备注信息分为一组。待所有查询次序完成后，即可得到完整的备注信息。

表2检验结论问题项判定条件表

注：表中“标签”、“批件”、“检出”、列中的“0”表示无，“1”表示有，“/”表示不涉及，“*”表示非关键因素，可忽略其状态。

原始记录合成模块，将每一检品所对应的多个PDF文件按照工作要求合成为单个文件，并进行页码编排和检品编号等信息的标记；根据原始记录与检品的依赖关系可将原始记录分为公共原始记录和私有原始记录。公共原始记录可用于同一标曲系列下的多个检品，主要包括用于标曲拟合的标曲系列浓度、标准物质的对照图谱、用于计算检品的标准曲线；私有原始记录只能用于特定编号的检品，例如写了称样量的手写原始记录、检品检验结果的计算页、检品图谱、检品的批件、检品的外包装照片等。原始记录的合成顺序如下：

①将每一部分的原始记录的存储路径和文件属性设置在软件原始记录组成列表界面，并根据需要选择是否对其添加页眉(页眉中包括检品编号、页码等信息)。

②计算所有导入的私有文件路径下存在文件的公共检品编号，并将每一检品对应的文件路径保存在原始记录组成列表，将公共检品编号导入至检品列表。

③选择需要进行组合原始记录的检品编号。

④根据选择的检品编号和基本设置，将每一检品对应文件下的原始记录进行整合。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。