一种基于机器学习和相似度评分的分类方法

技术领域

本发明涉及商品质量分类技术领域，具体是一种基于机器学习和相似度评分机制的商品质量分类方法

背景技术

分类问题应用于人类生产和生活的方方面面，人们每天都面临着各种基于种类、等级或性质进行分类问题，分类方法在机器学习领域已经得到广泛研究，如判别分析和逻辑回归等。早期的机器学习算法多关注于解决回归问题，近年来在分类问题上的研究越来越多，利用机器学习解决分类问题在疾病判断，文本分析，情感分析等方面都有着重大的研究意义。

解决分类问题的机器学习算法可以分类两类：单一分类算法和集成分类算法。单一算法有以朴素贝叶斯理论为基础，提出了基于概率统计进行分类的贝叶斯算法，但是该算法使用的是样本独立性假设，样本有关联时会导致分类性能降低；基于距离度量的K近邻算法将整个数据集作为训练集，确定样本之间的距离，然后按照距离最近的K个样本划定分类，但是该算法不建立模型，不易发现样本特征见关系，且计算量大导致计算速度慢；利用树机构的决策树算法将数据分成离散类，并通过剪枝等方法防止过拟合，但是该算法忽略了数据集中属性的相关性；基于统计学理论的支持向量机算法通过在原始特征空间构建最优分割平面，将数据的正负样本进行分割，从而进行分类，但是该算法只适用于二分类问题，对于多分类问题容易产生过拟合问题。

集成分类方法有Bagging方法采用自助法抽样获得N个采样集，然后对多个基分类器机进行训练，通过组合策略获得最终集合分类器，但是该方法训练集拟合程度差，模型的偏倚较大；利用决策树作为基分类器的随机森林算法将Bagging和随机特征选择结合起来，增加决策树模型的多样性，但是该方法模型解释困难，需要花费大量功夫使模型符合数据。

当前这些方法在处理分类问题中存在许多问题，如高维小样本中往往存在大量无关特征或燥声，可能导致分类精度不高或出现过拟合现象，此外数据降维和特征选择对分类结果也容易造成巨大的影响。

发明内容

本发明所要解决的技术问题是：提出一种更好的集成分类机制使得分类问题可以得到更好的解决。目的是：1、面对数据时可以更快捷的剔除冗余数据与无关特征；2、使用多个模块循环处理个阶段结果，使得结果更加精准。

为实现上述目的，本发明采用一种基于机器学习和相似度评分机制的数据分类的方法，具体步骤如下：

步骤1：将数据集归一化处理；

步骤2：将数据集划分为训练数据集和测试数据集；

步骤3：将训练数据集通过基于随机梯度下降法的权重计算模块获取各特征权重；

步骤4：对步骤3获得的特征权重判断模块，根据判断结果删除原始数据集中对应特征；

步骤5：按照特征权重判断模块标记结果删除训练数据集和测试数据集的特征；

步骤6：将新的训练数据集重新的输入通过Logistic方法进行分类，并将Logistic方法的分类过程保存为模型。

步骤7：将新训练数据集中数据输入保存模型中，将本次判断结果与新训练数据集中标签结果输入对比模块，根据对比模块结果划分判断正确数据集与判断错误数据集；

步骤8：将判断错误数据集与判断正确数据集输入基于欧几里得距离公式(Euclidean Distance)的相似度评估与判断模块，输出每条判断错误数据集相似度评估后的判断结果；

步骤9：根据每条判断错误数据集的相似度评分集合S对错误数据进行判定；

作为一种优选的技术方案，为提供一种基于相似度评估的分类判断方法，所描述的步骤中各模块实现为：

权重计算模块：将训练数据集输入本模块计算特征权重，计算方式如下：

ω

式(1)y为sigmoid函数，x

判断模块：对输入的各特征权重比较大小，将绝对值小于等于0.05的特征标记为可删除项；

对比模块：对输入的判断结果与新训练数据集中标签结果进行对比，判断结果与实际标签结果相同的为正确项，划分为判断正确数据集中；判断结果与实际标签结果不相同的为错误项，划分为判断错误数据集中；

相似度评估与判断模块：将一条判断错误数据集中数据与判断正确数据集每条数据进行相似度评估计算，计算方式如下：

Z

s

式(3)中d

本发明的有益效果如下：

本发明提出了一种新的商品质量分类的决策方法，使商品数据在分类过程中避免因为单一方法而造成分类效果不佳；采用基于欧几里得距离公式的相似度判断机制，可以有效的完善单一分类造成的分类错误，构造二次分类模型；并且根据分类结果循环完善模型，模型随分类数据的增加而更加完善，使得分类模型具有很强的学习能力、自适应性、科学性和鲁棒性。

附图说明

图1是本发明总体流程图。

图2是相似度评估与判断模块的具体流程图

具体实施方式

下面结合附图和实施例对本发明进行详细说明，但实例仅用于解释本发明，并不限于此。

步骤1：从Amazon Product Co-purchasing数据集中选择543552条数据集作为训练数据集，并选择50000条商品数据集作为测试集，将数据集归一化处理；

步骤2：对训练数据集和测试数据集中的特征进行归一化处理；

步骤3：训练数据集中的特征包括销售排名、上架时长、最高价格、最低价格、月均销量、商品收藏量、商品回购率、商品所属分类中排名、商品正面评论数量和商品负面评价数量，将这几个特征通过随机梯度下降法获取各特征权重；和商品质量评价结果作为分类标签。

本实例中的权重获得方法具体为：将训练数据集输入本模块计算特征权重，计算方式如下：

ω

式(1)y为sigmoid函数，x

步骤4：对步骤3获得的各特征权重输入判断模块，根据判断结果删除原始数据集中对应特征；

本实例中的判断模块具体实现为对输入的各特征权重比较大小，将绝对值小于等于0.05的特征标记为可删除项，经过权重判断，特征上架时长、最高价格、最低价格的权重绝对值低于0.05，在后续计算过程中删除这三个特征；

步骤5：按照特征权重判断模块标记结果删除训练数据集和测试数据集的特征；

步骤6：将新的训练数据集重新的输入通过Logistic方法进行分类，并将Logistic方法的分类过程保存为模型。

步骤7：将新训练数据集中数据输入保存模型中，将本次判断结果与新训练数据集中标签结果输入对比模块，根据对比模块结果划分判断正确数据集与判断错误数据集；

本实例中的对比模块具体实现为对输入的判断结果与新训练数据集中标签结果进行对比，判断结果与实际标签结果相同的为正确项，划分为判断正确数据集中；判断结果与实际标签结果不相同的为错误项，划分为判断错误数据集中；

本实例中共有543552条数据参与训练，经过对比模块划分，最终判断正确数据集中共有513145条数据，判断错误数据集中共有30407条数据；

步骤8：将判断错误数据集与判断正确数据集输入基于欧几里得距离公式(Euclidean Distance)的相似度评估与判断模块，输出每条判断错误数据集相似度评估后的判断结果，如图2所示，判断错误的数据表示为(x

本实例中相似度评估与判断模块具体实现为将一条判断错误数据集中数据与判断正确数据集每条数据进行相似度评估计算，计算方式如下：

Z

s

式(3)中d

步骤9：根据每条判断错误数据集的相似度评分集合S对错误数据进行判定；

本实例中结果判定过程为通过高斯函数获得评分S的加权W，并根据加权获得最终结果，计算过程如下：

式(6)a是曲线的高度，b是曲线中心线在x轴的偏移，c是半峰宽度，d

步骤10：将已完成商品质量判定结果加入判断正确数据集，完善模型；

步骤11：将测试数据集中商品信息输入判断模型获得商品质量分类结果。