IM服务评价模型的训练方法及评价方法

技术领域

本发明涉及计算机技术领域，特别涉及一种IM评价模型的训练方法及评价方法。

背景技术

目前，对各种商业领域从业人员的服务质量、服务水平基本都是简单地从业绩、成果等方面来衡量。但是，这样的衡量方式维度少、服务质量不容易量化，从而导致对于从业人员的整体评价做不到全面、客观、直观。

特别是从业人员通过IM（Instant Messaging，即时通讯）平台或系统与客户进行交流及提供服务时，从业人员的表现无法得到全面有效地评价，究其原因，主要有以下几点：首先，从业人员无法直观感知自己的服务质量情况；其次，目前对从业人员IM服务的评价仅仅是基于客户反馈的信息，但是，在大量的IM聊天会话中，一方面，由于客户经常没有留下评价的意愿，导致客户评价信息少；另一方面，由于反馈维度有限，导致评价的维度不够全面；再次，从业人员IM服务的质量是动态变化的，但是在目前已有的评价策略中，并没有考虑时间维度的变化。总之，已有的从业人员IM服务评价系统在数据来源、数据维度、打分策略等多个方面均存在缺陷。

因此，需要一种能够针对从业人员或各商业领域的经纪人的IM服务进行打分的服务质量评价方式，具体地，需要一种会话方IM服务评价模型的训练方法及评价方法，以对从业人员或各商业领域的经纪人的IM服务提供全面、客观、直观的评价。

需要说明的是，以上背景技术部分所公开的信息仅用于增强对本发明背景的理解，因此其可能包含不构成对本领域技术人员已知的现有技术的信息。

发明内容

为了解决现有技术中存在的问题，本发明提供一种会话方IM服务评价模型的训练方法及评价方法及装置，其提供了多维度的IM服务打分策略，且具备可解释性，从而克服现有技术中存在的问题。

本发明提供一种会话方IM服务评价模型的训练方法，包括以下步骤：获取原始训练数据，所述原始训练数据中的每个样本都包括服务质量特征、非服务质量特征和标签值；处理所述原始训练数据：利用GBDT模型对所述原始训练数据中的非服务质量特征进行特征转换，得到转换后的非服务质量特征；构建正式训练数据，所述正式训练数据中的每个样本都包括所述服务质量特征、所述转换后的非服务质量特征和所述标签值；以及创建会话方IM服务评价模型：基于所述正式训练数据对LR模型进行训练，获得会话方IM服务评价模型。

根据本发明一实施例，在所述获取原始训练数据之前，所述方法还包括：筛选训练数据：筛选出每个会话方在第一预设时间段内具有完整会话的数据；简化训练数据：将筛选出的训练数据中每个会话方对应的多个样本简化为单个样本；以及归一化训练数据：将简化后的训练数据中的服务质量特征所对应的值进行归一化处理，并将经归一化处理后的训练数据作为所述原始训练数据。

根据本发明一实施例，所述简化训练数据还包括：通过对筛选出的训练数据中每个会话方对应的多个样本中的服务质量特征和非服务质量特征中的至少一部分特征所对应的值分别求均值，来将每个会话方对应的多个样本简化为单个样本；对筛选出的训练数据中每个会话方对应的多个样本的标签值求正样本所占比例值，当求得的比例值大于第一预设值时，将简化后的单个会话方的单个样本的标签值设为1；当求得的比例值等于所述第一预设值时，将简化后的单个会话方的单个样本的标签值设为0。

根据本发明一实施例，所述简化训练数据还包括：对筛选出的训练数据中每个会话方对应的多个样本的标签值求正样本所占比例值，当求得的比例值大于第二预设值时，将简化后的单个会话方的单个样本的标签值设为1；当求得的比例值等于所述第一预设值时，将简化后的单个会话方的单个样本的标签值设为0，其中，所述第二预设值大于所述第一预设值。

根据本发明一实施例，所述标签值设置为将达成委托转化的样本作为正样本，并将未达成委托转化的样本作为负样本；和/或所述第一预设值为0，所述第二预设值为0.3。

根据本发明一实施例，所述第一预设时间段为7天。

根据本发明一实施例，处理所述原始训练数据还包括：利用GBDT模型，对所述非服务质量特征和所述标签值进行学习，得到CART树，并将落在所有CART树的叶子结点的值作为转换后的非服务质量特征所对应的值，以便将所述非服务质量特征的实值转换为二值向量。

根据本发明一实施例，所述创建会话方IM服务评价模型还包括：将sigmoid函数作为激活函数加入到LR模型中，以便将会话方IM服务评价模型的输出值映射到0-1之间，和/或利用L2正则化方法对LR模型进行正则化，以防止过拟合。

根据本发明一实施例，所述输出值可基于所述LR模型经训练拟合出的线性函数中的特征权值的大小而得到解释。

根据本发明一实施例，所述非服务质量特征包含：事件维度特征、客户评价维度特征、人维度特征中的一个或多个。

根据本发明一实施例，所述事件维度特征包括：商机量；所述客户评价维度特征包括：问题回答精准度、业务熟悉度、态度友好度、需求理解度中的一个或多个；所述人维度特征包括：客户类型、客户需求、客户年龄、客户婚姻状态、会话方等级、会话方学历、会话方年龄、会话方婚姻状态、忠诚度中的一个或多个。

根据本发明一实施例，所述服务质量特征包括：一分钟响应率、响应时长、开场语、结束语、有效复聊、推荐商品或服务、推荐商品或服务是否合理描述、推荐商品或服务文字描述质量、索要联系方式、对话主导、答非所问、回答生硬、违规操作、客户需求个数、回复率、对话轮数、资质等级中的一个或多个特征。

根据本发明一实施例，所述推荐商品或服务、推荐商品或服务是否合理描述、推荐商品或服务文字描述质量、资质等级分别为：推荐房源、推荐房源是否合理描述、推荐房源文字描述质量、博学考试成绩。

根据本发明的另一方面，还提供一种会话方IM服务的评价方法，包括以下步骤：获取目标数据，所述目标数据中的每个样本都包括服务质量特征；利用模型进行预测：将所述目标数据中的服务质量特征所对应的值输入所述会话方IM服务评价模型，得到输出值，其中，所述会话方IM服务质量评价模型使用上文所述的会话方IM服务评价模型的训练方法创建；以及生成会话方的IM服务评价：将所述输出值作为会话方的IM服务评价分数提供给会话方。

根据本发明一实施例，在所述获取目标数据之前，所述方法还包括：筛选目标数据：筛选出每个会话方在第二预设时间段内具有完整IM会话的数据；简化目标数据：将筛选出的目标数据中每个会话方对应的多个样本简化为单个样本；以及归一化目标数据：将简化后的目标数据中的服务质量特征所对应的值进行归一化处理。

根据本发明一实施例，所述简化目标数据还包括：通过对筛选出的目标数据中每个会话方对应的多个样本中的至少一部分服务质量特征所对应的值分别求均值，来将每个会话方对应的多个样本简化为单个样本。

根据本发明一实施例，所述生成会话方的IM服务评价还包括：将所述输出值映射到百分制作为会话方的IM服务评价分数，并基于所述会话方IM服务评价模型的可解释性，为会话方提供其每种服务质量特征的得分。

根据本发明一实施例，所述第二预设时间段为7天。

根据本发明的另一方面，还提供一种会话方IM服务评价模型的训练装置，包括：数据获取模块，其被配置为：获取原始训练数据，所述原始训练数据中的每个样本都包括服务质量特征、非服务质量特征和标签值；数据处理模块，其被配置为：处理所述原始训练数据：利用GBDT模型对所述原始训练数据中的非服务质量特征进行特征转换，得到转换后的非服务质量特征；数据重构模块，其被配置为：构建正式训练数据，所述正式训练数据中的每个样本都包括所述服务质量特征、所述转换后的非服务质量特征和所述标签值；以及模型创建模块，其被配置为：创建会话方IM服务评价模型：基于所述正式训练数据对LR模型进行训练，获得会话方IM服务评价模型。

根据本发明一实施例，所述装置还包括：数据筛选模块，其被配置为：筛选训练数据：筛选出每个会话方在第一预设时间段内具有完整会话的数据；数据简化模块，其被配置为：简化训练数据：将筛选出的训练数据中每个会话方对应的多个样本简化为单个样本；以及数据归一化模块，其被配置为：归一化训练数据：将简化后的训练数据中的服务质量特征所对应的值进行归一化处理，并将经归一化处理后的训练数据作为所述原始训练数据。

根据本发明的另一方面，还提供一种会话方IM服务的评价装置，包括：目标数据获取模块，其被配置为：获取目标数据，所述目标数据中的每个样本都包括服务质量特征；模型预测模块，其被配置为：利用模型进行预测：将所述目标数据中的服务质量特征所对应的值输入所述会话方IM服务评价模型，得到输出值，其中，所述会话方IM服务质量评价模型使用上文所述的会话方IM服务评价模型的训练方法创建；以及结果生成模块，其被配置为：生成会话方的IM服务评价：将所述输出值作为会话方的IM服务评价分数提供给会话方。

根据本发明一实施例，所述装置还包括：目标数据筛选模块，其被配置为：筛选目标数据：筛选出每个会话方在第二预设时间段内具有完整IM会话的数据；目标数据简化模块，其被配置为：简化目标数据：将筛选出的目标数据中每个会话方对应的多个样本简化为单个样本；以及目标数据归一化模块，其被配置为：归一化目标数据：将简化后的目标数据中的服务质量特征所对应的值进行归一化处理。

根据本发明的另一方面，还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的会话方IM服务评价模型的训练方法或会话方IM服务的评价方法的步骤。

根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的会话方IM服务评价模型的训练方法或会话方IM服务的评价方法的步骤。

根据本发明的另一方面，还提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如上所述的会话方IM服务评价模型的训练方法或会话方IM服务的评价方法的步骤。

本发明所提供的会话方IM服务评价模型的训练方法、评价方法及装置通过有效的挖掘打分维度，来实现从多个维度对会话方的IM服务进行打分，并且通过对不同维度得分策略的定义，来根据重要程度得到每个会话方在不同维度的得分，从而使得打分具备可解释性。

附图说明

以下将详细参考附图示出的特定示例性实施例，对本发明的上述和其他特征进行说明，所述示例性实施例在下文中仅以说明的方式给出，因此并不限制本发明，其中：

图1示出根据本发明一实施例的IM服务评价模型的训练方法的流程图。

图2示出根据本发明另一实施例的IM服务评价模型的训练方法的流程图。

图3示出根据本发明一实施例的IM服务的评价方法的流程图。

图4示出根据本发明另一实施例的IM服务的评价方法的流程图。

图5示出根据本发明一实施例的IM服务评价模型的训练阶段及预测阶段的逻辑示意图。

图6示出根据本发明一实施例的IM服务评价模型的训练装置的结构示意图。

图7示出根据本发明另一实施例的IM服务评价模型的训练装置的结构示意图。

图8示出根据本发明一实施例的IM服务的评价装置的结构示意图。

图9示出根据本发明另一实施例的IM服务的评价装置的结构示意图。

具体实施方式

以下通过具体实施例对本发明进行详细描述，以使本领域普通技术人员能够容易地根据本说明书公开的内容实施本发明。以下所描述的实施例仅是本发明的一部分实施例，而非全部。基于本说明书所描述的实施例，本领域普通技术人员在不付出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。需要说明的是，在不发生冲突的情况下，本说明书中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明所述的会话方可以指各领域中提供服务的服务方，例如房地产、汽车、保险、证券等行业内的特定领域经纪人，或者其他商业领域中为客户提供商业服务或产品的从业人员，本发明不对此概念进行字面意义的限定。对于上述行业和领域来说，通过IM平台或系统与客户进行交流及提供服务都是较为普遍的，为了便于说明，在本说明书的一些具体实施例中，将以房地产领域为例进行详细阐述，其中“会话方”将以房地产领域的经纪人为例来具体说明。

如图1所示，本发明提供了一种IM服务评价模型的训练方法100。具体地，方法100包括在S110处获取原始训练数据；在S120处处理原始训练数据；在S130处构建正式训练数据；以及在S140处创建IM服务评价模型。

其中，方法100在S110处获取原始训练数据，所述原始训练数据中的每个样本都包括服务质量特征、非服务质量特征和标签值。在本发明一个或多个实施例中，服务质量特征可以与经纪人自身的表现密切相关，是经纪人通过学习、积累经验等途径能够改变和提升的特征；而非服务质量特征则可以是通常不能被经纪人控制或改变的特征。进一步地，利用本发明在选择特征时，可以通过皮尔逊相关系数的计算，得到与模型的正负样本标签具有较强相关性的一些特征，将其作为可选的服务质量特征，以便能够更有效地构建IM服务评价模型。

在本发明一优选实施例中，所述服务质量特征可以包含IM会话维度的特征，所述IM会话维度的特征可以包括：一分钟响应率、响应时长、开场语、结束语、有效复聊、推荐商品或服务、推荐商品或服务是否合理描述、推荐商品或服务文字描述质量、索要联系方式、对话主导、答非所问、回答生硬、违规操作、客户需求个数、回复率、对话轮数、资质等级等特征中的一个或多个。具体到房地产领域，所述推荐商品或服务、推荐商品或服务是否合理描述、推荐商品或服务文字描述质量、资质等级特征可以分别对应于：推荐房源、推荐房源是否合理描述、推荐房源文字描述质量、博学考试成绩特征。下表1示出了具体到房地产领域的上述服务质量特征及说明：

在本发明一优选实施例中，所述非服务质量特征可以包含事件维度、客户评价维度、人维度等中的一个或多个维度的特征。在一优选实施例中，事件维度中的“事件”可以指商机转化，即用户从房源详情页进入会话则表示发生了商机转化，在此情况下，所述事件维度特征可以包括：商机量；所述客户评价维度特征可包括：问题回答精准度、业务熟悉度、态度友好度、需求理解度等中的一个或多个，由于所述客户评价维度的特征都是由客户决定的，而并不是经纪人自身能够改变的，因此带有较大的不确定和不客观因素，因此将该维度的特征作为非服务质量特征而不是服务质量特征，以避免对模型和预测造成干扰；所述人维度特征可以包括：客户类型、客户需求、客户年龄、客户婚姻状态、经纪人等级、经纪人学历、经纪人年龄、经纪人婚姻状态、忠诚度等中的一个或多个。具体到房地产领域，所述客户评价维度特征中的业务熟悉可以指房源熟悉度。下表2示出了具体到房地产领域的上述非服务质量特征及说明：

额外或可替代地，表1和表2中所示出的服务质量特征和非服务质量特征根据不同领域的实际情况，还可以包括其他特征，同时，每个特征的含义也将随领域的不同而变化。

在一些商业领域——例如房地产领域——的IM聊天中，比较关注“委托转化”业务指标的达成，因此，在本发明的一个或多个实施例中，可以将该指标作为上述特征的标签值。具体来说，所述标签值设置为将达成委托转化的样本作为正样本，并将未达成委托转化的样本作为负样本。换句话说，在一个IM会话消息的过程中，经纪人和客户达成了委托转化，即该会话记录是正样本，否则认为是负样本。

在本发明一些实施例中，以房地产领域为例，“委托转化”可以表示客户确认委托某个经纪人进行房产交易、租赁等，或者表示客户与经纪人达成看房、面聊、咨询等约定，还可以表示经纪人留下了客户的联系方式。在本发明另一些实施例中，“委托转化”还可以表示各领域内的其他含义，本发明对此不作限定。

在本发明一个或多个实施例中，可以从存储器中存储的IM商机管理、IM聊天对话、客户经纪人评价等数据中获取所述原始训练数据。优选地，可以从上述数据中筛选出二手房业务数据用于所述原始训练数据。

回到图1，方法100随后在步骤S120处处理所述原始训练数据：利用GBDT模型对所述原始训练数据中的非服务质量特征进行特征转换，得到转换后的非服务质量特征。

在本发明一优选实施例中，处理所述原始训练数据还包括：利用GBDT模型，对所述非服务质量特征和所述标签值进行学习，得到CART树，并将落在所有CART树的叶子结点的值作为转换后的非服务质量特征所对应的值，以便将所述非服务质量特征的实值转换为二值向量。

如本领域技术人员所知晓的，GBDT (Gradient Boosting Decision Tree)是一个集成模型，它是很多CART树的线性相加。GBDT模型可以表示为以下形式，将

提升树采用前向分步算法。第t步的模型由第t-1步的模型形成，可以写成下式 （2）：

损失函数定义为下式（3）：

GBDT模型在确定第t步的CART树时，采用的是用损失函数的负梯度来拟合本轮损失的近似值，进而拟合一个CART回归树，即每次需要拟合的是模型的负梯度。第t轮的第i个样本的损失函数的负梯度表示为下式（4）：

在本发明一优选实施例中，可以将GBDT模型的下列参数设置为：

n_estimators（最大迭代次数）= 60；max_depth（决策树最大深度）= 6；min_samples_split（最小分类样本数）= 6；learning_rate（学习率）= 0.1。

进一步地，在GBDT模型中，从根节点到叶节点的一条路径，表示的是在特征上的一个特定的规则。所以，落在CART树的叶子结点的值代表了这种规则、表征了样本中的信息，而且进行了非线性的组合变换。这些落在CART树的叶子结点的值取值为0/1，所有落在CART树的叶子结点的值组成了新的特征向量。当一个样本点通过某棵树最终落在这棵树的一个叶子结点上，那么在新的特征向量中这个叶子结点对应的元素值为1，而这棵树的其他叶子结点对应的元素值为0。新的特征向量的长度等于GBDT模型里所有树包含的叶子结点数之和。通过上述方式对非服务质量特征进行转换，能够为之后构建的IM服务评价模型提升其自身的表达能力做出贡献。

随后，方法100可在步骤S130处构建正式训练数据，所述正式训练数据中的每个样本都包括所述服务质量特征、所述转换后的非服务质量特征和所述标签值。具体来讲，原始训练数据中的每个样本通过将非服务质量特征转换为二值向量后，所述二值向量中的每一个元素都可以作为一个新的特征，与原来的质量服务特征以及标签值一起组成新的训练样本，所有新的训练样本即组成所述正式训练数据。

随后，方法100可在步骤S140处创建IM服务评价模型：基于所述正式训练数据对LR模型进行训练，获得IM服务评价模型。

LR（逻辑斯蒂回归）模型是一种线性模型，其对具有强线性相关的特征不友好，以房地产领域为例，对所述服务质量特征进行多重共线性的计算（详见下表3），结果表明这些特征的线性相关性不强，因此可以单独作为LR模型的特征。

表3 服务质量特征的多重共线性

在本发明一优选的实施例中，所述创建IM服务评价模型还包括：将sigmoid函数作为激活函数加入到LR模型中，以便将IM服务评价模型的输出值映射到0-1之间。

具体来讲，LR模型本质是一个线性二分类器，为了加强非线性，引入了sigmoid函数作为激活函数，将特征的线性组合作为自变量，通过sigmoid将其映射到（0，1）的区间上，其值表示的是y=1的概率。

其中，x是特征向量，w是权重矩阵（即权值），两者做内积。上述公式可以写成下式（6）：

LR模型的损失函数为下式（7）：

对其变形可得到下式（8）：

在本发明一优选实施例中，采用梯度下降法对该模型进行训练，从而求得每个特征的权值。

在本发明另一优选实施例中，可以将LR模型的下列参数设置为：

Penalty = 'l2'（采用L2正则化方法）；max_iter（算法收敛最大迭代次数）= 200；solver（优化算法选择参数）= ’sag’，其中sag为随机平均梯度下降；random_state（随机数种子）= 0。

如上述参数设置所列出的，为了防止过拟合，可以利用L2正则化方法对LR模型进行正则化。

在本发明一更加优选的实施例中，所述输出值可基于所述LR模型经训练拟合出的线性函数中的特征权值的大小而得到解释。具体来讲，LR模型通过对所述正式训练数据中的各种特征和标签值的学习，最终拟合出的线性函数能够给出每个特征所对应的权值大小，该权值能够反映各服务质量特征的重要性，从而在模型给出评价分数的同时，也能够知晓各服务质量特征对获得该评价分数所作出的贡献大小，即该模型具有很好的可解释性。

如下表4所示，利用图1所示的方法创建的IM服务评价模型在实际测试和使用中显示出较好的准召率：

表4 模型准召率

参考图2，其显示了根据本发明另一实施例的会话方IM服务评价模型的训练方法200。具体地，方法200包括在S202处筛选训练数据；在S204处简化训练数据；在S206处归一化训练数据；在S210处获取原始训练数据；在S220处处理所述原始训练数据；在S230处构建正式训练数据；以及在S240处创建会话方IM服务评价模型。

其中，方法200在S202处筛选训练数据：筛选出每个会话方在第一预设时间段内具有完整会话的数据。

在一优选实施例中，所述第一预设时间段为一周（7天），该一周可以是自然周，即从周一至周日的7天时间，也可以是从某一周中的任一日到下一周的对应日的7天时间，例如从某个周三到下一个周三的7天时间。具体到房地产领域，在选择数据的时间范围时，对一周内经纪人的会话个数（商机量）的分布进行了分析，结果显示虽然大部分经纪人的商机量较少，但是大部分经纪人都是有商机的，因此在衡量经纪人“会聊”程度的时候，选择一周内的会话数据进行分析是优选的。

此外，由于IM对话可能持续的时间超过一天，因此在取例如一周的时间内的IM对话时，为了避免有些跨越两周甚至更长时间的对话对训练数据造成干扰，只取在选定的某一周时间内完整的对话，即对话的开头和结尾的语句都出现在该周内。

随后，方法200在S204处简化训练数据：将筛选出的训练数据中每个会话方对应的多个样本简化为单个样本。具体来说，由于选取例如一周内的数据作为训练数据，因此一个会话方可能会存在多个IM对话，即多个样本对应于同一个会话方。为了简化训练数据，可以将训练数据简化为每个会话方只对应一个样本。

在本发明一优选实施例中，所述简化训练数据还包括：通过对筛选出的训练数据中每个会话方对应的多个样本中的服务质量特征和非服务质量特征中的至少一部分特征所对应的值分别求均值，来将每个会话方对应的多个样本简化为单个样本。

在本发明另一些实施例中，对于某个会话方，也可以针对其对应的多个样本中的服务质量特征和非服务质量特征中的至少一部分特征所对应的值分别求和，来将每个会话方对应的多个样本简化为单个样本。

可选地或可替代地，还可以采用本领域技术人员知晓的其他方式来将每个会话方对应的多个样本简化为单个样本，而不必拘泥于上述两种方式。额外地，在所述简化训练数据时，可以针对不同的特征采用不同的方式进行简化，例如可以对其中一些特征采取求均值的方式，而对另一些特征采取求和的方式，以便能够更好地适应不同特征的取值特点。需要说明的是，针对某个会话方来说，有些特征的取值在较长时间范围内是稳定不变的，因此对于这些特征，在简化训练数据时可以以其目前的取值作为简化后的单个样本的特征取值，而不必通过求均值或求和等计算来获得。

以上文所述房地产领域的特征为例，下表5示出了一具体实施例中在简化训练数据时可以采取的取特征值的方式：

表5 简化训练数据的特征取值

在本发明一优选实施例中，所述简化训练数据还包括：对筛选出的训练数据中每个会话方对应的多个样本的标签值求正样本所占比例值，当求得的比例值大于第一预设值时，将简化后的单个会话方的单个样本的标签值设为1；当求得的比例值等于第一预设值时，将简化后的单个会话方的单个样本的标签值设为0。由于每个样本都对应一个标签值，因此需要将每个会话方的多个样本的多个标签值简化为单个样本的单个标签值。在一优选实施例中，第一预设值可设为0，当每个会话方对应的多个样本的多个标签值中正样本所占比例大于0时，将简化后的单个会话方的单个样本的标签值设为1；当求得的比例值等于0时，将简化后的单个会话方的单个样本的标签值设为0。

在本发明一更加优选的实施例中，所述简化训练数据还包括：对筛选出的训练数据中每个会话方对应的多个样本的标签值求正样本所占比例值，当求得的比例值大于第二预设值时，将简化后的单个会话方的单个样本的标签值设为1；当求得的比例值等于第一预设值时，将简化后的单个会话方的单个样本的标签值设为0，其中，所述第二预设值大于所述第一预设值。在一优选实施例中，第一预设值可设为0，第二预设值可设为0.3。以标签值为“委托转化”业务指标为例，具体到房地产领域，在对每个会话方对应的多个样本的标签值求正样本所占比例值时发现，求得的比例值大于0且小于等于0.3的样本的差距不易被觉察到，因此舍弃该部分样本，而只保留求得的比例值等于0和大于0.3的样本，并且对应地分别将简化后的单个会话方的单个样本的标签值设为0和1。可替代地，第一预设值和第二预设值还可根据实际需要而设为其他合适的值，本发明对此不做限定。

随后，方法200在S206处归一化训练数据：将简化后的训练数据中的服务质量特征所对应的值进行归一化处理，并将经归一化处理后的训练数据作为所述原始训练数据。以上文所述房地产领域的服务质量特征为例，如表3所示，各种服务质量特征的取值范围、方式、数值都不完全相同，因此为了之后在LR模型中得到更好的训练效果，可以事先将简化后的训练数据中的服务质量特征的特征值进行归一化处理。

在该方法200中，所述步骤S210-S240可以基于与上文结合图1所示的步骤S110-S140类似的方法来实施，这里不再赘述。

参考图3，其显示了根据本发明一实施例的会话方IM服务的评价方法300。具体地，方法300包括在S310处获取目标数据；在S320处利用模型进行预测；以及在S330处生成会话方的IM服务评价。

其中，方法300在S310处获取目标数据，所述目标数据中的每个样本都包括服务质量特征。所述服务质量特征可以包含前文所述的全部或部分的服务质量特征，此处不再赘述。

随后，方法300在S320处利用模型进行预测：将所述目标数据中的服务质量特征所对应的值输入所述会话方IM服务评价模型，得到输出值，其中，所述会话方IM服务评价模型可以使用前文任一实施例所述的会话方IM服务评价模型的训练方法创建。具体来讲，在利用创建好的IM服务评价模型对会话方的IM服务进行预测时，可以仅输入会话方的服务质量特征，而无需输入前文所述的非服务质量特征。将服务质量特征输入训练好的IM服务评价模型，即可以得到大小在（0,1）区间内的输出值。

随后，方法300在S330处生成会话方的IM服务评价：将所述输出值作为会话方的IM服务评价分数提供给会话方。具体来说，IM服务评价模型给出的输出值能够反映例如“委托转化”业务指标的评价分数，该评价分数在很大程度上表达了会话方通过IM对话为客户提供的服务的好坏，因此可以将其作为评价会话方IM服务的评价分数。

在本发明一优选实施例中，所述生成会话方的IM服务评价还包括：将所述输出值映射到百分制作为会话方的IM服务评价分数，并基于所述会话方IM服务评价模型的可解释性，为会话方提供其每种服务质量特征的得分。具体来讲，由于IM服务评价模型给出的输出值在（0,1）区间内，将其映射到百分制则可得到0到100之间的得分。进一步地，如上文所述，创建的会话方IM服务评价模型可以给出每种服务质量特征的权值，因此该模型不仅可以提供会话方IM服务的评价分数，还可以提供组成评价分数的各种服务质量特征分别的得分。藉此，会话方能够通过每种服务质量特征的得分情况对自己的IM服务有更加立体和全面的认识，使其之后可以有针对性地提升自己的IM服务。

采用方法300的所述步骤，可以将会话方在一段时间内的IM服务质量进行量化，为有针对性地提升会话方的IM服务水平奠定了良好基础。

参考图4，其显示了根据本发明另一实施例的会话方IM服务的评价方法400。具体地，方法400包括在S402处筛选目标数据；在S404处简化目标数据；在S406处归一化目标数据；在S410处获取目标数据；在S420处利用模型进行预测；以及在S430处生成会话方的IM服务评价。

其中，方法400在S402处筛选目标数据：筛选出每个会话方在第二预设时间段内具有完整IM会话的数据。在本发明一优选实施例中，所述第二预设时间段为一周。

额外地或可替代地，上文所述的第一预设时间段与第二预设时间段可以是任何预设的时间段，二者可以相同，也可以不同。

随后，方法400在S404处简化目标数据：将筛选出的目标数据中每个会话方对应的多个样本简化为单个样本。在本发明一优选实施例中，所述简化目标数据还包括：通过对筛选出的目标数据中每个会话方对应的多个样本中的至少一部分服务质量特征所对应的值分别求均值，来将每个会话方对应的多个样本简化为单个样本。所述简化目标数据与前文所述简化训练数据类似，此处不再赘述。

随后，方法400在S406处归一化目标数据：将简化后的目标数据中的服务质量特征所对应的值进行归一化处理。所述归一化目标数据与前文所述归一化训练数据类似，此处不再赘述。

在该方法400中，所述步骤S410-S430可以基于与上文结合图3所示的步骤S310-S330类似的方法来实施，这里不再赘述。

为了更加清楚地阐述本发明，图5示出了根据本发明一实施例的会话方IM服务评价模型的训练阶段及预测阶段的逻辑示意图。该示意图能够清楚显示本发明所述的IM服务评价模型从创建到使用的过程。具体地，在图5的左侧，通过分类，将训练数据的样本中的特征分为非服务质量特征和服务质量特征；在模型训练阶段（图5的中间部分所示）：将训练数据的样本中的非服务质量特征输入GBDT模型进行特征转换，并将转换后的非服务质量特征与服务质量特征一起输入LR模型中进行模型训练，训练好的LR模型即为会话方IM服务评价模型；在模型预测阶段（图5右侧部分所示），将目标数据的样本中的服务质量特征输入会话方IM服务评价模型，则可以输出IM服务评价分数。

在本发明的实施例中，由于考虑了非服务质量特征具有在较长时间内不会发生变化、且不是会话方能够轻易改变的特性，而服务质量特征是会话方可以改变的，因此采用GBDT+LR双模型的方式在一定程度上能够将两种类型的特征区分开来。进一步地，利用GDBT模型转换的非服务质量特征与未经转换处理的服务质量特征，在LR模型拟合的线性函数中，都将具有各自的权值，然而考虑到即便基于所述线性函数的可解释性，获知某个非服务质量特征的分值较小，会话方也无法改变该非服务质量特征，因此在创建的IM服务评价模型中输入非服务质量特征是没有意义的。所以，对于LR模型拟合的线性函数，可以只保留服务质量特征部分，而不考虑或舍弃非服务质量特征部分，并将其作为创建的IM服务评价模型。也就是说，非服务质量特征在创建IM服务评价模型的过程中对拟合出来的线性函数中各服务质量特征的权值具有一定的影响，且经实践证明，该方式能够使得创建的IM服务评价模型显著提效。

此外，所述GBDT+LR双模型的方式能够提升IM服务评价模型的可解释性、以及服务质量特征与评价分数之间的关系的可解释性。

基于同样的发明构思，图6示出了根据本发明一实施例的会话方IM服务评价模型的训练装置500的结构示意图，所述装置500包括：数据获取模块510，其被配置为：获取原始训练数据，所述原始训练数据中的每个样本都包括服务质量特征、非服务质量特征和标签值，在本发明的实施例中，该数据获取模块510可以配置为执行图1中S110所示以及在本说明书中与图1中S110相对应的步骤；数据处理模块520，其被配置为处理所述原始训练数据：利用GBDT模型对所述原始训练数据中的非服务质量特征进行特征转换，得到转换后的非服务质量特征，在本发明的实施例中，该数据处理模块520可以配置为执行图1中S120所示以及在本说明书中与图1中S120相对应的步骤；数据重构模块530，其被配置为构建正式训练数据，所述正式训练数据中的每个样本都包括所述服务质量特征、所述转换后的非服务质量特征和所述标签值，在本发明的实施例中，该数据重构模块530可以配置为执行图1中S130所示以及在本说明书中与图1中S130相对应的步骤；模型创建模块540，其被配置为创建会话方IM服务评价模型：基于所述正式训练数据对LR模型进行训练，获得会话方IM服务评价模型，在本发明的实施例中，该模型创建模块540可以配置为执行图1中S140所示以及在本说明书中与图1中S140相对应的步骤。

基于同样的发明构思，图7示出了根据本发明另一实施例的会话方IM服务评价模型的训练装置600的结构示意图，所述装置600包括：数据筛选模块602，其被配置为：筛选训练数据：筛选出每个会话方在第一预设时间段内具有完整会话的数据，在本发明的实施例中，该数据筛选模块602可以配置为执行图2中S202所示以及在本说明书中与图2中S202相对应的步骤；数据简化模块604，其被配置为：简化训练数据：将筛选出的训练数据中每个会话方对应的多个样本简化为单个样本，在本发明的实施例中，该数据简化模块604可以配置为执行图2中S204所示以及在本说明书中与图2中S204相对应的步骤；数据归一化模块606，其被配置为：归一化训练数据：将简化后的训练数据中的服务质量特征所对应的值进行归一化处理，并将经归一化处理后的训练数据作为所述原始训练数据，在本发明的实施例中，该数据归一化模块606可以配置为执行图2中S206所示以及在本说明书中与图2中S206相对应的步骤；数据获取模块610，其被配置为：获取原始训练数据，所述原始训练数据中的每个样本都包括服务质量特征、非服务质量特征和标签值，在本发明的实施例中，该数据获取模块610可以配置为执行图2中S210所示以及在本说明书中与图2中S210相对应的步骤；数据处理模块620，其被配置为处理所述原始训练数据：利用GBDT模型对所述原始训练数据中的非服务质量特征进行特征转换，得到转换后的非服务质量特征，在本发明的实施例中，该数据处理模块620可以配置为执行图2中S220所示以及在本说明书中与图2中S220相对应的步骤；数据重构模块630，其被配置为构建正式训练数据，所述正式训练数据中的每个样本都包括所述服务质量特征、所述转换后的非服务质量特征和所述标签值，在本发明的实施例中，该数据重构模块630可以配置为执行图2中S230所示以及在本说明书中与图2中S230相对应的步骤；模型创建模块640，其被配置为创建会话方IM服务评价模型：基于所述正式训练数据对LR模型进行训练，获得会话方IM服务评价模型，在本发明的实施例中，该模型创建模块640可以配置为执行图2中S240所示以及在本说明书中与图2中S240相对应的步骤。

基于同样的发明构思，图8示出了根据本发明一实施例的会话方IM服务的评价装置700的结构示意图，所述装置700包括：目标数据获取模块710，其被配置为：获取目标数据，所述目标数据中的每个样本都包括服务质量特征，在本发明的实施例中，该目标数据获取模块710可以配置为执行图3中S310所示以及在本说明书中与图3中S310相对应的步骤；模型预测模块720，其被配置为：利用模型进行预测：将所述目标数据中的服务质量特征所对应的值输入所述会话方IM服务评价模型，得到输出值，其中，所述会话方IM服务质量评价模型可以使用前文任一实施例所述的会话方IM服务评价模型的训练方法创建，在本发明的实施例中，该模型预测模块720可以配置为执行图3中S320所示以及在本说明书中与图3中S320相对应的步骤；结果生成模块730，其被配置为：生成会话方的IM服务评价：将所述输出值作为会话方的IM服务评价分数提供给会话方，在本发明的实施例中，该结果生成模块730可以配置为执行图3中S330所示以及在本说明书中与图3中S330相对应的步骤。

基于同样的发明构思，图9示出了根据本发明另一实施例的会话方IM服务的评价装置800的结构示意图，所述装置800包括：目标数据筛选模块802，其被配置为：筛选目标数据：筛选出每个会话方在第二预设时间段内具有完整IM会话的数据，在本发明的实施例中，该目标数据筛选模块802可以配置为执行图4中S402所示以及在本说明书中与图4中S402相对应的步骤；目标数据简化模块804，其被配置为：简化目标数据：将筛选出的目标数据中每个会话方对应的多个样本简化为单个样本，在本发明的实施例中，该目标数据简化模块804可以配置为执行图4中S404所示以及在本说明书中与图4中S404相对应的步骤；目标数据归一化模块806，其被配置为：归一化目标数据：将简化后的目标数据中的服务质量特征所对应的值进行归一化处理，在本发明的实施例中，该目标数据归一化模块806可以配置为执行图4中S406所示以及在本说明书中与图4中S406相对应的步骤；目标数据获取模块810，其被配置为：获取目标数据，所述目标数据中的每个样本都包括服务质量特征，在本发明的实施例中，该目标数据获取模块810可以配置为执行图4中S410所示以及在本说明书中与图4中S410相对应的步骤；模型预测模块820，其被配置为：利用模型进行预测：将所述目标数据中的服务质量特征所对应的值输入所述会话方IM服务评价模型，得到输出值，其中，所述会话方IM服务质量评价模型可以使用前文任一实施例所述的会话方IM服务评价模型的训练方法创建，在本发明的实施例中，该模型预测模块820可以配置为执行图4中S420所示以及在本说明书中与图4中S420相对应的步骤；结果生成模块830，其被配置为：生成会话方的IM服务评价：将所述输出值作为会话方的IM服务评价分数提供给会话方，在本发明的实施例中，该结果生成模块830可以配置为执行图4中S430所示以及在本说明书中与图4中S430相对应的步骤。

可以理解，图6-9所示的结构仅为示意，所述装置还可包括比图6-9中所示更多或者更少的模块或组件，或者具有与图6-9所示不同的配置。

此外，本申请还提供了一种计算机设备，根据本发明一实施例，该计算机设备可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当所述处理器执行所述程序时，可以实现本说明书所述的会话方IM服务评价模型的训练方法或会话方IM服务的评价方法的步骤。

此外，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置可以执行本说明书所述的会话方IM服务评价模型的训练方法或会话方IM服务的评价方法的步骤。

此外，本申请还提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时可以实现本说明书所述的会话方IM服务评价模型的训练方法或会话方IM服务的评价方法的步骤。

特别地，以上参考附图中的流程图描述的实施例过程可以被实现为计算机软件程序。例如，本申请说明书公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行附图中各流程图所示的方法的程序代码，通过处理器执行该计算机程序，来执行本申请的方法。

需要说明的是，本申请所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM）、闪存、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN）连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

附图中的流程图和框图，示例性示出了按照本申请各实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。应当注意，在有些可作为替换的实施方式中，方框中所标注的功能也可以以不同于附图中所示的顺序发生。例如，两个依次表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。还要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。上述单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器，其包括数据获取模块、数据处理模块、数据重构模块、模型创建模块等。这些单元或模块的名称在某些情况下并不构成对该单元或模块本身的限定。

在本说明书中提及的所有文献都在本申请中引用作为参考，就如同每一篇文献被完整引用至本说明书作为参考。此外应理解，在阅读了本发明的上述说明内容之后，本领域技术人员可以对本发明做出各种改动或修改，这些等同形式同样落入本发明的保护范围。