一种召回策略筛选方法及相关装置

技术领域

本申请属于数据处理技术领域，尤其涉及一种召回策略筛选方法及相关装置。

背景技术

对于互联网上应用程序的互联网服务商来说，用户在其运营的应用程序上投入的时间越长，证明该用户越依赖其应用程序，那么互联网服务商从该用户身上获得潜在收益的几率就越高。例如，对某款应用程序投入时间越长的用户通常对该应用程序的付费业务会更加感兴趣，该应用程序促成该用户对其付费业务进行消费的成交概率越高。所以互联网服务商为了将增加用户对其运营的应用程序的粘性，通常需要主动给用户推送一些能提高用户兴趣的内容，以达到用户在其运营的应用程序上投入的更长时间的目的。召回策略作为对用户实施推送特定内容的实施计划，是为了挽回活跃度低的用户和增加用户在应用程序停留时长的有效手段。

然而，互联网服务商通过其应用程序后台给用户执行某个召回策略，若用户对该召回策略并不感兴趣，则可能会造成对用户的骚扰，严重时会导致用户卸载其应用程序，造成用户的流失；互联网服务商若不主动给活跃度低的用户执行召回策略，可能会使其应用程序慢慢淡出用户的生活，降低用户对其应用程序的依赖，也会逐步减低该用户对其付费业务进行消费的成交概率。

可见，给特定用户筛选出其合适的召回策略成为了亟需解决的技术问题。

发明内容

本申请的目的在于提供一种召回策略筛选方法以及相关装置，旨在为应用程序的特定用户筛选出其合适的召回策略，以便提高挽回活跃度低的用户和增加用户在应用程序停留时长的概率。

第一方面，本申请提供一种召回策略筛选方法，包括：

确定召回策略集合中召回策略的策略数量X，所述X为大于0的正整数，所述召回策略为对用户推送特定内容的实施计划；

将样本用户群划分为X个子样本用户群，所述样本用户群的用户数量大于或等于所述X；

针对X个所述子样本用户群，向同一个所述子样本用户群中的样本用户推送同一种所述召回策略集合中的召回策略；

根据在每一个子样本用户群中响应所述召回策略集合中的召回策略的响应用户数量，计算每一个所述子样本用户群的召回率；

筛选出满足预设标准的目标召回率对应的目标召回策略，所述目标召回率为所述召回率中的一个或多个，所述目标召回策略为所述召回策略中的一种或多种。

可选的，在将样本用户群划分为X个子样本用户群之前，所述方法还包括：

在划分为同一个目标等级的用户集合中提取特定数量的样本用户作为所述样本用户群。

可选的，在在划分为同一个目标等级的用户集合中提取特定数量的所述样本用户之前，所述方法还包括：

获取应用程序的整体用户集合中每一个用户在最近时间段的用户行为数据；

将每一个用户的所述用户行为数据输入预设的用户流失预测模型，得到所述整体用户集合中每一个用户的用户流失概率；

根据预设的等级划分标准将所述整体用户集合中每一个用户划分入对应的用户流失等级，得到Y个用户流失等级，所述Y为大于0的正整数，所述目标等级为所述Y个用户流失等级中的一个。

可选的，在筛选出满足预设标准的目标召回率对应的目标召回策略之后，所述方法还包括：

对所述同一个目标等级的用户集合中所有用户执行所述目标召回策略。

可选的，在对所述同一个目标等级的用户集合中所有用户执行所述目标召回策略之前，所述方法还包括：

计算所述同一个目标等级的用户集合中除去所述样本用户的剩余用户的自然召回率；

判断所述目标召回率是否大于所述自然召回率；

若所述目标召回率大于所述自然召回率，则触发执行对所述同一个目标等级的用户集合中所有用户执行所述目标召回策略；

若所述目标召回率小于或等于所述自然召回率，则提醒输入新的召回策略。

可选的，所述计算所述同一个目标等级的用户集合中除去所述样本用户的剩余用户的自然召回率包括：

获取所述剩余用户中在最近时间段内满足召回标准的自然召回用户的自然召回数量；

计算所述自然召回率，所述自然召回率等于所述自然召回数量除以所述剩余用户的剩余用户数量。

可选的，在对所述同一个目标等级的用户集合中所有用户执行所述目标召回策略之后，所述方法还包括：

计算所述同一个目标等级的用户集合中所有用户的整体召回率；

判断所述整体召回率是否大于所述自然召回率；

若所述整体召回率大于所述自然召回率，则将所述目标召回策略作为优选召回策略与所述目标等级关联存储；

若所述整体召回率等于或小于所述自然召回率，则停止对所述同一个目标等级的用户集合中所有用户执行所述目标召回策略。

第二方面，本申请提供一种召回策略筛选系统，包括：

确定单元，用于确定召回策略集合中召回策略的策略数量X，所述X为大于0的正整数，所述召回策略为对用户推送特定内容的实施计划；

划分单元，用于将样本用户群划分为X个子样本用户群，所述样本用户群的用户数量大于或等于所述X；

推送单元，用于针对X个所述子样本用户群，向同一个所述子样本用户群中的样本用户推送同一种所述召回策略集合中的召回策略；

计算单元，用于根据在每一个子样本用户群中响应所述召回策略集合中的召回策略的响应用户数量，计算每一个所述子样本用户群的召回率；

筛选单元，用于筛选出满足预设标准的目标召回率对应的目标召回策略，所述目标召回率为所述召回率中的一个或多个，所述目标召回策略为所述召回策略中的一种或多种。

可选的，所述系统还包括：

提取单元，用于在划分为同一个目标等级的用户集合中提取特定数量的样本用户作为所述样本用户群。

可选的，所述系统还包括：

获取单元，用于获取应用程序的整体用户集合中每一个用户在最近时间段的用户行为数据；

输入单元，用于将每一个用户的所述用户行为数据输入预设的用户流失预测模型，得到所述整体用户集合中每一个用户的用户流失概率；

所述划分单元，还用于根据预设的等级划分标准将所述整体用户集合中每一个用户划分入对应的用户流失等级，得到Y个用户流失等级，所述Y为大于0的正整数，所述目标等级为所述Y个用户流失等级中的一个。

可选的，所述系统还包括：

执行单元，用于对所述同一个目标等级的用户集合中所有用户执行所述目标召回策略。

可选的，所述系统还包括：

所述计算单元，还用于计算所述同一个目标等级的用户集合中除去所述样本用户的剩余用户的自然召回率；

判断单元，用于判断所述目标召回率是否大于所述自然召回率；

触发单元，用于若所述目标召回率大于所述自然召回率，则触发执行对所述同一个目标等级的用户集合中所有用户执行所述目标召回策略；

提醒单元，用于若所述目标召回率小于或等于所述自然召回率，则提醒输入新的召回策略。

可选的，所述计算单元计算所述同一个目标等级的用户集合中除去所述样本用户的剩余用户的自然召回率时，具体用于：

获取所述剩余用户中在最近时间段内满足召回标准的自然召回用户的自然召回数量；

计算所述自然召回率，所述自然召回率等于所述自然召回数量除以所述剩余用户的剩余用户数量。

可选的，所述系统还包括：

所述计算单元，还用于计算所述同一个目标等级的用户集合中所有用户的整体召回率；

所述判断单元，还用于判断所述整体召回率是否大于所述自然召回率；

存储单元，用于若所述整体召回率大于所述自然召回率，则将所述目标召回策略作为优选召回策略与所述目标等级关联存储；

停止单元，用于若所述整体召回率等于或小于所述自然召回率，则停止对所述同一个目标等级的用户集合中所有用户执行所述目标召回策略。

第三方面，本申请提供一种计算机设备，包括：

处理器、存储器、总线、输入输出接口、无线网络接口；

所述处理器通过总线与所述存储器、所述输入输出接口、所述无线网络接口相连；

所述存储器中存储有程序；

所述处理器执行所述存储器中存储的所述程序时，实现前述第一方面中任意一项所述召回策略筛选方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如前述第一方面中任意一项所述召回策略筛选方法。

第五方面，本申请提供一种计算机程序产品，所述计算机程序产品在计算机上执行时，使得所述计算机执行如前述第一方面中任意一项所述召回策略筛选方法。

以上技术方案可以看出，本申请实施例具有以下优点：

本申请通过确定召回策略集合中召回策略的策略数量X，其中X为大于0的正整数，召回策略为对用户推送特定内容的实施计划，得知所有召回策略的策略数量；为了先测试所有召回策略的效果，仅先在样本用户群中试验，将样本用户群划分为X个子样本用户群，其中样本用户群的用户数量大于或等于召回策略的策略数量X；再针对X个子样本用户群，向同一个子样本用户群中的样本用户推送同一种召回策略集合中的召回策略，实现在不同的子样本用户群中试验不同的召回策略；然后根据在每一个子样本用户群中响应召回策略集合中的召回策略的响应用户数量，计算每一个子样本用户群的召回率，得知每一种召回策略的实施效果；筛选出满足预设标准的目标召回率对应的目标召回策略，其中目标召回率为召回率中的一个或多个，目标召回策略为召回策略中的一种或多种，得到满足预设标准的实施效果的目标召回策略，该目标策略可以提高挽回活跃度低的用户和增加用户在应用程序停留时长的概率。

附图说明

图1为本申请召回策略筛选方法的一个实施例流程示意图；

图2为本申请召回策略筛选方法的另一个实施例流程示意图；

图3为本申请召回策略筛选系统的一个实施例结构示意图；

图4为本申请召回策略筛选系统的另一个实施例结构示意图；

图5为本申请计算机设备的一个实施例结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明的是，本实施例的召回策略是指对使用某款应用程序的用户推送特定内容的实施计划。例如召回策略包括但不限于：主动给用户发放优惠券、主动给用户推送优质内容(与用户浏览过内容相似或互补的内容)等中一种或多种组合的实施计划。然而，同一个召回策略对不同的用户可能带来的效果并不同，互联网服务商通过其应用程序后台给用户执行某个召回策略，若用户对该召回策略并不感兴趣，则可能会造成对用户的骚扰，严重时会导致用户卸载其应用程序，造成用户的流失；互联网服务商若不主动给活跃度低的用户执行召回策略，可能会使其应用程序慢慢淡出用户的生活，降低用户对其应用程序的依赖，也会逐步减低该用户对其付费业务进行消费的成交概率。鉴于此，本实施例需要提前收集和存储若干召回策略组成召回策略集合，以便通过本申请下列的实施例方法给特定用户群体筛选出其合适的召回策略。

请参阅图1，本申请召回策略筛选方法的一个实施例，包括：

101、确定召回策略集合中召回策略的策略数量X，X为大于0的正整数，召回策略为对用户推送特定内容的实施计划。

本步骤首先确定本实施例需要检测召回策略集合中召回策略的策略数量X，每一个召回策略都是通过应用程序的后台给用户推送特定内容的实施计划。例如召回策略包括但不限于：主动给用户发放优惠券、主动给用户推送优质内容(与用户浏览过内容相似或互补的内容)等中一种或多种组合的实施计划。

102、将样本用户群划分为X个子样本用户群，样本用户群的用户数量大于或等于X。

步骤101召回策略集合中的召回策略不宜直接对应用程序的所有用户进行使用，以避免错误地给不合适的用户实施召回策略，导致用户的流失。应事先选择一小部分应用程序的用户作为样本用户群进行对X种召回策略的测试，根据测试效果决定对更大规模的同类型用户使用某些召回策略。出于这样的考虑，本步骤将样本用户群划分为X个子样本用户群，且样本用户群的用户数量大于或等于X，以便可以对步骤101所有的X种召回策略与X个子样本用户群分别一对一地进行测试。通常样本用户群的用户数量为召回策略的策略数量的几倍或几十倍以上，以降低个别样本用户对最后召回率的影响。

103、针对X个子样本用户群，向同一个子样本用户群中的样本用户推送同一种召回策略集合中的召回策略。

将步骤101中的X种召回策略与步骤102中的X个子样本用户群分别一对一推送召回策略，即向同一个子样本用户群中的样本用户推送同一种召回策略集合中的召回策略。

104、根据在每一个子样本用户群中响应召回策略集合中的召回策略的响应用户数量，计算每一个子样本用户群的召回率。

具体的，每一个子样本用户群的召回率等于该子样本用户群中响应召回策略的用户数量除以该子样本用户群总数。

105、筛选出满足预设标准的目标召回率对应的目标召回策略，目标召回率为召回率中的一个或多个，目标召回策略为召回策略中的一种或多种

可以理解的是，本实施例预先存储有对步骤104中所有召回策略的召回率统一进行评价的预设标准，例如预设标准为：召回策略的召回率要大于或等于50％(根据实际需要设定的值，此处为举例)、选择召回策略集合中召回率最高的一种召回策略等。可以理解的是，预设标准可以根据实际需要进行设定，在此对预设标准不做具体设定。本步骤筛选出满足上述预设标准的召回率视为目标召回率，该目标召回率对应的召回策略为目标召回策略。这些满足预设标准实施效果的目标召回策略就可以大概率挽回活跃度低的用户和增加用户在应用程序停留时长，可以用作更大规模的同类型的特定用户群体中进行使用。

请参阅图2，本申请召回策略筛选方法的另一个实施例，包括：

201、获取应用程序的整体用户集合中每一个用户在最近时间段的用户行为数据。

本实施例的所谓应用程序是指具有一定用户量基础的软件(application，APP)。本步骤通过对应用程序的整体用户集合进行分析，并获取整体用户集合中每一个用户在最近时间段的用户行为数据。最近时间段可以根据实际需要进行设定，例如最近一周、最近一个月等。用户的行为数据包括主要包括用户对应用程序的使用情况、内容浏览情况以及转化情况等；例如使用情况可以包括：APP启动次数、APP浏览时长、APP活跃时间段等，内容浏览情况包括：案例浏览篇数、日记浏览篇数、效果图浏览次数、页面浏览次数、元素曝光次数、元素点击次数等；转化情况包括：是否有购买服务、是否有添加客户微信、是否有促成签约等。每一个用户在最近时间段的用户行为数据可以通过该用户的用户日志中获取。

202、将每一个用户的用户行为数据输入预设的用户流失预测模型，得到整体用户集合中每一个用户的用户流失概率。

本步骤为了能对步骤201中获取的每一个用户的用户行为数据进行用户流失概率的预测，需要使用到预设的用户流失预测模型，该用户流失预测模型为经过训练的可以实现从用户行为数据中分析得出对应用户转变为流失用户的用户流失概率的机器学习算法模型。

对于上述机器学习算法模型的训练过程，可以先定义流失用户，例如设定卸载App的用户定义为流失用户，或将达到或超过7天/14天不活跃的用户定义为流失用户；再从用户日志中选取一些用户的历史用户行为数据作为建模的特征变量，选取合适的机器学习算法进行模型训练，例如采用随机森林、GBDT等算法。当经过训练的机器学习算法模型的AUC值(0到1的范围值)达到0.8以上，即认为得到较好的用户流失预测模型。当然，用户流失预测模型的AUC值越接近1，其从用户行为数据中预测用户流失概率的准确度越好。当用户流失预测模型的预测效果较好时，可生成用户流失预测模型的预测模型文件，通常是扩展名为.pkl的模型预测文件，供本步骤调用。

203、根据预设的等级划分标准将整体用户集合中每一个用户划分入对应的用户流失等级，得到Y个用户流失等级，Y为大于0的正整数。

在步骤202之后，得知应用程序整体用户集合中每一个用户的用户流失概率，本步骤则根据预设的等级划分标准将整体用户集合中每一个用户划分入对应的用户流失等级，得到Y个用户流失等级。例如，将应用程序的所有用户划分入高、中、低3个用户群体，其中流失概率＞0.66的用户认定为高概率流失用户，流失概率＜0.33的用户认定为低概率流失用户，其余为中概率流失用户。当然，也可以根据实际需要，将应用程序的所有用户划分入4个群体或10个群体等，在此对将整体用户集合中每一个用户划分入对应的用户流失等级的数量不做限定。

204、在划分为同一个目标等级的用户集合中提取特定数量的样本用户作为样本用户群，目标等级为Y个用户流失等级中的一个。

在本实施例中，通常认为同一个用户流失等级中的用户具有接近的用户流失概率，而有接近的用户流失概率的用户均是用户流失预测模型根据用户的用户行为数据进行分析得到的，那么同一个用户流失等级的用户大概率具有类似的用户行为，所以也大概率可能会被同一种有效的召回策略实现召回。鉴于这样的认识，本步骤在划分为同一个目标等级(同一个用户流失等级)的用户集合中提取特定数量的样本用户作为样本用户群，该样本用户群的样本用户占同一个目标等级的用户集合的用户总数越小越好，以减少测试对整个目标等级的用户的影响；而样本用户群的样本用户数量越大越好，以减少个别样本用户对召回策略的召回率计算的过大影响；在实际应用中可以根据实际需要在其中取得平衡。

205、确定召回策略集合中召回策略的策略数量X，X为大于0的正整数，召回策略为对用户推送特定内容的实施计划。

本步骤的执行与前述图1实施例中步骤101类似，重复部分在此不再赘述。

需要说明的是，召回策略集合中的召回策略可以根据需要进行增加、组合、删除、修改等操作。

206、将样本用户群划分为X个子样本用户群，样本用户群的用户数量大于或等于X。

本步骤的执行与前述图1实施例中步骤102类似，重复部分在此不再赘述。

207、针对X个子样本用户群，向同一个子样本用户群中的样本用户推送同一种召回策略集合中的召回策略。

本步骤的执行与前述图1实施例中步骤103类似，重复部分在此不再赘述。

208、根据在每一个子样本用户群中响应召回策略集合中的召回策略的响应用户数量，计算每一个子样本用户群的召回率。

本步骤的执行与前述图1实施例中步骤104类似，重复部分在此不再赘述。

209、筛选出满足预设标准的目标召回率对应的目标召回策略，目标召回率为召回率中的一个或多个，目标召回策略为召回策略中的一种或多种。

本步骤的执行与前述图1实施例中步骤105类似，重复部分在此不再赘述。

210、计算同一个目标等级的用户集合中除去样本用户的剩余用户的自然召回率。

可以理解的是，在每一个应用程序的实际中，被定义为流失用户(卸载App的用户，或达到或超过7天/14天不活跃的用户等)也可能在无任何召回策略的情况下回归使用该应用程序，并且达到该应用程序活跃的判断标准。同理，处于某一个目标等级的用户集合中的用户也可能在无任何召回策略实施的情况下，在最近时间段内满足召回标准，本实施例称这样的用户为自然召回用户。所以在步骤204为同一个目标等级的用户集合中提取特定数量的样本用户作为样本用户群之后，本步骤获取同一个目标等级的用户集合中除去上述样本用户的剩余用户中在最近时间段内满足召回标准的自然召回用户的自然召回数量，再计算自然召回率，其中自然召回率等于自然召回用户的自然召回数量除以剩余用户的剩余用户数量。在实际应用中，本步骤的召回标准可以是从高一等级的用户流失等级减低到低一级的用户流失等级；或，召回标准可以是在最近时间段内的用户行为数据满足活跃标准等。

211、判断目标召回率是否大于自然召回率，若目标召回率小于或等于自然召回率，则执行步骤212；若目标召回率大于自然召回率，则执行步骤213。

需要说明的是，步骤209中得到的目标召回策略是从子样本用户群中测试计算得到，按照正常情况来说，实施目标召回策略的子样本用户群的目标召回率应该大于自然召回率，才算是该目标召回策略是有效的。所以本步骤进一步判断目标召回率是否大于自然召回率，若目标召回率小于或等于自然召回率，证明目标召回策略还不如不实施的效果好；若目标召回率大于自然召回率，证明目标召回策略有一定的效果，而且可以从目标召回率与自然召回率的差值中看出效果的优劣，差值越大效果越好。

212、提醒输入新的召回策略。

当步骤211中确定目标召回策略还不如不实施的效果好，为了获取比自然召回更好的召回策略，本步骤可以体现输入新的召回策略，进而触发执行步骤205，循环测试，以便找到臂自然召回更好的可控的解决方案。

213、对同一个目标等级的用户集合中所有用户执行目标召回策略。

当步骤211中确定目标召回策略有一定的效果，比自然召回的效果更好。那么本步骤可以进一步对同一个目标等级的用户集合中所有用户执行目标召回策略，以便大概率实现对同一个目标等级的流失用户进行召回。

214、计算同一个目标等级的用户集合中所有用户的整体召回率。

在步骤213中对同一个目标等级的用户集合中所有用户执行目标召回策略之后，可以收到响应该目标召回策略的用户的响应，此时可以统计出同一个目标等级的用户集合中的响应用户数量，进而可以计算同一个目标等级的用户集合中所有用户的整体召回率，其中整体召回率等于该响应用户数量除以同一个目标等级的用户集合中所有用户的用户数量。

215、判断整体召回率是否大于自然召回率，若整体召回率大于自然召回率，则执行步骤216；若整体召回率小于或等于自然召回率，则执行步骤217。

对步骤214中同一个目标等级的用户集合执行目标召回策略的整体召回率进行进一步的判断整体召回率是否大于自然召回率，以验证目标召回策略对同一个目标等级的用户集合的实际效果。若整体召回率大于自然召回率，证明目标召回策略确实延续了在子样本用户群中的测试效果；进一步的，若整体召回率远大于步骤209的目标召回率，证明低估了目标召回策略的效果，若整体召回率与步骤209的目标召回率相差不大，证明目标召回策略在子样本用户群中的测试效果很客观，若整体召回率虽然大于自然召回率整体召回率，但远小于步骤209的目标召回率，证明高估了目标召回策略的效果。若整体召回率小于或等于自然召回率，证明此次对同一个目标等级的用户集合中所有用户执行目标召回策略实际上是失败的。

216、将目标召回策略作为优选召回策略与目标等级关联存储。

当若步骤215中确定整体召回率大于自然召回率，证明目标召回策略确实延续了在子样本用户群中的测试效果，该目标召回策略是可以作为多次或长期执行的召回策略，特别是整体召回率远大于步骤209的目标召回率的目标召回策略，证明低估了目标召回策略的效果。本步骤将目标召回策略作为优选召回策略与目标等级关联存储，以便于后续可以在目标等级的用户需要实施召回策略时，作为优选召回策略进行推荐，供决策者选择。

217、停止对同一个目标等级的用户集合中所有用户执行目标召回策略。

当若步骤215中确定整体召回率小于自然召回率，证明此次对同一个目标等级的用户集合中所有用户执行目标召回策略实际上是失败的，不能再次对同一个目标等级的用户集合中所有用户执行该目标召回策略，应停止，以避免进一步加剧用户流失。

上述实施例对本申请召回策略筛选方法进行了描述，下面对本申请召回策略筛选系统进行描述，请参阅图3，本申请召回策略筛选系统的一个实施例，包括：

确定单元301，用于确定召回策略集合中召回策略的策略数量X，所述X为大于0的正整数，所述召回策略为对用户推送特定内容的实施计划；

划分单元302，用于将样本用户群划分为X个子样本用户群，所述样本用户群的用户数量大于或等于所述X；

推送单元303，用于针对X个所述子样本用户群，向同一个所述子样本用户群中的样本用户推送同一种所述召回策略集合中的召回策略；

计算单元304，用于根据在每一个子样本用户群中响应所述召回策略集合中的召回策略的响应用户数量，计算每一个所述子样本用户群的召回率；

筛选单元305，用于筛选出满足预设标准的目标召回率对应的目标召回策略，所述目标召回率为所述召回率中的一个或多个，所述目标召回策略为所述召回策略中的一种或多种。

申请实施例召回策略筛选系统所执行的操作与前述图1实施例中所执行的操作类似，在此不再进行赘述。

请参阅图4，本申请召回策略筛选系统的另一一个实施例，包括：

确定单元401，用于确定召回策略集合中召回策略的策略数量X，所述X为大于0的正整数，所述召回策略为对用户推送特定内容的实施计划；

划分单元402，用于将样本用户群划分为X个子样本用户群，所述样本用户群的用户数量大于或等于所述X；

推送单元403，用于针对X个所述子样本用户群，向同一个所述子样本用户群中的样本用户推送同一种所述召回策略集合中的召回策略；

计算单元404，用于根据在每一个子样本用户群中响应所述召回策略集合中的召回策略的响应用户数量，计算每一个所述子样本用户群的召回率；

筛选单元405，用于筛选出满足预设标准的目标召回率对应的目标召回策略，所述目标召回率为所述召回率中的一个或多个，所述目标召回策略为所述召回策略中的一种或多种。

可选的，所述系统还包括：

提取单元406，用于在划分为同一个目标等级的用户集合中提取特定数量的样本用户作为所述样本用户群。

可选的，所述系统还包括：

获取单元407，用于获取应用程序的整体用户集合中每一个用户在最近时间段的用户行为数据；

输入单元408，用于将每一个用户的所述用户行为数据输入预设的用户流失预测模型，得到所述整体用户集合中每一个用户的用户流失概率；

所述划分单元402，还用于根据预设的等级划分标准将所述整体用户集合中每一个用户划分入对应的用户流失等级，得到Y个用户流失等级，所述Y为大于0的正整数，所述目标等级为所述Y个用户流失等级中的一个。

可选的，所述系统还包括：

执行单元409，用于对所述同一个目标等级的用户集合中所有用户执行所述目标召回策略。

可选的，所述系统还包括：

所述计算单元404，还用于计算所述同一个目标等级的用户集合中除去所述样本用户的剩余用户的自然召回率；

判断单元410，用于判断所述目标召回率是否大于所述自然召回率；

触发单元411，用于若所述目标召回率大于所述自然召回率，则触发执行对所述同一个目标等级的用户集合中所有用户执行所述目标召回策略；

提醒单元412，用于若所述目标召回率小于或等于所述自然召回率，则提醒输入新的召回策略。

可选的，所述计算单元404计算所述同一个目标等级的用户集合中除去所述样本用户的剩余用户的自然召回率时，具体用于：

获取所述剩余用户中在最近时间段内满足召回标准的自然召回用户的自然召回数量；

计算所述自然召回率，所述自然召回率等于所述自然召回数量除以所述剩余用户的剩余用户数量。

可选的，所述系统还包括：

所述计算单元404，还用于计算所述同一个目标等级的用户集合中所有用户的整体召回率；

所述判断单元410，还用于判断所述整体召回率是否大于所述自然召回率；

存储单元413，用于若所述整体召回率大于所述自然召回率，则将所述目标召回策略作为优选召回策略与所述目标等级关联存储；

停止单元414，用于若所述整体召回率等于或小于所述自然召回率，则停止对所述同一个目标等级的用户集合中所有用户执行所述目标召回策略。

申请实施例召回策略筛选系统所执行的操作与前述图2实施例中所执行的操作类似，在此不再进行赘述。

下面对本申请实施例的计算机设备进行描述，请参阅图5，本申请实施例中计算机设备的一个实施例包括：

该计算机设备500可以包括一个或一个以上处理器(central processing units，CPU)501和存储器502，该存储器502中存储有一个或一个以上的应用程序或数据。其中，存储器502是易失性存储或持久存储。存储在存储器502的程序可以包括一个或一个以上模块，每个模块可以包括对计算机设备中的一系列指令操作。更进一步地，处理器501可以设置为与存储器502通信，在计算机设备500上执行存储器502中的一系列指令操作。计算机设备500还可以包括一个或一个以上无线网络接口503，一个或一个以上输入输出接口504，和/或，一个或一个以上操作系统，例如Windows Server，Mac OS，Unix,Linux，FreeBSD等。该处理器501可以执行前述图1至图2所示实施例中所执行的操作，具体此处不再赘述。

在本申请实施例所提供的几个实施例中，本领域技术人员应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本申请的保护范围之内。