推荐系统系列精讲（第五讲）：排序模型的调优实践

亚马逊云科技

{"value":"#### **前言**\n上一篇文章介绍了排序任务的样本工程，本文我们介绍排序模型的调优实践。\n\n大家可能在做排序任务的项目中会有感触，排序模型的调优是一个反复迭代的过程（因为可能模型在线上的表现有时好有时差），让一个新的排序模型在线上效果能持续的好，可能需要3～6个月的时间（期间会花费大量的时间在数据集的准备，训练速度优化，框架代码debug/踩坑，模型效果调优，线上推理速度优化等事情上）。\n\n下面我会用一个真实的客户项目为例子来详细介绍，搜推广领域的排序任务是比较类似的，因此下面的例子虽然是讲的计算广告领域的排序模型，但是对于三个领域的排序模型的调优实践来说是相通的。更多细节以及更详细的内容可以参考我的**github repo**。\n\n（[https://github.com/yuhuiaws/ML-study/tree/main/%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E4%B8%93%E9%A2%98](（https://github.com/yuhuiaws/ML-study/tree/main/%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E4%B8%93%E9%A2%98）)）\n\n### **客户项目的上下文以及背景介绍**\n这个项目的大致情况如下：\n\n![image.png](https://dev-media.amazoncloud.cn/e868f7b39c1348c9a2592eb24c6827f8_image.png)\n\n客户的情况是，他没有办法拿到点击日志，只能拿到曝光日志和转化日志。因此这个客户做的是 IVR 预估即从曝光到转化的预估，区别于常见的 CTR 预估（从曝光到点击的预估）和 CVR 预估（从点击到转化的预估）。\n\n关于排序模型有很多选择：**LR，GBDT，LR+GBDT，FM/FFM，深度模型（wide & deep，DeepFM，DCN**等等）。该客户当前已经用 LightGBM 模型在线上跑了一段时间了，现在准备尝试上深度模型，而wide & deep 深度模型比较灵活而且在国内客户中用的比较多，所以客户就选择了 **wide & deep** 来尝试。\n\n排序模型常见的训练方式有三种（该客户使用的是方法1即T+1全量数据训练方式，搜推广领域中的排序任务很大一部分客户用的方法1），如下：\n\n![image.png](https://dev-media.amazoncloud.cn/be99b2c1dcb14982a0580894e0c3d8b7_image.png)\n\n对于业界常见的计算广告的排序公式 ecpm ，如果是 CPC （按照点击计费）出价方式，ecpm = pctr * CPC_bid，如果是CPA（按照转化计费）出价方式，ecpm = pivr * CPA_bid。\n\n对于更复杂的排序公式，还会考虑价格挤压因子或者智能出价因子等。客户这里使用的是**pivr * CPA_bid**排序公式。\n\n### **过程回放**\n#### **样本类别不均衡处理尝试**\n对于搜推广领域的排序任务数据集，正负样本严重的类别不均衡，也就是说负样本数量经常是正样本数量的几百倍或者几千倍（当前这个客户的正负样本比例是1：4000）。\n\n对于这么严重的样本类别不均衡，如果不采取任何方案来缓解这个问题，对于模型学习知识是很困难的。对于排序任务来说，常见的缓解类别不均衡的方法如下：\n\n- **对负样本降采样：**\n\n目的是通过某种方法从海量的负样本中采样一些负样本出来，从而让负样本正样本的比例减少。对负样本进行采样后，在计算广告领域的排序任务中，需要在最后计算排序公式的时候进行校准（校准发生在线上推理的时候，离线训练的时候不用考虑校准）。\n\n对于客户的这个场景，需要对 pivr 进行校准，校准的公式如下（参考Facebook的GBDT+LR那个paper），**q = p/(p + (1 - p)/w)**，w为负样本采样比例（比如采样比例是10%），p是排序模型对单个样本的打分概率，q是矫正后的打分概率。对于个性化搜索和推荐系统来说，他们只关注打分概率的相对顺序，而采样前后的打分概率的相对顺序不会改变，所以不需要校准。\n\n对负样本进行采样，会浪费掉很多负样本。在客户项目中，我们并没有尝试这个方案。\n\n- **对正样本过采样：**\n\n对正样本过采样：目的是通过某种方法把正样本的数量变多。如果把正样本过采样到和负样本差不多的量级，会导致总体训练样本量太大，训练时间相对于正样本过采样前的时间变长很多。\n\n对正样本如果进行了采样，在计算广告的排序任务中应该也需要对打分概率做校准，而个性化搜索和推荐系统中的排序任务不需要对打分概率做校准。\n\n在客户项目中我们尝试了这个方案，通过简单复制正样本把正样本数量变成与负样本差不多的样本量，模型的离线效果还不错，就是训练时间相对长，比如一个 epoch 单机跑都要4、5个小时。正因为这个原因，我们最终没有使用这个方案。\n\n- **每个epoch对负样本采样出和**\n\n**正样本1：1的数量：**\n\n这样就不浪费负样本，epoch 的数量可以根据负样本数量和训练时间来权衡。\n\n我们的做法是这样的，使用tf.keras + tf.data.experimental.sample_from_datasets API 从大量的负样本采样，并与正样本拼接为最终的训练集，结果发现每个 epoch 后的验证集的 **AUC 不变化**。\n\n如果说模型已经充分收敛也就是 loss 基本不变了从而模型参数基本不变化，这个时候验证集的 AUC 不变化是有可能的，但是模型在刚开始的那些 epoch 都应该能看到不同的负样本，应该会继续学习而不会收敛，因此在开始的几个 epoch 验证集 AUC 应该是变化的。\n\n到这里，我推断可能是 Tensorflow/TF 的坑，可能每个 epoch 都拟合了一样的负样本并且基本上在第一个 epoch 以后模型就基本收敛了。\n\n接下来就是找证据\n\n**首先从网上看到有类似的 issue**[https://stackoverflow.com/questions/59138504/how-can-i-change-dataset-at-every-epoch-in-keras](https://stackoverflow.com/questions/59138504/how-can-i-change-dataset-at-every-epoch-in-keras) \n\n**然后去查看TF的源码：**\n\ntf.keras的fit() → data_adapter.DataHandler的__init__函数 → select_data_adapter函数，这个函数对于 tf.dataset 会返回 DatasetAdapter 类，然后调用 DatasetAdapter 的初始化函数__init__，而 DatasetAdapter 的__init__函数中有如下的注释，“Note that the dataset instance is immutable, its fine to reuse the user provided dataset ”,也就是说在 tf.keras fit API 的每个 epoch 中会一直重用传入的 dataset ，也就是每个 epoch 的 dataset 是一致的，这也就印证了我们的推断是正确的。所以我们只好放弃这个方案。\n\n- **使用 class weight**\n\n **或者 sample weight** ：\n\n目的是通过设置权重来让模型更关注正样本。这个方法在很多客户项目中都会使用，实际效果也是很不错。\n\n这个客户的正负样本比例是1：4000，因此每个 step 的 batch size 不能太小，太小的话每个 step 模型看到的正样本太少，对学习正样本的知识不利。\n\n最后这个客户上线的模型训练的时候采用如下的方式：直接使用 tf.keras 的 fit API 的参数 class weight ，正样本的 class weight 设置为（训练集中的负样本数量/正样本数量） * 0.8，负样本的 class weight 设置为1；为了每个 step 都尽可能有足量的正样本送入模型，shuffle 操作和更大的 batch size 是需要的（ batch size 尝试过16K，64K）。\n\n- **使用Focal loss：**\n\nFocal loss 可以做困难样本学习和缓解类别样本不均衡。由于时间关系，这个项目没有尝试这个方案。\n\n#### **调试过程中很快出现了欠拟合**\n\n对于欠拟合，简单来说就是模型学习的不够充分。常见的处理方法如下：\n\n- **用更多和更好的特征：**\n\n连续特征的特征缩放处理（深度模型对于连续特征的幅度变化很敏感，所以用深度模型建模的话一定要对连续特征做特征缩放处理）。\n\n特征缩放的方法有很多，常见的比如 **Z-score 标准化， MinMax 归一化，取 log ，平滑方法（比如贝叶斯平滑）** 等等。\n\n对于历史 ctr 这样的比率特征，在排序任务中经常会考虑对该特征做平滑，目的是为了让那些**历史 ctr 相等但是曝光次数多且点击次数也多的 item 经过平滑后得到的值与那些长尾的 item 区别开来**（比如7天内点击1次，曝光2次的 item 与7天内点击50次，曝光100次的 item ，虽然他们的点击率相同，但是他们的受欢迎度差别很大，因此这个时候直接用7天内的 ctr 作为特征对他们来说没有辨识度，这个时候做 ctr 平滑就很有意义）。\n\n在这个客户的项目中，我们尝试了几种特征缩放方法，包括 Z-score 标准化，取log。对他的数据集和模型来说，取 log 的表现比 Z-score 标准化要好，欠拟合得到缓解。由于时间原因，这个项目中并没有对历史 ctr 特征进行贝叶斯平滑，这个是以后一个优化的点。\n\n还可以根据业务语义逐渐加入更多的设备侧和广告侧的交叉特征。在项目中我们也尝试了这个方法，欠拟合得到进一步的缓解。\n\n- **增加模型复杂度/容量：**\n\n在当前使用的 wide & deep 排序模型的情况下，增加模型容量可以通过下面两种方式，方法1是把全连接层层数变多或者每层的神经元数量变多，方法2是把 embedding 向量的长度变大。业界一般做排序模型用到的全连接层常见都是3层，这个项目也是用的3层，我们尝试了把每层的神经元变多。\n\n另外，看到很多文章对于排序模型中用到的 itemid/usrid embedding table 的 embedding 向量的维度一般都是设置为8或者10（算是一个经验值，在其他项目中也见到一些客户是这样的设置的）。\n\n除了上面提到的这些缓解欠拟合的方法，**调整学习率和 batch size 大小**，**以及样本类别不均衡**的处理方法都可能缓解欠拟合。因此可以看到，缓解欠拟合的组合因素有很多。\n\n建议的方式是每次调试只是改变一个因素来进行训练后效果对比（在客户的项目中，经常要同时跑多个实验来进行对比）。\n\n特征缩放肯定是要先做的，除了学习率，batch size 以及样本类别不均衡处理这三个因素外，我们可以循序渐进的尝试下面的方法来缓解欠拟合：挖掘一些好的特征（不包含交叉特征，比如一些历史统计特征），接着增加模型复杂度（主要是增加层数或者神经元个数），最后逐渐**增加有意义的交叉特征**。\n\n#### **欠拟合没有了之后，又发生了过拟合**\n**过拟合指的是模型在训练集上的效果/表现不错，但是在验证集上的表现与训练集上的差距很大。**\n\n在实际生产项目中，我们更关心模型在训练集上效果不错，在验证集上的效果也不错，在这样的情况下即使过拟合我们也不关心，比如训练集上的 AUC 是0.95，验证集上的 AUC 是0.8，那这种情况是属于过拟合了，但是验证集的 AUC 也足够高了，所以这个情况我们能接受；如果是训练集上的 AUC 是0.95，验证集上的 AUC 是0.6，这种过拟合就是我们需要关心的了。\n\n欠拟合到过拟合，有时候就是一瞬间的事情（比如特征一下子加多了就容易从欠拟合变成过拟合）。对于使用深度模型做排序任务的场景，过拟合常见的处理方式如下：\n\n- **收集更多的数据：**\n\n目的是让模型能更多的见到不同的数据分布，从而学习到不同的知识。比如 T+1 训练中的 T 常见的是7天的数据作为训练集（当然这个 T 取多少和训练集中的正样本量有多少有很大关系），在我们这个项目中，T 取的是 30 天的数据，因此能获得更多的样本尤其是正样本。\n\n- **减少模型复杂度/容量：**\n也就是使用小一点的神经网络，包括小一点的 **embedding table** ，目的是让神经网络和 embedding table 的容量变小。\n\n在实际的项目中，我见到过有的客户把 itemid/userid embedding table 的 embedding 向量的长度设置为几百几千的，不建议这样，太容易过拟合了，就像前面提到的，设置为8左右就是一个不错的起点。\n\n注意这里的 embedding 指的是 **input embedding**，而关于 output embedding 以及文本 embedding 向量长度的选择可以参考我的另一个文章“推荐系统概览”。\n\n- **使用BN（本质是对神经元的激活值进行整形，它在DL中非常有用，建议尽量用）**：\n\n使用BN的话，batch size 不能太小，而 batch size 的调整一般伴随着同方向的 learning rate 的调整（也就是把 batch size 调大的话，learning rate 可以适当调大一点点）。\n\n虽然 BN 主要是在 CNN 卷积层用的比较多，但是 MLP 层也可以用， RNN 的话要用 LN 。**在当前项目中，使用 BN 后的离线效果提升很明显**。\n\n- **使用 early stopping 早停**：\n\n监控模型在验证集的 metric ，并 early stopping 早停。**Early stopping 并不是必须的**，如果设定模型固定跑的epoch数量，之后选择一个表现最好的 epoch 的 checkpoint 也是可以的，这个情况下就不需要early stopping。\n\n- **正则化方法**：\n\n在深度学习中，常用的正则化方法是 Dropout ，L1/L2正则，Label 标签平滑等。当前项目使用了 dropout 和L1/L2正则。\n\nDropout 的比率以及L1/L2正则的超参数在调试的时候，都要小步调整，大幅调整很容易一下子就从过拟合到了欠拟合了。\n\n- **使用更少的特征**：\n\n在这个项目中，一下子增加了几种交叉特征后，模型从欠拟合到了过拟合。然后在去掉了几个交叉特征之后，过拟合得到缓解。**因此加入新的特征要一点点加，小步走**。\n\n在使用深度模型发生过拟合的时候，首先要**检查验证集的数据分布**（比如每个连续特征的统计分布，每个离散特征的覆盖度，和训练集中的数据分布做一下对比）。\n\n如果训练集和验证集的数据分布相差很多，考虑如何重新构造训练集和验证集；否则，建议尝试按照如下的顺序来缓解（每做完一步就训练看效果，如果验证集的效果能接受了，就先打住；否则继续下一步）：使用BN（基本上是标配）→使用更少的特征（如果特征本身就不多，可以跳过；主要关注交叉特征是否很多）→收集更多的数据（如果正样本量已经足够多，可以跳过这步）→使用正则化方法→减少模型复杂度/容量（尤其要注意embedding table中 embedding 向量的长度）。\n\n#### **项目中遇到的其他问题**\n- **数据集变了**，\n**模型的离线评估AUC变化很大：**\n\n数据集变大可能会导致容量小的模型效果变差，发生欠拟合。对于 CTR/CVR 任务，训练流程跑通以后，用固定滑窗的数据集来训练调试模型；而一般固定滑窗内的数据集的量级差不多。\n\n数据集的清洗和预处理每天都要保证一致性的行为，否则出问题调试很花时间。\n\n要尽量保证特征的线上线下一致性（更多细节可以参考我的另一个文章“**Data-centric AI之数据集的质量**”）。（[https://aws.amazon.com/cn/blogs/china/data-set-quality-of-data-centric-ai/](https://aws.amazon.com/cn/blogs/china/data-set-quality-of-data-centric-ai/)\n\n- **同样的数据集和同样的模型，\n两个实验对比，\n发现对验证集的评估指标AUC有差别：** \n\nML 带入的随机性很多，所以最好在上下文尽量一致的情况下对比，包括超参数的设置，训练任务的相关参数和随机种子 fix（这个非常重要，包括** python random 的 seed 和 tensorflow.random 的 seed 都需要 fix **）。\n\n- **经常发现在分布式训练中模型的评估指标比单机训练的评估指标要差：**\n\n这个是很常见的。使用分布式训练甚至只是单机多卡的时候，学习率可能不适合还用单机单卡训练的学习率，适当需要调整。\n\n对于 horovod 分布式训练方式，一般来说，把学习率变大一点就好，不能完全按照 horovod 官网建议的那样即用 worker 数量乘以之前单机单卡的学习率作为调整后的学习率（这个可能会得到很大的学习率，从而导致模型学习效果不好）。\n\n对于 parameter server 分布式训练的异步梯度更新方式，可能需要把学习率调小，为了让最慢那个 stale model replica 的更新对整体的影响小一些。\n\n- **特征的覆盖度问题：**\n\n如果某些离散特征的特征值的样本出现频率很低比如少于10次，那么可以考虑特征向上合并或者把那些小类别统一归并为”Other\"。\n\n这个方法在客户的另一个项目 LightGBM 模型中使用了，效果不错。对于那些长尾的 itemid 或者长尾的 usrid ，也可以考虑把这些长尾的 id 的样本给剔除。\n\n更多详细的关于特征覆盖度的问题，可以参考我的另一个文章“**Data-centric AI**之数据集的质量”。（[https://aws.amazon.com/cn/blogs/china/data-set-quality-of-data-centric-ai/](https://aws.amazon.com/cn/blogs/china/data-set-quality-of-data-centric-ai/)）\n\n- **Hash trick 的使用：细分为 hash 后提升维度和降低维度两个方向。**\n\n如果单个离散特征在训练集中出现的唯一值个数不大（也就是说基数小），可以利用特征 hash 来分桶，桶的大小可以考虑几倍于训练样本中该离散特征出现的唯一值个数。\n\n这个方法的目的就是，**在尽量降低 hash 冲突的情况下，不用提供额外的映射表就可以在 hash 分桶后直接 embedding**（因为 embedding table 的索引是从0开始的）。当前项目中使用了这个方法，对一些离散特征做了特征 hash 分桶（ hash 桶的 size 是离散特征的基数的3～5倍）。\n\n反过来，如果单个离散特征（比如 usrid 或者 itemid ）在训练样本中唯一值数量非常大（也就是说基数很大），那可以使用特征 hash 来降维（这里有个隐含的假设，高基数 id 类特征的样本比较稀疏，多个不同 id 落入同一个 hash 桶之后会公用一个 embedding 向量，这个 embedding 向量可以装下多个不同id的知识。在排序任务中，这个假设一般是成立的）。\n\nHash bucket size 的选择可以用训练集中的这个 id 特征的基数开4次根号为一个尝试起点。当前项目中，对一些高基数的 id 类特征使用了这个方法来降维。\n\n客户的另一个项目中想使用 Amazon Sagemaker 内建算法 object2vec 学习 item 的 embedding ，但该算法对id有 **300w **的限制，**客户非低频的itemid超过300w，这个时候可以用特征 hash 来降维后再使用 object2Vec 。**\n\n#### **结语**\n排序模型的调优实践到此就讲完了，本文以一个客户的具体项目为例，详细介绍了**排序模型调优过程遇到的挑战和处理方法**。到此为止，整个推荐系统系列的讲解也结束了。\n\n整个系列文章比较完整的涵盖了推荐系统的核心内容，包括推荐系统概览，推荐系统的召回阶段深入探讨，推荐系统排序阶段的样本工程和调优实践，相信大家现在已经对推荐系统有了更深刻的理解。\n\n推荐系统和 CV 以及 NLP 相比而言，是一个更大层面的东西， CV 和 NLP 是技术领域的划分，而推荐系统更像是业务/工程领域，你可以把 CV 和 NLP 的技术用到整个推荐系统的工程当中。\n\n把一个完整的推荐系统上线，短时间很难做到，因为它涉及到的不只是机器学习领域，还有很多工程领域的技术，而使用 **Amazon Personalize **这样的AI SaaS服务可以帮助你短时间做到从0到1的推荐系统的搭建。再次感谢大家的耐心阅读。\n\n了解更多 Amazon Personalize：\n[https://www.amazonaws.cn/personalize/?nc1=h_ls](https://www.amazonaws.cn/personalize/?nc1=h_ls)\n\n##### **本篇作者**\n\n**梁宇辉**\n亚马逊云科技\n机器学习产品技术专家\n负责基于亚马逊云科技的机器学习方案的咨询与设计，专注于机器学习的推广与应用，深度参与了很多真实客户的机器学习项目的构建以及优化。对于深度学习模型分布式训练，推荐系统和计算广告等领域具有丰富经验。","render":"<h4><a id=\"_0\"></a>前言</h4>\n上一篇文章介绍了排序任务的样本工程，本文我们介绍排序模型的调优实践。\n大家可能在做排序任务的项目中会有感触，排序模型的调优是一个反复迭代的过程（因为可能模型在线上的表现有时好有时差），让一个新的排序模型在线上效果能持续的好，可能需要3～6个月的时间（期间会花费大量的时间在数据集的准备，训练速度优化，框架代码debug/踩坑，模型效果调优，线上推理速度优化等事情上）。\n下面我会用一个真实的客户项目为例子来详细介绍，搜推广领域的排序任务是比较类似的，因此下面的例子虽然是讲的计算广告领域的排序模型，但是对于三个领域的排序模型的调优实践来说是相通的。更多细节以及更详细的内容可以参考我的github repo。\n（<a href=\"%EF%BC%88https://github.com/yuhuiaws/ML-study/tree/main/%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E4%B8%93%E9%A2%98%EF%BC%89\" target=\"_blank\">https://github.com/yuhuiaws/ML-study/tree/main/%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E4%B8%93%E9%A2%98</a>）\n<h3><a id=\"_9\"></a>客户项目的上下文以及背景介绍</h3>\n这个项目的大致情况如下：\n<img src=\"https://dev-media.amazoncloud.cn/e868f7b39c1348c9a2592eb24c6827f8_image.png\" alt=\"image.png\" />\n客户的情况是，他没有办法拿到点击日志，只能拿到曝光日志和转化日志。因此这个客户做的是 IVR 预估即从曝光到转化的预估，区别于常见的 CTR 预估（从曝光到点击的预估）和 CVR 预估（从点击到转化的预估）。\n关于排序模型有很多选择：LR，GBDT，LR+GBDT，FM/FFM，深度模型（wide & deep，DeepFM，DCN等等）。该客户当前已经用 LightGBM 模型在线上跑了一段时间了，现在准备尝试上深度模型，而wide & deep 深度模型比较灵活而且在国内客户中用的比较多，所以客户就选择了 wide & deep 来尝试。\n排序模型常见的训练方式有三种（该客户使用的是方法1即T+1全量数据训练方式，搜推广领域中的排序任务很大一部分客户用的方法1），如下：\n<img src=\"https://dev-media.amazoncloud.cn/be99b2c1dcb14982a0580894e0c3d8b7_image.png\" alt=\"image.png\" />\n对于业界常见的计算广告的排序公式 ecpm ，如果是 CPC （按照点击计费）出价方式，ecpm = pctr * CPC_bid，如果是CPA（按照转化计费）出价方式，ecpm = pivr * CPA_bid。\n对于更复杂的排序公式，还会考虑价格挤压因子或者智能出价因子等。客户这里使用的是pivr * CPA_bid排序公式。\n<h3><a id=\"_26\"></a>过程回放</h3>\n<h4><a id=\"_27\"></a>样本类别不均衡处理尝试</h4>\n对于搜推广领域的排序任务数据集，正负样本严重的类别不均衡，也就是说负样本数量经常是正样本数量的几百倍或者几千倍（当前这个客户的正负样本比例是1：4000）。\n对于这么严重的样本类别不均衡，如果不采取任何方案来缓解这个问题，对于模型学习知识是很困难的。对于排序任务来说，常见的缓解类别不均衡的方法如下：\n<ul>\n<li>对负样本降采样：</li>\n</ul>\n目的是通过某种方法从海量的负样本中采样一些负样本出来，从而让负样本正样本的比例减少。对负样本进行采样后，在计算广告领域的排序任务中，需要在最后计算排序公式的时候进行校准（校准发生在线上推理的时候，离线训练的时候不用考虑校准）。\n对于客户的这个场景，需要对 pivr 进行校准，校准的公式如下（参考Facebook的GBDT+LR那个paper），q = p/(p + (1 - p)/w)，w为负样本采样比例（比如采样比例是10%），p是排序模型对单个样本的打分概率，q是矫正后的打分概率。对于个性化搜索和推荐系统来说，他们只关注打分概率的相对顺序，而采样前后的打分概率的相对顺序不会改变，所以不需要校准。\n对负样本进行采样，会浪费掉很多负样本。在客户项目中，我们并没有尝试这个方案。\n<ul>\n<li>对正样本过采样：</li>\n</ul>\n对正样本过采样：目的是通过某种方法把正样本的数量变多。如果把正样本过采样到和负样本差不多的量级，会导致总体训练样本量太大，训练时间相对于正样本过采样前的时间变长很多。\n对正样本如果进行了采样，在计算广告的排序任务中应该也需要对打分概率做校准，而个性化搜索和推荐系统中的排序任务不需要对打分概率做校准。\n在客户项目中我们尝试了这个方案，通过简单复制正样本把正样本数量变成与负样本差不多的样本量，模型的离线效果还不错，就是训练时间相对长，比如一个 epoch 单机跑都要4、5个小时。正因为这个原因，我们最终没有使用这个方案。\n<ul>\n<li>每个epoch对负样本采样出和</li>\n</ul>\n正样本1：1的数量：\n这样就不浪费负样本，epoch 的数量可以根据负样本数量和训练时间来权衡。\n我们的做法是这样的，使用tf.keras + tf.data.experimental.sample_from_datasets API 从大量的负样本采样，并与正样本拼接为最终的训练集，结果发现每个 epoch 后的验证集的 AUC 不变化。\n如果说模型已经充分收敛也就是 loss 基本不变了从而模型参数基本不变化，这个时候验证集的 AUC 不变化是有可能的，但是模型在刚开始的那些 epoch 都应该能看到不同的负样本，应该会继续学习而不会收敛，因此在开始的几个 epoch 验证集 AUC 应该是变化的。\n到这里，我推断可能是 Tensorflow/TF 的坑，可能每个 epoch 都拟合了一样的负样本并且基本上在第一个 epoch 以后模型就基本收敛了。\n接下来就是找证据\n首先从网上看到有类似的 issue<a href=\"https://stackoverflow.com/questions/59138504/how-can-i-change-dataset-at-every-epoch-in-keras\" target=\"_blank\">https://stackoverflow.com/questions/59138504/how-can-i-change-dataset-at-every-epoch-in-keras</a>\n然后去查看TF的源码：\ntf.keras的fit() → data_adapter.DataHandler的__init__函数 → select_data_adapter函数，这个函数对于 tf.dataset 会返回 DatasetAdapter 类，然后调用 DatasetAdapter 的初始化函数__init__，而 DatasetAdapter 的__init__函数中有如下的注释，“Note that the dataset instance is immutable, its fine to reuse the user provided dataset ”,也就是说在 tf.keras fit API 的每个 epoch 中会一直重用传入的 dataset ，也就是每个 epoch 的 dataset 是一致的，这也就印证了我们的推断是正确的。所以我们只好放弃这个方案。\n<ul>\n<li>使用 class weight</li>\n</ul>\n或者 sample weight ：\n目的是通过设置权重来让模型更关注正样本。这个方法在很多客户项目中都会使用，实际效果也是很不错。\n这个客户的正负样本比例是1：4000，因此每个 step 的 batch size 不能太小，太小的话每个 step 模型看到的正样本太少，对学习正样本的知识不利。\n最后这个客户上线的模型训练的时候采用如下的方式：直接使用 tf.keras 的 fit API 的参数 class weight ，正样本的 class weight 设置为（训练集中的负样本数量/正样本数量） * 0.8，负样本的 class weight 设置为1；为了每个 step 都尽可能有足量的正样本送入模型，shuffle 操作和更大的 batch size 是需要的（ batch size 尝试过16K，64K）。\n<ul>\n<li>使用Focal loss：</li>\n</ul>\nFocal loss 可以做困难样本学习和缓解类别样本不均衡。由于时间关系，这个项目没有尝试这个方案。\n<h4><a id=\"_82\"></a>调试过程中很快出现了欠拟合</h4>\n对于欠拟合，简单来说就是模型学习的不够充分。常见的处理方法如下：\n<ul>\n<li>用更多和更好的特征：</li>\n</ul>\n连续特征的特征缩放处理（深度模型对于连续特征的幅度变化很敏感，所以用深度模型建模的话一定要对连续特征做特征缩放处理）。\n特征缩放的方法有很多，常见的比如 Z-score 标准化， MinMax 归一化，取 log ，平滑方法（比如贝叶斯平滑） 等等。\n对于历史 ctr 这样的比率特征，在排序任务中经常会考虑对该特征做平滑，目的是为了让那些历史 ctr 相等但是曝光次数多且点击次数也多的 item 经过平滑后得到的值与那些长尾的 item 区别开来（比如7天内点击1次，曝光2次的 item 与7天内点击50次，曝光100次的 item ，虽然他们的点击率相同，但是他们的受欢迎度差别很大，因此这个时候直接用7天内的 ctr 作为特征对他们来说没有辨识度，这个时候做 ctr 平滑就很有意义）。\n在这个客户的项目中，我们尝试了几种特征缩放方法，包括 Z-score 标准化，取log。对他的数据集和模型来说，取 log 的表现比 Z-score 标准化要好，欠拟合得到缓解。由于时间原因，这个项目中并没有对历史 ctr 特征进行贝叶斯平滑，这个是以后一个优化的点。\n还可以根据业务语义逐渐加入更多的设备侧和广告侧的交叉特征。在项目中我们也尝试了这个方法，欠拟合得到进一步的缓解。\n<ul>\n<li>增加模型复杂度/容量：</li>\n</ul>\n在当前使用的 wide & deep 排序模型的情况下，增加模型容量可以通过下面两种方式，方法1是把全连接层层数变多或者每层的神经元数量变多，方法2是把 embedding 向量的长度变大。业界一般做排序模型用到的全连接层常见都是3层，这个项目也是用的3层，我们尝试了把每层的神经元变多。\n另外，看到很多文章对于排序模型中用到的 itemid/usrid embedding table 的 embedding 向量的维度一般都是设置为8或者10（算是一个经验值，在其他项目中也见到一些客户是这样的设置的）。\n除了上面提到的这些缓解欠拟合的方法，调整学习率和 batch size 大小，以及样本类别不均衡的处理方法都可能缓解欠拟合。因此可以看到，缓解欠拟合的组合因素有很多。\n建议的方式是每次调试只是改变一个因素来进行训练后效果对比（在客户的项目中，经常要同时跑多个实验来进行对比）。\n特征缩放肯定是要先做的，除了学习率，batch size 以及样本类别不均衡处理这三个因素外，我们可以循序渐进的尝试下面的方法来缓解欠拟合：挖掘一些好的特征（不包含交叉特征，比如一些历史统计特征），接着增加模型复杂度（主要是增加层数或者神经元个数），最后逐渐增加有意义的交叉特征。\n<h4><a id=\"_110\"></a>欠拟合没有了之后，又发生了过拟合</h4>\n过拟合指的是模型在训练集上的效果/表现不错，但是在验证集上的表现与训练集上的差距很大。\n在实际生产项目中，我们更关心模型在训练集上效果不错，在验证集上的效果也不错，在这样的情况下即使过拟合我们也不关心，比如训练集上的 AUC 是0.95，验证集上的 AUC 是0.8，那这种情况是属于过拟合了，但是验证集的 AUC 也足够高了，所以这个情况我们能接受；如果是训练集上的 AUC 是0.95，验证集上的 AUC 是0.6，这种过拟合就是我们需要关心的了。\n欠拟合到过拟合，有时候就是一瞬间的事情（比如特征一下子加多了就容易从欠拟合变成过拟合）。对于使用深度模型做排序任务的场景，过拟合常见的处理方式如下：\n<ul>\n<li>收集更多的数据：</li>\n</ul>\n目的是让模型能更多的见到不同的数据分布，从而学习到不同的知识。比如 T+1 训练中的 T 常见的是7天的数据作为训练集（当然这个 T 取多少和训练集中的正样本量有多少有很大关系），在我们这个项目中，T 取的是 30 天的数据，因此能获得更多的样本尤其是正样本。\n<ul>\n<li>减少模型复杂度/容量： \n也就是使用小一点的神经网络，包括小一点的 embedding table ，目的是让神经网络和 embedding table 的容量变小。</li>\n</ul>\n在实际的项目中，我见到过有的客户把 itemid/userid embedding table 的 embedding 向量的长度设置为几百几千的，不建议这样，太容易过拟合了，就像前面提到的，设置为8左右就是一个不错的起点。\n注意这里的 embedding 指的是 input embedding，而关于 output embedding 以及文本 embedding 向量长度的选择可以参考我的另一个文章“推荐系统概览”。\n<ul>\n<li>使用BN（本质是对神经元的激活值进行整形，它在DL中非常有用，建议尽量用）：</li>\n</ul>\n使用BN的话，batch size 不能太小，而 batch size 的调整一般伴随着同方向的 learning rate 的调整（也就是把 batch size 调大的话，learning rate 可以适当调大一点点）。\n虽然 BN 主要是在 CNN 卷积层用的比较多，但是 MLP 层也可以用， RNN 的话要用 LN 。在当前项目中，使用 BN 后的离线效果提升很明显。\n<ul>\n<li>使用 early stopping 早停：</li>\n</ul>\n监控模型在验证集的 metric ，并 early stopping 早停。Early stopping 并不是必须的，如果设定模型固定跑的epoch数量，之后选择一个表现最好的 epoch 的 checkpoint 也是可以的，这个情况下就不需要early stopping。\n<ul>\n<li>正则化方法：</li>\n</ul>\n在深度学习中，常用的正则化方法是 Dropout ，L1/L2正则，Label 标签平滑等。当前项目使用了 dropout 和L1/L2正则。\nDropout 的比率以及L1/L2正则的超参数在调试的时候，都要小步调整，大幅调整很容易一下子就从过拟合到了欠拟合了。\n<ul>\n<li>使用更少的特征：</li>\n</ul>\n在这个项目中，一下子增加了几种交叉特征后，模型从欠拟合到了过拟合。然后在去掉了几个交叉特征之后，过拟合得到缓解。因此加入新的特征要一点点加，小步走。\n在使用深度模型发生过拟合的时候，首先要检查验证集的数据分布（比如每个连续特征的统计分布，每个离散特征的覆盖度，和训练集中的数据分布做一下对比）。\n如果训练集和验证集的数据分布相差很多，考虑如何重新构造训练集和验证集；否则，建议尝试按照如下的顺序来缓解（每做完一步就训练看效果，如果验证集的效果能接受了，就先打住；否则继续下一步）：使用BN（基本上是标配）→使用更少的特征（如果特征本身就不多，可以跳过；主要关注交叉特征是否很多）→收集更多的数据（如果正样本量已经足够多，可以跳过这步）→使用正则化方法→减少模型复杂度/容量（尤其要注意embedding table中 embedding 向量的长度）。\n<h4><a id=\"_152\"></a>项目中遇到的其他问题</h4>\n<ul>\n<li>数据集变了， \n模型的离线评估AUC变化很大：</li>\n</ul>\n数据集变大可能会导致容量小的模型效果变差，发生欠拟合。对于 CTR/CVR 任务，训练流程跑通以后，用固定滑窗的数据集来训练调试模型；而一般固定滑窗内的数据集的量级差不多。\n数据集的清洗和预处理每天都要保证一致性的行为，否则出问题调试很花时间。\n要尽量保证特征的线上线下一致性（更多细节可以参考我的另一个文章“Data-centric AI之数据集的质量”）。（<a href=\"https://aws.amazon.com/cn/blogs/china/data-set-quality-of-data-centric-ai/\" target=\"_blank\">https://aws.amazon.com/cn/blogs/china/data-set-quality-of-data-centric-ai/</a>\n<ul>\n<li>同样的数据集和同样的模型， \n两个实验对比， \n发现对验证集的评估指标AUC有差别：</li>\n</ul>\nML 带入的随机性很多，所以最好在上下文尽量一致的情况下对比，包括超参数的设置，训练任务的相关参数和随机种子 fix（这个非常重要，包括** python random 的 seed 和 tensorflow.random 的 seed 都需要 fix **）。\n<ul>\n<li>经常发现在分布式训练中模型的评估指标比单机训练的评估指标要差：</li>\n</ul>\n这个是很常见的。使用分布式训练甚至只是单机多卡的时候，学习率可能不适合还用单机单卡训练的学习率，适当需要调整。\n对于 horovod 分布式训练方式，一般来说，把学习率变大一点就好，不能完全按照 horovod 官网建议的那样即用 worker 数量乘以之前单机单卡的学习率作为调整后的学习率（这个可能会得到很大的学习率，从而导致模型学习效果不好）。\n对于 parameter server 分布式训练的异步梯度更新方式，可能需要把学习率调小，为了让最慢那个 stale model replica 的更新对整体的影响小一些。\n<ul>\n<li>特征的覆盖度问题：</li>\n</ul>\n如果某些离散特征的特征值的样本出现频率很低比如少于10次，那么可以考虑特征向上合并或者把那些小类别统一归并为”Other"。\n这个方法在客户的另一个项目 LightGBM 模型中使用了，效果不错。对于那些长尾的 itemid 或者长尾的 usrid ，也可以考虑把这些长尾的 id 的样本给剔除。\n更多详细的关于特征覆盖度的问题，可以参考我的另一个文章“Data-centric AI之数据集的质量”。（<a href=\"https://aws.amazon.com/cn/blogs/china/data-set-quality-of-data-centric-ai/\" target=\"_blank\">https://aws.amazon.com/cn/blogs/china/data-set-quality-of-data-centric-ai/</a>）\n<ul>\n<li>Hash trick 的使用：细分为 hash 后提升维度和降低维度两个方向。</li>\n</ul>\n如果单个离散特征在训练集中出现的唯一值个数不大（也就是说基数小），可以利用特征 hash 来分桶，桶的大小可以考虑几倍于训练样本中该离散特征出现的唯一值个数。\n这个方法的目的就是，在尽量降低 hash 冲突的情况下，不用提供额外的映射表就可以在 hash 分桶后直接 embedding（因为 embedding table 的索引是从0开始的）。当前项目中使用了这个方法，对一些离散特征做了特征 hash 分桶（ hash 桶的 size 是离散特征的基数的3～5倍）。\n反过来，如果单个离散特征（比如 usrid 或者 itemid ）在训练样本中唯一值数量非常大（也就是说基数很大），那可以使用特征 hash 来降维（这里有个隐含的假设，高基数 id 类特征的样本比较稀疏，多个不同 id 落入同一个 hash 桶之后会公用一个 embedding 向量，这个 embedding 向量可以装下多个不同id的知识。在排序任务中，这个假设一般是成立的）。\nHash bucket size 的选择可以用训练集中的这个 id 特征的基数开4次根号为一个尝试起点。当前项目中，对一些高基数的 id 类特征使用了这个方法来降维。\n客户的另一个项目中想使用 Amazon Sagemaker 内建算法 object2vec 学习 item 的 embedding ，但该算法对id有 **300w **的限制，客户非低频的itemid超过300w，这个时候可以用特征 hash 来降维后再使用 object2Vec 。\n<h4><a id=\"_196\"></a>结语</h4>\n排序模型的调优实践到此就讲完了，本文以一个客户的具体项目为例，详细介绍了排序模型调优过程遇到的挑战和处理方法。到此为止，整个推荐系统系列的讲解也结束了。\n整个系列文章比较完整的涵盖了推荐系统的核心内容，包括推荐系统概览，推荐系统的召回阶段深入探讨，推荐系统排序阶段的样本工程和调优实践，相信大家现在已经对推荐系统有了更深刻的理解。\n推荐系统和 CV 以及 NLP 相比而言，是一个更大层面的东西， CV 和 NLP 是技术领域的划分，而推荐系统更像是业务/工程领域，你可以把 CV 和 NLP 的技术用到整个推荐系统的工程当中。\n把一个完整的推荐系统上线，短时间很难做到，因为它涉及到的不只是机器学习领域，还有很多工程领域的技术，而使用 **Amazon Personalize **这样的AI SaaS服务可以帮助你短时间做到从0到1的推荐系统的搭建。再次感谢大家的耐心阅读。\n了解更多 Amazon Personalize： \n<a href=\"https://www.amazonaws.cn/personalize/?nc1=h_ls\" target=\"_blank\">https://www.amazonaws.cn/personalize/?nc1=h_ls</a>\n<h5><a id=\"_208\"></a>本篇作者</h5>\n梁宇辉 \n亚马逊云科技 \n机器学习产品技术专家 \n负责基于亚马逊云科技的机器学习方案的咨询与设计，专注于机器学习的推广与应用，深度参与了很多真实客户的机器学习项目的构建以及优化。对于深度学习模型分布式训练，推荐系统和计算广告等领域具有丰富经验。\n"}

亚马逊云科技解决方案基于行业客户应用场景及技术领域的解决方案

联系亚马逊云科技专家