插播一则非天池平台的数据比赛『天翼杯』的笔记，不过这个比赛简直是阿里巴巴『天池』系列比赛的翻版…… 虽然这次没能进前 35 ，不过从中还是学到一些知识。

题目说明

给定 7 周用户视频网站访问记录，记录包括用户标识、访问时间、网站、访问次数。预测第8 周用户对各视频网站的浏览量。

测评准则为 F1 分数，其中准确率为余弦值在预测集上的均值，召回率为预测集用户数和实际测试集用户数的交集与实际测试集用户数之比。

数据分布

记录数：525,488，独立用户数：29,932，用户的记录数分布如下：（横坐标是记录数，纵坐标是该记录数下的人数）

用户浏览量总趋势：（横坐标是日期，纵坐标是浏览量）

各个视频站点的用户规模：

上一周有大约 50% 的用户会在下一周访问其中一个视频网站。这些用户中大部分是连续追剧者（连续几周都看）。

基准测试

余弦相似度是计算余弦夹角，而由于原点的万向向量表示，因此，一个基准估计不是全 0 而是全  1 。要测试选择的用户良好与否，应该以填充 0 表示基准预测。

#经验规则

按照余弦相似度作为测试准则的公式表示，可以看出，并不需要我们拟合出绝对数值（分母部分实际上除了向量的大小，也就是说去掉了规模化）。因此，我们要预测的是用户在第8周浏览站点的趋势，而不是绝对数值。为此，我们可以把预测问题看做一个概率分布问题。

如果我们知道这个用户一定会去某一个站点，那么我们可以把这个用户的概率置为相同，也就是基准测试中填充1 的来历。

根据日常规律，对用户看视频的经验总结：

1. 历史总是会重复的；
   历史的重复特性是从过去预测未来的基础之一，所谓合久必分分久必合，但历史重现的周期有长有短。历史的相似度是短期预测有效性的关键因素。

2. 人是容易遗忘的；
   行为的时间距离越近，用户越容易记住该视频站点。但是用户记住该视频站点有两种可能：喜欢和厌恶。因此，最近行为的变化量是衡量的一个因素。另一个因素是，对于求和而言，历史行为量应该设定一个衰减函数。

3. 人的遗忘和事物的多样性相关；
   用户看的视频站点种类少，而用户本身看视频量多，那么，用户继续看这个站点的概率大。

4. 人的记性和事物的重要性相关；
   人的精力是有限的，因此总行为量是可以比较的，行为量相对于一般人对同一件事的行为量高则对此事比较关注。

#对本问题的一般规则策略

1. 选择最近一周与前几周分别的交集（目前选择是前三周），选择连续观看的用户；

2. 按照同等无知原理，为选择出来的用户每天每个站点都填充 1，表示用户对站点喜好的均匀分布；

3. 根据用户对站点的偏好，为经常访问的站点赋予更高的权值；

建模和特征工程

在测评指标中，我们可以了解到涉及到的三个量：用户、用户浏览轨迹、预测规模。其中，用户量是最容易控制的。浏览轨迹的控制上，我们把这个问题控制为拟合浏览概率分布的问题。

因此，目前主要从以下三个方面对问题建模：

1. 用户选择：选择用户是最终提交数据的规模大小的基础，可以限定召回率和用户数量的准确率；

2. 站点选择：减小预测范围，是用户的习惯分布更统一；

3. 浏览模式预测：拟合用户的习惯分布。

这3个主题的概率实际上是对问题从粗粒度到细粒度的划分。从粗粒度来看，用户选择是首要的，它决定了整体的召回率和基础准确率，也就是营销的成本。而站点的选择、进而到浏览模式则是对预测结果的进一步细化。

#模型融合

模型来源：使用用户特征筛选得到的用户排名、使用『用户、站点』两个特征筛选得到的用户排名。排名的方式是把两者加起来，然后进行整体排名，因为两个数据集中可能有不稳定的分布。

#浏览模式预测

如果浏览模式预测是一个概率分布的预测问题，那么概率分布一般可以通过历史行为数量来估计。但这里有一个要点需要注意的是，对行为量的时间衰减的评估。