广告流量作弊，即媒体通过多种作弊手段，获取广告主的利益。

作弊流量主要来自于：

• 模拟器或者被篡改了设备的广告流量；

• 真设备，但通过群控控制的流量；

• 真人真机，但诱导产生无效流量等。

按照广告投放流程顺序

• 展示作弊：媒体将多个展示广告同时曝光于同一个广告位，向广告主收取多个广告的展示费用。

• 点击作弊：通过脚本或计算机程序模拟真人用户，又或者雇佣和激励诱导用户进行点击，生成大量无用广告点击，获取广告主的CPC广告预算。

• 安装作弊：通过测试机或模拟器模拟下载，以及通过移动人工或者技术手段修改设备信息、SDK方式发送虚拟信息、模拟下载等等。

智能风控，运用大量行为数据构建模型，对风险进行识别和感知监控，相比规则策略，显著提升识别的准确性和覆盖率以及稳定性。

常见的无监督算法：

• 密度聚类(DBSCAN)

• 孤立森林(Isolation Forest)

• K均值算法

常见有监督算法：

• 逻辑回归(logistic)

• 随机森林 (random forest) 

先定义几个概念：

• 邻域：对于任意给定样本x和距离ε，x的ε邻域是指到x距离不超过ε的样本的集合;

• 核心对象：若样本x的ε邻域内至少包含minPts个样本，则x是一个核心对象;

• 密度直达：若样本b在a的ε邻域内，且a是核心对象，则称样本b由样本x密度直达;

• 密度可达：对于样本a，b，如果存在样例p1，p2，...，pn，其中，p1=a，pn=b，且序列中每一个样本都与它的前一个样本密度直达，则称样本a与b密度可达;

• 密度相连：对于样本a和b，若存在样本k使得a与k密度可达，且k与b密度可达，则a与b密度相连；

• 所定义的簇概念为：由密度可达关系导出的最大密度相连的样本集合，即为最终聚类的一个簇。

①首先按照分辨率和广告位，对点击数据进行分组，筛选过滤掉量级较小的群组； 

②对每个群组，使用密度聚类算法进行聚类，设置邻域密度阈值为10，半径ε=5，进行聚类训练；

③对每个群组，密度聚类后，过滤掉簇面积较小的簇，具体训练代码如下： 

④效果监控和打击，针对挖掘的簇，关联点击后向指标，针对异常转化指标广告位，进行复检，并对复检有问题广告位进行处置。

基于token粒度，计算事件发生前，设备、ip、媒体、广告位的等粒度特征。

频率特征：在过去1分钟，5分钟，30分钟、1小时、1天，7天等时间窗口的曝光，点击、安装行为特征、即对应的均值、方差、离散度等特征；

基本属性特征：媒体类型，广告类型，设备合法性、ip类型，网络类型，设备价值等级等。

采用随机森林算法，对点击广告作弊行为进行分类，随机森林有较多优势，比如：

（1）能处理很高维度的数据并且不用做特征选择；

（2）对泛化误差(Generalization Error)使用的是无偏估计，模型泛化能力强；

（3）训练速度快，容易做成并行化方法(训练时树与树之间是相互独立的)； 

（4）抗过拟合能力比较强；

超参数搜索优化，使用ParamGridBuilder，配置max_depth(树最大深度),numTrees(树的个数)等超参数的进行搜索优化最优超参数。

④ 模型稳定性监控：

模型上线后，如果特征随着时间迁移，推理时间的特征与训练时间的特征分布存在变动差异，需要对模型稳定性监控并迭代更新；

首先对当前版本训练样本进行存档，计算推理时间的数据和训练时间数据的对应每个特征的PSI值，计算的PSI值(Population Stability Index)每天可视化监控告警。

⑤ 模型可解释性监控： 

模型上线后，为了更直观的定位命中模型风险的原因，对推理数据进行可解释性监控；即对每条数据，计算其对预测标签的影响程度；

采用Shapley值(Shapley Additive explanation)解释特征如何影响模型的输出，计算shap值输出到可视化平台，日常运营分析使用。

孤立森林离群点检测算法，算法基于两个理论假设，即异常数据占总样本量的比例很小，异常点的特征值与正常点的差异很大。

检测分布稀疏且离密度高的群体较远的点，比如下图可以直观的看到，相对更异常Xo的只需要4次切割就从整体中被分离出来，即被‘孤立’了，而更加正常的Xi点经过了11次分割才从整体中分离出来。

①全平台流量，训练异常感知模型，设置异常样本比例contamination=0.05；

②每类媒体类型的流量，训练异常感知模型，设置异常样本比例contamination=0.1；

③每种广告位类型流量，训练异常感知模型，设置异常样本比例contamination=0.1。

 (备注：features中每个点代表用户一个小时的点击量）