# 7 种模型加权集成方法
不同任务 -> 不同加权方法
分类
类别投票概率值加权
回归
预测值加权
排序
排序次序加权
目标检测
预测结果NMS
语义分割
像素类别投票加权
集成学习
考虑
模型的多样性
多样性不足 -> 最终预测结果和单个模型类似。
模型的精度差异
精度差异很大 -> 最终集成的效果也不会很好
Out of fold
中文：袋外预测
就是交叉验证
Blend操作
最常见的分类 & 回归任务的结果加权方法
方法1：均值加权
原理
对所有模型的预测结果计算均值；
优点
简单，过拟合可能性低；
缺点
会受到模型原始精度差异的影响；
代码
oof_preds = []
for col in oofCols:
oof_preds.append(oof_df[col])
y_avg = np.mean(np.array(oof_preds), axis=0)
方法2：权重加权
原理
对所有模型的预测结果加权求和；
优点
比均值更加可控；
缺点
权重需人工设置，更容易过拟合；
代码
weights = [1,2,3]
y_wtavg = np.zeros(len(oof_df))
for wt, col in zip(weights, oofCols):
y_wtavg += (wt*oof_df[col])
y_wtavg = y_wtavg / sum(weights)
方法3：排序加权
原理
预测结果进行排序
使用次序代替原始取值
优点
适合分类任务对概率进行集成
缺点
会受到模型原始精度差异的影响
代码
rankPreds = []
for i, col in enumerate(oofCols):
rankPreds.append(oof_df[col].rank().values)
y_rankavg = np.mean(np.array(rankPreds), axis=0)
方法4：排序权重加权
原理
预测结果进行排序
使用次序代替原始取值
优点
比均值更加可控；
缺点
权重需人工设置更容易过拟合
代码
rankPreds = []
weights = [1,2,3]
for i, col in enumerate(oofCols):
rankPreds.append(oof_df[col].rank().values * weights[i])
y_rankavg = np.mean(np.array(rankPreds), axis=0)
y_rankavg = np.mean(np.array(rankPreds), axis=0)
方法5：爬山法加权
原理
权重进行搜索保留最优的权重
优点
可以自动权重权重大小
缺点
更容易过拟合
代码
for w1 in np.linspace(0, 1, 100):
for w2 in np.linspace(0, w2, 100):
w3 = 1 - w1 - w3
如果 w1, w2, w3取得更好的精度，保留权重
否则尝试下一组权重组合
方法6：线性回归加权
原理
使用线性回归确定权重
优点
可以自动权重权重大小
缺点
需要额外训练容易过拟合
代码
from sklearn.linear_model import LinearRegression
lr = LinearRegression(fit_intercept=False)
lr.fit(
三个模型对训练集预测结果，
训练集标签
)
lr.coef_ # 线性回归的权重
方法7：参数优化加权
原理
使用优化方法搜索权重
优点
可以自动权重权重大小；
缺点
需要额外训练，容易过拟合；
代码
def f(x):
return x[0]**2 + x[1]**2 + (5 - x[0] - x[1])
from scipy import optimize
minimum = optimize.fmin(f, [1, 1])
参考文献
[1] https://mp.weixin.qq.com/s/a77kNwNCAsHCvnfpKUvQYQ