1、机器学习的模型评估与选择泛化误差 vs 经验误差v泛化误差:在“未来”样本上的误差v经验误差:在训练集上的误差,亦称“训练误差”训练数据模型新样本数据新样本属于什么类别?过拟合 vs 欠拟合模型选择v三个关键问题:如何获得测试结果 评估方法如何评估性能优劣 性能度量如何判断实质差别 比较检验评估方法v关键:怎么获得“测试集”?原则:测试集与训练集“互斥”v常见方法:留出法(hold-out)交叉验证法(cross validation)自助法(bootstrap)留出法v保持数据分布一致性(例如:分层采样)v多次重复划分(例如:100次随机划分)v测试集不能太大、不能太小(例如:1/51/3)
2、K-折交叉验证法当K=m时,则得到“留一法”(leave-one-out, LOO)自助法v基于“自助采样”(bootstrap sampling)Pull up by your own bootstraps有放回采样、可重复采样训练集与原样本集同规模数据分布有所改变约有36.8%的样本不出现包外估计:out-of-bag estimation模型选择 三个关键问题: 如何获得测试结果 评估方法 如何评估性能优劣 性能度量 如何判断实质差别 比较检验性能度量v性能度量(performance measure)是衡量模型泛化能力的评价标准,反映了任务需求v使用不同的性能度量往往会导致不同的评判结
3、果v什么样的模型是“好”的,不仅取决于算法和数据,还取决于任务需求。性能度量v回归任务v分类任务错误率与精度查准率、查全率与F1回归模型评估有三种方法,分别是:平均绝对值误差、均方误差和R平方值(1)平均绝对误差(MAE)就是指预测值与真实值之间平均相差多大(2)均方误差是指参数估计值与参数真值之差平方的期望值,记为MSE。值越小,说明预测模型描述实验数据具有更好的精确度。(3)R平方值,表征回归方程在多大程度上解释了因变量的变化,或者说方程对观测值的拟合程度如何性能度量错误率与精度v错误率v精度E(f;D)=1mI(f(xi)yi)i=1macc(f;D)=1mI(f(xi)=yi)=1-E
4、(f;D)i=1m性能度量查准率与查全率v查准率:precision,准确率,P预测结果中是正例的比率v查全率:recall,sensitivity, 召回率, R所有的正例中被正确预测出的比列P=TPTP+FpR=TPTP+FNTrue Positive Rate, TPR, (Sensitivity)True Negative Rate, TNR, (Specificity)Positive Predictive Value, PPVFalse Positive Rate, FPRFalse Negative Rate, FNRFalse Discovery Rate, FDRPR图:学习
5、器A优于学习器C学习器B优于学习器C学习器A?学习器B平衡点 (BEP)(Break-Even Point, )学习器A优于学习器B学习器A优于学习器C学习器B优于学习器C性能度量F1度量性能度量ROC与AUChttps:/ Boosting个体学习器间不存在强依赖关系,可同时生成的并行化方法:Bagging and Random Forest集成学习随机森林 Bagging 策略 bootstrap aggregation 从样本集中重采样(有重复的)选出n个样本 在所有属性上,对这n个样本建立分类器(ID3、C4.5、CART、SVM、Logistic回归等) 重复以上两步m次,即获得了m个分类器 将数据放在这m个分类器上,最后根据这m个分类器的投票结果,决定数据属于哪一类 随机森林在bagging基础上做了修改。 从样本集中用Bootstrap采样选出n个样本; 从所有属性中随机选择k个属性,选择最佳分割属性作为节点建立CART决策树; 重复以上两步m次,即建立了m棵CART决策树 这m个CART形成随机森林,通过投票表决结果,决定数据属于哪一类投票机制 简单投票机制 一票否决(一致表决) 少数服从多数 有效多数(加权) 阈值表决 贝叶斯投票机制v但也可以使用SVM、Logistic回归等其他分类器,习惯上,这些分类器组成的“总分类器”,仍然叫做随机森林。