数据挖掘与应用十三培训课件.ppt

1、数据挖掘与应用十三数据挖掘与应用十三3因变量为二分变量的情形因变量为二分变量的情形若因变量只有两种取值，可不失一般性地假设它们为若因变量只有两种取值，可不失一般性地假设它们为0和和t。设模型预测观测设模型预测观测i属于类别属于类别0和类别和类别1的概率分别为的概率分别为 和和 。0ip1ip可使用以下方法得到可使用以下方法得到Yi的预测值的预测值:如果如果 0.5，令，令 =1，否则令，否则令 =0。1ipiYiY4获取获取Yi的预测值的预测值也可定义分类利润，令也可定义分类利润，令P(l2l1)表示将实际属于类别表示将实际属于类别l1的观的观测归入类别测归入类别l2所产生的利润。所产生的利润

2、。缺省地缺省地P(00)=P(11)=1，P(10)=P(01)=0。在实际应用在实际应用中，需要根据实际情况设置分类利润的值。中，需要根据实际情况设置分类利润的值。例如，在直邮营销中，假设类别例如，在直邮营销中，假设类别1代表潜在顾客响应代表潜在顾客响应(即进即进行了购买行了购买)，类别，类别0代表潜在顾客不响应。代表潜在顾客不响应。P(00)和和P(01)对应于不邮寄产品目录，带来的利润为对应于不邮寄产品目录，带来的利润为0。P(10)对应于将实际不响应的顾客错误判断为响应而邮寄对应于将实际不响应的顾客错误判断为响应而邮寄产品目录，带来的利润为负，等于联系顾客成本产品目录，带来的利润为负，

3、等于联系顾客成本(包括产品目录包括产品目录制作、邮寄等成本制作、邮寄等成本)的负值。的负值。P(11)对应于将实际响应的顾客正确判断为响应而邮寄产对应于将实际响应的顾客正确判断为响应而邮寄产品目录，带来的利润为顾客的购买金额减去联系成本的差品目录，带来的利润为顾客的购买金额减去联系成本的差;因为因为P(11)只能取一个值，这里采用的购买金额是顾客的平均购买只能取一个值，这里采用的购买金额是顾客的平均购买金额。金额。5获取获取Yi的预测值的预测值给给 赋值时需要比较期望利润赋值时需要比较期望利润:iY将观测将观测i归入类别归入类别0所带来的期望利润为所带来的期望利润为 P(00)+P(01)，而

4、将观测而将观测i归入类别归入类别1所带来的期望利润为所带来的期望利润为 P(10)+P(11)；如果前者小于后者，即如果前者小于后者，即0ip1ip0ip1ip则令则令 =1，否则令，否则令 =0。iYiY6获取获取Yi的预测值的预测值也可定义分类损失，令也可定义分类损失，令C(l2l1)表示将实际属于类别表示将实际属于类别l1的的观测归入类别观测归入类别l2所产生的损失。缺省地所产生的损失。缺省地C(00)=C(11)=0，C(10)=C(01)=0。给给 赋值时需要比较期望损失赋值时需要比较期望损失:iY将观测将观测i归入类别归入类别0所带来的期望损失为所带来的期望损失为 C(00)+C(

5、01)，而将观测而将观测i归入类别归入类别1所带来的期望损失为所带来的期望损失为 C(10)+C(11)；如果前者大于后者，即如果前者大于后者，即0ip1ip0ip1ip则令则令 =1，否则令，否则令 =0。iYiY7混淆矩阵混淆矩阵最简单的模型评估方法是使用下表所示的混淆矩阵，表最简单的模型评估方法是使用下表所示的混淆矩阵，表中中Nl1l2为实际属于类别为实际属于类别l1而被预测属于类别而被预测属于类别l2的观测数；显然，的观测数；显然，N00+N01+N10+N11=ND。8混淆矩阵混淆矩阵实际属于类别实际属于类别0的观测中被误分入类别的观测中被误分入类别1的比例为的比例为N01/(N00

6、+N01)，实际属于类别，实际属于类别1的观测中被误分入类别的观测中被误分入类别0的比例的比例为为N10/(N10+N11)，总的误分类率为，总的误分类率为(N01+N10)/ND。9平均利润或平均损失平均利润或平均损失当分类利润和分类损失取缺省值时，评估模型的平均利当分类利润和分类损失取缺省值时，评估模型的平均利润或平均损失等价于评估总误分类率。润或平均损失等价于评估总误分类率。如果定义了分类利润或分类损失，还可评估模型的平均利如果定义了分类利润或分类损失，还可评估模型的平均利润润 或平均损失或平均损失 。10更加细致的评估更加细致的评估我们可以直接使用模型预测概率以对模型进行更加细致的我们

7、可以直接使用模型预测概率以对模型进行更加细致的评估。评估。设某个关于直邮营销的历史数据集设某个关于直邮营销的历史数据集D中有中有100,000位顾客，位顾客，总体响应率为总体响应率为20%，也就是说，如果把产品目录邮寄给这，也就是说，如果把产品目录邮寄给这100,000位顾客，实际会收到位顾客，实际会收到20,000份响应。份响应。将这将这100,000位顾客按照预测概率位顾客按照预测概率 从大到小进行排列，我从大到小进行排列，我们将考虑联系其中的某些顾客。们将考虑联系其中的某些顾客。1ip为了方便讨论起见，按十分位数将排列好的顾客等分为十为了方便讨论起见，按十分位数将排列好的顾客等分为十组，

8、考虑联系第一组的顾客、第二组的顾客，等等；但实际中组，考虑联系第一组的顾客、第二组的顾客，等等；但实际中可以精确到联系多少位顾客。可以精确到联系多少位顾客。11更加细致的评估更加细致的评估响应率响应率:被联系的人中响应的比例，即被联系的人中响应的比例，即基准响应率基准响应率:不使用任何模型而随机联系顾客时所得的响应不使用任何模型而随机联系顾客时所得的响应率，出于随机性，它等于总体响应率。率，出于随机性，它等于总体响应率。捕获响应率捕获响应率:联系顾客所得的响应人数占响应者总人数的比联系顾客所得的响应人数占响应者总人数的比例，即例，即基准捕获响应率基准捕获响应率:不使用任何模型而随机联系顾客时所

9、得的不使用任何模型而随机联系顾客时所得的捕获响应率，出于随机性，它等于被联系人数占顾客总人数的捕获响应率，出于随机性，它等于被联系人数占顾客总人数的比例。比例。提升值提升值:使用模型所得的响应率与基准响应率之比。如果提使用模型所得的响应率与基准响应率之比。如果提升值大于升值大于1，说明使用模型挑选联系人比随机挑选效果更好。，说明使用模型挑选联系人比随机挑选效果更好。12非累积响应情况非累积响应情况13累积响应情况累积响应情况1423.6 如果卖方未能履行本合同规定的任何义务，则买方有权从履约保证金中得到补偿。8.4密封后的竞争性磋商响应文件均应：（2）提供本企业制造的货物、承担的工程或者服务，

10、或者提供其他中小企业制造的货物。本项所称货物不包括使用大型企业注册商标的货物。对建立、实施和改进质量管理体系，以增强顾客满意为目标，定期进行管理评审以确保质量管理体系的持续适宜性、充分性和有效性。郑重承诺如下：4注目欢喜的眼神7.8完成领导交办的其它工作。【案例】（二）、树状窗口及其操作、单据、报表打印格式设置，打印机设置等。（1）买方可在任何时候出于自身的便利向卖方发出书面通知全部或部分终止合同，终止通知应明确该终止合同是出于买方的便利，合同终止的程度，以及终止的生效日期。（10）投标人发生影响招标公证的违法、违规行为的；响应率图响应率图15响应率图响应率图ideal表示理想情况表示理想情况

11、:之后，当非累积被联系人都属于非响应者时，非累积响应率变之后，当非累积被联系人都属于非响应者时，非累积响应率变成成0，而累积响应率等于响应者总人数与累积被联系人数之比，最后，而累积响应率等于响应者总人数与累积被联系人数之比，最后达到总体响应率。达到总体响应率。任意响应者的预测响应概率都大于所有非响应者的预测响应概任意响应者的预测响应概率都大于所有非响应者的预测响应概率，因此，若按照预测响应概率从大到小排序，响应者都排在非响应率，因此，若按照预测响应概率从大到小排序，响应者都排在非响应者的前面。者的前面。当累积被联系人数不超过响应者总人数时，不管是非累积还是当累积被联系人数不超过响应者总人数时，

12、不管是非累积还是累积情形，被联系的所有人都是响应者，所以非累积响应率和累积响累积情形，被联系的所有人都是响应者，所以非累积响应率和累积响应率都是应率都是100%;“model”表示使用模型挑选联系人的情况表示使用模型挑选联系人的情况;“baseline”表示表示不使用任何模型而随机联系顾客的基准情况。不使用任何模型而随机联系顾客的基准情况。实际的模型当然无法达到理想效果，但模型的效果越接近实际的模型当然无法达到理想效果，但模型的效果越接近理想效果越好。理想效果越好。16响应率图响应率图非累积捕获响应率图非累积捕获响应率图模型效果越接近理想效果越好。模型效果越接近理想效果越好。在理想情况下，当累

13、积被联系人数不超过响应者总人数时，在理想情况下，当累积被联系人数不超过响应者总人数时，不管是非累积还是累积情形，被联系的所有人都是响应者，所不管是非累积还是累积情形，被联系的所有人都是响应者，所以非累积捕获相应率和累积捕获响应率都等于相应的被联系人以非累积捕获相应率和累积捕获响应率都等于相应的被联系人数与响应者点人数之比。之后非累积捕获响应率变为数与响应者点人数之比。之后非累积捕获响应率变为0，而累积，而累积捕获响应率变成捕获响应率变成100%。累积捕获响应率图累积捕获响应率图17准确度比率准确度比率从累积捕获响应率图还可以计算一个数值指标从累积捕获响应率图还可以计算一个数值指标:准确度比准确

14、度比率率(Accuracy Ratio)。首先计算模型的累积捕获响应率曲线与基准累积捕获响首先计算模型的累积捕获响应率曲线与基准累积捕获响应率曲线之间的面积，它度量了使用模型相比于基准情况而应率曲线之间的面积，它度量了使用模型相比于基准情况而言增加的预测性能言增加的预测性能;然后计算理想累积捕获响应率曲线与基准累积捕获响应然后计算理想累积捕获响应率曲线与基准累积捕获响应率曲线之间的面积，它度量了理想情况相比于基准情况而言率曲线之间的面积，它度量了理想情况相比于基准情况而言增加的性能；准确度比率是这两个面积的比值。增加的性能；准确度比率是这两个面积的比值。准确度比率的取值在准确度比率的取值在0至

15、至1之间，取值之间，取值0表示使用模型的预表示使用模型的预测效果和基准情况一样，取值测效果和基准情况一样，取值1表示模型的预测效果和理想情表示模型的预测效果和理想情况一样况一样;准确度比率的值越接近于准确度比率的值越接近于1，模型效果越好。，模型效果越好。18准确度比率准确度比率数学上，准确度比率被定义为数学上，准确度比率被定义为（1）r模型模型(q)表示联系模型预测概率的排序处于前面比例表示联系模型预测概率的排序处于前面比例q(oq1)的顾客时所得的累积捕获响应率，的顾客时所得的累积捕获响应率，01 r模型模型(q)dq表示模型的累表示模型的累积捕获响应率曲线之下的面积。积捕获响应率曲线之下

16、的面积。19准确度比率准确度比率基准累积捕获响应率基准累积捕获响应率r基准基准(q)=q，因此基准累积捕获响应率，因此基准累积捕获响应率曲线之下的面积为曲线之下的面积为 。公式中的分子计算了模型的累积捕获响应率曲线与基准累公式中的分子计算了模型的累积捕获响应率曲线与基准累积捕获响应率曲线之间的面积，类似可推出分母计算了理想累积捕获响应率曲线之间的面积，类似可推出分母计算了理想累积捕获响应率曲线与基准累积捕获响应率曲线之间的面积。积捕获响应率曲线与基准累积捕获响应率曲线之间的面积。积分的近似积分的近似:示例中使用十分位数，积分可用示例中使用十分位数，积分可用来近似来近似;在实际应用时可精确到每一

17、位顾客，积分可用在实际应用时可精确到每一位顾客，积分可用 来来近似。近似。101q2rdq 基准（）20受试者操作特性曲线受试者操作特性曲线受试者操作特性曲线受试者操作特性曲线(Receiver Operating Characteristic Curve以下简称以下简称ROC曲线曲线)也是衡量模型预测能力的一种常用工也是衡量模型预测能力的一种常用工具，它来源于并经常应用于医学领域。具，它来源于并经常应用于医学领域。假设习齐模型预测响应概率大于某个临界值假设习齐模型预测响应概率大于某个临界值C的顾客都预测的顾客都预测为响应者，而将其他顾客都预测为非响应者。为响应者，而将其他顾客都预测为非响应者

18、。21受试者操作特性曲线受试者操作特性曲线特异度特异度(specificity)定义为真阴性定义为真阴性(true negative)观测数与阴观测数与阴性总观测数之比。性总观测数之比。敏感度敏感度(sensitivity)定义为真阳性定义为真阳性(true positive)观测数与阳观测数与阳性总观测数之比。性总观测数之比。真阳性观测数指的是实际响应而模型也预测响应的顾客数，真阳性观测数指的是实际响应而模型也预测响应的顾客数，阳性总观测数指的是实际响应的顾客数阳性总观测数指的是实际响应的顾客数(很容易推出，此处敏感很容易推出，此处敏感度等于累积捕获响应率度等于累积捕获响应率)。真阴性观测数

19、指的是实际不响应而模型也预测不响应的顾真阴性观测数指的是实际不响应而模型也预测不响应的顾客数；阴性总观测数指的是实际不响应的顾客数。客数；阴性总观测数指的是实际不响应的顾客数。22受试者操作特性曲线受试者操作特性曲线C的值从的值从1变化到变化到0时，特异度和敏感度的值都会变化，将时，特异度和敏感度的值都会变化，将“1-特异度特异度”作为横轴、敏感度作为纵轴作图，这种变化在图作为横轴、敏感度作为纵轴作图，这种变化在图中形成的曲线就被称为中形成的曲线就被称为ROC曲线。曲线。当当C=1时，所有顾客都被预测为不会响应，因此特异度时，所有顾客都被预测为不会响应，因此特异度=1(1-特异度特异度=0)，

20、敏感度，敏感度=0;当当C=0时，所有顾客都被预测为会响应，因此特异度时，所有顾客都被预测为会响应，因此特异度=0(1-特异度特异度=1)，敏感度，敏感度=1。ROC曲线是连接曲线是连接(0,0)点和点和(1,1)点的一条曲线。点的一条曲线。23受试者操作特性曲线受试者操作特性曲线理想情况下，任意响应者的预测响应概率都大于所有非理想情况下，任意响应者的预测响应概率都大于所有非响应者的预测响应概率。因此，存在响应者的预测响应概率。因此，存在C*使得预测响应概率大使得预测响应概率大于于C*的所有顾客都是响应者，而其他顾客都是非响应者。的所有顾客都是响应者，而其他顾客都是非响应者。24受试者操作特性

21、曲线受试者操作特性曲线当当CC*时，所有实际非响应者都被正确地预测为不响时，所有实际非响应者都被正确地预测为不响应应;因为特异度是实际非响应者中被模型预测为非响应者的比因为特异度是实际非响应者中被模型预测为非响应者的比例，所以特异度例，所以特异度=1(1-特异度特异度=0)，而敏感度是实际响应者中，而敏感度是实际响应者中被模型预测为响应者的比例被模型预测为响应者的比例;当当CC*时，所有实际响应者都被正确地预测为响应，时，所有实际响应者都被正确地预测为响应，因此敏感度因此敏感度=1，当，当C的值从的值从C*变化到变化到0时，特异度从时，特异度从1变化到变化到0(1-特异度特异度”从从0变化到变

22、化到1)。所以理想的所以理想的ROC曲线由连接曲线由连接(0,0)点和点和(1,0)点的线段与连点的线段与连接接(1,0)点和点和(1,1)点的线段组成。点的线段组成。25受试者操作特性曲线受试者操作特性曲线所以基准的所以基准的ROC曲线就是连接曲线就是连接(o,o点和点和(1,1)点的一条对点的一条对角直线。角直线。在基准情况下，任意选取一部分顾客，其中响应者所占在基准情况下，任意选取一部分顾客，其中响应者所占的比例都等于总体响应率，非响应者所占的比例都等于总体的比例都等于总体响应率，非响应者所占的比例都等于总体非响应率。对任意非响应率。对任意C值：值：特异度都等于预测非响应者人数占顾客总人

23、数的比例；特异度都等于预测非响应者人数占顾客总人数的比例；而敏感度都等于预测响应者人数占顾客总人数的比例；而敏感度都等于预测响应者人数占顾客总人数的比例；它们的和总是等于它们的和总是等于1。26成为OTC药的直接使用点；3.1经评标委员会评议认定有下列情形之一的，属于投标人相互串通投标：处理抱怨的服务技巧5.2管道的材质应与天然气介质相适应，不会发生化学反应。3.标准与计量6.7 卖方应承担由于其包装或其防护措施不完善而引起的货物锈蚀、损坏和丢失的责任。4.7.3岗位安全操作规程，生产设备、安全装置、劳动防护用品的性能及正确使用方法，事故案例在很多传统的企业中，工人的服务意识和危机感都不高，紧

24、迫感不强。对待工作往往马马虎虎。针对这种情况，您认为应该采取什么样的措施来加以解决？请简要阐述您的想法。2、设备安装质量检验单及试车记录、设备安装施工图纸；4.5.2本单位主要危险危害因素，安全技术操作规程和安全生产规章制度；4.2.9本企业的安全生产责任制和安全生产规章的内容；受试者操作特性曲线受试者操作特性曲线一般而言，模型的一般而言，模型的ROC曲线落在理想曲线落在理想ROC曲线与基准曲线与基准ROC曲线之间。曲线之间。基准基准ROC曲线下的面积为曲线下的面积为0.5，理想，理想ROC曲线下的面积为曲线下的面积为1，一般模型，一般模型ROC曲线下的面积在曲线下的面积在0.5至至1之间，这

25、个值越接近之间，这个值越接近1，模型效果越好。，模型效果越好。ROC曲线下的面积也可作为衡量模型效果的一个数值指曲线下的面积也可作为衡量模型效果的一个数值指标。标。27受试者操作特性曲线受试者操作特性曲线对模型的预测效果而言，特异度和敏感度都是越大越好，对模型的预测效果而言，特异度和敏感度都是越大越好，但是这两者之间需要平衡。但是这两者之间需要平衡。有时在实际应用中，我们希望选择截断值有时在实际应用中，我们希望选择截断值C以使特异度以使特异度与敏感度的和达到最大与敏感度的和达到最大;这时可以取这时可以取45度角直线簇度角直线簇敏感度敏感度=+(1-特异度特异度)特异度特异度+敏感度敏感度=+1

26、与与ROC曲线的切点，选取切点对应的曲线的切点，选取切点对应的C值。值。28盈利评估盈利评估除了考察顾客的响应情况，还可以考察直邮营销的盈利除了考察顾客的响应情况，还可以考察直邮营销的盈利情况。情况。前面讨论过分类利润，涉及顾客的平均购买金额，但在前面讨论过分类利润，涉及顾客的平均购买金额，但在实际中顾客购买的金额通常大小不一。实际中顾客购买的金额通常大小不一。评估模型效果时使用顾客的实际购买金额评估将更加细评估模型效果时使用顾客的实际购买金额评估将更加细致。致。29盈利评估盈利评估假设联系顾客的成本为每人假设联系顾客的成本为每人1元。元。30盈利评估盈利评估31盈利评估盈利评估出于随机性，它

27、等于联系所有顾客所得利润出于随机性，它等于联系所有顾客所得利润(累计利润表累计利润表最后一行的利润最后一行的利润-13,060)与被联系人数占顾客总人数的比例的与被联系人数占顾客总人数的比例的乘积。乘积。基准利润基准利润:不使用任何模型而随机联系顾客所得的利润。不使用任何模型而随机联系顾客所得的利润。非累积利润图非累积利润图累积利润图累积利润图非累积情形下，基准利润等于总利润的非累积情形下，基准利润等于总利润的1/10，即，即-1,306；累积情形下，基准利润等于总利润的累积情形下，基准利润等于总利润的i/10，即，即-1.3061i(i=1,10)。32因变量为二分变量的情形因变量为二分变量

28、的情形在实际应用中，有时在实际应用中，有时D中类别中类别1和类别和类别0的比例的比例1及及0不同不同于模型将来要应用的数据中的比例于模型将来要应用的数据中的比例1及及0，而又希望根据，而又希望根据D评估模型对将来要应用的数据的预测性能。评估模型对将来要应用的数据的预测性能。这时，需要给这时，需要给D中的观测赋予不同的权重中的观测赋予不同的权重wi:属于类别属于类别1的观测被赋予权重的观测被赋予权重wi=1/1属于类别属于类别0的观测被赋予权重的观测被赋予权重wi=0/0在计算各项评估指标时，都需要考虑权重，例如，响应在计算各项评估指标时，都需要考虑权重，例如，响应率不再简单地是响应人数与被联系

29、人数的比例，而是响应者率不再简单地是响应人数与被联系人数的比例，而是响应者的权重之和与被联系者的权重之和的比例。的权重之和与被联系者的权重之和的比例。33因变量为多分变量的情形因变量为多分变量的情形若因变量有离散的多种取值，可不失一般性地假设它们若因变量有离散的多种取值，可不失一般性地假设它们为为1,K。我们在统计决策的一般框架下来讨论。假设对每一位顾我们在统计决策的一般框架下来讨论。假设对每一位顾客客i，可采用的决策，可采用的决策di都有都有M种可能取值种可能取值:Al,AM。设模型预测顾客设模型预测顾客i属于各类别的概率为属于各类别的概率为:,。1ipiKp分类问题是统计决策的一种特例，在

30、这种情形下，分类问题是统计决策的一种特例，在这种情形下，di有有K种可能取值：对种可能取值：对l=1,K，决策，决策Al表示将顾客归入类别表示将顾客归入类别l,即即令令 =l。iY34因变量为多分变量的情形因变量为多分变量的情形可以使用决策利润来进行决策。可以使用决策利润来进行决策。如果对顾客如果对顾客i采用决策采用决策di=Am，那么带来的期望利润为，那么带来的期望利润为 令令P(dy)表示对实际属于类别表示对实际属于类别y的顾客采用决策的顾客采用决策d而产生的而产生的利润。利润。应选取使期望利润最大的决策。应选取使期望利润最大的决策。35因变量为多分变量的情形因变量为多分变量的情形在分类问

31、题中：在分类问题中：若因变量为名义变量，缺省地若因变量为名义变量，缺省地选取的决策为将顾客选取的决策为将顾客i归入使归入使 最大的类别最大的类别l；ilp 若因变量为定序变量，缺省地若因变量为定序变量，缺省地 ，选取的决策为将顾客选取的决策为将顾客i归入使归入使最大的类别最大的类别l，即使，即使最小的类别最小的类别l。36因变量为多分变量的情形因变量为多分变量的情形也可以使用决策损失来进行决策。也可以使用决策损失来进行决策。令令C(dy)为对实际属于类别为对实际属于类别y的顾客采用决策的顾客采用决策d而产生的损而产生的损失。失。如果对顾客如果对顾客i采用决策采用决策di=Am，那么带来的期望损

32、失为，那么带来的期望损失为 应选取使期望损失最小的决策。应选取使期望损失最小的决策。37因变量为多分变量的情形因变量为多分变量的情形在分类问题中：在分类问题中：若因变量为名义变量，缺省地若因变量为名义变量，缺省地选取的决策为将顾客选取的决策为将顾客i归入使归入使1-最小即最小即 最大的类别最大的类别l；ilp 若因变量为定序变量，缺省地若因变量为定序变量，缺省地 ，选取的决策为将顾客选取的决策为将顾客i归入使归入使最小的类别最小的类别l。可以看出，使用决策利润或决策损失进行。可以看出，使用决策利润或决策损失进行决策是等价的。决策是等价的。ilp38因变量为多分变量的情形因变量为多分变量的情形可

33、以评估模型的平均利润可以评估模型的平均利润或平均损失或平均损失 。在分类问题中：。在分类问题中：若因变量为名义变量，还可评估对若因变量为名义变量，还可评估对D的总误分类率为的总误分类率为很容易看出，如果决策利润或决策损失取缺省值，那么很容易看出，如果决策利润或决策损失取缺省值，那么评估平均利润或平均损失等价于评估误分类率评估平均利润或平均损失等价于评估误分类率 若因变量为定序变量，还可评估按序数距离加权的误分类若因变量为定序变量，还可评估按序数距离加权的误分类率率 与因变量是二分变量的情形类似，我们还可以使用混淆矩与因变量是二分变量的情形类似，我们还可以使用混淆矩阵来评估模型。阵来评估模型。3

34、9(三)热爱共青团工作，有较强的责任心和奉献精神，有愿望在团的岗位上进一步锻炼成长。服务人员要学会积极正面地去承受，不要用负面去思考，不要一直讨厌顾客，要感谢顾客的抱怨会帮助提升服务的品质，把顾客看成导师。有了正确的心态，再熟练地运用一定的技巧，面对抱怨的时候就不会显得惶恐不安了。所选择诊所必须有充足的场所，以备我们宣传、之用；30.3 投标人的澄清文件是其投标文件的组成部分。8.3 所有备品备件应注明有关说明。6.1检查增压后的管道是否有泄漏现象，及时处理漏点。7、推荐优秀团干部至少在同级职务两年以上。2、企业团(总)支部委员会对递交入党申请书一个月以上的团员青年，在广泛听取所在企业或岗位团

35、员、青年意见的基础上，写出考察意见，并征得所在企业党组织意见后，经团(总)支部委员会讨论，确定为推优对象，报上级团委确认后，填写优秀团员、青年入党积极分子推荐表,由上级团委向企业党组织推荐；同样道理，要改变员工的惯性，就必须在培训过程中施加适当的压力。否则，员工们就无法适应习惯的改变，总要恢复到从前的状态，那么培训就失败了。所以适当的施加压力是培训的重要手段。服务的实现需要不断地鞭策、积累和提醒，才会呈现出来，所以要利用会议的机会和激励技巧来建立服务的共识。每天早晨留五分钟时间开个例行的早会，让员工间互动，回顾前一天服务得当和失误之处。1飞机服务：经济舱商务舱因变量为多分变量的情形因变量为多分

36、变量的情形要对模型进行更加细致的评估，需要更加细致地考察决要对模型进行更加细致的评估，需要更加细致地考察决策利润或决策损失，这里仅讨论使用决策利润的情形。策利润或决策损失，这里仅讨论使用决策利润的情形。为了绘出响应率图、捕获响应率图、为了绘出响应率图、捕获响应率图、ROC图、利润图等，图、利润图等，我们需要能够按照模型预测结果对观测进行排序，并定义谁我们需要能够按照模型预测结果对观测进行排序，并定义谁是是(实际实际)响应者，谁是响应者，谁是(实际实际)非响应者。解决方法如下非响应者。解决方法如下:模型预测的决策模型预测的决策di带来的实际利润为带来的实际利润为P(diyi)，可把实际，可把实际

37、利润大于某个临界值的顾客定义为响应者，而把其他顾客利润大于某个临界值的顾客定义为响应者，而把其他顾客定义为非响应者。定义为非响应者。按照它从大到小的顺序可以将顾客进行排列。按照它从大到小的顺序可以将顾客进行排列。模型预测的决策模型预测的决策di带来的期望利润为带来的期望利润为40因变量为多分变量的情形因变量为多分变量的情形在实际应用中，如果在实际应用中，如果D中各类别的比例中各类别的比例1(l=1,K)不同不同于模型将来要应用的数据中的比例于模型将来要应用的数据中的比例l，而又希望根据，而又希望根据D评估模评估模型对将来要应用的数据的预测性能，就需要给型对将来要应用的数据的预测性能，就需要给D中的观测赋中的观测赋予不同的权重予不同的权重wi：属于类别：属于类别l的顾客被赋予权重的顾客被赋予权重wi=l/l。41因变量为连续变量的情形因变量为连续变量的情形若因变量为连续变量，可计算下列一些评估指标若因变量为连续变量，可计算下列一些评估指标:均方误差均方误差:均方误差均方误差:均方误差均方误差:均方误差均方误差:还可绘出还可绘出Yi与与 的散点图，或者的散点图，或者Yi-与与 的散点图。的散点图。iYiYiY