线性回归与逻辑回归模型课件.pptx

1、线性回归与逻辑回归模型线性回归与逻辑回归模型.pptx1目录线性回归案例逻辑回归23线性回归1逻辑回归案例42房屋应用做一个房屋价值的评估系统，一个房屋的价值来自很多地方，比如说面积、房间的数量（几室几厅）、地段、朝向等等，这些影响房屋价值的变量被称为特征(feature)。在此处，为了简单，假设我们的房屋就是一个变量影响的，就是房屋的面积。假设有一个房屋销售的数据如下：3线性回归及其模型线性回归，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。其表达形式为 y=wx+e，e为误差服从均值为0的正态分布。wj是系数，W就是这个系数组成的向量，它影响着不

2、同维度的j(x)在回归函数中的影响度，比如说对于房屋的售价来说，房间朝向的w一定比房间面积的w更小。(x)可以换成不同的函数，不一定要求(x)=x假设特征和结果都满足线性。收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数，向量表示形式：4回归问题的常规步骤p 寻找模型函数；p 构造J函数（损失函数）；p 最小化J函数并求得回归参数（w）5线性回归的损失函数误差最小。模型与数据差的平方和最小：最小二乘法梯度下降法模型函数：损失函数6线性回归的两个用途p 如果目标是预测或者映射，线性回归可以用来对观测数据集的和X的值拟合出一个预测模型。

3、当完成这样一个模型以后，对于一个新增的X值，在没有给定与它相配对的y的情况下，可以用这个拟合过的模型预测出一个y值。这是比方差分析进一步的作用，就是根据现在，预测未来。虽然，线性回归和方差都是需要因变量为连续变量，自变量为分类变量，自变量可以有一个或者多个，但是，线性回归增加另一个功能，也就是凭什么预测未来，就是凭回归方程。这个回归方程的因变量是一个未知数，也是一个估计数，虽然估计，但是，只要有规律，就能预测未来。p 给定一个变量y和一些变量X1,.,Xp，这些变量有可能与y相关，线性回归分析可以用来量化y与Xj之间相关性的强度，评估出与y不相关的Xj，并识别出哪些Xj的子集包含了关于y的冗余

4、信息。7目录线性回归案例逻辑回归23线性回归1逻辑回归案例48线性回归案例分析案例9目录线性回归案例逻辑回归23线性回归1逻辑回归案例4案例引入在致癌因素的研究中，我们收集了若干人的健康记录，包括年龄、性别、抽烟史、日常饮食以及家庭病史等变量的数据。响应变量在这里是一个两点（0-1）分布变量，Y=1（一个人得了癌症），Y=0（没得癌症）。如果我们建立一般线性模型：)1.(.(Y)E22110kkXXX10模型解释因为Y只能取0或1，而 的取值是连续的。显然不能用 来预测因变量 Y。我们注意到，对于0-1型变量，E(Y)=P(Y=1)=p因而，我们似乎可以用 来预测Y=1的概率，即：(Y)E(Y

5、)E(Y)E)2.(.p22110kkXXX11概率与自变量之间的关系图形往往是一个概率与自变量之间的关系图形往往是一个S型型曲线曲线概率与自变量之间的关系曲线模型解释12模型解释我们可以通过对P进行一种变换（logit变换）logit(p)=ln(p/(1-p)使得logit(p)与自变量之间存在线性相关的关系。)3.()(logit1ln22110kkXXXppp)(exp11)exp(1)exp(110110110kkkkkkXXXXXXp13同时，经过变换得到的模型也解决了（同时，经过变换得到的模型也解决了（2 2）中，概率的预测值）中，概率的预测值可能是可能是0,10,1之外的数的缺

6、陷。之外的数的缺陷。（3 3）式建立的模型，我们称为）式建立的模型，我们称为logisticlogistic模型模型（逻辑回归逻辑回归模模型）。型）。模型解释14最终，我们可能关心的是根据自变量的值来对最终，我们可能关心的是根据自变量的值来对Y的取值的取值0或或1进进行预测。而我们的逻辑回归模型得到的只是关于行预测。而我们的逻辑回归模型得到的只是关于PY=1|x的的预测。预测。但是，我们可以根据模型给出的但是，我们可以根据模型给出的Y=1的概率（可能性）的大小的概率（可能性）的大小来判断预测来判断预测Y的取值。的取值。一般，以一般，以0.5为界限，预测为界限，预测p大于大于0.5时，我们判断此

7、时时，我们判断此时Y更可更可能为能为1，否则认为，否则认为Y=0。1516逻辑回归Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedlinear model）。Logistic回归主要在流行病学中应用较多，比较常用的情形是探索某疾病的危险因素，根据危险因素预测某疾病发生的概率，等等。例如，想探讨胃癌发生的危险因素，可以选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群肯定有不同的体征和生活方式等。这里的因变量就是是否胃癌，即“是”或“否”，自变量就可以

8、包括很多了，例如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量既可以是连续的，也可以是分类的。17逻辑回归的IIA效应逻辑回归的“Independent and irrelevant alternatives”假设，也称作“IIA效应”，指Logit模型中的各个可选项是独立的不相关的。如：市场上有A，B，C三个商品相互竞争，分别占有市场份额：60%，30%和10%，三者比例为：6:3:1一个新产品D引入市场，有能力占有20%的市场如果满足IIA假设，各个产品独立作用，互不关联：新产品D占有20%的市场份额，剩下的80%在A、B、C之间按照6:3:1的比例瓜分，分别占有48%，24%和8%。如果不满足IIA假设，比如新产品D跟产品B几乎相同，则新产品D跟产品B严重相关：新产品D夺去产品B的部分市场，占有总份额的20%，产品B占有剩余的10%，而产品A和C的市场份额保持60%和10%不变。18目录线性回归案例逻辑回归23线性回归1逻辑回归案例419案例分析案例20总结前提前提模型函数模型函数损失函数损失函数适用范围适用范围线性回归特征与结果均线性因变量连续的数值预测逻辑回归自变量独立因变量非连续的有/无（是/否）判断