1、第第2章章 回归模型回归模型n熟悉线性回归模型的定义以及学习准则（策略）。熟悉线性回归模型的定义以及学习准则（策略）。n熟悉最小二乘法和正规方程。熟悉最小二乘法和正规方程。n掌握梯度下降法的原理。掌握梯度下降法的原理。n熟悉岭（熟悉岭（Ridge）回归和套索（）回归和套索（Lasso）回归的原理。）回归的原理。n掌握掌握逻辑斯谛回归逻辑斯谛回归和和Softmax回归的原理以及两者的区别与联回归的原理以及两者的区别与联系。系。本章学习目标本章学习目标n2.1 线性回归线性回归n2.2 多项式回归多项式回归n2.3 线性回归的正则化线性回归的正则化岭回归和套索回归岭回归和套索回归n2.4 逻辑斯谛
2、回归逻辑斯谛回归n2.5 Softmax回归回归第第2章章 回归模型回归模型2.1 线性回归线性回归2.1.1 线性回归模型的定义线性回归模型的定义线性回归线性回归（Linear Regression）的目标旨在找到可以描述目标值（输出变量）与一个或多个特征（输入变量）之间关系的一个线性方程或函数。线性回归模型线性回归模型的表达式为在有监督学习中，将求解线性回归模型参数的问题称为线性回归问题，求解线性回归模型参数的算法统称为线性回归算法。2.1 线性回归线性回归2.1.2 线性回归模型的建立线性回归模型的建立线性回归模型线性回归模型表达式的“齐次”形式为2.1 线性回归线性回归2.1.3 线性
3、回归模型的线性回归模型的学习准则（策略）学习准则（策略）模型的训练即寻找最佳参数向量 ，以使模型能够尽可能好地拟合所有的样本数据。定义代价函数代价函数为：学习的目标学习的目标就是选择出使 的取值最小的模型参数向量2.1 线性回归线性回归2.1.4 线性回归模型线性回归模型参数的极大似然估计参数的极大似然估计的的极大似然估计为：2.1 线性回归线性回归2.1.5 最小二乘法和正规方程最小二乘法和正规方程最小二乘法最小二乘法（Least Square Method，LSM），又称最小平方法最小平方法，是解决回归拟合问题最常用的一种优化方法。它通过最小化每个观测数据与预测值之间误差的平方和来寻找数据
4、的最佳函数拟合。正规方程正规方程（Normal Equation），它是最小二乘法的矩阵形式。最小二乘最小二乘估计估计2.1 线性回归线性回归2.1.6 梯度下降法梯度下降法梯度下降法梯度下降法的基本思想是一直朝着函数梯度向量相反方向不断地迭代更新模型参数，可以使函数值得到最快的下降，从而能够尽可能快速地逼近函数极小值点直至收敛，得到最小化的代价函数和最优的模型参数值。2.1 线性回归线性回归2.1.6 梯度下降法梯度下降法n批量梯度下降批量梯度下降（Batch Gradient Descent,BGD）n在每次迭代更新参数在每次迭代更新参数时时，都需要用到都需要用到全部的全部的训练样本数据来
5、计算训练样本数据来计算目标函数目标函数的的梯度梯度。n随机梯度下降随机梯度下降（Stochastic Gradient Descent，SGD）n在每次迭代更新参数在每次迭代更新参数时时，从训练样本集中随机选取从训练样本集中随机选取一个一个训练样本训练样本来计算目标函数来计算目标函数的的梯度梯度。n小批量梯度下降小批量梯度下降（Mini-Batch Gradient Descent，MBGD）n在每次迭代更新参数在每次迭代更新参数时时，选取训练样本集中选取训练样本集中给定数量给定数量（一般取值（一般取值为为 2100）的训练样本来计算目标函数）的训练样本来计算目标函数的的梯度梯度。2.1 线性
6、回归线性回归2.1.6 梯度下降法梯度下降法n2.1 线性回归线性回归n2.2 多项式回归多项式回归n2.3 线性回归的正则化线性回归的正则化岭回归和套索回归岭回归和套索回归n2.4 逻辑斯谛回归逻辑斯谛回归n2.5 Softmax回归回归第第2章章 回归模型回归模型2.2 多项式回归多项式回归（a）0阶多项式拟合（b）2阶多项式拟合（c）4阶多项式拟合（d）10阶多项式拟合图 四种不同的多项式的拟合效果（图中小圆圈表示样本，虚线表示真实情况，实线表示拟合曲线，使用的多项式形式为 ，deg表示多项式的阶数，四张子图分别使用不同的阶数）deg0()jjjf xw x2.2 多项式回归多项式回归二
7、元二次多项式回归模型多项式回归模型为多项式回归多项式回归问题可以通过变量转换化为多元线性回归问题来解决。则二元二次多项式回归模型就转化为五元线性回归模型：n2.1 线性回归线性回归n2.2 多项式回归多项式回归n2.3 线性回归的正则化线性回归的正则化岭回归和套索回归岭回归和套索回归n2.4 逻辑斯谛回归逻辑斯谛回归n2.5 Softmax回归回归第第2章章 回归模型回归模型2.3 线性回归的正则化线性回归的正则化岭回归和套索回归岭回归和套索回归2.3.1 岭回归岭回归线性回归的 L2范数正则化范数正则化通常称为岭回归岭回归（Ridge Regression）。岭回归岭回归的目标函数表达式为改
8、写成矩阵形式是在岭回归中 的最优估计为 2.3 线性回归的正则化线性回归的正则化岭回归和套索回归岭回归和套索回归2.3.2 套索回归与稀疏解套索回归与稀疏解线性回归的 L1范数正则化范数正则化通常称为套索套索回归回归（Lasso Regression）。套索回归套索回归的目标函数表达式为改写成矩阵形式是套索回归的求解方法一般有坐标下降法（Coordinate Descent）和最小角回归法（Least Angle Regression）。2.3 线性回归的正则化线性回归的正则化岭回归和套索回归岭回归和套索回归2.3.3 弹性网络弹性网络弹性网络弹性网络（Elastic Net）是岭回归和套索回
9、归的结合，同时使用L2范数范数和和L1范数正则化范数正则化。弹性网络弹性网络的目标函数表达式为改写成矩阵形式是与岭回归岭回归相比，弹性网络弹性网络能够得到稀疏的模型系数向量 ；与套索回归套索回归相比，弹性网络弹性网络能够更加有效地处理成组的高相关的变量。n2.1 线性回归线性回归n2.2 多项式回归多项式回归n2.3 线性回归的正则化线性回归的正则化岭回归和套索回归岭回归和套索回归n2.4 逻辑斯谛回归逻辑斯谛回归n2.5 Softmax回归回归第第2章章 回归模型回归模型2.4 逻辑斯谛回归逻辑斯谛回归2.4.1 逻辑斯谛回归逻辑斯谛回归模型模型逻辑斯蒂逻辑斯蒂（Logistic）函数也称为
10、函数也称为Sigmoid函数函数，其数学表达式为其数学表达式为2.4 逻辑斯谛回归逻辑斯谛回归2.4.1 逻辑斯谛回归逻辑斯谛回归模型模型逻辑斯蒂逻辑斯蒂（Logistic）回归回归，是线性回归的推广，属于广义线性回归模型的一种。虽然逻辑斯谛回归逻辑斯谛回归被称为回归，但其实际上是在线性回归的基础上构造的一种分类模型分类模型，常用于二分类。逻辑斯谛回归逻辑斯谛回归模型模型的形式为对其进行变形，得到2.4 逻辑斯谛回归逻辑斯谛回归2.4.2 逻辑斯谛回归逻辑斯谛回归的极大似然估计的极大似然估计逻辑斯蒂回归逻辑斯蒂回归模型的学习目标（策略）是使每个训练样本属于其真实类别的概率越大越好，我们所要估计的最佳参数向量 为n2.1 线性回归线性回归n2.2 多项式回归多项式回归n2.3 线性回归的正则化线性回归的正则化岭回归和套索回归岭回归和套索回归n2.4 逻辑斯谛回归逻辑斯谛回归n2.5 Softmax回归回归第第2章章 回归模型回归模型2.5 Softmax回归回归Softmax回归回归模型是逻辑逻辑斯谛斯谛回归回归模型在多分类问题上的推广。当类别数 时，Softmax 回归回归退化为逻辑逻辑斯谛斯谛回归回归。Softmax回归模型回归模型的代价函数为Question?
