1、数据挖掘概念与技术 第一课分类一、数据挖掘及知识的定义1、数据挖掘定义：从大量数据中提取或“挖掘”知识；2、数据挖掘技术：分类、预测、关联和聚类等；3、数据挖掘过程：数据的清理、集成、选择、变换、挖掘、模型评估、知识表示；4、知识定义：知识就是“压缩”浓缩就是精华！1）Occam Razor:因不宜超出果之需！2）信息论：熵3）MDL准则：minimum description length()( )log( )xH Xp xp x 第一课分类二、神经网络知识预备1、单层神经网络；2、多层神经网络。 第一课分类三、SPSS软件及Logistic回归知识预备1、回归方法分类多个因变量多个因变量(
2、y1,y2,yk)路径分析路径分析结构方程模型分析结构方程模型分析一个一个因变因变量量 y连续型因变量连续型因变量 (y) - 线性回归分析线性回归分析分类型因变量分类型因变量 (y) -Logistic 回归分析回归分析时间序列因变量时间序列因变量 (t) -时间序列分析时间序列分析生存时间因变量生存时间因变量 (t) -生存风险回归分析生存风险回归分析 第一课分类三、SPSS软件及Logistic回归知识预备2、回归方法适用前提1）大样本，样本量为自变量个数的20倍左右；2）因变量或其数学变换与自变量有线性关系；3）扰动项（误差项）符合正态分布；4）自变量间不存在诸如多重共线性等关系；5）
3、误差项方差不变；等等。 第一课分类三、SPSS软件及Logistic回归知识预备3、Logistic回归方法介绍1）Logit变换Logit变换是Logistic回归模型的基础。现实中常要研究某一事件A发生的概率P及P值的大小与某些影响因此之间的关系，但由于P对X的变化在P0或P1的附近不是很敏感的，或说是缓慢的，比如像可靠系统，可靠度P已经是0.998了，即使再改善条件和系统结构，它的可靠度增长也只能是在小数点后面的第三位或第四位之后，于是自然希望寻找一个P的函数形式(P),使它在P0或P1附近变化幅度较大，且最好函数形式简单，根据数学上导数的意义，提出用来反映(p)是在P附近的变化是很适合
4、的，同时希望P0或P1时，有较大的值，因此取，即：( )dpdp( )dpdp( )dpdp1(1)pp()ln1ppp 第一课分类三、SPSS软件及Logistic回归知识预备3、Logistic回归方法介绍2）Logistic回归设因变量是一个二分类变量，其取值为=1和=0。影响取值的个自变量分别为 ，则Logistic变换如下式表示：1,nXX01122ln()1PXXP 第一课分类四、神经网络与Logistic回归优缺点对比1、神经网络优缺点1）优点：数据类型无要求，高度智能，强“鲁棒”性，可进行非线性拟合，能容忍缺失值，异常值的出现等；2）缺点：“黑箱”过程导致知识结果难于解释。2、
5、Logistic回归方法优缺点1）优点：线性回归方程的知识结果使得所获知识易于解释；2）缺点：数据类型要求高，回归方法成立前提多，只适用于线性拟合，缺失值，异常值会导致结果精确度大为下降。3、二者区别：硬计算与软计算，知识表达方式不同 第二课预测一、相关概念1、神经网络的“过拟合”现象1）“过拟合”指的是神经网络对训练集进行训练的过程中，无法识别数据中的“噪音”，并且把“噪音”的影响毫无保留的存贮于网络参数（权重、偏置）中。“过拟合”会导致神经网络对测试集进行分类、预测时，产生不必要的偏差。2）解决“过似合”现象办法之一为Nfold交差验证。2、MSE、NMSE等概念的定义1）MSE：均方误差
6、（注：与均方差的区别），其定义为误差平方和除以它的自由度。21()niiiXXMSEn 第二课预测一、相关概念 2）NMSE定义：注：此处的方差为样本总体方差。NMSE的物理意义为标准化的MSE。2X2XM S EN M S E 第二课预测二、预测实验1、实验目的：1）理解分类与预测区别2）熟练使用神经网络软件NeuroSolutions解决预测问题。3）学会运用灵敏度分析，对属性进行灵敏度测量。4）学会通过多次训练模型，避免模型停止在局部最优。2、实验原理1）神经网络方法原理2）多元线性统计方法原理（注意什么是线性，其内涵是什么？）101,nnYXXXfY 第三课聚类分析一、聚类分析定义、特
7、征、应用及评估1、定义：将物理或抽象的集合分组成为由类似的对象组成的多个类的过程被称为聚类。1）聚类的方法类型（1）划分方法：K平均和K中心算法；（2）层次方法：系统聚类；（3）基于密度方法：种类较多，对发现数据“噪音”有优势；（4）基于网格方法：小波聚类为典型，效率高，复杂度低；（5）基于模型方法：统计学中的分类树方法利用信息熵、贝叶斯统计原理为分类原则、竞争学习与自组织特征图。 第三课聚类分析一、聚类分析定义、特征、应用及评估2、聚类与分类的区别1）聚类所要划分的类未知，而分类要划分的类已知；2）聚类不依赖预先定义的类和带类标号的训练实例，因此它是观察式的学习，而不是示例学习；3）聚类的有
8、监督与分类的无监督的区别。3、聚类分析的应用：是一种重要的数据挖掘方法，广泛应用于信用卡欺诈、定制市场（移动客户划分及定价等）、医疗分析。特别是孤立点的挖掘与分析，有着重要的实际应用。4、聚类质量的评估：相异度 第三课聚类分析二、K平均聚类方法、系统聚类及决策树方法1、 K平均聚类方法1）原理：随机选择k个对象，每个对象初始地代表一个类的平均值或中心，对剩余每个对象，根据其到类中心的距离，被划分到最近的类；然后重新计算每个类的平均值。不断重复这个过程，直到所有的样本都不能再分配为止(指中心点改变很小的时候，称之为收敛)。 2) 特征：k事先定好；创建一个初始划分；再采用迭代的重定位技术进行；不
9、必确定距离矩阵；比系统聚类法运算量要小；适用于处理庞大的样本数据；适用于发现球状类。 3)缺点：平均值必须有定义，对于有些分类变量的集合不适用一；不同的初始值，结果可能不同；有些k均值算法的结果与数据输入顺序有关，如在线k均值算法，用爬山式技术（hill-climbing）来寻找最优解，容易陷入局部极小值；对孤立点敏感。 第三课聚类分析二、K平均聚类方法、系统聚类及决策树方法1、 系统聚类1）原理：SPSS软件中，Hierarchical Cluster过程使用的就是系统聚类法来进行分析，该方法的原理是先将所有N个变量看成不同的N类，然后将性质最接近(距离最近)的两类合并为一类；再从这N-1类
10、中找到最接近的两类加以合并，依此类推，直到所以的变量被合成一类为止。得到该结果后，再根据具体问题和聚类结果决定对该事物应该分成几类。显然，一量某变量被划定在一个类别中后，它的分类结果将不会再改变，这是它和非系统聚类的显著区别。 2) 特征：聚类变量可以为连续及离散性质，表达结果层次丰富；变量间如存在多重共线性，对聚类结果影响较大，应先通过主成分分析方法或剔除权重较小变量再进行分析 。 3)缺点：由于需要反复计算距离，计算量较大；异常值对聚类结果影响巨大；。 第四课决策树一、关联规则挖掘相关理论1、 信息论 美国工程师 Shannon于1948年发表 “A Mathematical Theory
11、 of communication”，标致着信息论的诞生。 Shannon于1949年发表 “Communication Theory of Secrecy system”，以信息论为基础，用概率统计为数学手段对保密通信问题进行了分析。由香农提出的保密系统模型目前仍然是现代密码学的基本模型 第四课决策树一、关联规则挖掘相关理论2、 信息论基本原理 1) 信息量 信息是指消息消除掉的不确定性，消息的信息量就是它消除掉的不确定性的量度。 假设随机变量为 ，发生的概率定义为 ,它的信息量为 12( ,)nx xxX( )ip x2( )log( )1,2,iiI xp xin 第四课决策树一、关联规
12、则挖掘相关理论2、 信息论基本原理 2) 信息熵 各个互不相容事件的自信息量的统计平均值(期望值)为该事件集合的信息熵： 21()( )log( )niiiHp xp x X 第四课决策树一、关联规则挖掘相关理论2、 信息论基本原理 3) 联合熵 211()()log()nmijijijHp x yp x y XY 第四课决策树一、关联规则挖掘相关理论2、 信息论基本原理 4) 条件熵 211211(/)()log(/)()(/)log(/)mnijijjimnjijijjiHp x yp xyP yp xyp xy X Y 第四课决策树一、关联规则挖掘相关理论2、 信息论基本原理 5) 互信
13、息 2(/)(;)log1,2,;1,2,()jijijp yxI yxin jmp y 第四课决策树一、关联规则挖掘相关理论2、 信息论基本原理 6) 平均互信息量 11(; )() ( ;)nmijijijIp x y I x yX Y211(/)()log( )nmijijijip xyp x yp x 第四课决策树一、关联规则挖掘相关理论2、 信息论基本原理 6) 平均互信息量、熵及条件熵之间的关系 211(/)(;)()log( )nmijijijip xyIp x yp xX Y2211111()log()log(/)( )nmnmijijijijijip x yp x yp xy
14、p x()(/)HHXX Y 第四课决策树二、关联规则简单案例1、蔬菜案例 颜色形状蔬菜红圆番茄紫长茄子绿长黄瓜 第四课决策树二、关联规则简单案例2、蔬菜案例熵、条件熵及互信息(信息增益) 1)熵、条件熵： H(蔬菜)=？ H(蔬菜，颜色)=？ H(蔬菜，形状)=？ 2) 信息增益 I(蔬菜，颜色)= H(蔬菜)- H(蔬菜，颜色)=？ I(蔬菜，形状)= H(蔬菜)- H(蔬菜，形状)=？ 3) 结论：信息增益越大，就用之作为决策树第一分类属性。 第四课决策树二、关联规则简单案例3、蔬菜案例分类树如下： 颜 色 红 紫 绿 番茄 茄子 黄瓜 第四课决策树三、关联规则稍复杂案例1、分类树属性选
15、择度量标准 信息增益Information gain （ID3） 增益比率Gain ration（C4.5） 基尼指数Gini index (SLIQ，SPRINT) 第四课决策树三、关联规则稍复杂案例2、ID3算法基本思想 构造决策树，决策树的每个节点对应一个非类别属性，每条边对应该属性 的每个可能值。以信息熵的下降速度作为选取测试属性的标准，即所选的测试属性是从根到当前节点的路径上尚未被考虑的具有最高信息增益的属性。 判定树分类算法output训练集决策树input 第四课决策树三、关联规则稍复杂案例3、ID3算法案例 序号序号年龄年龄收入收入学生学生信用率信用率购买电脑购买电脑1 1=3
16、0=30高高否否正常正常否否2 2=304040中中否否正常正常是是5 54040低低是是正常正常是是6 64040低低是是好好否否7 731403140 低低是是好好是是8 8=30=30中中否否正常正常否否9 9=304040中中是是正常正常是是1111=304040中中否否好好否否 第四课决策树三、关联规则稍复杂案例3、ID3算法案例 g分类C1: 买电脑 = “是”g分类C2:买电脑 = “否”gH(C1, C2) = H(9/14, 5/14) =0.940g计算年龄的增益:因此相似地( 1, 2,)( 1, 2)( 1, 2,) 0.21I C CH C CH C C年龄年龄( 1
17、,2,)0.029( 1,2,)0.151( 1,2,)0.048I C CI C CI C C收入学生信用率54(1,2,)(2 / 5,3 / 5)(4 / 4,0 / 4)14145(3 / 5,2 / 5)0.693514H CCHHH年龄 第四课决策树三、稍复杂案例4、ID3算例决策树呈现 年龄?overcast学生?信用?是否正常好40否否是是是30.40()0.21()0.151()0.048()0.029GainGainGainGain年龄学生信用率收入 第四课决策树四、决策树方法总结 4、SPSS16.0中决策树分类算法介绍 Chi-Squared Automatic Int
18、eraction Detector (CHAID)：一迅速有效率探索数据的多元树统计算法，可依据所希望的分类结果来建立其区隔及数据概况说明。 Exhaustive CHAID：改良自CHAID算法，可切割预测变量的每种可能来做探究。 Classification and Regression Tree (CART)：二元树算法，可切割数据并产生精确同质的子集合。 Quick Unbiased Efficient Statistical Tree (QUEST)：无偏误选择变量及迅速有效率建立二元树的算法5、决策树的应用：市场营销、数据库营销、教学研究、信用度研究、生物医学研究及质量管理研究。 第四课决策树四、决策树方法总结 1、决策树 1) 一个树性的结构2) 内部节点上选用一个属性进行分割3) 每个分叉都是分割的一个部分4) 叶子节点表示一个分布2、决策树生成算法分成两个步骤1) 树的生成 开始，数据都在根节点 递归的进行数据分片2) 树的修剪 去掉一些可能是噪音或者异常的数据3、决策树使用: 对未知数据进行分割 按照决策树上采用的分割属性逐层往下，直到一个叶子节点
