1、路漫漫其悠远路漫漫其悠远2022-6-8埃森哲大数据分析方法埃森哲大数据分析方法培训资料培训资料路漫漫其悠远路漫漫其悠远目录目录概述概述数据分析框架数据分析框架数据分析方法数据分析方法数据理解数据理解& &数据准备数据准备数据分析支撑工具数据分析支撑工具关联分析关联分析聚类分析聚类分析分类与回归分类与回归时序模型时序模型结构优化结构优化路漫漫其悠远路漫漫其悠远数据分析即从数据、信息到知识的过程，数据分析需要数数据分析即从数据、信息到知识的过程，数据分析需要数学理论、行业经验以及计算机工具三者结合学理论、行业经验以及计算机工具三者结合分析分析误区误区数据数据挖掘挖掘工具支撑数学&统计学知识行业经
2、验传统传统分析分析机器机器学习学习数学数学&统计学知识统计学知识数据分析的基础，将整理、描述、预测数据的手段、过程抽象为数学模型的理论知识工具支撑工具支撑各种厂商开发了数据分析的工具、模块，将分析模型封装，使不了解技术的人也能够快捷的实现数学建模，快速响应分析需求。行业经验行业经验行业经验可在数据分析前确定分析需求，分析中检验方法是否合理，以及分析后指导应用，但行业特征不同，其应用也不同，因此本文不展开介绍传统分析传统分析在数据量较少时，传统的数据分析已能够发现数据中包含的知识，包括结构分析、杜邦分析等模型，方法成熟，应用广泛，本文不展开介绍分析误区分析误区不了解分析模型的数学原理，会导致错误
3、的使用模型，而得出错误的分析结论，影响业务决策，因此在选用分析模型时，要深入了解该模型的原理和使用限制机器学习机器学习不需要人过多干预，通过计算机自动学习，发现数据规律，但结论不易控制。数据挖掘数据挖掘数据挖掘是挖掘数据背后隐藏的知识的重要手段路漫漫其悠远路漫漫其悠远随着计算机技术发展和数据分析理论的更新，当前的数据随着计算机技术发展和数据分析理论的更新，当前的数据分析逐步成为机器语言、统计知识两个学科的交集分析逐步成为机器语言、统计知识两个学科的交集（备选）（备选）数据数据挖掘挖掘计算机技术统计学、人工智能业务数据数据挖掘数据挖掘就是充分利用了统计学和人工智能技术的应用程序，并把这些高深复杂
4、的技术封装起来，使人们不用自己掌握这些技术也能完成同样的功能，并且更专注于自己所要解决的问题。信息处理信息处理信息处理信息处理信息处理基于查询，可以发现有用的信息。但是这种查询的回答反映的是直接存放在数据库中的信息。它们不反映复杂的模式，或隐藏在数据库中的规律。传统分析传统分析数据分析数据分析工具工具传统分析传统分析在数据量较少时，传统的数据分析已能够发现数据中包含的知识，包括结构分析、杜邦分析等模型，方法成熟，应用广泛，本文不展开介绍数据分析工具数据分析工具各种厂商开发了数据分析的工具、模块，将分析模型封装，使不了解技术的人也能够快捷的实现数学建模，快速响应分析需求。路漫漫其悠远路漫漫其悠远
5、随着计算机科学的进步，数据挖掘、商务智能、大数据等随着计算机科学的进步，数据挖掘、商务智能、大数据等概念的出现，数据分析的手段和方法更加丰富概念的出现，数据分析的手段和方法更加丰富一系列以事实为支持，辅助商业决策的技术和方法，曾用名包括专家系统、智能决策等一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成对数据分析的体系化管理，数据分析的主体依然是数据挖掘结构分析分组分析杜邦分析预警分析常规分析常规分析揭示数据之间的静态关系分析过程滞后对数据质量要求高商务智能商务智能数据挖掘数据挖掘大数据技术大数据技术数据可视化数据可视化统计学和计算机技术等多学科的结合揭示数据之间隐藏的关系将数
6、据分析的范围从“已知”扩展到“未知”，从“过去”推向“将来”从多种类型的数据中，快速获取知识的能力数据挖掘技术的衍生大数据时代，展示数据可以更好辅助理解数据、演绎数据本文在描述数据分析的流程后，重点介绍通用的数据分析方法和主流的应用工具、软件。随着数据量的不断扩大，数据分析理论正处于飞速发展期，因此本文的方法侧重于基础原理介绍。数据数据分析分析路漫漫其悠远路漫漫其悠远目录目录概述概述数据分析框架数据分析框架数据分析方法数据分析方法数据理解数据理解& &数据准备数据准备数据分析支撑工具数据分析支撑工具关联分析关联分析聚类分析聚类分析分类与回归分类与回归时序模型时序模型结构优化结构优化路漫漫其悠远
7、路漫漫其悠远1. 1.业务理解业务理解(business understanding(business understanding） 确定目标、明确分析需求2. 2.数据理解（数据理解（data understandingdata understanding） 收集原始数据、描述数据、探索数据、检验数据质量3. 3.数据准备数据准备(data preparation)(data preparation) 选择数据、清洗数据、构造数据、整合数据、格式化数据4. 4.建立模型建立模型(modeling(modeling） 选择建模技术、参数调优、生成测试计划、构建模型5. 5.评估模型评估模型(e
8、valuation)(evaluation) 对模型进行较为全面的评价，评价结果、重审过程6. 6.部署部署(deployment)(deployment) 分析结果应用数据分析标准流程数据分析标准流程CRISP-DM为90年代由SIG组织（当时）提出，已被业界广泛认可的数据分析流程。路漫漫其悠远路漫漫其悠远数据分析框架数据分析框架业务理解业务理解数据理解数据理解数据准备数据准备建立模型建立模型理解业务背景，评估分析需求模型评估模型评估应用应用 理解业务背景：理解业务背景：数据分析的本质是服务于业务需求，如果没有业务理解，缺乏业务指导，会导致分析无法落地。 评估业务需求：评估业务需求：判断分析
9、需求是否可以转换为数据分析项目，某些需求是不能有效转换为数据分析项目的，比如不符合商业逻辑、数据不足、数据质量极差等。数据收集数据清洗 数据收集：数据收集：抽取的数据必须能够正确反映业务需求，否则分析结论会对业务将造成误导。 数据清洗：数据清洗：原始数据中存在数据缺失和坏数据，如果不处理会导致模型失效，因此对数据通过过滤“去噪”从而提取出有效数据数据探索数据转换选择方法、工具，建立模型建模过程评估模型结果评估分析结果应用分析模型改进 探索数据：探索数据：运用统计方法对数据进行探索，发现数据内部规律。 数据转换：数据转换：为了达到模型的输入数据要求，需要对数据进行转换，包括生成衍生变量、一致化、
10、标准化等。 建立模型：建立模型：综合考虑业务需求精度、数据情况、花费成本等因素，选择最合适的模型。在实践中对于一个分析目的，往往运用多个模型，然后通过后续的模型评估，进行优化、调整，以寻求最合适的模型。 建模过程评估：建模过程评估：对模型的精度、准确性、效率和通用性进行评估。， 模型结果评估：模型结果评估：评估是否有遗漏的业务，模型结果是否回答了当初的业务问题，需要结合业务专家进行评估。 结果应用：结果应用：将模型应用于业务实践，才能实现数据分析的真正价值：产生商业价值和解决业务问题。 模型改进：模型改进：对模型应用效果的及时跟踪和反馈，以便后期的模型调整和优化。 路漫漫其悠远路漫漫其悠远业务
11、理解数据理解数据准备建立模型模型评估开始是否明确需求否否数据探索结构分析分布特性特征描述分类与回归聚类分析时序模型关联分析结构优化分析结果应用数据分析框架数据分析框架图例流程概要方法分类处理方法模型检验理解业务背景，评估分析需求是是否满足要求收集数据否是是建立模型贝叶斯神经网络C4.5决策树指数平滑支持向量机灰色理论K均值算法FP-growth算法Apriori算法均方根误差均方误差正概率统计群间差异度群内相似度业务符合度支持度置信度均方根误差均方误差正概率统计灰色理论遗传算法数据清洗数据转换SVM算法KNN算法路漫漫其悠远路漫漫其悠远目录目录概述概述数据分析框架数据分析框架数据分析方法数据分
12、析方法数据理解数据理解& &数据准备数据准备数据分析支撑工具数据分析支撑工具关联分析关联分析聚类分析聚类分析分类与回归分类与回归时序模型时序模型结构优化结构优化路漫漫其悠远路漫漫其悠远数据清洗数据清洗& &数据探索数据探索 数据收集的方法多种多样，本文不再详述。在对收集的数据进行分析前，要明确数据类型、规模，对数据有初步理解，同时要对数据中的“噪声”进行处理，以支持后续数据建模。数据清洗数据清洗 异常值判别 缺失值处理 数据结构统一（人为因素较多，无统一方法，本文不详述）数据探索数据探索 特征描述 分布推断 结构优化数据探索数据探索数据清洗和数据探索通常交互进行数据清洗和数据探索通常交互进行数
13、据探索有助于选择数据清洗方法数据探索有助于选择数据清洗方法数据清洗后可以更有效的进行数据探索数据清洗后可以更有效的进行数据探索路漫漫其悠远路漫漫其悠远给定一个置信概率，并确定一个置信限，凡超过此限的误差，就认为它不属于随机误差范围，将其视为异常值。常用的方法（数据来源于同一分布，且是正态的）：拉依达准则、肖维勒准则、格拉布斯准则、狄克逊准则、t检验。根据人们对客观事物、业务等已有的认识，判别由于外界干扰、人为误差等原因造成实测数据偏离正常结果，判断异常值。比较困难数据清洗的第一步是识别会影响分析结果的“异常”数据，然后判断是否剔除。目前常用的识别异常数据的方法有物理判别法和统计判别法数据清洗：
14、数据清洗：1. 1.异常值判别异常值判别物理判别法统计判别法慎重对待删除异常值：慎重对待删除异常值：为减少犯错误的概率，可多种统计判别法结合使用，并尽力寻找异常值出现的原因；若有多个异常值，应逐个删除，即删除一个异常值后，需再行检验后方可再删除另一个异常值检验方法以正态分布为前提，若数据偏离正态分布或样本较小时，则检验结检验方法以正态分布为前提，若数据偏离正态分布或样本较小时，则检验结果未必可靠，果未必可靠，校验是否正态分布可借助W检验、D检验注意注意路漫漫其悠远路漫漫其悠远判别方法判别方法判别公式判别公式剔除范围剔除范围操作步骤操作步骤评价评价拉依达准则拉依达准则（33准则）准则）大于+3小
15、于-3求均值、标准差，进行边界检验，剔除一个异常数据，然后重复操作，逐一剔除适合用于n185时的样本判定肖维勒准则肖维勒准则（等概率准则）（等概率准则）大于 + Zc(n)小于 - Zc(n)求均值、标准差，比对系数读取Zc(n)值，边界检验，剔除一个异常数据，然后重复操作，逐一剔除实际中Zc(n) f(n,)，说明x(n)离群远，则判定该数据为异常数据将数据由小到大排成顺序统计量，求极差，比对狄克逊判断表读取 f(n,)值，边界检验，剔除一个异常数据，然后重复操作，逐一剔除异常值只有一个时，效果好；同侧两个数据接近，效果不好当n处于 3 ，25时，判别效果较好T T检验检验最大、最小数据与均
16、值差值大于分别检验最大、最小数据，计算不含被检验最大或最小数据时的均值及标准差，逐一判断并删除异常值异常值只有一个时，效果好；同侧两个极端数据接近时，效果不好；因而有时通过中位数代替平均数的调整方法可以有效消除同侧异常值的影响常见统计判别法常见统计判别法路漫漫其悠远路漫漫其悠远由包含m个插补值的向量代替每一个缺失值，然后对新产生的m个数据集使用相同的方法处理，得到处理结果后，综合结果，最终得到对目标变量的估计在给定完全数据和前一次迭代所得到的参数估计的情况下计算完全数据对应的对数似然函数的条件期望（E步），后用极大化对数似然函数以确定参数的值，并用于下步的迭代（M步）基于完整的数据集，建立回归
17、方程（模型），对于包含空值的对象，将已知属性值代入方程来估计未知属性值，以此估计值来进行填充；但当变量不是线性相关或预测变量高度相关时会导致估计偏差先根据欧式距离或相关分析确定距离缺失数据样本最近的K个样本，将这K个值加权平均来估计缺失数据值取所有对象（或与该对象具有相同决策属性值的对象）的平均值来填充该缺失的属性值数据清洗：数据清洗：2. 2.缺失值处理缺失值处理平均值填充平均值填充K最近距离法最近距离法回归回归极大似线估极大似线估计计多重插补法多重插补法 在数据缺失严重时，会对分析结果造成较大影响，因此对剔除的异常值以及缺失值，要采用合理的方法进行填补，常见的方法有平均值填充、K最近距离法
18、、回归法、极大似线估计法等随着数据量的增大，异常值和缺失值对整体分析结果的影响会逐渐变小，因此在“大数据”模式下，数据清洗可忽略异常值和缺失值的影响，而侧重对数据结构合理性的分析路漫漫其悠远路漫漫其悠远数据探索数据探索 通过数据探索，初步发现数据特征、规律，为后续数据建模提供输入依据，常见的数据探索方法有数据特征描述、相关性分析、主成分分析等。 结构优化描述已有数据特征- 数据分布特征描述- 数据探索要遵循由浅入深、由易到难的步骤数据探索要遵循由浅入深、由易到难的步骤概率分布特征描述推断整体数据特征- 参数检验- 非参数检验- 探索数据之间的关系- 相关性分析- 主成分分析- 路漫漫其悠远路漫
19、漫其悠远数据特征描述数据特征描述中心位置中心位置DiagramDiagram 2 2DiagramDiagram 2 2DiagramDiagram 3 3图形特征图形特征分散程度分散程度中心位置中心位置v 众数众数v 中位数中位数/四分位数四分位数v 均值均值分散程度分散程度v 方差和标准差方差和标准差v 极差、四分位差极差、四分位差v 标准分数标准分数 z-scorev 离散系数离散系数图形特征图形特征v 偏度偏度数据分布偏斜程度的测度v 峰度峰度数据分布扁平程度的测度左偏分布右偏分布扁平分布尖峰分布路漫漫其悠远路漫漫其悠远数据概率分布数据概率分布 概率分布可以表述随机变量取值的概率规律，
20、是掌握数据变化趋势和范围的一个重要手段。离散分布离散分布均匀分布二项分布几何分布离散型均匀分布是一个离散型概率分布，其中有限个数值拥有相同的概率1.在每次试验中只有两种可能的结果，而且是互相对立的；2.每次实验是独立的，与其它各次试验结果无关；3.结果事件发生的概率在整个系列试验中保持不变，则这一系列试验称为伯努力试验。以下两种离散型概率分布中的一种：在伯努利试验中，得到一次成功所需要的试验次数X。X的值域是 1, 2, 3, . 在得到第一次成功之前所经历的失败次数Y=X 1。Y的值域是 0, 1, 2, 3, . 泊松近似泊松近似是二项分布的一种极限形式。其强调如下的试验前提：一次抽样的概
21、率值相对很小，而抽取次数值又相对很大。因此泊松分布又被称之为罕有事件分布。泊松分布指出，如果随机一次试验出现的概率为p，那么在n次试验中出现k次的概率按照泊松分布应该为连续分布连续分布均匀分布指数分布正态分布如果连续型随机变量具有如下p=1/(b-a)的概率密度函数,其中Xa，b，则称服从上的均匀分布指数分布可以用来表示独立随机事件发生的时间间隔，比如指数分布还用来描述大型复杂系统（如计算机）的平均故障间隔时间MTBF的失效分布正态分布若随机变量X服从一个数学期望为、方差为2的高斯分布，记为N(，2)。其概率密度函数为正态分布的期望值决定了其位置，其标准差决定了分布的幅度。因其曲线呈钟形，因此
22、人们又经常称之为钟形曲线。我们通常所说的标准正态分布是 = 0, = 1的正态分布路漫漫其悠远路漫漫其悠远数据分布初步推断数据分布初步推断参数检验：数据的分布已知的情况下，对数据分布的参数是否落在相应范围内进行检验 假设检验是数理统计学中根据一定假设条件由样本推断总体的一种方法，可以分为参数检验和非参数检验。非参数检验：一般是在不知道数据分布的前提下，检验数据的分布情况检验方法名检验方法名称称问题类型问题类型假设假设卡方检验检测实际观测频数与理论频数之间是否存在差异观测频数与理论频数无差异K-S检验检验变量取值是否为正态分布服从正态分布游程检验检测一组观测值是否有明显变化趋势无明显变化趋势二项
23、分布假设检验通过样本数据检验样本来自的总体是否服从指定的概率为P的二项分布服从概率为P的二项分布检验方法名称检验方法名称问题类型问题类型假设假设适用条件适用条件抽样方法抽样方法单样本T检验判断一个总体平均数等于平均数等于已知数总体平均数等于A总体服从正态分布从总体中抽取一个样本F检验判断两总体方差方差相等两总体方差相等总体服从正态分布从两个总体中各抽取一个样本独立样本 T检验判断两总体平均数平均数相等两总体平均数相等1、总体服从正态分布2、两总体方程相等从两个总体中各抽取一个样本配对样本T检验判断指标实验前后平均数相等指标实验前后平均数相等1、总体服从正态分布2、两组数据是同一试验对象在试验前
24、后的测试值抽取一组试验对象，在试验前测得试验对象某指标的值，进行试验后再测得试验对象该指标的取值二项分布假设检验随机抽样实验的成功概率的检验总体概率等于P总体服从二项分布从总体中抽取一个样本总结1、参数检验是针对参数做的假设，非参数检验是针对总体分布情况做的假设。 2、二者的根本区别在于参数检验要利用到总体的信息，以总体分布和样本信息对总体参数作出推断；非参数检验不需要利用总体的信息。路漫漫其悠远路漫漫其悠远相关系数是考察变量之间的相关程度的变量，相关分析是优化数据结构的基础相关系数是考察变量之间的相关程度的变量，相关分析是优化数据结构的基础0 00.40.40.60.60.80.81.01.
25、00.20.2负相关负相关正相关正相关极强相关强相关中等相关弱相关弱相关或无(线性)相关适适用用条条件件结构优化结构优化相关性分析相关性分析 用于分析的多个变量间可能会存在较多的信息重复，若直接用来分析，会导致模型复杂，同时可能会引起模型较大误差，因此要初步探索数据间的相关性，剔除重复因素。Spearman秩相关系数秩相关系数衡量两个变量之间联系（变化趋势）的强弱在秩（排序）的相对大小基础上得到，对异常值更稳健Pearson相关系数相关系数衡量两个变量线性相关性的强弱在方差和协方差的基础上得到的，对异常值敏感Kendall相关系数相关系数基于协同思想得到，衡量变量之间的协同趋势对异常值稳健特特
26、点点服从正态分布或接近正态的单峰分布两个变量为连续数据两个变量均为连续数据或等级数据两个变量均为连续数据或等级数据偏相关分析偏相关分析二元变量相关分析二元变量相关分析距离相关分析距离相关分析研究两个变量之间线性相关关系时，控制可能对其产生影响的变量对观测量之间或变量之间相似或不相似程度的一种测度路漫漫其悠远路漫漫其悠远检验动机检验动机： 样本数据只是总体的一个实现，因此，根据现有数据计算出来的相关系数只是变量相关系数的一个观测值，又称为样本相关系数。欲根据这个样本相关系数来估计总体相关系数，必须进行显著性检验。其原假设：在总体中，两个变量的相关系数(总体相关系数)为零检验意义检验意义： 计算在
27、原假设成立的情况下(也就是在两个变量相关系数为零的情况下)，由于抽样的原因(收集样本数据的原因)得到当前的样本相关系数(可能这个系数并不为零，甚至还比较大)的概率。（p值越小说明越是小概率事件，不可能发生，拒绝原假设）检验方法检验方法： T检验（常用） ：对于近似高斯分布的数据（如两个变量服从双变量正态分布）, 相关系数的 样本分布 近似地服从自由度为N2的 t分布；如果样本容量不是特别小（通常大于30），即使观测数据不服从正态分布，依然可使用t检验结构优化结构优化相关性分析相关性分析路漫漫其悠远路漫漫其悠远 Karl Pearson（1901）探究如何通过少数几个主成分(principal
28、component)来解释多个变量间的内部结构时提出主成分分析法，旨在从原始变量中导出少数几个主分量，使其尽可能多地保留原始变量的信息，且彼此间互不相关内涵内涵：将彼此相关的一组指标变量转化为彼此独立的一组新的指标变量，并用其中较少的几个新指标变量就能综合反映原多个指标变量所包含主要信息的多元统计方法结构优化结构优化主成分分析主成分分析应用应用：数据的压缩和解释，即常被用来寻找和简化判断事物或现象的综合指标，并对综合指标所包含的信息进行适当的解释原理：原理：设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方
29、法叫做主成分分析或称主分量分析，也是数学上用来降维的一种方法。路漫漫其悠远路漫漫其悠远 数据转换或统一成适合于挖掘的形式，通常的做法有数据泛化、标准化、属性构造等，本文详细介绍数据标准化的方法，即统一数据的量纲及数量级，将数据处理为统一的基准的方法。基期标准化法基期标准化法直线法直线法折线法折线法曲线法曲线法 选择基期作为参照， 各期标准化数据各期数据/基期数据数据转换数据转换各方法都有缺点，要根据客观事物的特征及所选用的分析方法来确定，如聚类分析、关联分析等常用直线法，且聚类分析必须满足无量纲标准；而综合评价则折线和曲线方法用得较多能简就简，能简就简，能用直线尽量不用曲线。 极值法： z-s
30、core法: 某些数据在不同值范围，采用不同的标准化方法，通常用于综合评价示例 Log函数法： Arctan函数法： 对数函数法、模糊量化模式等 路漫漫其悠远路漫漫其悠远目录目录概述概述数据分析框架数据分析框架数据分析方法数据分析方法数据理解数据理解& &数据准备数据准备数据分析支撑工具数据分析支撑工具关联分析关联分析聚类分析聚类分析分类与回归分类与回归时序模型时序模型结构优化结构优化路漫漫其悠远路漫漫其悠远分类分类定义：定义： 按照某种指定的属性特征将数据归类。需要确定类别的概念描述，并找出类判别准则。分类的目的是获得一个分类函数或分类模型（也常常称作分类器），该模型能把数据集合中的数据项映
31、射到某一个给定类别。 分类是利用训练数据集通过一定的算法而求得分类规则的。是模式识别的基础。 分类可用于提取描述重要数据类的模型或预测未来的数据趋势。 银行根据客户以往贷款记录情况，将客户分为低风险客户和高风险客户，学习得到分类器。对一个新来的申请者，根据分类器计算风险，决定接受或拒绝该申请分析影响变压器正常运行的因素，预测变压器是否有故障，若有故障，故障为放电故障、过热故障、短路故障等的哪一种。持续时长持续时长 13yes no72%9698%设备类型设备类型 110359%设备类型设备类型 2负荷负荷负荷负荷 6THEN 是否提薪= 是 分类模型(Model)训练数据模型的使用p识别未知对
32、象的所属类别p模型正确性的评价已标记分类的测试样本与模型的实际分类结果进行比较模型的正确率是指测试集中被正确分类的样本数与样本总数的百分比。测试集与训练集相分离，否则将出现过拟合（over-fitting）现象分类模型测试数据(唐旭, 高级, 4)提薪提薪? ?是是路漫漫其悠远路漫漫其悠远分类分类分类的主要算法：分类的主要算法：KNNKNN算法、算法、决策树（CART、C4.5等）、SVM算法、贝叶斯算法、BP神经网络等路漫漫其悠远路漫漫其悠远分类分类分类的主要算法：分类的主要算法：KNN算法、决策树（CART、C4.5C4.5等）、SVM算法、贝叶斯算法、BP神经网络等算法介绍：算法介绍：
33、C4.5是一种类似二叉树或多叉树的树结构。树中的每个非叶结点（包括根结点）对应于训练样本集总一个非类属性的测试，非叶结点的每一个分支对应属性的一个测试结果，每个叶结点代表一个类或类分布。从根结点到叶子结点的一条路径形成一条分类规则。决策树可以很方便地转化为分类规则，一种非常直观的分类模型的表示形式。 C45属于一种归纳学习算法。归纳学习（Inductive Learning）旨在从大量经验数据中归纳抽取一般的判定规则和模式，它是机器学习（Machine Learning）中最核心、最成熟的一个分支。 根据有无导师指导，归纳学习又分为有导师学习（Supervised Learning，又称为示例
34、学习）和无导师学习(Unsupervised Learning)。 C45属于有导师的学习算法。算法特点：算法特点：（1）模型直观清晰，分类规则易于解释；（2）解决了连续数据值的学习问题；（3）提供了将学习结果决策树到等价规则集的转换功能。决策树示例：套用俗语，决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话： 女儿：多大年纪了？ 母亲：26。 女儿：长的帅不帅？ 母亲：挺帅的。 女儿：收入高不？ 母亲：不算很高，中等情况。 女儿：是公务员不？ 母亲：是，在税务局上班呢。 女儿：那好，我去见见。路漫漫其悠远路漫漫其悠远分类分类分类的主要算法：分类的主
35、要算法：KNN算法、决策树（CART、C4.5C4.5等）、SVM算法、贝叶斯算法、BP神经网络等设每个数据样本用一个n维特征向量来描述n个属性的值，即：X=x1，x2，xn，假定有m个类，分别用C1, C2,，Cm表示。给定一个未知的数据样本X（即没有类标号），若朴素贝叶斯分类法将未知的样本X分配给类Ci，则一定是P(Ci|X)P(Cj|X) 1jm，jI根据贝叶斯定理由于P(X)对于所有类为常数，最大化后验概率P(Ci|X)可转化为最大化先验概率P(X|Ci)P(Ci)。如果训练数据集有许多属性和元组，计算P(X|Ci)的开销可能非常大，为此，通常假设各属性的取值互相独立，这样先验概率P(
36、x1|Ci)，P(x2|Ci)，P(xn|Ci)可以从训练数据集求得。根据此方法，对一个未知类别的样本X，可以先分别计算出X属于每一个类别Ci的概率P(X|Ci)P(Ci)，然后选择其中概率最大的类别作为其类别。朴素贝叶斯算法成立的前提是各属性之间互相独立。当数据集满足这种独立性假设时,分类的准确度较高，否则可能较低。另外，该算法没有分类规则输出。贝叶斯图像识别贝叶斯图像识别贝叶斯方法是一个非常通用的推理框架。其核心理念可以描述成：Analysis by Synthesis （通过合成来分析）。06 年的认知科学新进展上有一篇论文就是讲用贝叶斯推理来解释视觉识别的，一图胜千言，下图就是摘自这篇
37、论文：首先是视觉系统提取图形的边角特征，然后使用这些特征自底向上地激活高层的抽象概念（比如是 E 还是 F 还是等号），然后使用一个自顶向下的验证来比较到底哪个概念最佳地解释了观察到的图像路漫漫其悠远路漫漫其悠远分类分类分类的主要算法：分类的主要算法：KNN算法、决策树（CART、C4.5C4.5等）、SVM算法、贝叶斯算法、BP神经网络等 BP（Back Propagation）网络是1986年由Rumelhart（鲁姆哈特）和McCelland（麦克利兰）为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出
38、模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hidden layer)和输出层(output layer)。BPBP神经网络学习过程神经网络学习过程 正向传播： 输入样本-输入层-各隐藏层-输出层 判断是否转入反向传播阶段 若输出层的实际输出与期望输出不符 误差反传 误差以某种形式在各层表示-修正各层单元的权值 网络输出的误差减少到可接受的程度或达到预先设定的学习次数为止BPBP神经网络的不足神经网络的不足首先，由于学习速率是固定的，
39、因此网络的收敛速度慢，需要较长的训练时间。其次，BP算法可以使权值收敛到某个值，但并不保证其为误差平面的全局最小值。再次，网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。最后，网络的学习和记忆具有不稳定性。也就是说，如果增加了学习样本，训练好的网络就需要从头开始训练，对于以前的权值和阈值是没有记忆的。存款情况库存情况销售情况人员规模高风险低风险无风险输入层隐藏层输出层路漫漫其悠远路漫漫其悠远回归回归产生产生：英国统计学家F.GALTON（法兰西斯高尔顿）(1822-1911)和其学生K.Pearson（卡尔.皮尔逊）(1856-1936)观察了1078对夫妇
40、，以每对夫妇的平均身高为X，而取他们成年的儿子的身高为Y，得到如下经验方程： Y=33.73+0.516X定义：定义： 假定同一个或多个独立变量存在相关关系，寻找相关关系的模型。不同于时间序列法的是：模型的因变量是随机变量，而自变量是可控变量。分为线性回归和非线性回归，通常指连续要素之间的模型关系，是因果关系分析的基础。（回归研究的是数据之间的非确定性关系） 线性回归算法寻找属性与预测目标之间的线性关系。通过属性选择与去掉相关性，去掉与问题无关的变量或存在线性相关性的变量。 在建立回归模型之前，可先进行主成分分析，消除属性之间的相关性。最后通过最小二乘法，算法得到各属性与目标之间的线性系数。路
41、漫漫其悠远路漫漫其悠远分类分类：前提：前提： 正态性假设：总体误差项需服从正态分布，反之则最小二乘估计不再是最佳无偏估计，不能进行区间估计和假设检验 零均值性假设：在自变量取一定值的条件下，其总体各误差项的条件平均值为零，反之无法得到无偏估计 等方差性假设：在自变量取一定值的条件下，其总体各误差项的条件方差为一常数，反之无法得到无偏估计 独立性假设 ：误差项之间相互独立（不相关）,误差项与自变量之间应相互独立，否则最小二乘估计不再是有效估计检验检验：回归模型回归回归- -线性回归线性回归 一元线性回归一元线性回归只有一个变量X与因变量Y有关，X与Y都是连续型变量，因变量Y或其残差必须服从正态分
42、布多元线性回归多元线性回归分析多个变量与因变量Y的关系， X与Y都是连续型变量，因变量Y或其残差必须服从正态分布LOGISTICLOGISTIC线性回归线性回归分析多个变量与因变量Y的关系， Y通常是离散型或定性变量，该模型对因变量Y的分布无要求模型显著性：F检验，读取p值并同置信度比较，判断回归模型显著性系数显著性：t检验，读取p值并同置信度比较，判断该自变量是否显著影响因变量拟合优度残差检验：绘制残差图（标准化残差直方图及散点图），检验残差的正态性及独立性，若所描绘的点都在以0为横轴的直线上下随机散布，则回归直线对各个观测值的拟合情况良好决定系数： 度量自变量对因变量变化的解释程度，愈接近
43、1则线性关系愈强样本容量：n 30或n 3(p+1)；其中n为样本容量，p为自变量数目路漫漫其悠远路漫漫其悠远分类模型评估分类模型评估分类模型评估效果指标测试集选取指标呈现保持法随机二次抽样交叉验证自助法基于统计基于比率误差、离差、Kappa统计量、 准确率置信区间、错误率观测差混淆矩阵ROC曲线KS曲线Lift图响应率曲线目的：模型之间的比选以及单模型预测效果捕获率曲线/增益图准确率敏感性特异性精度KS值Lift值响应率捕获率路漫漫其悠远路漫漫其悠远分类模型评估分类模型评估方法方法描述描述图示图示保持法将原始数据集随机地划分到两个独立的集合:训练集和检验集。通常，三分之二的数据分配到训练集，
44、其余三分之一分配到检验集。模型的效果指标如准确率、误差等由训练集导出。随机二次抽样多次重复使用保持法，得到一组准确率等效果指标。交叉验证最常用的是k-折交叉法，将原始数据分成k份，每次用其中一份为测试集，其余为训练集运行，总共运行k次，记录误差。自助法有放回抽样。训练集的样本为N，放回原数据集，重新有放回地均匀抽取N个样本后，剩余的数据集作为测试集。原始数原始数据集据集训练集训练集测试集测试集模型评估建立模型2/31/3原始原始数据数据集集模型评估建立模型1/k1/k1/k1/k有放回抽取N样本建立模型测试集模型评估训练集（N）总数据集测试集选取方法路漫漫其悠远路漫漫其悠远效果指标基于比率10
45、合计1aba+b0cdc+d合计a+cb+da+b+c+d预测类实际类以二分类为例，说明几个重要效果指标概念。下图为混淆矩阵。通过银行办理信用卡的例子做指标的业务解释。最常用的评估指标，用以评价模型分类是否正确。但是，对于不平衡问题（即0类的占大多数），准确率去评价就不够。例如银行办理信用卡，模型只用一条规则“所有人不违约”，结果准确率达到1000/1200=83.3%。但这样的模型毫无意义。准确率适合于平衡问题。正确识别正元组的百分比。如例中，敏感性为80/200=40%，因此该模型正确标识真元组（稀有类）的能力还是比较差的，但是还是高于违约的总占比200/1200=16.7%违约不违约合计
46、违约80120200不违约209801000合计10011001200预测类实际类正确识别负元组的百分比。例子中为98%。预测为正元类中实际为正元类所占的百分比。衡量预测类1的精确性。例子中为80%。该案例中模型对于违约的人群，可以识别40%；如果一个人通过模型判断为违约类，则80%可能该人为违约的。敏感性和精度是两个重要指标，可以综合这两个指标，如F等。示例敏感性=a/(a+b)准确率=(a+d)/(a+b+c+d)特异性=d/(c+d)精度=a/(a+c)分类模型评估分类模型评估路漫漫其悠远路漫漫其悠远以真正率及敏感性为纵轴，假正率=1-特异性为横轴做图。给定一个二类问题，我们可以对检验集
47、的不同部分，显示模型可以正确识别正样本的比例与模型将负样本错误标识为正样本的比例之间的比较评定。敏感性的增加以错误正例的增加为代价。 ROC曲线增益图KS曲线模型预测为概率值，即为1类的概率为多少，为0类的概率为多少。将1类、0类的概率 按照大小由高到底排列，并将各自的累计百分比画在一个图里。纵坐标代表累计百分比，横坐标为预测的概率区间。0、1曲线的最大距离为KS值，反映模型区分0、1类的能力，越大代表模型将0、1分开程度越大。一般大于0.2较好。如图KS=0.47.和捕获率曲线是一样的，详见捕获率曲线。理想模型：100%预测正确下的曲线。这里假设1类占总数为30%。模型的曲线越靠近理想曲线，
48、预测水平越高。可用Gini系数衡量。Gini系数=模型曲线与随机曲线之间的面积/理想模型曲线与随机曲线之间的面积。越接近1越好。分类模型评估分类模型评估路漫漫其悠远路漫漫其悠远响应率曲线捕获率曲线在每个区间里进行计算，1类的累计数占该区间累计的总数比例作为响应率响应率。比如在排序前10%中，模型1得出1类样本占比80%，模型2为73%。响应率越高越好，改图显示模型1较模型2更好。是在每个区间段，计算1类的累计值占总体1类的百分比作为捕获率捕获率。衡量的是某累计区间抓住1类的对象占总体的比例。随机概率：随机概率：不用模型随机抽取数据得到的比率。比如响应率，总数据中1类占比20%，那抽取10%数据
49、理论占比应该还是20%。横坐标：横坐标：按照模型结果概率得分从高到底排序，分成10个区间。适合于模型输出值为概率得分，如贝叶斯分类、后向传播等。Lift值=响应率/随机概率。比如对10000名浅在顾客进行概率打分，预测其购买商品的可能性，若实际中有900人会购买，则9%为随机概率。抽取概率排名前10%的人数，即1000人，预测600人购买，则前10%的响应率为600/1000=60%，则Lift值=60%/9%=6.67.Lift图三个指标在实际业务中使用比较多，因为其直观、通俗易懂；同时有利于划分不同的目标人群，前10%？、20%？根据业务需要挑选受众规模。分类模型评估分类模型评估路漫漫其悠
50、远路漫漫其悠远目录目录概述概述数据分析框架数据分析框架数据分析方法数据分析方法数据理解数据理解& &数据准备数据准备数据分析支撑工具数据分析支撑工具关联分析关联分析聚类分析聚类分析分类与回归分类与回归时序模型时序模型结构优化结构优化路漫漫其悠远路漫漫其悠远聚类分析聚类分析 聚类分析对具有共同趋势或结构的数据进行分组，将数据项分组成多个簇（类），簇之间的数据差别应尽可能大，簇内的数据差别应尽可能小，即“最小化簇间的相似性, 最大化簇内的相似性”。示例基于划分基于划分的聚类的聚类基于层次基于层次的聚类的聚类基于密度基于密度的聚类的聚类基于网格基于网格的聚类的聚类基于模型基于模型的聚类的聚类 对给定
