1、第2章 大数据采集与准备提纲2.1 2.1 大大数据数据来源与采集来源与采集2.2 2.2 大数据采集工具大数据采集工具2.3 2.3 数据准备数据准备大数据导论2.1 大数据来源与采集2.1.1 2.1.1 大数据来源大数据来源从数据采集的来源看，目前大数据的主要数据来源有三个途径，分别是物联网从数据采集的来源看，目前大数据的主要数据来源有三个途径，分别是物联网系统、互联网系统、互联网WebWeb系统和传统信息系统系统和传统信息系统。物联网的物联网的数据占据了整个大数据百分之九十以上的份额，可以说没有物联网就数据占据了整个大数据百分之九十以上的份额，可以说没有物联网就没有大数据。物联网的数据
2、大部分是非结构化数据和半结构化没有大数据。物联网的数据大部分是非结构化数据和半结构化数据。数据。WebWeb系统是另一个重要的数据采集渠道，随着系统是另一个重要的数据采集渠道，随着Web 2.0Web 2.0的发展，整个的发展，整个WebWeb系统涵系统涵盖了大量的价值化数据，而且这些数据与物联网的数据不同，盖了大量的价值化数据，而且这些数据与物联网的数据不同，WebWeb系统的数据系统的数据往往是结构化数据，而且数据的价值密度比较往往是结构化数据，而且数据的价值密度比较高、高、传统信息系统也是大数据的一个数据来源，虽然传统信息系统的数据占比较小，传统信息系统也是大数据的一个数据来源，虽然传统
3、信息系统的数据占比较小，但是由于传统信息系统的数据结构清晰，同时具有较高的可靠性，所以传统信但是由于传统信息系统的数据结构清晰，同时具有较高的可靠性，所以传统信息系统的数据往往也是价值密度最高的。息系统的数据往往也是价值密度最高的。2 2.1 1.2 2 大数据采集技术1.1.数据采集分类数据采集分类 传统传统的数据采集（的数据采集（Data Data AcQuisitionAcQuisition，DAQ)DAQ)：又称数据获取，是又称数据获取，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。程。a)a)按采集频
4、率分，可分为静态数据采集、低频数据采集和高频数据采集按采集频率分，可分为静态数据采集、低频数据采集和高频数据采集；b)b)按按采集结构分，可分为结构化数据采集、半结构化数据采集和非结构化采集结构分，可分为结构化数据采集、半结构化数据采集和非结构化数据采集数据采集；c)c)按采集按采集方式分，可分为定时采集和实时采集。方式分，可分为定时采集和实时采集。大数据的数据采集的来源广泛，数据量巨大，数据类型丰富，包括结构化，半大数据的数据采集的来源广泛，数据量巨大，数据类型丰富，包括结构化，半结构化，非结构化类型的数据，多采用分布式数据库技术存储与处理。不同结结构化，非结构化类型的数据，多采用分布式数据
5、库技术存储与处理。不同结构类型数据的适用技术对比见构类型数据的适用技术对比见表所示表所示。1 1）系统日志采集方法）系统日志采集方法很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如HadoopHadoop的的FlumeFlume，KafkaKafka以及以及SqoopSqoop等，这些工具均采用分布式架构，能满足每秒数百等，这些工具均采用分布式架构，能满足每秒数百MBMB的日志的日志数据采集和传输需求。数据采集和传输需求。2 2）网络数据采集方法）网络数据采集方法网络数据采集是指通过网络爬虫或网站公开网络数据采集是
6、指通过网络爬虫或网站公开APIAPI等方式从网站上获取数据信息。该方等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。动关联。除了网络中包含的内容之外，对于网络流量的采集可以使用除了网络中包含的内容之外，对于网络流量的采集可以使用DPIDPI或或DFIDFI等带宽管理技术等带宽管理技术进行处理。进行处理。3 3）
7、数据库采集系统）数据库采集系统企业不断产生的业务数据会直接写入数据库，通过数据库采集系统可直接与企业业务企业不断产生的业务数据会直接写入数据库，通过数据库采集系统可直接与企业业务后台服务器结合，能根据分析需求采集数据并进行针对性的分析。后台服务器结合，能根据分析需求采集数据并进行针对性的分析。2 2.1 1.2 2 大数据采集技术2.2 大数据采集工具2 2.2 2.1 1 网络爬虫网络爬虫网络爬虫是一个自动下载网页资源的程序，它根据既定的抓取目标，网络爬虫是一个自动下载网页资源的程序，它根据既定的抓取目标，有选择地访问万维网上与目标相关的网页链接，获取所需要的网页信有选择地访问万维网上与目标
8、相关的网页链接，获取所需要的网页信息。与搜索引擎不同，爬虫并不太追求大的覆盖，而是将目标定位为息。与搜索引擎不同，爬虫并不太追求大的覆盖，而是将目标定位为抓取与某一个特定主体内容相关的网页，为面向主题的用户查询准备抓取与某一个特定主体内容相关的网页，为面向主题的用户查询准备数据资源。数据资源。通用爬虫框架的工作通用爬虫框架的工作流程流程：步骤步骤1 1：确定种子：确定种子URLURL，并存入待抓取的，并存入待抓取的URLURL列表；列表；步骤步骤2 2：从待抓取的：从待抓取的URLURL列表中随机提取一个列表中随机提取一个URLURL，发送到，发送到URLURL下载器；下载器；步骤步骤3 3：
9、URLURL下载器开始下载页面，如果下载成功，将页面发送给下载器开始下载页面，如果下载成功，将页面发送给URLURL解析器，同时把解析器，同时把URLURL存存入已抓取的入已抓取的URLURL列表；如果下载失败，将列表；如果下载失败，将URLURL重新存入待抓取的重新存入待抓取的URLURL列表，重复步骤列表，重复步骤2 2；步骤步骤4 4：URLURL解析器开始解析页面，将获得的新的解析器开始解析页面，将获得的新的URLURL存入待抓取的存入待抓取的URLURL列表，同时将需要的、列表，同时将需要的、有价值的数据存入数据库；有价值的数据存入数据库；步骤步骤5 5：重复步骤：重复步骤2 2至步
10、骤至步骤4 4，直到待抓取的，直到待抓取的URLURL列表为空列表为空。2.2.1 网络爬虫 1.1.认识网页结构认识网页结构爬虫代码解析2.2.1 网络爬虫2.2.1 网络爬虫2.2.2其他数据采集工具1.Flume1.FlumeFlumeFlume是是ApacheApache旗下的一款开源的、高可用的，高可靠的，分布式的海量日志采集、聚旗下的一款开源的、高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，合和传输的系统，FlumeFlume支持在日志系统中定制各类数据发送方，用于收集数据；同时，支持在日志系统中定制各类数据发送方，用于收集数据；同时，FlumeFlume提供对数据进
11、行简单处理，并写到各种数据接受方（可定制）的能力。提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。FlumeFlume的工作原理类似于一节一节的水管（的工作原理类似于一节一节的水管（AgentAgent），每个），每个AgentAgent由由SourceSource、ChannelChannel、SinkSink三个组件组成。三个组件组成。2.Kafka2.KafkaKafkaKafka是是ApacheApache软件基金会旗下的一个开源流处理平台，由软件基金会旗下的一个开源流处理平台，由ScalaScala和和JavaJava编写，是一种高编写，是一种高吞吐量的吞吐量的分布式分
12、布式发布订阅消息系统，它可以水平扩展，高可用，速度快，已经运行在数发布订阅消息系统，它可以水平扩展，高可用，速度快，已经运行在数千家公司的生产环境中千家公司的生产环境中。KafkaKafka可以处理消费者在网站中的所有动作流数据，这些动作涵盖了网页浏览，搜索和可以处理消费者在网站中的所有动作流数据，这些动作涵盖了网页浏览，搜索和其他用户的行动等，是完成网络上的许多社会功能的必然行为。这些行为数据通常因为其他用户的行动等，是完成网络上的许多社会功能的必然行为。这些行为数据通常因为吞吐量的要求需通过处理日志和日志聚合来解决。吞吐量的要求需通过处理日志和日志聚合来解决。2.2.2其他数据采集工具3.
13、3.SqoopSqoopSqoopSqoop(发音：发音：skupskup)是是ApacheApache软件基金会旗下的一款开源工具，主要用于在软件基金会旗下的一款开源工具，主要用于在HadoopHadoop(Hive)(Hive)与传统的数据库与传统的数据库(MySQL(MySQL、PostgresPostgres等等)间进行数据的传递。它可以将一个关系型数据库间进行数据的传递。它可以将一个关系型数据库（例如（例如 ：MySQLMySQL、OracleOracle、PostgresPostgres等）中的数据导进到等）中的数据导进到HadoopHadoop的的HDFSHDFS中，也可以将中，
14、也可以将HDFSHDFS的数据导进到关系型数据库中。的数据导进到关系型数据库中。2.3 数据准备经过数据采集阶段后，我们根据大数据应用的需求采集了大量的数据，但是现经过数据采集阶段后，我们根据大数据应用的需求采集了大量的数据，但是现实世界的数据很多是实世界的数据很多是“脏脏”数据，即存在不完整（缺少属性值或仅仅包含聚集数据，即存在不完整（缺少属性值或仅仅包含聚集数据）、含噪声（包含错误或存在偏离期望的离群值等错误数据）、不一致数据）、含噪声（包含错误或存在偏离期望的离群值等错误数据）、不一致（不同采集源得到的数据可能存在量纲不同、属性含义不同等问题）等。而我（不同采集源得到的数据可能存在量纲不
15、同、属性含义不同等问题）等。而我们在使用数据过程中对数据有一致性、准确性、完整性、时效性、可信性、可们在使用数据过程中对数据有一致性、准确性、完整性、时效性、可信性、可解释性等要求。如何将这些解释性等要求。如何将这些“脏脏”数据有效地转换成高质量的专家数据，就涉数据有效地转换成高质量的专家数据，就涉及到数据准备（及到数据准备（Data PreparationData Preparation）工作，有统计表明，在一个完整的大数据）工作，有统计表明，在一个完整的大数据分析与数据挖掘过程中，数据准备工作要花费分析与数据挖掘过程中，数据准备工作要花费60%-70%60%-70%的时间的时间。在数据准备
16、阶段采用的在数据准备阶段采用的技术技术 数据清洗 数据集成 数据转换 数据规约2.3 数据准备2.3.1 数据清洗数据清洗（数据清洗（Data CleaningData Cleaning）过程包括遗漏数据处理，噪声数据处理，以及不一致数据处理。）过程包括遗漏数据处理，噪声数据处理，以及不一致数据处理。1.1.遗漏数据处理遗漏数据处理1 1）忽略该条记录）忽略该条记录2 2）手工填补遗漏值）手工填补遗漏值3 3）利用默认值填补遗漏值）利用默认值填补遗漏值4 4）利用均值填补遗漏值）利用均值填补遗漏值5 5）利用同类别均值填补遗漏值）利用同类别均值填补遗漏值6 6）利用最可能的值填补遗漏）利用最可
17、能的值填补遗漏值值2 2）聚类分析方法）聚类分析方法通过聚类分析方法可帮助发现异常数据。相似或相邻近的数据聚合在一起形成了各个聚通过聚类分析方法可帮助发现异常数据。相似或相邻近的数据聚合在一起形成了各个聚类集合，而那些位于这些聚类集合之外的数据对象，自然而然就被认为是异常数据。类集合，而那些位于这些聚类集合之外的数据对象，自然而然就被认为是异常数据。2.3.1 数据清洗2.2.噪声数据处理噪声数据处理噪声是指被测变量的一个随机错误和变化。下面通过给定一个数值型属性（如价格）来噪声是指被测变量的一个随机错误和变化。下面通过给定一个数值型属性（如价格）来说明平滑去噪的具体方法。说明平滑去噪的具体方
18、法。1 1）分箱方法）分箱方法BinBin方法通过利用应被平滑数据点的周围点（近邻），对一组排序数据进行平滑。排序方法通过利用应被平滑数据点的周围点（近邻），对一组排序数据进行平滑。排序后的数据被分配到若干桶（称为后的数据被分配到若干桶（称为BinsBins）中。）中。2.3.1 数据清洗3 3）人机结合检查方法）人机结合检查方法通过人机结合检查方法，可以帮助发现异常数据。通过人机结合检查方法，可以帮助发现异常数据。例如，利用基于信息论的方法可帮助识别手写符号库中的异常模式，所识别出的异常模例如，利用基于信息论的方法可帮助识别手写符号库中的异常模式，所识别出的异常模式可输出到一个列表中，然后由
19、人对这一列表中的各异常模式进行检查，并最终确认无式可输出到一个列表中，然后由人对这一列表中的各异常模式进行检查，并最终确认无用的模式（真正异常的模式）。这种人机结合检查方法比手工方法的手写符号库检查效用的模式（真正异常的模式）。这种人机结合检查方法比手工方法的手写符号库检查效率要高许多。率要高许多。4 4）回归方法）回归方法可以利用拟合函数对数据进行平滑。可以利用拟合函数对数据进行平滑。例如，借助线性回归方法，包括多变量回归方法，就可以获得多个变量之间的拟合关系，例如，借助线性回归方法，包括多变量回归方法，就可以获得多个变量之间的拟合关系，从而达到利用一个（或一组）变量值来预测另一个变量取值的
20、目的。从而达到利用一个（或一组）变量值来预测另一个变量取值的目的。利用回归分析方法所获得的拟合函数，能够帮助平滑数据及除去其中的噪声。利用回归分析方法所获得的拟合函数，能够帮助平滑数据及除去其中的噪声。2.3.1 数据清洗3.3.不一致数据处理不一致数据处理现实世界的数据库常岀现数据记录内容不一致的问题，其中的一些数据可以利用它们与现实世界的数据库常岀现数据记录内容不一致的问题，其中的一些数据可以利用它们与外部的关联，手工解决这种问题。外部的关联，手工解决这种问题。例如，数据录入错误一般可以通过与原稿进行对比来加以纠正。例如，数据录入错误一般可以通过与原稿进行对比来加以纠正。此外还有一些方法可
21、此外还有一些方法可以帮助纠正使用编码时所发生的不一致问题。知识工程工具也可以帮助发以帮助纠正使用编码时所发生的不一致问题。知识工程工具也可以帮助发 现违反数据现违反数据约束条件的情况。约束条件的情况。由于同一属性在不同数据库中的取名不规范，常常使得在进行数据集成时，导致不一致由于同一属性在不同数据库中的取名不规范，常常使得在进行数据集成时，导致不一致情况的发生。情况的发生。2.3.1 数据清洗2.3.2 数据集成数据集成（数据集成（Data IntegrationData Integration）是将来自多个数据源的数据，如数据）是将来自多个数据源的数据，如数据库、数据立方、普通文件等，结合在
22、一起并形成一个统一数据集合，库、数据立方、普通文件等，结合在一起并形成一个统一数据集合，以便为数据处理工作的顺利完成提供完整的数据基础以便为数据处理工作的顺利完成提供完整的数据基础。1.1.模式匹配模式匹配整合不同数据源中的元数据。整合不同数据源中的元数据。实体识别问题：匹配来自不同数据源的现实世界的实体，比如：实体识别问题：匹配来自不同数据源的现实世界的实体，比如：A.custA.cust-id=-id=B.customer_noB.customer_no 2.2.数据冗余数据冗余同一属性在不同的数据库中会有不同的字段名。同一属性在不同的数据库中会有不同的字段名。一个属性可以由另外一个表导出
23、。如：一个顾客数据表中的平均月收入属性，它可以根一个属性可以由另外一个表导出。如：一个顾客数据表中的平均月收入属性，它可以根据月收入属性计算出来。据月收入属性计算出来。有些冗余可以被相关分析检测到。有些冗余可以被相关分析检测到。例如例如，给定两个属性，给定两个属性A A和和B,B,则根据这两个属性的数值可分析出这两个属性间的相互则根据这两个属性的数值可分析出这两个属性间的相互关系。如果两个属性之间的关联值关系。如果两个属性之间的关联值 r0,r0,则说明两个属性之间是正关联，也就是说，若则说明两个属性之间是正关联，也就是说，若 A A 增加，增加，B B也增加。也增加。r r值越大，说明属性值
24、越大，说明属性A A、E E的正关联关系越紧密。的正关联关系越紧密。如果如果关联值产关联值产 0,0,则说明属性则说明属性A A、B B相互独立，两者之间没有关系。如果相互独立，两者之间没有关系。如果 r 0,r 0,则说则说明属性明属性A A、B B之间是负关联，也就是说，若之间是负关联，也就是说，若A A增加，增加，B B就减少。就减少。r r的绝对值越大，说明属性的绝对值越大，说明属性A A、B B的负关联关系越紧密。的负关联关系越紧密。2.3.2 数据集成2.3.3 数据变换数据转换（数据转换（Data TransformationData Transformation）就是将数据进行
25、转换或归并，从而构成一）就是将数据进行转换或归并，从而构成一个适合数据处理的描述形式个适合数据处理的描述形式。1 1.平滑处理平滑处理帮助除去数据中的噪声，主要技术方法有分箱方法、聚类方法和回归方法。帮助除去数据中的噪声，主要技术方法有分箱方法、聚类方法和回归方法。2.2.合计处理合计处理对数据进行总结或合计操作。例如，每天的数据经过合计操作可以获得每月或对数据进行总结或合计操作。例如，每天的数据经过合计操作可以获得每月或每年的总额。这一操作常用于构造数据立方或对数据进行多粒度的分析每年的总额。这一操作常用于构造数据立方或对数据进行多粒度的分析3.3.数据值冲突数据值冲突对于一个现实世界实体，
26、其来自不同数据源的属性值或许不同。对于一个现实世界实体，其来自不同数据源的属性值或许不同。产生的原因：表示的差异、比例尺度不同、或编码的差异等。例如：产生的原因：表示的差异、比例尺度不同、或编码的差异等。例如：重量属性在一个系统中采用公制，而在另一个系统中却采用英制。同重量属性在一个系统中采用公制，而在另一个系统中却采用英制。同样价格属性不同地点采用不同货币单位。样价格属性不同地点采用不同货币单位。2.3.2 数据集成2.3.3 数据变换3.3.数据泛化处理数据泛化处理用更抽象（更高层次）的概念来取代低层次或数据层的数据对象。用更抽象（更高层次）的概念来取代低层次或数据层的数据对象。例如，街道
27、属性可以泛化到更高层次的概念，如城市、国家，数值型的属性，例如，街道属性可以泛化到更高层次的概念，如城市、国家，数值型的属性，如年龄属性，可以映射到更高层次的概念，如年轻、中年和老年。如年龄属性，可以映射到更高层次的概念，如年轻、中年和老年。4.4.规格化处理规格化处理将有关属性数据按比例投射到特定的小范围之中。例如，将工资收入属性值映将有关属性数据按比例投射到特定的小范围之中。例如，将工资收入属性值映射到射到 0 0 到到 1 1 范围内。范围内。5.5.属性构造处理属性构造处理根据已有属性集构造新的属性，以帮助数据处理过程。根据已有属性集构造新的属性，以帮助数据处理过程。2.3.3 数据变
28、换介绍常用的介绍常用的3 3种规格化方法。种规格化方法。1 1）最大最小规格化方法）最大最小规格化方法该方法对被初始数据进行一种线性转换。计算公式为该方法对被初始数据进行一种线性转换。计算公式为：例如：假设属性的最大值和最小值分别是例如：假设属性的最大值和最小值分别是98 00098 000元和元和12 00012 000元，利用最大最小规格化方元，利用最大最小规格化方法将法将“顾客收入顾客收入”属性的值映射到属性的值映射到 01 01 的范围内，则的范围内，则“顾客收入顾客收入”属性的值为属性的值为 73 600 73 600 元时，对应的转换结果如下。元时，对应的转换结果如下。2.3.3
29、数据变换2 2）零均值规格化方法）零均值规格化方法该方法是指根据一个属性的均值和方差来对该属性的值进行规格化。计算公式为该方法是指根据一个属性的均值和方差来对该属性的值进行规格化。计算公式为：例如例如：假定属性：假定属性“顾客收入顾客收入”的均值和方差分别为的均值和方差分别为 54 000 54 000 元和元和 16 000 16 000 元，则元，则“顾客顾客收入收入”属性的值为属性的值为 73 600 73 600 元时，对应的转换结果如下元时，对应的转换结果如下。2.3.3 数据变换3 3）十基数变换规格化方法）十基数变换规格化方法该方法通过移动属性值的小数位置来达到规格化的目的。所移
30、动的小数位数取决于属性该方法通过移动属性值的小数位置来达到规格化的目的。所移动的小数位数取决于属性绝对值的最大值。计算公式为：绝对值的最大值。计算公式为：其中其中，j j 为能够使该属性绝对值的最大值小于为能够使该属性绝对值的最大值小于1 1的最小整数值。的最小整数值。例如：假设属性的取值范围是例如：假设属性的取值范围是-986917-986917，则该属性绝对值的最大值为，则该属性绝对值的最大值为986986。属性的值为。属性的值为435435时，对应的转换结果如下。时，对应的转换结果如下。2.3.3 数据变换2.2.属性构造方法属性构造方法属性构造方法可以利用已有属性集构造出新的属性，并将
31、其加入到现有属性集属性构造方法可以利用已有属性集构造出新的属性，并将其加入到现有属性集合中以挖掘更深层次的模式知识，提高挖掘结果准确性。合中以挖掘更深层次的模式知识，提高挖掘结果准确性。例如，根据宽、高属性，可以构造一个新属性（面积）。构造合适的属性能够例如，根据宽、高属性，可以构造一个新属性（面积）。构造合适的属性能够减少学习构造决策树时出现的碎块情况。此外，属性结合可以帮助发现所遗漏减少学习构造决策树时出现的碎块情况。此外，属性结合可以帮助发现所遗漏的属性间的相互联系，而这在数据挖掘过程中是十分重要的。的属性间的相互联系，而这在数据挖掘过程中是十分重要的。2.3.4 数据规约数据规约（数据
32、规约（Data ReductionData Reduction）的主要目的就是从原有巨大数据集中获得一个精）的主要目的就是从原有巨大数据集中获得一个精简的数据集，并使这一精简数据集保持原有数据集的完整性。这样在精简数据简的数据集，并使这一精简数据集保持原有数据集的完整性。这样在精简数据集上进行数据挖掘就会提高效率，并且能够保证挖掘出来的结果与使用原有数集上进行数据挖掘就会提高效率，并且能够保证挖掘出来的结果与使用原有数据集所获得的结果基本相同。据集所获得的结果基本相同。2.3.4 数据规约1.1.数据立方合计数据立方合计2.3.4 数据规约2.2.维数消减维数消减数据数据集可能包含成百上千的属
33、性，而这些属性中的许多属性是与挖掘任务无关集可能包含成百上千的属性，而这些属性中的许多属性是与挖掘任务无关的或冗余的。的或冗余的。例如，挖掘顾客是否会在商场购买电视机的分类规则时，顾客的电话号码很可例如，挖掘顾客是否会在商场购买电视机的分类规则时，顾客的电话号码很可能与挖掘任务无关。但如果利用人类专家来帮助挑选有用的属性，则困难又费能与挖掘任务无关。但如果利用人类专家来帮助挑选有用的属性，则困难又费时费力，特别是当数据内涵并不十分清楚的时候。无论是漏掉相关属性，还是时费力，特别是当数据内涵并不十分清楚的时候。无论是漏掉相关属性，还是选择了无关属性参加数据挖掘工作，都将严重影响数据挖掘最终结果的
34、正确性选择了无关属性参加数据挖掘工作，都将严重影响数据挖掘最终结果的正确性和有效性。此外，多余或无关的属性也将影响数据挖掘的挖掘效率。和有效性。此外，多余或无关的属性也将影响数据挖掘的挖掘效率。维数消减就是通过消除多余和无关的属性而有效消减数据集的规模的。维数消减就是通过消除多余和无关的属性而有效消减数据集的规模的。2.3.4 数据规约3.3.数据压缩数据压缩数据压缩就是利用数据编码或数据转换将原来的数据集合压缩为一个较小规模数据压缩就是利用数据编码或数据转换将原来的数据集合压缩为一个较小规模的数据集合。的数据集合。若仅根据压缩后的数据集就可以恢复原来的数据集，那么就认为这一压缩是无若仅根据压
35、缩后的数据集就可以恢复原来的数据集，那么就认为这一压缩是无损的，否则就称为有损的。在数据挖掘领域通常使用的两种数据压缩方法均是损的，否则就称为有损的。在数据挖掘领域通常使用的两种数据压缩方法均是有损的，它们是离散小波转换（有损的，它们是离散小波转换（Discrete Wavelet TransformsDiscrete Wavelet Transforms）和主成分分）和主成分分析（析（Principal Components AnalysisPrincipal Components Analysis）。）。2.3.4 数据规约4.4.数据块消减数据块消减数据块消减方法主要包括参数与非参数两种
36、基本方法。所谓参数方法就是利用数据块消减方法主要包括参数与非参数两种基本方法。所谓参数方法就是利用一个模型来帮助获得原来的数据，因此只需要存储模型的参数即可（当然异常一个模型来帮助获得原来的数据，因此只需要存储模型的参数即可（当然异常数据也需要存储）。数据也需要存储）。例如，线性回归模型就可以根据一组变量预测计算另一个变量。而非参数方法例如，线性回归模型就可以根据一组变量预测计算另一个变量。而非参数方法则是存储利用直方图、聚类或取样而获得的消减后数据集。下面介绍几种主要则是存储利用直方图、聚类或取样而获得的消减后数据集。下面介绍几种主要的数据块消减方法。的数据块消减方法。2.3.4 数据规约1
37、 1）回归与线性对数模型）回归与线性对数模型回归与线性对数模型可用于拟合所给定的数据集。线性回归方法是利用一条直回归与线性对数模型可用于拟合所给定的数据集。线性回归方法是利用一条直线模型对数据进行拟合的，可以是基于一个自变量的，也可以是基于多个自变线模型对数据进行拟合的，可以是基于一个自变量的，也可以是基于多个自变量的。量的。线性对数模型则是拟合多维离散概率分布的。如果给定线性对数模型则是拟合多维离散概率分布的。如果给定 n n 维（例如，用维（例如，用 n n 个个属性描述）元组的集合，则可以把每个元组看作属性描述）元组的集合，则可以把每个元组看作 n n 维空间的点维空间的点。回归与线性对
38、数模型均可用于稀疏数据及异常数据的处理。但是回归模型对异回归与线性对数模型均可用于稀疏数据及异常数据的处理。但是回归模型对异常数据的处理结果要好许多。应用回归方法处理高维数据时计算复杂度较大，常数据的处理结果要好许多。应用回归方法处理高维数据时计算复杂度较大，而线性对数模型则具有较好的可扩展性。而线性对数模型则具有较好的可扩展性。2.3.4 数据规约2 2）直方图）直方图直方图是利用直方图是利用 Bin Bin 方法对数据分布情况进行近似的，它是一种常用的方法对数据分布情况进行近似的，它是一种常用的数据消减方法。属性数据消减方法。属性 A A 的直方图就是根据属性的直方图就是根据属性 A A
39、的数据分布将其划的数据分布将其划分为若干不相交的子集（桶）的。这些子集沿水平轴显示，其高度分为若干不相交的子集（桶）的。这些子集沿水平轴显示，其高度（或面积）与该桶所代表的数值平均（出现）频率成正比。若每个桶（或面积）与该桶所代表的数值平均（出现）频率成正比。若每个桶仅代表一对属性值仅代表一对属性值/频率，则这个桶就称为单桶。通常一个桶代表某个频率，则这个桶就称为单桶。通常一个桶代表某个属性的属性的一段一段连续值连续值。2.3.4 数据规约例如例如：以下是一个商场所销售商品的价格清单（按递增顺序排列，括号中的数表示前面：以下是一个商场所销售商品的价格清单（按递增顺序排列，括号中的数表示前面数字
40、出现的次数）。数字出现的次数）。1 1（2 2）、）、5 5（5 5）、）、8 8（2 2）、）、1010（4 4）、）、1212（1 1）、）、1414（3 3）、）、1515（6 6）、）、1818（9 9）、）、2020（8 8）、）、2222（5 5）、）、2424（2 2）、）、2626（3 3）构造直方图所涉及的数据集划分方法有以下几种。构造直方图所涉及的数据集划分方法有以下几种。（1 1）等宽方法）等宽方法在一个等宽的直方图中，每个桶的宽度（范围）是相同的（如图在一个等宽的直方图中，每个桶的宽度（范围）是相同的（如图2-132-13所示的每个桶均覆所示的每个桶均覆盖盖1 1个单位
41、的价格变化）。个单位的价格变化）。（2 2）等高方法）等高方法在一个等高的直方图中，每个桶中的数据个数是相同的。在一个等高的直方图中，每个桶中的数据个数是相同的。（3 3）V-Optimal V-Optimal 方法方法若对指定桶个数的所有可能直方图进行考虑，该方法所获得的直方图是这些直方图中变若对指定桶个数的所有可能直方图进行考虑，该方法所获得的直方图是这些直方图中变化最小的，即具有最小方差的直方图。直方图方差是指每个桶所代表数值的加权之和，化最小的，即具有最小方差的直方图。直方图方差是指每个桶所代表数值的加权之和，其权值为相应桶中数值的个数。其权值为相应桶中数值的个数。（4 4）MaxDi
42、ffMaxDiff 方法方法该方法以相邻数值（对）之差为基础，一个桶的边界则是由包含有该方法以相邻数值（对）之差为基础，一个桶的边界则是由包含有 -1-1 个最大差距的个最大差距的数值对所确定的，其中，数值对所确定的，其中，为用户指定的阈值。为用户指定的阈值。2.3.4 数据规约3 3）聚类）聚类聚类技术将数据行视为对象。聚类分析所获得的组或类具有以下性质。同一组聚类技术将数据行视为对象。聚类分析所获得的组或类具有以下性质。同一组或类中的对象彼此相似，而不同组或类中的对象彼此不相似。或类中的对象彼此相似，而不同组或类中的对象彼此不相似。相似性通常利用多维空间中的距离来表示。一个组或类的相似性通
43、常利用多维空间中的距离来表示。一个组或类的“质量质量”可以用其所可以用其所含对象间的最大距离（称为半径）来衡量，也可以用中心距离，即组或类中各含对象间的最大距离（称为半径）来衡量，也可以用中心距离，即组或类中各对象与中心点距离的平均值，来作为组或类的对象与中心点距离的平均值，来作为组或类的“质量质量”。在数据消减中，数据的聚类表示可用于替换原来的数据。当然这一技术的有效在数据消减中，数据的聚类表示可用于替换原来的数据。当然这一技术的有效性依赖于实际数据的内在规律。在处理带有较强噪声数据时采用数据聚类方法性依赖于实际数据的内在规律。在处理带有较强噪声数据时采用数据聚类方法常常是非常有效的。常常是
44、非常有效的。2.3.4 数据规约4 4）采样）采样采样方法由于可以利用一小部分数据（子集）来代表一个大数据集，因此可以采样方法由于可以利用一小部分数据（子集）来代表一个大数据集，因此可以作为数据消减的技术方法之一。作为数据消减的技术方法之一。假设一个大数据集为假设一个大数据集为 D D，其中包括，其中包括 N N 个数据行。几种主要的采样方法如下。个数据行。几种主要的采样方法如下。（1 1）无替换简单随机采样方法（简称）无替换简单随机采样方法（简称 SRSWOR SRSWOR 方法）方法）该方法从该方法从 N N 个数据行中随机（每一数据行被选中的概率为个数据行中随机（每一数据行被选中的概率为
45、 1/N1/N）抽取出）抽取出 n n 个个数据行，以构成由数据行，以构成由 n n 个数据行组成的采样数据个数据行组成的采样数据子集。子集。（2 2）有替换简单随机采样方法（简称）有替换简单随机采样方法（简称 SRSWR SRSWR 方法）方法）该方法也是从该方法也是从 N N 个数据行中每次随机抽取一个数据行，但该数据行被选中后个数据行中每次随机抽取一个数据行，但该数据行被选中后仍将留在大数据集仍将留在大数据集 D D 中，最后获得的由中，最后获得的由 n n 个数据行组成的采样数据子集中可个数据行组成的采样数据子集中可能会出现相同的数据行，能会出现相同的数据行，2.3.4 数据规约2.3
46、.4 数据规约2.3.4 数据规约（3 3）聚类采样方法）聚类采样方法该方法首先将大数据集 D 划分为 M 个不相交的类，然后再分别从这 M 个类的数据对象中进行随机抽取，这样就可以最终获得聚类采样数据子集。（4 4）分层采样方法）分层采样方法该方法首先将大数据集划分为若干不相交的层，然后再分别从这些层中随机抽取数据对象，从而获得具有代表性的采样数据子集。例如，可以对一个顾客数据集按照年龄进行分层，然后再在每个年龄组中进行随机选择，从而确保最终获得的分层采样数据子集中的年龄分布具有代表性，2.3.4 数据规约分层采样方法示意图习题 1.请说明大数据采集技术包括哪些？2.什么是ETL？在ETL中哪一步是最耗费时间与精力的？3.请说明数据准备中涉及哪些技术？在完成数据准备时这些技术是不是都必须采用呢？谢谢谢谢！
