1、1大数据环境下的数据建模方法大数据环境下的数据建模方法11.大数据环境与数据建模概述大数据环境与数据建模概述22.大数据的建模分析方法大数据的建模分析方法33.数据处理与数据建模方法数据处理与数据建模方法44.数学建模竞赛的赛题分析数学建模竞赛的赛题分析55.数学建模竞赛的实践过程数学建模竞赛的实践过程66.数学建模的指导与实践方法数学建模的指导与实践方法一、大数据环境与数据建模概述、大数据环境与数据建模概述3一个数据体量特别大,数据类别特别多的一个数据体量特别大,数据类别特别多的 数据集,且无法用传统数据库工具对其进行管数据集,且无法用传统数据库工具对其进行管 理和处理。通常情况数据量理和处
2、理。通常情况数据量为为10TB以上,从以上,从海海 量数据到巨量数据。量数据到巨量数据。关于大数据最重要的问题是如何使用?关于大数据最重要的问题是如何使用?最大的挑战在于哪些技术能更好地使用大数最大的挑战在于哪些技术能更好地使用大数据?据?大数据的应用水平如何?大数据的应用水平如何?1.大数据的传说大数据的传说一、大数据环境与数据建模概述、大数据环境与数据建模概述41数据体量巨大,数据体量巨大,从从TB级别级别到到PB级别。级别。2数据类型繁多,数据来自多种数据源,突数据类型繁多,数据来自多种数据源,突破了通常的结构化数据范畴,包括半结构化和破了通常的结构化数据范畴,包括半结构化和非非 结构化
3、数据。如网络日志、视频、语音、图结构化数据。如网络日志、视频、语音、图片、片、地理信息、人员信息、商业信息等。地理信息、人员信息、商业信息等。3数据的真实性高、但价值密度低。如连续数据的真实性高、但价值密度低。如连续不间断的监控视频,可能有用的数据仅有几秒不间断的监控视频,可能有用的数据仅有几秒 钟。钟。4处理速度快,处理速度快,1秒定律,即实现实时处理。秒定律,即实现实时处理。2.大数据的基本特征大数据的基本特征一、大数据环境与数据建模概述、大数据环境与数据建模概述世界,从而出现了统计建模。世界,从而出现了统计建模。5(1)20 世世纪纪 80年代开始数学热,数学热促年代开始数学热,数学热促
4、使使 了数学模型发展,但经典的数学模型对带了数学模型发展,但经典的数学模型对带有观有观 测误差的数据处理能力有限;测误差的数据处理能力有限;(2)90年代出现了信息热,信息等价于数年代出现了信息热,信息等价于数据,然而当时的信息处理技术从计算能力、据,然而当时的信息处理技术从计算能力、适适 应能力和容错能力等难以达到使用的标准。应能力和容错能力等难以达到使用的标准。(3)从从90年代中期,统计学成为大众消费数年代中期,统计学成为大众消费数据的热点,使得统计学家从象牙塔走到了现据的热点,使得统计学家从象牙塔走到了现实实3.大数据的发展与应用过程大数据的发展与应用过程4进进入入21世纪,网络密布、
5、数据激增,统计世纪,网络密布、数据激增,统计 建建模在一定程度上为数据分析提供了一套可扩模在一定程度上为数据分析提供了一套可扩 展、展、可深化,高质高效地揭示有价值信息的方可深化,高质高效地揭示有价值信息的方 法。法。5近几年来,大数据体量不断增加、类型近几年来,大数据体量不断增加、类型复复杂,统计建模方法已不能全胜任。需要更多针杂,统计建模方法已不能全胜任。需要更多针 对大数据分析的数据建模方法。对大数据分析的数据建模方法。6关于大数据分析(数据采集、数据处理、关于大数据分析(数据采集、数据处理、数据建模、数据应用)方法现已成为新热点。数据建模、数据应用)方法现已成为新热点。6一、大数据环境
6、与数据建模概述、大数据环境与数据建模概述3.大数据的发展与应用过程大数据的发展与应用过程由于大数据来源复杂、体量巨大、价值潜伏、由于大数据来源复杂、体量巨大、价值潜伏、处处 理速度快等特点,要求利用计算机和数学技理速度快等特点,要求利用计算机和数学技术予术予 以实现(以实现(数据工程数据工程)。大数据分析的)。大数据分析的研究研究方向:方向:1数据的表示与预处理方法,主要强调采数据的表示与预处理方法,主要强调采集、存取、加工,使其规范化和可视化的方法。集、存取、加工,使其规范化和可视化的方法。2数据的统计规律,侧重于对微观数据本质数据的统计规律,侧重于对微观数据本质特征的提取和模式发现。特征的
7、提取和模式发现。3数据的分类、识别、排序、预测等建模方数据的分类、识别、排序、预测等建模方法和快速算法。法和快速算法。7一、大数据环境与数据建模概述、大数据环境与数据建模概述4.大数据分析的研究方向大数据分析的研究方向一、大数据环境与数据建模概述、大数据环境与数据建模概述8大数据分析最重要的是通过分析获取智能、大数据分析最重要的是通过分析获取智能、深入、有价值的信息,最终确定信息是否有价深入、有价值的信息,最终确定信息是否有价值值 和决定性因素。主要研究的理论与方法:和决定性因素。主要研究的理论与方法:1可视化分析:可视化分析:可视化能够直观的呈现大数可视化能够直观的呈现大数 据特据特点,并能
8、够容易被人们所认识和接受点,并能够容易被人们所认识和接受。2数据挖掘算法:数据挖掘算法:它是大数据分析理论的核它是大数据分析理论的核心。通过快速高效的算法,能够将不同属性的心。通过快速高效的算法,能够将不同属性的数数 据规律呈现出来,能够深入数据内部挖掘出据规律呈现出来,能够深入数据内部挖掘出事物事物 内在的普遍规律。内在的普遍规律。5.大数据分析的研究理论与方法大数据分析的研究理论与方法一、大数据环境与数据建模概述、大数据环境与数据建模概述9(3)数据质量与数据管理:)数据质量与数据管理:高质量的数据和有高质量的数据和有 效的数据管理,无论是在学术研究还是实际应效的数据管理,无论是在学术研究
9、还是实际应 用,都有助于保证分析结果的正确性和可靠性。用,都有助于保证分析结果的正确性和可靠性。包括:数据的采集、存贮、利用和预处理方法。包括:数据的采集、存贮、利用和预处理方法。(4)预测性分析方法:)预测性分析方法:大数据分析目的之一是大数据分析目的之一是预测性分析,即预测事物未来发展的规律。建预测性分析,即预测事物未来发展的规律。建立立 科学合理的数学模型,对预测结果的正确性科学合理的数学模型,对预测结果的正确性尤为尤为 重要。重要。5.大数据分析的研究理论与方法大数据分析的研究理论与方法二、大数据的建模分析方法、大数据的建模分析方法10(1)数据采集)数据采集:将分散的、不同结构的数据
10、将分散的、不同结构的数据源源 中的数据进行筛选、转换、集成,最后加载中的数据进行筛选、转换、集成,最后加载到到 数据库或数据集中,成为联机分析处理、数数据库或数据集中,成为联机分析处理、数据据 挖掘的基础。挖掘的基础。(2)数据存取:)数据存取:采用关系数据库采用关系数据库 SQL、MySQL、Oracle,非关系数据,非关系数据库库NoSQL、MongoDB等。等。(3)基础架构:)基础架构:分布式文件存储、云存储等。分布式文件存储、云存储等。1.大数据技术方法大数据技术方法二、大数据的建模分析方法、大数据的建模分析方法11(4)数据处理)数据处理:自然语言处理技自然语言处理技术术(NLP)
11、是是 研究人与计算机交互的语言问题的一门学科。研究人与计算机交互的语言问题的一门学科。它是属于信息处理与人工智能的相关技术。它是属于信息处理与人工智能的相关技术。(5)统计分析:)统计分析:假设检验、假设检验、T检验检验、F检验、检验、显著性检验、差异分析、相关分析、方差分显著性检验、差异分析、相关分析、方差分 析、卡方分析、偏相关分析、多元回归分析、析、卡方分析、偏相关分析、多元回归分析、逐步回归分析逐步回归分析、logistic回归分析、岭回归分回归分析、岭回归分 析、析、残差分析、因子分析、聚类分析、主成分残差分析、因子分析、聚类分析、主成分 分分析、聚类分析、判别分析、对应分析、最优析
12、、聚类分析、判别分析、对应分析、最优 尺度分析等。尺度分析等。1.大数据技术方法大数据技术方法二、大数据的建模分析方法、大数据的建模分析方法12(6)数据挖掘)数据挖掘:分类分类、聚类、估计、预测、聚类、估计、预测、相关性分组或关联规则、描述和可视化、复杂相关性分组或关联规则、描述和可视化、复杂 数据类型挖数据类型挖掘掘(Text,Web,图形图像,视频,音图形图像,视频,音 频频等等)。(7)模型预测与仿真:)模型预测与仿真:预测模型、机器学习预测模型、机器学习模模型、建模仿真。型、建模仿真。(8)结果呈现:)结果呈现:云计算、标签云、关系图等。云计算、标签云、关系图等。1.大数据技术方法大
13、数据技术方法二、大数据的建模分析方法、大数据的建模分析方法13(1)数据采集)数据采集:利用多个数据库接收来自利用多个数据库接收来自Web、App或者传感器等的数据,并进行简单或者传感器等的数据,并进行简单的查询和处理工作。的查询和处理工作。(2)数据导入与预处理:)数据导入与预处理:要对这些海量数据要对这些海量数据进行有效的分析,需要将这些来自前端的数进行有效的分析,需要将这些来自前端的数据据 导入到一个集中的大型分布式数据库,或导入到一个集中的大型分布式数据库,或者分者分 布式存储集,并做一些简单的清洗和预布式存储集,并做一些简单的清洗和预处理工处理工 作。作。2.大数据分析过程大数据分析
14、过程二、大数据的建模分析方法、大数据的建模分析方法14(3)统计与分析)统计与分析:统计与分析主要利用分布统计与分析主要利用分布 式数据库,或者分布式计算集群来对存储的式数据库,或者分布式计算集群来对存储的海海 量数据进行简单的统计分析和分类汇总等,量数据进行简单的统计分析和分类汇总等,以以 满足大多数常用分析方法的需求。满足大多数常用分析方法的需求。(4)数据挖掘与数据建模:)数据挖掘与数据建模:主要通过数据挖主要通过数据挖掘技术进行建模,依据现有的数据基于各种掘技术进行建模,依据现有的数据基于各种可可 能的有效算法进行计算,以实现分析预测、能的有效算法进行计算,以实现分析预测、分分 类、聚
15、类、识别、排序等目的类、聚类、识别、排序等目的。2.大数据分析过程大数据分析过程三、数据处理与数据建模方法、数据处理与数据建模方法1、数据类型一致化方、数据类型一致化方法法(1)极极小小型型:对某对某个个极极小小型数型数据据 x,则令则令xx 1(x 0),或或 x M x,即可即可将将 x 极大极大化化。(2)中间中间型型:对对某某个中个中间间型型数数据据 x,则令,则令 2(x m),15m x 1(M m)2x M m,(M m)x M 2(M x)1 M m2即可即可将将中中间间型型数数据据 x 极大极大化化。三、数据处理与数据建模方法、数据处理与数据建模方法1、数据类型一致化方法、数
16、据类型一致化方法(3)区间区间型型:对对某某个个区区间间型数型数据据 x,则令,则令c16c1 a x,x 1,1 x b,x aa x b x b其其中中a,b为为 x 的最的最佳佳稳稳定定区区间间,c maxa m,M b,M和和m 分分别别为为 x 可能取可能取值值的最的最大大值和值和最最小值小值。即即可可将将 x 极大化。极大化。三、数据处理与数据建模方法、数据处理与数据建模方法172.数据的规范化方法数据的规范化方法在实在实际际中各类数据中各类数据之之间,往往间,往往存存在着不可在着不可公公度度 性性,难难以以做统做统一一的的数数据据分分析和析和比比较较,或或许许会会出出现现“大大
17、数吃数吃小小数数”的错误的错误,导致导致分分析结析结果果的不的不合合理。理。常用变换方常用变换方法法:标准差法、极值差法和功效标准差法、极值差法和功效 系数法等。系数法等。假假设设m个数个数据据 x1,x2,xm,不不妨妨设已设已做做了了类类型型的一的一 致化致化,并并有有n组观组观测测值值 xij(i 1,2,n;j 1,2,m)。三、数据处理与数据建模方法、数据处理与数据建模方法2.数据的规范化方法数据的规范化方法ijjsxj令令 x xij(i 1,2,n;j 1,2,m),11822 11nn n i1n i1其其 中中 xj xij,s j (xijj x)(j 1,2,m)。(1)
18、标准差方法标准差方法显显然然 xij (i 1,2,n;j 1,2,m)的的均值和均方均值和均方差差分别分别 为为 0 和和 1,即即是是无无量量纲纲的的,称称之之为为 xij 的标的标准准观观测测值。值。三、数据处理与数据建模方法、数据处理与数据建模方法2.数据的规范化方法数据的规范化方法(2)极值差方法极值差方法ij19jjmj令令 xxijM m(i 1,2,n;j 1,2,m),其其中中 M j maxxij,mj minxij(j 1,2,m)。1in1in则则 xij 0,1 是是无无量纲量纲的的标标准准观测观测值值。三、数据处理与数据建模方法、数据处理与数据建模方法2.数据的规范
19、化方法数据的规范化方法()功效系数方法功效系数方法ij20jj mj令令 x c xijM m d(i 1,2,n;j 1,2,m),其其中中c,d 均为确均为确定定的的常常数数。c 表表示示“平平移移量量”,d 表示表示“旋旋转转量量”,即即表表示示“放放大大”或或“缩缩小小”倍倍数。数。则则 xij c,c d。譬如譬如若若取取c 60,d 40,则,则 xij 60,100。按规范的评价标准按规范的评价标准,对于定性数据一般分为对于定性数据一般分为五五 个等级,如个等级,如A,B,C,D,E。如何将其量化?若如何将其量化?若A-,B+,C-,D+等又如何合等又如何合 理量化?理量化?简单
20、地对应数字分量化方法是不科学的!简单地对应数字分量化方法是不科学的!根据实际问题构造模糊隶属函数的量化方法根据实际问题构造模糊隶属函数的量化方法 是一种可行有效的方法。是一种可行有效的方法。213.定性数据的量化方法定性数据的量化方法三、数据处理与数据建模方法、数据处理与数据建模方法假设对于某项定性数据分为假设对于某项定性数据分为A,B,C,D,E共共5个个 等等级级:v1,v2,v3,v4,v5。譬如:对某事譬如:对某事件件“满意满意度度”可化分为可化分为很满意,满意,较满意,不太满意,很不满意很满意,满意,较满意,不太满意,很不满意 将其将其5个等级依次对应为个等级依次对应为5,4,3,2
21、,1。为取连续量化值,取偏大型柯西分布和对数函为取连续量化值,取偏大型柯西分布和对数函 数作为隶属函数:数作为隶属函数:223 x 5a ln x b,f(x)1 (x )2 1,1 x 3其其中中,a,b 为待定为待定常常数数三、数据处理与数据建模方法、数据处理与数据建模方法3.定性数据的量化方法定性数据的量化方法a ln x b,3 x 5其其中中,a,b 为待定为待定常常数数23f(x)1 (x )2 1,1 x 3当当“很很满意满意”时时,则隶则隶属属度为度为,即即 f(5)1;当当“较较满意满意”时时,则隶则隶属属度度为为0.8,即,即 f(3)0.8;当当“很很不不满满意意”时时,
22、则则隶隶属度为属度为 0.01,即即 f(1)0.01计算计算得得 1.1086,0.8942,a 0.3915,b 0.3699。0.3915 ln x 0.3699,3 x 51 1.1086(x 0.8942)2 1,1 x 3则则f(x)三、数据处理与数据建模方法、数据处理与数据建模方法3.定性数据的量化方法定性数据的量化方法信息工程大学 韩中庚241 1.1086(x 0.8942)2 1,1 x 3f(x)0.3915 ln x 0.3699,3 x 5根据这个规律,对根据这个规律,对 于任何一个评价值,都于任何一个评价值,都 可给出一个合适的量化可给出一个合适的量化 值。值。据实
23、际情况可构造据实际情况可构造其他的隶属函数。如取其他的隶属函数。如取 偏大型正态分偏大型正态分布布。三、数据处理与数据建模方法、数据处理与数据建模方法3.定性数据的量化方法定性数据的量化方法三、数据处理与数据建模方法、数据处理与数据建模方法254.数据统计分析方法数据统计分析方法1常用的统计检验方法:常用的统计检验方法:假设检验、假设检验、T检检 验、验、2检验检验、F检验、显著性检验等;检验、显著性检验等;2常用的分析方法:常用的分析方法:差异分析、相关分差异分析、相关分析、偏相关分析、方差分析、多元回归分析、偏相关分析、方差分析、多元回归分 析、析、逐步回归分析、逐步回归分析、logist
24、ic回归分析、残差回归分析、残差 分析、分析、因子分析、主成分分析、聚类分析、因子分析、主成分分析、聚类分析、判别分判别分析、对应分析、最优尺度分析等。析、对应分析、最优尺度分析等。3常用的预测分析方法:常用的预测分析方法:插值与拟合、插值与拟合、多多元回归、灰色系统理论、时间序列等。元回归、灰色系统理论、时间序列等。三、数据处理与数据建模方法、数据处理与数据建模方法265.多属性的综合排序方法多属性的综合排序方法常用方法:常用方法:综合加权法、动态加权法、层次分析法、综合加权法、动态加权法、层次分析法、Borda函数法、函数法、TOPSIS(逼近理想点的(逼近理想点的排序)法、排序)法、EL
25、ECTRE(级别高于关系(级别高于关系的排序)法、的排序)法、PROMETHEE(优先函数的排序)法、(优先函数的排序)法、LINMAP(多维偏好的线性规划)法。多维偏好的线性规划)法。三、数据处理与数据建模方法、数据处理与数据建模方法276.聚类分析与模式识别方法聚类分析与模式识别方法聚类分析与模式识别都是对数据对象进行聚类分析与模式识别都是对数据对象进行 分类的方法,但二者有着本质的不同。分类的方法,但二者有着本质的不同。(1)聚类分析方法:)聚类分析方法:对于同类事物按照某些对于同类事物按照某些指标数据的特性(如相似程度、亲疏关系等)指标数据的特性(如相似程度、亲疏关系等)来进行分类的一
26、种方法。来进行分类的一种方法。一般事物的特性带有模糊性,为此可确定一般事物的特性带有模糊性,为此可确定相应的模糊矩阵,通常需要设置一个置信水相应的模糊矩阵,通常需要设置一个置信水平平,由不由不同同值可以得到不同的分类结果。值可以得到不同的分类结果。三、数据处理与数据建模方法、数据处理与数据建模方法286.聚类分析与模式识别方法聚类分析与模式识别方法(2)模式识别方法:)模式识别方法:已知将整体事物分为若干已知将整体事物分为若干 类型的标准模式,而对于一(或多)个确定的类型的标准模式,而对于一(或多)个确定的对对 象按照一定的原则识别它们属于哪一类。包象按照一定的原则识别它们属于哪一类。包括:括
27、:最大隶属度原则、贴近度原则、单特性择最大隶属度原则、贴近度原则、单特性择近原近原 则、多特性择近原则等。则、多特性择近原则等。二者区别:未知分类标准和已知分类标准。二者区别:未知分类标准和已知分类标准。参见:韩中庚编著数学建模方法及其应用参见:韩中庚编著数学建模方法及其应用(第二版),高等教育出版社(第二版),高等教育出版社,19.319.4节。节。数学建模竞赛的规模越来越大数学建模竞赛的规模越来越大,水平越来越高;水平越来越高;竞赛的水平主要体现在赛题水平;竞赛的水平主要体现在赛题水平;赛题的水平主要体现:赛题的水平主要体现:()综合性、实用性、创新性等;()综合性、实用性、创新性等;()
28、多种解题方法创造性、灵活性、开放性等;()多种解题方法创造性、灵活性、开放性等;()海量数据的复杂性、数学模型的多样()海量数据的复杂性、数学模型的多样性、性、求求 解结果的不确定性等。解结果的不确定性等。纵览纵览22年的本科组年的本科组44个题目个题目(专科组专科组25个个),从从 解决问题的方法和题目类型二个方面作一些简单的解决问题的方法和题目类型二个方面作一些简单的 分析。分析。29四、数学建模竞赛的赛题分析四、数学建模竞赛的赛题分析1、问题解决的数学建模方法、问题解决的数学建模方法涉及到的数学建模方法涉及到的数学建模方法:几何理论、线性代数、微积分、组合几何理论、线性代数、微积分、组合
29、概概 率、统计(回归)分析、优化方率、统计(回归)分析、优化方法法(规规划划)、图论与网络优化、综合评价、插值与拟合、图论与网络优化、综合评价、插值与拟合、差分计算、微分方程、排队论、模糊数学、差分计算、微分方程、排队论、模糊数学、随机决策、多目标决策、随机模拟、灰色随机决策、多目标决策、随机模拟、灰色系系 统理论、神经网络、时间序列、统理论、神经网络、时间序列、机理分机理分析等析等 方法。方法。四四、数学建模竞赛的赛题分析、数学建模竞赛的赛题分析30最多的是优化方法和概率统计的方法最多的是优化方法和概率统计的方法.优化方法共优化方法共27个题,占总数的个题,占总数的61.36%,其中整数其中
30、整数 规划规划6个,线性规划个,线性规划6个,非线性规划个,非线性规划17个个,多目标多目标 规划规划8个。个。概率统计方法概率统计方法21个题,占个题,占47.7%,几乎平均每年几乎平均每年 至少有一个题目用到概率统计的方法。至少有一个题目用到概率统计的方法。插值与拟合方法有插值与拟合方法有8个;个;图论与网络优化方法有图论与网络优化方法有7个;个;综合评价方法至少有个;综合评价方法至少有个;微分方程方法至少有微分方程方法至少有5个;个;311、问题解决的数学方法、问题解决的数学方法四四、数学建模竞赛的赛题分析、数学建模竞赛的赛题分析时间序列方法至少有时间序列方法至少有5个个;灰色系统理论有
31、灰色系统理论有5个个;神经网络方法有神经网络方法有4个;个;机理分析方法和随机模拟都多次用到机理分析方法和随机模拟都多次用到;其他的方法都至少用到一次。其他的方法都至少用到一次。大部分题目都可以用两种以上的方法大部分题目都可以用两种以上的方法,即综合即综合 性较强的题目有性较强的题目有37个,占个,占85%以上。以上。321、问题解决的数学方法、问题解决的数学方法四四、数学建模竞赛的赛题分析、数学建模竞赛的赛题分析2、近几年竞赛题的特点、近几年竞赛题的特点33四四、数学建模竞赛的赛题分析、数学建模竞赛的赛题分析(1)综合性:综合性:一题多解,方法融合,结果一题多解,方法融合,结果 多样,学科交
32、叉。多样,学科交叉。(2)开放性:开放性:题意的开放性,思路的开放题意的开放性,思路的开放 性,方法的开放性,结果的开放性。性,方法的开放性,结果的开放性。(3)实用性:实用性:问题和数据来自于实际,解问题和数据来自于实际,解 决方法切合于实际,模型和结果可以应决方法切合于实际,模型和结果可以应用用 于实际。于实际。2、近几年竞赛题的特点、近几年竞赛题的特点(4)即时性:即时性:国内外的大事,社会的热点,国内外的大事,社会的热点,生活的焦点,近期发生和即将发生被关注生活的焦点,近期发生和即将发生被关注 的问题。的问题。(5)工程性:工程性:实际的工程背景、工程问题、实际的工程背景、工程问题、工
33、程数据、工程方法和工程应用结果。工程数据、工程方法和工程应用结果。(6)数据复杂性:数据复杂性:数据的真实性,数据的海数据的真实性,数据的海 量性,数据的不完备性,数据的冗余性。量性,数据的不完备性,数据的冗余性。四四、数学建模竞赛的赛题分析、数学建模竞赛的赛题分析34五.数学建模竞赛的实践过程数学建模竞赛的实践过程(1)问题的分析问题的分析数学建模的第一步:明确问数学建模的第一步:明确问题题;分析条件和数分析条件和数据据.通过对问题的分析,明确问题所给的信息:通过对问题的分析,明确问题所给的信息:建模的目的是什么?需要解决的问题是什么?建模的目的是什么?需要解决的问题是什么?解决问题的思路是
34、什么?解决问题的思路是什么?需要做些什么工作?需要做些什么工作?可以用什么知识和方法?可以用什么知识和方法?问题有什么特点、限制条件?问题有什么特点、限制条件?工作的重点、难点、要点是什么?工作的重点、难点、要点是什么?开展工作的程序是什么?如何分工、合作?开展工作的程序是什么?如何分工、合作?35从条件和数据可以得到什么信息?从条件和数据可以得到什么信息?数据的来源是否可靠?数据的来源是否可靠?所给条件和数据有什么意义和作用?所给条件和数据有什么意义和作用?哪些条件是本质的?哪些条件是本质的?哪些条件中可变动的?哪些条件中可变动的?是否需要适当补充一些条件和数据?是否需要适当补充一些条件和数
35、据?五.数学建模竞赛的实践过程数学建模竞赛的实践过程(1)问题的分析问题的分析36(2)模型的建立模型的建立37明确建模目的明确建模目的描述或解释现实世界的现象;描述或解释现实世界的现象;预测事件是否会发生,或未来如何发展?预测事件是否会发生,或未来如何发展?优化管理与决策问题;优化管理与决策问题;优化控制问题。优化控制问题。五五.数学建模竞赛的实践过程数学建模竞赛的实践过程五五.数学建模竞赛的实践过程数学建模竞赛的实践过程 明明 确确 建建 模模 目目 的的 1)描述或解释现)描述或解释现实世界的现象实世界的现象38方法方法:综合评价、数据处理与数据建模、插值与拟综合评价、数据处理与数据建模
36、、插值与拟 合、模糊数学、统计分析等。合、模糊数学、统计分析等。例如例如:2012A葡萄酒的评价葡萄酒的评价、2011A城市表层土壤重城市表层土壤重 金属污染分析金属污染分析、2010B上海世博会上海世博会、2008B高教收高教收 费费、2005A长江水质评价长江水质评价、2000ADNA序列分类等。序列分类等。2012C脑卒中发病环境因素分析脑卒中发病环境因素分析、2011C企业退休职企业退休职 工养老金工养老金、2010D对学生宿舍设计方案的评价、对学生宿舍设计方案的评价、2009D会议筹备会议筹备、2008D NBA赛程的分析与评价,赛程的分析与评价,2005C雨量预报方法雨量预报方法、
37、2004D公务员的招聘等。公务员的招聘等。五五.数学建模竞赛的实践过程数学建模竞赛的实践过程392)预测事件是否会发生,或未来如何发展?)预测事件是否会发生,或未来如何发展?方法方法:数据处理与数据建模数据处理与数据建模、插值与拟合、回归分插值与拟合、回归分 析、灰色预测、时间序列、神经网络等。析、灰色预测、时间序列、神经网络等。插值与拟合方法:小样本内部预测;插值与拟合方法:小样本内部预测;例如例如:2001A血管的三维重建、血管的三维重建、2003A SARS的传播、的传播、2005A长江水质的评价与预测、长江水质的评价与预测、2006B艾滋病疗法的艾滋病疗法的 评价与预测、评价与预测、2
38、010B上海世博会影响力的评价。上海世博会影响力的评价。2011C企业退休职工养老金制度的改革、企业退休职工养老金制度的改革、2005D雨量雨量 预报方法的评价等。预报方法的评价等。五五.数学建模竞赛的实践过程数学建模竞赛的实践过程402)预测事件是否会发生,或未来如何发展?)预测事件是否会发生,或未来如何发展?方法方法:数据处理与数据建模数据处理与数据建模、插值与拟合、回归分插值与拟合、回归分 析、灰色预测、时间序列、神经网络等。析、灰色预测、时间序列、神经网络等。回归分析方法:大样本的内部预测;回归分析方法:大样本的内部预测;例如例如:2004A奥运临时超市网点设计、奥运临时超市网点设计、
39、2004B电力市电力市 场的输电阻塞管理场的输电阻塞管理;2005A长江水质的评价与预测;长江水质的评价与预测;2008B:高教学费标准探讨高教学费标准探讨;2010B上海世博会影响力上海世博会影响力 的评价。的评价。2012C脑卒中发病环境因素分析、脑卒中发病环境因素分析、2011C企业退休职企业退休职 工养老金、工养老金、2005D雨量预报方法的评价等。雨量预报方法的评价等。五五.数学建模竞赛的实践过程数学建模竞赛的实践过程412)预测事件是否会发生,或未来如何发展?)预测事件是否会发生,或未来如何发展?方法方法:数据处理与数据建模数据处理与数据建模、插值与拟合、回归分插值与拟合、回归分
40、析、灰色预测、时间序列、神经网络等。析、灰色预测、时间序列、神经网络等。灰预测灰预测GM(1,n):小样本的未来预测;小样本的未来预测;例如例如:2003A SARS的传播问题、的传播问题、2005A长江水质的评长江水质的评 价与预测、价与预测、2008B高教学费标准探讨、高教学费标准探讨、2010B上海世上海世 博会影响力的评价。博会影响力的评价。时间序列方法:大样本的随机因素或周期特征的未时间序列方法:大样本的随机因素或周期特征的未 来预测;来预测;例如:例如:2005A长江水质的评价与预测、长江水质的评价与预测、2010B上海世上海世 博会影响力的评价。博会影响力的评价。五五.数学建模竞
41、赛的实践过程数学建模竞赛的实践过程423)优化管理与决策问题(本科组)优化管理与决策问题(本科组)建模方法建模方法:综合评价、线性规划、非线规划、整数规综合评价、线性规划、非线规划、整数规 划、目标规划、网络优化、随机优化、多目标决策、划、目标规划、网络优化、随机优化、多目标决策、随机决策、排队论等。随机决策、排队论等。例如例如:2013A车道被占用对城市道路通行能力的影车道被占用对城市道路通行能力的影 响、响、2012B太阳能小屋的设计太阳能小屋的设计、2011B交巡警平台的交巡警平台的 设置设置、2010A储油罐变位识与罐容表标定储油罐变位识与罐容表标定、2009B眼眼 科病床的安排科病床
42、的安排、2007B公交线路的选择公交线路的选择、2006B出版出版 社资源的配置社资源的配置、2005B DVD的租赁的租赁、2004A输电阻输电阻 塞管理塞管理、2004B奥运场馆超市设置奥运场馆超市设置、2003A露天矿生露天矿生 产车辆调度产车辆调度、2002彩票中的数学等。彩票中的数学等。3)优化管理与决策问题(专科组)优化管理与决策问题(专科组)模型方法模型方法:综合评价、线性规划、非线规划、整数规综合评价、线性规划、非线规划、整数规 划、目标规划、网络优化、随机优化、多目标决策、划、目标规划、网络优化、随机优化、多目标决策、随机决策等。随机决策等。例如例如:2012D机器人避障机器
43、人避障、2011D天然肠衣搭配、天然肠衣搭配、2010C输油管的布置输油管的布置、2008C地面搜索、地面搜索、2007C“手手 机套机套餐餐”优惠几何优惠几何、2006C易拉罐形状和尺寸的设易拉罐形状和尺寸的设计计、2005D DVD在线租赁等。在线租赁等。43五五.数学建模竞赛的实践过程数学建模竞赛的实践过程明确建模目的明确建模目的4)优化控制问题(本科组)优化控制问题(本科组)建模方法建模方法:综合评价、线性规划、非线规划、整数综合评价、线性规划、非线规划、整数规规 划、目标规划、网络优化、随机优化、线性与非划、目标规划、网络优化、随机优化、线性与非线性线性 方程、微分方程、系统动力学、
44、基于机理分析方程、微分方程、系统动力学、基于机理分析的一般的一般 模型等。模型等。例如例如:2011A城市表层土壤重金属污染城市表层土壤重金属污染、2009A制动制动 器试验台的控制器试验台的控制、2008A数码相机精确定位数码相机精确定位、2007A 中国人口发展的预测中国人口发展的预测、2005A长江水质的评价预测与长江水质的评价预测与 控制等。控制等。44五五.数学建模竞赛的实践过程数学建模竞赛的实践过程明确建模目的明确建模目的4)优化控制问题(专科组)优化控制问题(专科组)模型方法模型方法:综合评价、线性规划、非线规划、整数综合评价、线性规划、非线规划、整数规规 划、目标规划、网络优化
45、、随机优化、线性与非划、目标规划、网络优化、随机优化、线性与非线性线性 方程、微分方程、系统动力学、基于机理分析方程、微分方程、系统动力学、基于机理分析的一般的一般 模型等。模型等。例如例如:2012D机器人避障机器人避障、2009C卫星和飞船的跟踪卫星和飞船的跟踪 测控测控、2006D煤矿瓦斯和煤尘的监测与控制煤矿瓦斯和煤尘的监测与控制、2004C 酒后驾车等。酒后驾车等。45五五.数学建模竞赛的实践过程数学建模竞赛的实践过程(2)模型的建立模型的建立五五.数学建模竞赛的实践过程数学建模竞赛的实践过程给给 出出 合合 理理 假假 设设:1)关于是否)关于是否包含某些因素的假设;包含某些因素的
46、假设;2)关关 于于 条条 件件 相相 对对 强强 弱弱 的的 假假 设设;3)关于各)关于各因素影响相对大小的假设;因素影响相对大小的假设;4)关于)关于模型适用范围的假设。模型适用范围的假设。模型的具体实模型的具体实现现:针对具体问题,利用各种可能适用的方法建针对具体问题,利用各种可能适用的方法建立立 模型,力模型,力求求简单、适用、准确、完善、清楚、简单、适用、准确、完善、清楚、自自 圆圆。请说明你的假设请说明你的假设 合理吗?必要合理吗?必要 吗?吗?46题型题型:属于生物医学的管理问题,包括过去治疗方属于生物医学的管理问题,包括过去治疗方 法的评价与未来治疗效果的预测问题。法的评价与
47、未来治疗效果的预测问题。特点特点:大数据量、数据的残缺、数据结构较复杂综大数据量、数据的残缺、数据结构较复杂综 合性强、实用性和开放性也较强。合性强、实用性和开放性也较强。可用方法可用方法:主题方法统计回归拟合,其他方法包括主题方法统计回归拟合,其他方法包括 线性插值、二次插值、二次和三次曲线拟合方法,线性插值、二次插值、二次和三次曲线拟合方法,结结 合优化模型实现。有的用灰色预测、时间序列、合优化模型实现。有的用灰色预测、时间序列、模糊模糊 评价、神经网络等预测方法。评价、神经网络等预测方法。适用方法是什么?适用方法是什么?472006:艾滋病疗法的评价及预测问题艾滋病疗法的评价及预测问题五
48、五.数学建模竞赛的实践过程数学建模竞赛的实践过程2005A:长江水质的评价与预测问题长江水质的评价与预测问题48题型题型:属于社会事业和管理问题,主要包括长江属于社会事业和管理问题,主要包括长江 水质现状的评价、未来污染的发展趋势与控制措水质现状的评价、未来污染的发展趋势与控制措施施 等的问题。等的问题。特点特点:数据量大、数据冗余、结构复杂数据量大、数据冗余、结构复杂,综综合合 性、实用性和开放性强。性、实用性和开放性强。可用方法可用方法:数据的处理、综合评价、微分方程、数据的处理、综合评价、微分方程、回归拟合、灰色预测、时间序列和神经网络等都回归拟合、灰色预测、时间序列和神经网络等都能能
49、用。用。问题问题:怎么用才合适?怎么用才合适?五五.数学建模竞赛的实践过程数学建模竞赛的实践过程(3)模型的求解模型的求解五五.数学建模竞赛的实践过程数学建模竞赛的实践过程尽量利用自己熟悉知识和方法;尽量利用自己熟悉知识和方法;用解析方法,或数值方法,针对问题学习用解析方法,或数值方法,针对问题学习 一些新知识和算法;一些新知识和算法;使用工具软件要说明应用的原理或算法和使用工具软件要说明应用的原理或算法和 程序(程序(如如SPSS等,黑箱变白箱);等,黑箱变白箱);注意问题的针对性和适用注意问题的针对性和适用性性。49(4)模型解的分析和检验模型解的分析和检验误差分误差分析析:建模假设产生的
50、误差;建模假设产生的误差;近似求解方法产生的误差;近似求解方法产生的误差;计算机产生的舍入误差;计算机产生的舍入误差;测量或实验数据产生的误差等。测量或实验数据产生的误差等。模型结果分模型结果分析析:分析求解结果是否满足实际问题的需求,能分析求解结果是否满足实际问题的需求,能否否 完全反映实际问题?完全反映实际问题?如有问题,分析其原因是什么?假设、模型,如有问题,分析其原因是什么?假设、模型,还是求解方法?还是求解方法?50五五.数学建模竞赛的实践过程数学建模竞赛的实践过程(4)模型解的分析和检验模型解的分析和检验灵敏度分灵敏度分析析:某些参数的扰动对模型和结果产生什么样的影响?某些参数的扰