seminar假设检验与方差分析课件.pptx

1、 在开讲之前，我们有必要了解统计学上的一些基在开讲之前，我们有必要了解统计学上的一些基础知识。础知识。总体，样本，统计量，试验，奇异点总体，样本，统计量，试验，奇异点误差：试验指标的试验数据与理论期望值之间的差异。误差：试验指标的试验数据与理论期望值之间的差异。随机误差的统计规律：随机误差的统计规律：对称性：绝对值相等的正负误差出现的机会相等。对称性：绝对值相等的正负误差出现的机会相等。有界性：一定的测度条件下，绝对值不会超过一定范围有界性：一定的测度条件下，绝对值不会超过一定范围。抵偿性：测量次数增加，通过平均可减小误差。抵偿性：测量次数增加，通过平均可减小误差。单峰性：绝对值小的误差出现的

2、机会多单峰性：绝对值小的误差出现的机会多(概率密度大概率密度大)。准备工作准备工作中心趋势统计量中心趋势统计量中心趋势中心趋势是指一组试验数据的中心位置中心趋势是把握是指一组试验数据的中心位置中心趋势是把握随机变量取值规律的重要方面，对具有对称分布的随机随机变量取值规律的重要方面，对具有对称分布的随机变量尤为重要。变量尤为重要。中心趋势统计量中心趋势统计量是刻画一组试验数据中是刻画一组试验数据中心位置的量，它携带了有关试验指标期望值的信息，是心位置的量，它携带了有关试验指标期望值的信息，是由试验数据进行总体均值统计推断的基本统计量。由试验数据进行总体均值统计推断的基本统计量。常见的中心趋势统计

3、量有：常见的中心趋势统计量有：算术平均数算术平均数、几何平均数、几何平均数、调和平均数、调和平均数、中位数中位数等。等。散布统计量散布统计量散布：指一组试验数据聚集状态。散布是把握随机变量散布：指一组试验数据聚集状态。散布是把握随机变量取值规律的重要方面，它反映随机变量的随机性强弱。取值规律的重要方面，它反映随机变量的随机性强弱。准备工作准备工作散布统计量散布统计量：刻画一组试验数据分散还是紧凑的量。它：刻画一组试验数据分散还是紧凑的量。它携带了试验数据中，有关试验指标所有可能取值的聚集携带了试验数据中，有关试验指标所有可能取值的聚集程度信息，是由试验数据进行变异分析的基本统计量。程度信息，是

4、由试验数据进行变异分析的基本统计量。常见的散布统计量有：样本方差、离均差平方和、标准常见的散布统计量有：样本方差、离均差平方和、标准差、极差、变异系数等。差、极差、变异系数等。准备工作准备工作统计模型基本假设检验统计模型基本假设检验任何统计模型都有一定的假设。应用统计模型分析数任何统计模型都有一定的假设。应用统计模型分析数据首先要对数据是否满足模型的基本假设进行验证。据首先要对数据是否满足模型的基本假设进行验证。在统计模型的假设中，在统计模型的假设中，正态性正态性和和方差齐性方差齐性是最基础的是最基础的。提出问题：提出问题：为什么要对试验数据进行正态性检验？为什么要对试验数据进行正态性检验？正

5、态分布正态分布法国数学家拉普拉斯和德国数学家高斯法国数学家拉普拉斯和德国数学家高斯等研究出来的理论分布，又称为高斯分布。等研究出来的理论分布，又称为高斯分布。实际生活中的许多随机变数都服从或近似服从正态分实际生活中的许多随机变数都服从或近似服从正态分布，如，在正常情况下，农作物株高、单位面积产量布，如，在正常情况下，农作物株高、单位面积产量、测量中的测量误差、商场中的日营业额等，它们的、测量中的测量误差、商场中的日营业额等，它们的共同特点就是数据大部分集中在平均数附近，并且在共同特点就是数据大部分集中在平均数附近，并且在统计模型基本假设检验统计模型基本假设检验平均数的两侧成对称分布。平均数的两

6、侧成对称分布。后来数学和统计学家们在正态分布基础上，提出了假后来数学和统计学家们在正态分布基础上，提出了假设检验和方差分析，因此，我们在对试验数据进行假设检验和方差分析，因此，我们在对试验数据进行假设检验和方差分析之前，需要验证数据的正态性。设检验和方差分析之前，需要验证数据的正态性。正态性检验一、图方法一、图方法Histogram of xxDensity-3-11230.00.10.20.30.4-4-2024-4-2024Normal Q-Q PlotTheoretical QuantilesSample Quantiles2. QQ plot1. 直方图直方图正态性检验代码如下：代码如

7、下：par(mfrow=c(1,2)x - rnorm(1000)hist(x,freq=F,col=yellow)curve(dnorm(x),add=T,col=red)qqnorm(x,xlim=c(-4,4),ylim=c(-4,4),col=blue)qqline(x,col=red)二、统计检验法二、统计检验法u KSKS检验（检验（Kolmogorov-Smirnov testingKolmogorov-Smirnov testing）用于检验一组用于检验一组数据是否来自于一个指定概率分布的总体，数据是否来自于一个指定概率分布的总体，适用于大样本容量的数据。适用于大样本容量的数据

8、。u SWSW检验（检验（Shapiro-Shapiro-WilkWilk testing testing）用于检验一组数据是否来用于检验一组数据是否来自于一个正态分布总体，适用于小样本容量的数据。自于一个正态分布总体，适用于小样本容量的数据。正态性检验#代码如下#par(mfrow=c(1,2)x shapiro.test(x) Shapiro-Wilk normality testdata: x W = 0.9941, p-value = 0.9434 ks.test(x,pnorm,5,2) One-sample Kolmogorov-Smirnov testdata: x D = 0.

9、0541, p-value = 0.932alternative hypothesis: two-sided 正态性检验原假设(H0)又称为无效假设或零假设；备则假设(H1)。KS检验，H0：样本抽自分布F(x)；H1：样本不抽自分布F(x)。SW检验，H0：样本服从正态分布；H1：样本不服从正态分布。关于P-value：P-value表示对H0假设的支持程度，假如定义显著水平=0.05，那么if(p-value 0.05)接受H0；方差齐性检验概念：多个总体的方差相等称为这些总体方差齐性。常用的方差齐性检验方法常用的方差齐性检验方法两组及两组以上数据的方差齐性检验可以使用以下几个函数两组及两

10、组以上数据的方差齐性检验可以使用以下几个函数# group - as.factor(c(rep(1,length(x),rep(2,length(y) # 水平var.test(c(x,y),group)# 用于检验两个两个总体方差是否相等# var.test(x,y)bartlett.test(c(x,y)group)# 用于多个正态总体方差齐性检验fligner.test(c(x,y)group)leveneTest(c(x,y),group)# 用于多个总体方差齐性检验，不要求数据满足正态性，是一种稳健的检验方法方差齐性检验# R下运行以下代码下运行以下代码 # leveneTest()

11、位于car包，因此需要先安装car包 # install.packages(“car”) #x - rnorm(100,2,3)y - rnorm(100,3,2)group x y group var.test(c(x,y)group) F test to compare two variancesdata: c(x, y) by group F = 2.689, num df = 99, denom df = 99, p-value = 1.479e-06alternative hypothesis: true ratio of variances is not equal to 1 95

12、 percent confidence interval: 1.809283 3.996509 sample estimates:ratio of variances 2.689018 # var.test(x,y)方差齐性检验 leveneTest(c(x,y)group)Levenes Test for Homogeneity of Variance (center = median) Df F value Pr(F) group 1 18.399 2.8e-05 * 198 -Signif. codes: 0 * 0.001 * 0.01 * 0.05 . 0.1 1 # leveneT

13、est(c(x,y),group) bartlett.test(c(x,y)group) Bartlett test of homogeneity of variancesdata: c(x, y) by group Bartletts K-squared = 23.1727, df = 1, p-value = 1.481e-06 # bartlett.test(c(x,y),group)方差齐性检验 fligner.test(c(x,y)group) Fligner-Killeen test of homogeneity of variancesdata: c(x, y) by group

14、 Fligner-Killeen:med chi-squared = 15.7243, df = 1, p-value =7.328e-05# fligner.test(c(x,y),group) plot(c(x,y)group,col=c(red,yellow) ,par(bty=l)12-4-202468groupc(x, y)方差分析方差分析的基本思想：方差分析的基本思想：将所有试验指标值的总变异总变异按照其形成来源分解为各控制因素形成条件变差条件变差和无法控制因素或未加控制因素形成的随机误差随机误差，然后将各因素形成的条件变差与随机误差进行比较比较，评价由某种因素某种因素所引起的变异

15、是否具有统计学意义统计学意义。总变异总变异 = = 条件变异条件变异 + + 随机误差随机误差SSSST T = SS = SSA A + + SSSSe e方差分析的基本假定方差分析的基本假定1.可加性：即处理效应与环境效应是可加的可加性：即处理效应与环境效应是可加的2.正态性：试验误差应该是随机的、彼此独立的，正态性：试验误差应该是随机的、彼此独立的，均值为均值为0且服从正态分布且服从正态分布3.同质性：所有试验处理必须具有共同的误差方差同质性：所有试验处理必须具有共同的误差方差方差分析因素A试验指标值总和平均均方A1x x1111x x1212x x1j1jx x1r1rT T1 1A2

16、x x2121x x2222x x2j2jx x2r2rT T2 2： ： ：Aix xi1i1x xi2i2x xijijx xirirT Ti i：Akx xk1k1x xk2k2x xkjkjx xkrkrT Tk kT T=x xijij数据结构数据结构方差分析数学模型数学模型把数据Xij分解，为指标基础值(总体平均数)，i为第i个水平的作用，ij为第i个水平第j次试验误差。u固定效应模型 将i看成常数，对其方差分析的目的是要判定因素各水平对试验指标的影响是否显著。., 2 , 1;, 2 , 1rjkiaXijiij0:;, 2 , 1, 0:10iiHkiH至少存在一个方差分析.)

17、1(, 1(;)1(, 1(00HrkkFFHrkkFFAA，接受如果试验数据使，拒绝如果试验数据使u随机效应模型 将i看成随机变量，对其方差分析的目的是研究i的变异潜力。0:; 0:2120AAHH方差分析.)1(, 1(;)1(, 1(00HrkkFFHrkkFFAA，接受如果试验数据使，拒绝如果试验数据使例例 以A,B,C,D4种药剂处理水稻种子，其中A为对照，每处理各得4个苗高观察值(cm)，试由此试验数据判定药剂处理对水稻苗高有无影响。药剂药剂苗高观察值苗高观察值总和总和T Ti i平均数平均数 A182120137218B202426229223C101517145614D2827

18、293211629T=336=21方差分析# 代码段#a - c(18,21,20,13)b - c(20,24,26,22)c - c(10,15,17,14)d - c(28,27,29,32)m - c(a,b,c,d)group - as.factor(c(rep(A,length(a),rep(B,length(b),rep(C,length(c),rep(D,length(d)# aov F) group 3 504 168.000 20.571 5.063e-05 *Residuals 12 98 8.167 -Signif. codes: 0 * 0.001 * 0.01 *

19、0.05 . 0.1 1 P 0.05, 即拒绝H0，接受H1：不同处理对种子有影响。方差分析配伍组设计资料的方差分析配伍组设计资料的方差分析资料如下（资料如下（具有两类分类因子具有两类分类因子）groupgroupA AB BC CD D1 1 5.27 5.27 5.27 5.27 4.94 4.94 4.61 4.61 2 2 5.27 5.27 5.22 5.22 4.88 4.88 4.66 4.66 3 3 5.88 5.88 5.83 5.83 5.38 5.38 5.00 5.00 4 4 5.44 5.44 5.38 5.38 5.27 5.27 5.00 5.00 5 5

20、5.66 5.66 5.44 5.44 5.38 5.38 4.88 4.88 6 6 6.22 6.22 6.22 6.22 5.61 5.61 5.22 5.22 7 7 5.83 5.83 5.72 5.72 5.38 5.38 4.88 4.88 8 8 5.27 5.27 5.11 5.11 5.00 5.00 4.44 4.44 方差分析# 代码段#x-scan()5.27 5.27 4.94 4.61 5.27 5.22 4.88 4.66 5.88 5.83 5.38 5.00 5.44 5.38 5.27 5.00 5.66 5.44 5.38 4.88 6.22 6.22

21、5.61 5.22 5.83 5.72 5.38 4.88 5.27 5.11 5.00 4.44 #(这些数据以空格分隔，输入完毕后回车)g1 - gl(4,1,32,labels = c(“A”,”B”,”C”,”D”) )g2 F) g1 3 2.90437 0.96812 77.310 1.632e-11 *g2 7 2.49800 0.35686 28.497 2.379e-09 *Residuals 21 0.26298 0.01252 -Signif. codes: 0 * 0.001 * 0.01 * 0.05 . 0.1 1 多重比较方差分析结果不拒绝H0，表示拒绝总体均数相

22、等的证据不足， 分析终止。 拒绝H0，接受H1, 表示总体均数不全相等哪两两均数之间相等？哪两两均数之间不等？ 需要进一步作多重比较。多重比较。常用的多重比较方法常用的多重比较方法( (以下三个函数都在以下三个函数都在agricolae包里包里) )LSDLSD法法( (最小显著差数法最小显著差数法) )LSD.test()LSD.test()SNKSNK法法(q(q测验法测验法) )SNK.test()SNK.test()HSDHSD法法(Turkey(Turkey显著差数法显著差数法) ) HSD.test()HSD.test()BonferroniBonferroni校正校正多重比较#

23、LSD多重比较代码段#Install.packages(“agricolae”) # 安装包，用LSD.test()library(agricolae)a - c(18,21,20,13)b - c(20,24,26,22)c - c(10,15,17,14)d - c(28,27,29,32)m - c(a,b,c,d)group - as.factor(c(rep(A,length(a),rep(B,length(b),rep(C,length(c),rep(D,length(d)model modelCall: aov(formula = m group)Terms: group Res

24、idualsSum of Squares 504 98Deg. of Freedom 3 12Residual standard error: 2.857738 Estimated effects may be unbalanced多重比较# LSD多重比较结果#Study:LSD t Test for m Mean Square Error: 8.166667 group, means and individual ( 95 %) CI m std.err replication LCL UCLA 18 1.779513 4 14.12277 21.87723B 23 1.290994 4

25、20.18716 25.81284C 14 1.471960 4 10.79287 17.20713D 29 1.080123 4 26.64661 31.35339alpha: 0.05 ; Df Error: 12Critical Value of t: 2.178813 Least Significant Difference 4.402784Means with the same letter are not significantly different.Groups, Treatments and meansa D 29 b B 23 c A 18 c C 14 多重比较# HSD

26、多重比较代码段#HSD.test(model,group)# The End # modelCall: aov(formula = m group)Terms: group ResidualsSum of Squares 504 98Deg. of Freedom 3 12Residual standard error: 2.857738 Estimated effects may be unbalanceda - c(18,21,20,13)b - c(20,24,26,22)c - c(10,15,17,14)d - c(28,27,29,32)m - c(a,b,c,d)group -

27、as.factor(c(rep(A,length(a),rep(B,length(b),rep(C,length(c),rep(D,length(d)model modelCall: aov(formula = m group)Terms: group ResidualsSum of Squares 504 98Deg. of Freedom 3 12Residual standard error: 2.857738 Estimated effects may be unbalanceda - c(18,21,20,13)b - c(20,24,26,22)c - c(10,15,17,14)

28、d - c(28,27,29,32)m - c(a,b,c,d)group - as.factor(c(rep(A,length(a),rep(B,length(b),rep(C,length(c),rep(D,length(d)model - aov(mgroup)多重比较# SNK多重比较结果#Study:Student Newman Keuls Testfor m Mean Square Error: 8.166667 group, means m std.err replicationA 18 1.779513 4B 23 1.290994 4C 14 1.471960 4D 29 1

29、.080123 4alpha: 0.05 ; Df Error: 12 Critical Range 2 3 4 4.402784 5.391021 5.999336 Means with the same letter are not significantly different.Groups, Treatments and meansa D 29 b B 23 c A 18 c C 14 多重比较讨论：讨论： 上面提到的三种多重比较方法中，上面提到的三种多重比较方法中，LSD法要求最低，法要求最低，HSD法要求次之，法要求次之，SNK法要求最高法要求最高。 故对试验结论事关重大或有严格要

30、求时，用故对试验结论事关重大或有严格要求时，用SNK法，一法，一般试验用般试验用HSD法，原创研究用法，原创研究用LSD法。法。当比较次数不多时，当比较次数不多时，Bonferroni法效果较好，但比较次数较法效果较好，但比较次数较多时多时(多于多于10次次)，则由于其检验水准选择得过低，结论过于，则由于其检验水准选择得过低，结论过于保守。保守。 除了上面提到的方法外，还有除了上面提到的方法外，还有Duncans new multiple range test(duncan.test)、Waller-Duncan k-ratio t test(waller.test)等等，它们都位于，它们都位于agricolae包内，且使用方法类似。包内，且使用方法类似。写在后面的话 经过几天的努力，终于写完该讲稿。在写稿过程中，发现自己在假设检验和方差分析块有太多的空白，也得到了群内好友的帮助和支持，在此表示感谢。 遗憾的是，还有许多比较检验方法都未列入本讲稿，需要看的同学请访问我的博客查阅(转别人的)。 由于时间仓促，加上本人能力有限，不足之处，欢迎各位批评指正。再次感谢各位的支持！感谢R的世界给我提供这个学习的机会！假设检验与方差分析假设检验与方差分析