1、 问题问题1：某个农科所要研究某农作物产量，考虑某个农科所要研究某农作物产量，考虑了四个因素：品种、密度、肥料、土壤；为方便了四个因素：品种、密度、肥料、土壤；为方便分析，每个因素设定了三个不同的类别分析，每个因素设定了三个不同的类别(或水平或水平)试回答：试回答：(1)全面完成这项工作需要安排几次试验？全面完成这项工作需要安排几次试验？(2)如何安排试验能够节省成本又不影响效果？如何安排试验能够节省成本又不影响效果？方法篇：方差分析与正交试验设计(第六章）问题问题2：某个教师某个教师的授课班中有四个的授课班中有四个专业，某次测试的专业，某次测试的抽样成绩如右表，抽样成绩如右表，问：问：(1)
2、四个专业的学生学习效果是否无异？四个专业的学生学习效果是否无异？(2)若老师有多个，那老师、专业分别有差异否？若老师有多个，那老师、专业分别有差异否？方法篇：方差分析与正交试验设计(第六章）第六章第六章 方差分析与正交试验设计方差分析与正交试验设计 概述概述 方差分析方差分析 6.1 单因素方差分析单因素方差分析 6.2 双因素方差分析双因素方差分析 分析前提分析前提 6.3 方差齐性与均值差异的检验方差齐性与均值差异的检验 正交试验正交试验 6.4 正交试验设计正交试验设计方法篇：方差分析与正交试验设计(第六章）概述概述方差分析与正交试验源自农业生产，由方差分析与正交试验源自农业生产，由R.
3、A.Fisher于上于上世纪世纪20年代创立，目前已得到充分的推广和应用。年代创立，目前已得到充分的推广和应用。方差分析的前提基于正态分布和同方差假定，研究的方差分析的前提基于正态分布和同方差假定，研究的是因素是因素(自变量自变量)与试验指标与试验指标(因变量因变量)之间的关系，确定哪之间的关系，确定哪些因素对试验指标有显著的影响。些因素对试验指标有显著的影响。正交试验通过巧妙地安排试验方案和次数，在降低成正交试验通过巧妙地安排试验方案和次数，在降低成本的同时确定较优本的同时确定较优(最优最优)的试验方案。的试验方案。方法篇：方差分析与正交试验设计(第六章）概述概述依据影响试验指标的依据影响试
4、验指标的因素的个数因素的个数，将方差分析区分为，将方差分析区分为单因素、双因素和多因素。通常用大写字母表示因素，单因素、双因素和多因素。通常用大写字母表示因素，如如A,B,C,，而用，而用X表示实验指标。表示实验指标。每个因素根据需要划分成不同的状态或等级或层次，每个因素根据需要划分成不同的状态或等级或层次，称为称为水平水平，分别记为，分别记为A1,A2,Ar。方法篇：方差分析与正交试验设计(第六章）概述概述试验结果的不同可能是由不同因素的不同水平造成的试验结果的不同可能是由不同因素的不同水平造成的(因素效应因素效应)，也可能是由系统性误差，也可能是由系统性误差(试验误差试验误差)，方差分，方
5、差分析的主要任务就是分离因素效应和试验误差，确定各因析的主要任务就是分离因素效应和试验误差，确定各因素的主次顺序和影响程度。素的主次顺序和影响程度。实际操作中，不同水平下所作试验的次数不尽相同，实际操作中，不同水平下所作试验的次数不尽相同，若相同则称为若相同则称为等重复试验等重复试验，否则为，否则为不等重复试验不等重复试验。方法篇：方差分析与正交试验设计(第六章）6.1 单因素方差分析单因素方差分析例例6.1.1 肥料种类优选试验。某农科所为比较三种不同肥料对水稻产量的影响，进行如下试验：选一块肥沃程度较均匀的土地，将其分割成9块，为减少肥沃程度影响，按照表6.1.3所示安排试验。推断肥料种类
6、对水稻产量具有显著的影响？(取显著性水平)方法篇：方差分析与正交试验设计(第六章）6.1 单因素方差分析单因素方差分析基本假设：1.每个水平下的试验指标看作一个总体，且服从正态分布，试验结果看成总体的一个抽样，且各水平试验相互独立。2.每个水平对应总体的方差相等(方差齐性)则上述问题变成检验各总体的均值是否相等，即方法篇：方差分析与正交试验设计(第六章）222(,)1,2,=，jjjjXNjr012112:,:,rrHH 不全相等6.1 单因素方差分析单因素方差分析显然，若拒绝Ho，则说明不同水平的效应效应之间存在显著差异。方法篇：方差分析与正交试验设计(第六章）012112:,:,rrHH
7、不全相等2,(0,)ijjijijXN11,令rjjjjjnan2+,(0,)1,2,;1,2,，ijjijijjXaNinjr012112:=0,:,0不全为rrHaaaHa aa6.1 单因素方差分析单因素方差分析如何从数据中分离出因素效应和误差效应是执行检验的关键，该技术依赖于正态前提下的总离差平方和分解及自由度分解理论。平方和分解：交互项为0 SA和SE相互独立，且方法篇：方差分析与正交试验设计(第六章）111111令jjnnrrijjijjjjiijxxxxnnnn221111221111()()()()jjjjnnrrTijijjjjijinnrrjijjAEjijiSxxxxxx
8、xxxxSS222222(1)(1)()ATESSSrnnr参考：孙荣恒.应用数理统计M.科学出版社,2003,P18-216.1 单因素方差分析单因素方差分析 SA和SE相互独立，且则可构造检验统计量若Ho成立，则各水平无差异，则组间的偏差很小，偏差主要为组内偏差，即F值应很小。显然若F值越大说明因素的效应越明显，即偏差是由因素的水平不同造成的，从而拒绝原假设Ho。方法篇：方差分析与正交试验设计(第六章）222222(1)(1)()ATESSSrnnr/1(1,)/AESrFF rnrSnr6.1 单因素方差分析单因素方差分析#H0成立时的卡方分布模拟，成立时的卡方分布模拟，N(10,1)为
9、原分布，水平为原分布，水平=5，试验次数均等为，试验次数均等为100getchisq=function(n=500,ni=100,r=5,mu=10,xigma=1)SE=numeric(n);SA=numeric(n);mat=matrix(0,ni,r)for(i in 1:n)for(j in 1:r)mat,j=rnorm(ni,mu,xigma)mx=apply(mat,2,mean);ax=mean(mat);md=apply(mat,2,var)*(ni-1)SEi=sum(md);SAi=sum(mx-ax)2*(ni-1)ST=SE+SA p1=ks.test(ST,pchi
10、sq,n-1)$p.value;p2=ks.test(SA,pchisq,r-1)$p.value;p3=ks.test(SE,pchisq,n-r)$p.value return(c(p1,p2,p3)allok=function(x,level=0.1)return(sum(xlevel)a=rep(500,100);b=sapply(a,getchisq)sum(apply(t(b),1,allok)=3)/100方法篇：方差分析与正交试验设计(第六章）6.1 单因素方差分析单因素方差分析在在R中可通过中可通过aov函数函数实现方差分析实现方差分析.针对例题数据，R程序如下：aov(fo
11、rmula,data=NULL,projections=FALSE,qr=TRUE,contrasts=NULL,.)dat1=data.frame(x=c(94,91,75,62,68,50,78,65,80),A=factor(rep(1:3,each=3)aov.out1=aov(xA,data=dat1)#可以查阅 names(aov.dat)summary(aov.out1)方法篇：方差分析与正交试验设计(第六章）6.1 单因素方差分析单因素方差分析aov1.table=function(aov.out,alpha=0.05)a=summary(aov.out)#得到方差分析结果 b
12、=a1;cols=ncol(b);#去掉列表中的数据框 addrow=c(sum(b,1),sum(b,2),sum(b,2)/sum(b,1),qf(1-alpha,b1,1,b2,1),alpha)a1 Total,=addrow#增补行(自由度,总和,均方和,F分位点,显著性水平)return(a1,c(2,1,3:cols)#返回方差分析结果,前两列交换了#下面一句通过因子确定数据归属aov.out1=aov(xA,data=dat1)#得到方差分析对象aov1.table(aov.out1)方法篇：方差分析与正交试验设计(第六章）6.2 双因素方差分析双因素方差分析因素因素A有有r个
13、水平个水平,因素因素B有有s个水平，每个交互项个水平，每个交互项AiBj看作一个总看作一个总体，分别作体，分别作m次试验，得到结果如下：次试验，得到结果如下：方法篇：方差分析与正交试验设计(第六章）6.2 双因素方差分析双因素方差分析方法篇：方差分析与正交试验设计(第六章）2,(0,)=（无交互）（有交互）kijijkijkijijkijijijkijXNaa1111111,令rssrijiijjijiijjijjiarssr1100，rsiiijaijijijaAiBj总效应减去Ai效应和Bj效应得到AiBj的交互效应。110,0rsijijij.=+()()()ijijijij6.2 双因
14、素方差分析双因素方差分析方法篇：方差分析与正交试验设计(第六章）221111112222111111111111()()()()()()()()()(其他交互rsmrsmTkijijijijkijijijkijkrsmrsmrsmrsmijijijkijijijkijkijkijkSxxxxxxxxxxxxxxxxxxxxxx222211111110)()()()()1,1,(1)(1),(1)乘积的和项均为自由度rsrsrsmijijijkijijijijijkABA BEsmxxrmxxmxxxxxxSSSSrsrsrs m6.2 双因素方差分析双因素方差分析方法篇：方差分析与正交试验设计
15、(第六章）221111222111111222111()()()()()()()(0)()()()因三个交互乘积的和项均为rsrsTijijijijijijrsrsrsijijijijijijrssijijijijijSxxxxxxxxxxxxxxxxxxsxxrxxxxxx11,1,(1)(1)rABESSSrsrs课堂练习：课堂练习：数据数据1：数据数据2：方法篇：方差分析与正交试验设计(第六章）P(F(3,6)9.7795)=0.01,P(F(2,6)10.9247)=0.01)你的结论：P(F(2,12)6.926)=0.01,P(F(6,12)2.33)=0.1)你的结论：dat1=
16、c(12,13,13,14,12,15,14,15,13,15,16,16)A=gl(3,4,12)B=gl(4,1,12)summary(aov(dat1A+B)dat2=c(12,13,13,14,13,14,14,14,12,14,15,14,14,16,15,16,13,15,15,16,16,17,16,15)A=gl(3,8,24)B=gl(4,2,24)summary(aov(dat2A+B+A:B)方法篇：方差分析与正交试验设计(第六章）6.3 方差齐性检验方差齐性检验方差齐性检验就是检验数据在不同因素(不同水平)下的方差是否相同，其中最常用的方法是Bartlett检验。该方法
17、对分布的非正态性比较敏感，只要总体方差有显著差别或者总体分布的偏斜程度有所不同，Bartlett检验的结果都可能显著。方法篇：方差分析与正交试验设计(第六章）222012:()为总体个数mHm2211(),1,2,1inijiiijSxximn2211(1)miiiSnSnm6.3 方差齐性检验方差齐性检验方法篇：方差分析与正交试验设计(第六章）2211(),1,2,1inijiiijSxximn2211(1)miiiSnSnm111113(1)(1)miicmnnm 22211()ln(1)lnmiiinmSnSc2(1)近似服从m在R中，可以使用函数bartlett.test实现方差齐性检
18、验，其定义如下：bartlett.test(x,g,subset,.)bartlett.test(formula,data,.)显然统计量值越大越应该拒绝6.3 方差齐性检验方差齐性检验经以下代码模拟，发现这个近似分布还比较靠谱。n=300;m=6;k=100;c=1+(m/(n/m-1)-1/(n-m)/(3*(m-1)chi=numeric(k)for(i in 1:k)mat=matrix(rnorm(n),nrow=n/m);s2=apply(mat,2,var)ni=rep(n/m,m)c2=sum(ni-1)*log(s2);c1=(n-m)*log(sum(ni-1)*s2)/(
19、n-m)chii=(c1-c2)/cks.test(chi,pchisq,m-1)方法篇：方差分析与正交试验设计(第六章）6.4 正交试验设计正交试验设计（orthogonal design）简称正交设计（orthoplan），它研究的是如何利用正交表正交表(orthogonal table)工具来安排试验，用尽可能少的试验次数获得尽可能多的典型数据，然后进行特定的统计分析，最终得出最优或较优最优或较优的试验条件或方案主要内容：1.正交表2.试验安排方法篇：方差分析与正交试验设计(第六章）6.4.1 正交表正交表方法篇：方差分析与正交试验设计(第六章）正交表是一种特殊的二维表格,通常表示成49
20、(3)L()mnL r6.4.1 正交表正交表方法篇：方差分析与正交试验设计(第六章）6.4.2 正交试验基本步骤正交试验基本步骤方法篇：方差分析与正交试验设计(第六章）6.4.2 正交试验例子分析正交试验例子分析每个因素有三个水平应选取正交表_(温度，时间，纸浆溶度)方法篇：方差分析与正交试验设计(第六章）6.4.2 正交试验例子分析正交试验例子分析直观分析直观分析方法篇：方差分析与正交试验设计(第六章）6.4.2 正交试验例子分析正交试验例子分析极差分析极差分析方法篇：方差分析与正交试验设计(第六章）6.4.2 正交试验例子分析正交试验例子分析方差分析方差分析方法篇：方差分析与正交试验设计
21、(第六章）11niiyyn1niiTy21()nTiiSyy222111()(1,2,)rrijjijiiKTStyKjmttn1mTjjSSt上述 表各水平重复的次数1mETjjSSS6.4.2 正交试验例子分析正交试验例子分析方差分析方差分析方法篇：方差分析与正交试验设计(第六章）6.4.2 正交试验例子分析正交试验例子分析R过程过程方法篇：方差分析与正交试验设计(第六章）6.4.2 正交试验例子分析正交试验例子分析R过程过程方法篇：方差分析与正交试验设计(第六章）主要用来查询正交表1.show.oas(show=20)显示前20个正交表2.show.oas(nlevels=c(2,3)显
22、示水平含为2,3的正交表3.show.oas(factors=list(nlevels=c(2,3),number=c(1,3)显示支持 1个2水平，3个3水平的正交表4.show.oas(nruns=c(4,20)显示试验次数介于4到20的正交表6.4.2 正交试验例子分析正交试验例子分析R过程过程方法篇：方差分析与正交试验设计(第六章）6.4.3 正交试验正交试验有交互作用有交互作用方法篇：方差分析与正交试验设计(第六章）6.4.3 正交试验正交试验有交互作用有交互作用方法篇：方差分析与正交试验设计(第六章）表中的元素为交互作用所在的列号，比如第1列和第2列的交互作用列，应查表中第1行第2
23、列的元素：3，它表示该交互作用列应安排在第3列；同理第3列与第5列的交互作用，即查表中第3行第5列的元素：6，表示该交互作用列应安排在第6列，其余类推。6.4.3 正交试验正交试验有交互作用有交互作用方法篇：方差分析与正交试验设计(第六章）6.4.3 正交试验正交试验有交互作用有交互作用方法篇：方差分析与正交试验设计(第六章）6.4.3 正交试验正交试验有交互作用有交互作用方法篇：方差分析与正交试验设计(第六章）6.4.3 正交试验正交试验有交互作用有交互作用方法篇：方差分析与正交试验设计(第六章）6.4.3 正交试验正交试验有交互作用有交互作用方法篇：方差分析与正交试验设计(第六章）从方差分
24、析表中，我们看到因素B和交互作用AXB对指标的影响极其显著6.2 协方差分析协方差分析(补充补充-不考核不考核)为了提高试验的精确性和准确性，我们对除研究因素以外的一切条件都需要采取有效措施严加控制，使它们在因素的不同水平间尽量保持一致，这叫做试验控制试验控制。但当我们进行试验设计时，即使做出很大努力控制，也经常会碰到试验个体的初始条件不同的情况，如果不考虑这些因素有可能导致结果失真。如果考虑这些不可控的因素，这种方差分析就叫做这种方差分析就叫做协方差分析，协方差分析，其是将回归分析和方差分析结合在一起的方法。方法篇：方差分析与正交试验设计(第六章）6.2 协方差分析协方差分析(补充补充-不考
25、核不考核)基本原理如下:将一些对响应变量Y有影响的变量X(未知或难以控制的因素)看作协变量，建立响应变量Y随X变化的线性回归分析，从Y的总的平方和中扣除X对Y的回归平方和，对残差平方和作进一、步分解后再进行方差分析。比如同一因素不同水平起点不一的前提下所做的实验的分析比如同一因素不同水平起点不一的前提下所做的实验的分析(1)因素的不同水平作为协变量。因素的不同水平作为协变量。(2)有些情况下，初始状态时各水平的值不在同一起点，这是人为有些情况下，初始状态时各水平的值不在同一起点，这是人为无法控制的，因此将此也作为一个协变量。无法控制的，因此将此也作为一个协变量。方法篇：方差分析与正交试验设计(
26、第六章）6.2 协方差分析协方差分析(补充补充)install.packages(HH)library(HH)Weight_Initial=c(15,13,11,12,12,16,14,17,17,16,18,18,21,22,19,18,22,24,20,23,25,27,30,32)Weight_Increment=c(85,83,65,76,80,91,84,90,97,90,100,95,103,106,99,94,89,91,83,95,100,102,105,110)feed=gl(3,8,24)data_feed=data.frame(Weight_Initial,Weight_
27、Increment,feed)summary(ancova(Weight_IncrementWeight_Initial+feed,data=data_feed)Summary(ancova(Weight_IncrementWeight_Initial*feed,data=data_feed)方法篇：方差分析与正交试验设计(第六章）6.2 协方差分析协方差分析(补充补充)Df Sum Sq Mean Sq F value Pr(F)Weight_Initial 1 1621.1 1621.1 142.44 1.50e-10*feed 2 707.2 353.6 31.07 7.32e-07*R
28、esiduals 20 227.6 11.4 -Df Sum Sq Mean Sq F value Pr(F)Weight_Initial 1 1621.1 1621.1 162.495 1.90e-10*feed 2 707.2 353.6 35.444 5.73e-07*Weight_Initial:feed 2 48.0 24.0 2.408 0.118 Residuals 18 179.6 10.0 从输出的结果看：初始和肥料都对产量有显著的影响；交互没什么影响。方法篇：方差分析与正交试验设计(第六章）summary(aov(Weight_IncrementWeight_Initial
29、*feed,data=data_feed)Df Sum Sq Mean Sq F value Pr(F)Weight_Initial 1 1621.1 1621.1 162.495 1.90e-10*feed 2 707.2 353.6 35.444 5.73e-07*Weight_Initial:feed 2 48.0 24.0 2.408 0.118 Residuals 18 179.6 10.0 -Signif.codes:0*0.001*0.01*0.05.0.1 1按照常规的方差分析，输出结果和结论也是如此。按照常规的方差分析，输出结果和结论也是如此。方法篇：方差分析与正交试验设计(第六章）
