1、第二章12.1 2.1 单因素试验单因素试验例例 2.1:在某一个工业试验中，限定其它试验条件，只考虑温度这个因素对产品产量的影响，并记为A。选定5 个水平，分别为A1=60oC、A2=70oC、A3=80oC、A4=90oC、A5=100oC。在每个水平处试验的重复次数都为3。结果如表2.1 所示，其总均值为 68:2。2图2.1.单因素试验的散点图337=40+(-3)ijjijy=68.2-28.2+(-3)ijj主效应随机误差总均值37=40-340=40-043=40+340=68.2-28.277=68.2+8.892=68.2+23.881=68.2+12.880=68.2-18
2、.2表表 2.2:单因素试验单因素试验4 :;:;:;:;:ijiiiiiijiyAjAAAj其中水平 处的第个响应响应的总均值水平 处的均值的主效应水平 处第次试验的随机误差。,1,.iiik 易知2.1.1 线性可加模型1,1,1,;0,ijiijiijikyjnjk(2.1)5模型的估计模型的估计A.最小二乘估计,1,1,.ijiijiyjnik可表示为线性模型：yG模型:61211121211 00 1 000 10 y,G0 10 0 0 1 0 0qnnkkny y y y y y 其中12111n1212n1 ,.1kkkkn 71,11knnGdiag,显然11111()G Y
3、knnkjkjjjG Gdiag(n,n),(y,y),1,.iiyik即111111111knjjnqkkjkjyny y yn8我们可用,.iiijyyy 作为的估计我们也可把模型,1,1,ijiijkyjnik表示为线性模型yG,其中 和 与前面一样，但 y 91111222211111111001010G,10011111kkkkkkkknnnnnnnnnnnnknnnn因此，由线性回归理论可知1(GG)GY10由(1.22)式，估计值 的协方差矩阵为由此可得有效估计11B.极大似然估计,1,1,.ijiijiyjnik考虑线性模型则似然函数为 221,21111(,)exp22ink
4、kijiijL -(y)22111(2)exp2inqnijiij-(y)12221,1,GL(,)logL(,)kk222111log(2)log()()222inkijiijnny 22211111()()()iinnkkkijiijiiiiijijiyyyn y而13上式分别对 1,k,2 求导并令其为零可得由此可解得 i 和 2 的极大似然估计(MLE)为14则极大似然 为 21L(,)k222211111L(,)()2innnnkkijiijyyeyyn根据 的 MLE,的无偏估计为2222111()inkijiijyyn k15 ,1,.iiiyyyik且由此可知,的 MLE 为j
5、,且 为连续函数，则 的 MLE 为)(f)(f).(f11 (,)(,)MLEkk 设为的，而极大似然估计方法具有如下的性质:16011:,:,qijHHij某011 :0,:0,qjHHj某2.1.2 方差分析这个检验与检验假设(1.26)式本质上是一样的，通过公式(1.29)(1.34)我们可以计算诸平方和和F 统计量。下面我们给出推导ANOVA 的详细过程。17对于每个响应值 yij，可以做如下的分解式中由于对(2.13)式两边平方后再对所有的 i 和 j 求和，可得到18它正是平方和分解的(1.32)式，也是方差分析表2.3 的基础。19一般的，LRC 由下面三个步骤获得:Step
6、1.似然函数221,21111L(,)exp()22inkkijiij-y22111(2)exp-()2inknijiijy下面进一步说明表2.3 中的F 检验是似然比准则(LRC)检验。20Step 2.两个域221(,):10 ki R,i,k,2211(,):,0 kkR Step 3.LRC 统计量为2121max (,).max(,)kkLL21可知类似的，我们有-n2211211.iinkijijnkijiij(yy)(yy)2222111max2innknnijjijL()e(yy)n2222111max2.innknnijijL()e(yy)n则22对于两个统计量,t1 和 t
7、2,假如其中一个统计量由另一个统计量通过单调函数得到，则称这两个统计量等价等价，记为 。21 tt 由于2T11SS()inkijijyy 22111ER()()SS SS.inkkijiiiijiyynyy 23222TREREEESSSS SS SS1SSSSSSnnn则R2RREEESSSSSS(1)FSSSSSS()nknk24对于例例 2.1 中数据：252()11inkSSyyTijij 211()inkijiiijyyyy22111111()()()()2iiinnnkkkijiiijiiijijijyyyyyyyySSESSR0222222(3768.2)(4068.2)(43
8、68.2)(8068.2)(4968.2)(51 68.2)5750.4TSS 平方和分解2211111()()()()2iinnkkkijiiiijiiijiijyyn yyyyyy26dfSSMS MSR=5696.4/4=1424.1MSE=54/10=5.42E()()ESSnk221E()(1)kRiiSSk22()(1)1424.1263.72()()5.4RRREEESSkMSFSSnkMS5750.45696.454ETRSSSSSS222223(4068.2)3(7768.2)3(9268.2)3(81 68.2)3(51 68.2)5696.4RSS=0,假如各水平之间没有
9、差别(i=0).27F1F234587.597.016.6396.996.426.06106.555.995.64116.225.675.32125.955.415.06F-distribution(=0.01)结论结论:在检验水平 0.01 下，有证据拒绝原假设，即水平之间存在显著差别。282.1.3 多重比较51 :0H0:03214321 H51 051 4433211CCC 2C011kk1k:CC0 CC0H02511C C或更一般地:我们需要知道到底哪些水平的响应值显著不同？例如考虑以下检验：29qnnnEjiijtMSyytji)(11)(11,2jinnEqnMStLSD为 最
10、小显著差别，其中 MSE 为随机误差方差的估计值。为了检验单因素试验的第i 个水平和第j 个水平的主效应是否有显著的差别，我们可以用t 统计量检验称30由 LSD 可知除了(15.4&17.4)和(9.8&10.8)，其余都显著.110.025,2055 8.06()3.75LSDt)(11,2jinnEqnjiMStyy 则拒绝原假设，即水平 i 和水平 j 存在显著差异.若15.417.421.610.89.85.67.811.81.015.42.26.24.617.64.06.821.610.8*例例：设不同水平下的均值:9.8,15.4,17.6,21.6,10.831A.Bonfer
11、roni 法法LSD 检验适合两两水平的检验。然而，假设已经检验了m 组两两水平的主效应的差别，而且每组的检验水平都是 。则当m 1 时，这m 组两两水平中最少有一组存在显著差别的概率会超过检验水平 ，该概率称为试验误差率。而且m 越大，试验误差率越大，即第一类错误越大。Bonferroni 法：法：对于检验 拒绝原假设,若 vs ijijqnmijtt,2其中 m=k(k-1)/2，k 为水平个数。多重比较多重比较32对于 例例 2.1,k=5,m=10,设 检验门限值即 A1 vs A2,A1 vs A3,A1 vs A4,A2 vs A5,A3 vs A5,A4 vs A5 之间有显著差
12、别.表2.5.Bonferroni 法的多重比较33B.Tukey 法法()(,)EMSTmdqk nk4.24,0.05(,)(5,20)5.29,0 01FEqk Dq.383.55915.26)05.0(Td712.6556.33)01.0(Td12knnnm当 ,Tukey T 检验统计量为其中 是自由度为 k 和 n-k(n=n1+nk)的学生化范围分布(studentized range distribution)的上 分位点。例如(,)qk nk则342.1.4 单因素试验的回归模型单因素试验的回归模型xy102210 xxy2661.1714 18.54570.1143yxx问
13、题问题:该二次模型是否很好的拟合数据？35重复试验重复试验n重复试验纯误差方差估计：n残差平方和分解36对于有重复试验的数据，我们可用失拟检验失拟检验法判断当前模型是否合适。222111();();().nnnTiiiiiiiSSyySSyySSyyER37211()inkEijijijSSyy22111()()inkkijiiiiijiyyn yySSPESSLof由此可得 2 的两个无偏估计:PE 2 和 Lof2：SSPE 和 SSLOF 遵从自由度分别为 nk 和 k p 的卡方分布22112211()1()inkPEijiijkLOFiiiiyynkn yykp38如果这两个估计存在
14、显著差别,意味着存在失拟失拟。因此第一步需要检验失拟是否显著:/()/()LofLofLofPEPESSkpMSFSSn kMSRejectAcceptREMSFMSRejectAccept当前模型很好当前模型不可用若 Flof 被接受39RPEMSFMSRejectAccept模型可用但需改进当前模型不可用若 Flof 被拒绝40失拟检验总流程图失拟检验总流程图n步骤1.做失拟检验(如表2.6 所示)接受H0：转步骤2；拒绝H0：转步骤3；n 步骤2.把失拟项和纯误差项的自由度及平方和各自相加，称为误差项，计算该项均方，做F 检验(如表2.3 所示)接受H0：当前模型不可用；拒绝H0：当前模
15、型很好；n步骤3.计算F=MSR/MSPE，做F 检验(如表2.7 所示)接受H0：当前模型不可用；拒绝H0：当前模型可用但不是很好，需改进；41例例2.1(续续)对于二次模型的检验422.1.5 单因素的随机效应单因素的随机效应固定效应和随机效应的区分：n当因素的水平是完全可以控制的时候是固定效应；否则为随机效应。n 当试验的个体是随机选择时，对应于随机效应；当个体是人为地指定时，对应于固定效应。随机效应：因素的水平固定以后，它的效应值不是一个固定的数，而是一个随机变量。例：配煤、高等教育评估43随机效应的线性模型：式中，,A2,2 未知。不难求得检验因素A 是否对响应有显著影响，即原假设为
16、 H0:A2=044随机效应的应用随机效应的应用n重复性重复性：同一样本，在同一试验室，由同一检验员用同一仪器，独立做两次试验，其结果y1 和y2 的差别应保证 P(|y1 y2|r)=1 ，这里 r称为重复数。n再现性再现性：同一样本，在不同的实验室，由不同的检验员，用同一类型的仪器所获得的结果y1 和y2 的差别应保证P(|y1 y2|R)=1，这里R称为再现数。可用于测量精度标准的制定452.2 模型未知的单因素试验和建模n基函数法，n近邻多项式估计，n样条法，n局部加权散点光滑法，n小波，n等等若试验者对模型无先验知识，要通过试验来估计模型。此时，可采用非参数回归模型(1.10)，其建
17、模方法有：46评判标准 由数据(x1,y1),(xn,yn)给出真模型m()的一个近似估计 。n均方误差(MSE)n整体均方误差(MISE)()m w()是一权函数，即，w 0 且w(x)dx=1。估计偏差估计方差式中 X=(x1,xn)472.2.1 基函数法基函数法n多项式基：1,x,x2,xp，n中心化多项式基：n正交多项式基：当T=0.5,0.5 时g(x)=0B0(x)+1B1(x)+pBp(x)其中 Bi(x)为基函数，p 可取有限或无限。48n傅里叶(Fourier)基：1,cos(2x),sin(2x),cos(4x),sin(4x),cos(2px),sin(2px).n样条
18、基：在多项式基或中心多项式基中，增加n小波函数基式中1,l 为T 上的 l 个选择的点，称为节点，函数49n多项式基n样条基n傅里叶基函数例例 2.2考虑一个试验次数为10 的计算机试验，其真实模型为f(x)=2x cos(5x).在 xi=0,1/9,1 处试验得到无偏差的数据(xi,yi),i=1,10。考虑以下基函数拟合数据：50512.2.2 近邻多项式估计近邻多项式估计y=m(x)+,(1.10)考虑非参数模型：设 m()在x=x0 处存在p+1 阶导数，现通过样本(x1,y1),(xn,yn)估计m(x0),m(x0),m(p)(x0).求0,p 使下式最小化，即式中K()是核函数
19、，h 是窗宽，Kh()=K(/h)/h。52532.2.3 样条估计样条估计n多项式样条:选定某些节点，在相邻的节点内用某一多项式逼近，并使得整个估计曲线在节点处具有一定的可导性。如，三次样条。n光滑样条 避免过拟合的现象发生54例例 2.2(续续)图2.6.例2.2 的真实模型及在各样条估计方法下的拟模型：(a)三阶多项式样条及不同权重 w 的光滑样条；(b)B 样条552.3 双因素试验双因素试验n因素的种类：定量，定性，或一定量一定性n因素间的关系：交叉设计,套设计n因素间有无交互作用n有无区组n因素的效应考虑双因素 A 和 B，它们分别有 I 和 J 个水平，记为 A1,A2,AI 和
20、 B1,B2,BJ。2.3.1 双因素试验的分类双因素试验的分类562.3.2 线性可加模型线性可加模型(),1,;1,;1,;ijlijijijlyiIjJlR(2.54)1111 ()()0;IJIJijijijijij其中2 i.i.d.;E()0;Var();ijlijlijl且:():ijlijijijijlyAiBjABA B这里响应总均值因素在第个水平下的主效应因素在第个水平下的主效应因素和 在水平组合下的交互效应随机误差57例例 2.6:某工业试验某工业试验在一个工业试验中，有两个因素A 和B。因素A 的三水平数为A1=5，A2=10，A3=15，而因素B 的两水平数为B1=7
21、，B2=13。每个水平组合都做两次试验，其结果如表2.10 所示。此时，I=3,J=2,R=2。表表 2.10:A=5A=10A=15B=760.5,59.550,5245,45B=1352.5,51.526,296,758:;:;:;:.ijijiijjyA ByAyBy 在水平组合下的平均响应在水平 下的平均响应在水平下的平均响应响应总均值表表 2.10(续续):ijy11(60.559.5)/260y32(67)/26.5yiy1(60.559.552.551.5)/456y2(50522629)/439.25y3(454567)/425.75yjy 526/)454552505.595
22、.60(1y67.286/)7629265.512.52(2yy(60.559.552.567)/1240.33y表表 2.10(续续):59例例 2.5:交互效应交互效应60jkyj=1j=2j=3kyk=160514552k=25227.56.528.67 jy5639.2525.7533.40y60图图 2.9:表表 2.10(续续):因素因素 A因素因素 B61各效应的估计各效应的估计则可得估计622.3.3 方差分析方差分析平方和分解63自由度自由度:因素 A 和 B:各自的水平数-1;交互效应:df(factor A)df(factor B)误差:(重复数-1)(因素 A 的水平数
23、)(因素 B 的水平数)自由度自由度:因素 A:3-1=2;因素 B:2-1=1;交互效应:2 1=2误差:3 2(2-1)=6总和:2+1+2+6=11221122111111();();();();IJAiBjijIJRIJREijlijTijlijlijlA BTABESSRJyySSRIyySSyySSyySSSSSSSSSS SSA=2*2*(56-40.33)2+(39.25-40.33)2+(25.75-40.33)2=1837.17SSB=2*3*(52-40.33)2+(28.67-40.33)2=1633.33SSE=0.52+0.52+0.52+0.52+12+12+1.
24、52+1.52+02+02+0.52+0.52=8SST=(60.5-40.33)2+(59.5-40.33)2+(52.5-40.33)2+(6-40.33)2=3943.67SSA B=SST-SSA-SSB-SSE=465.17均方:MS=SS/dfMSA=1837.17/2=918.58;MSB=1633.33/1=1633.33;MSA B=465.17/2=232.58;MSE=8.0/6=1.33.FMSA/MSEMSB/MSEMSAB/MSEF-值:因素 A:MSA/MSE=918.58/1.33=688.94因素 B:MSB/MSE=1633.33/1.33=1225.00交
25、互效应:MSAB/MSE=232.58/1.33=174.44F688.941225.00174.44pF 分布的门限值(=0.01):F2,6,0.01=10.92;F1,6,0.01=13.75;比较 688.94,174.44 和 F2,6,0.01,465.17 与 F1,6,0.01 易知,都大于门限值,故 p-值都小于 0.01.p0.0000.0000.000结论结论:因素 A 和因素 B 的主效应和交互效应都显著.最佳的水平组合为 A=5 且 B=7%.64 因素和响应都是连续的因素和响应都是连续的BAy210ABBAy321022212211210BABABAy没有交互效应没
26、有交互效应存在交互效应存在交互效应 22212211210)()()()()(BBBBAAAABBAAy :A AB B因素的平均水平,因素的平均水平2.3.4 两因素的回归模型两因素的回归模型例 2.6(续)65A.单因素试验单因素试验.,1.,1,riqjyijjij ;)()(21211yyrSS;yySSjqjAjijqjriE22)()1()(EEMSErqSSE22111221)()1()(jqjqAjqjArMSEqrSSE222111jqjqEArMSMSF2.3.5 随机效应随机效应660,)(1211121112jqjjqjqjqjqAas 0:0:010 2AHHq随机效
27、应模型随机效应模型:ijjijyijj,独立),0(),0(22NNijAj22)(AijyVar22 ,A 其中和未知2.当水平值从总体中选取时当水平值从总体中选取时,效应为随机的效应为随机的.2222)()1()1()(AAAArMSEqrqSSE 设设1.当水平值可以完全控制时当水平值可以完全控制时,其效应为固定的其效应为固定的,否则为随机的否则为随机的;67ijlijijlijyAB(1)固定(2)固定,为随机(3)随机,固定(4)都是随机的,ij,ij ijijE(MSA)E(MSB)E(MSAxB)E(MSE)A,B 固定固定A,B 随机随机 A 随机随机,B 固定固定B.两因素试
28、验情形两因素试验情形22ARJ222xAA BRJR22ARI22BRI222xBA BRIR222222xBA BRIR22xA BR22xA BR22xA BR68在方差分析中，这三种模型在平方和、均方的计算是完全一样的，唯一不同F 检验的方法表表2.14.两因素的方差分析表两因素的方差分析表69例例2.7.水稻种植试验中，比较三个品种的产量是否存在区别。现取五个不同土壤条件的地区，每个地区各选三块面积和形状都非常接近的试验田，每一块试验田安排一个品种。如何安排试验这15 个试验？例例2.8.有四个玉米品种，在一块长方形的试验田上进行试验，将其按横向和竖向各四等分，共分为16 个长方块，每
29、个品种占4 块。若这块试验田的土壤肥沃程度和其他条件沿横竖两个方向都有差异。如何安排这16 个试验？例例2.10.若比较四个水稻品种的产量是否存在区别。现取四个不同土壤条件的地区各选三块面积和水土条件都非常接近的试验田，每一块试验田安排一个品种。如何安排试验这12 个试验？2.4 2.4 区组设计区组设计702.4.1 完全随机区组设计完全随机区组设计,1,;1,;ijijijyiqjr2 i.i.d.(0,)ijN11 0;qrijij其中:ijijyij这里响应总均值因素第个主效应第个区组的效应712.4.2 拉丁方设计拉丁方设计,ijlijkijky ,1,;(,):ijkj kn ij
30、 kijk 为位置的元素，总均值为因素第 个主效应，:第 个行区组的效应:第 个列区组的效应2 i.i.d.(0,)ijkN其中其中72 五参数 其中q 为因素水平数，t 为每区组所含试验单元数且常称为区组大小，b 为区组数，r 为每个水平的试验次数，为任一对水平在同一区组内同时出现的次数。要求满足如下条件：2.4.3 平衡不完全随机区组设计平衡不完全随机区组设计(,)q t b r73模型模型,1,;1,;ijijijyiqjt2 i.i.d.(0,)ijN:ijijyjiij这里第个区组的第个观测值总均值因素第个主效应第个区组的效应 由于区组的不完全，该模型的估计及相应的ANOVA 表与完
31、全随机区组设计和拉丁方设计有所不同74例例 2.11 对一容器灌注碳酸饮料，由于灌注时会起泡，响应值为溢出的饮料容量(立方厘米)。考虑三个因素并各取三个水平，即，输液管的设计类型(A)：A1=1，A2=2，A3=3；灌注速度(B,转/分)：B1=100，B2=120，B3=140；和操作压力(C,psi):C1=10，C2=15，C3=20。2.5 2.5 全面试验与其部分实施全面试验与其部分实施如何安排该试验？752.5.1 全面试验全面试验表2.19.三因素三水平的全面试验762.5.2 单因素试验轮换法单因素试验轮换法n固定其它因素 B，C的水平，然后用重复试验分别比较A 的三个水平的响
32、应值，设A3 的响应值最佳n让因素A 固定为A3 并固定C 为某一水平，比较B 的三个水平，假设B2 达到最佳。n后固定因素A 和B 分别为A3 和B2，比较因素C 的三个水平，n经过重复试验后得出组合A3B2C2 最好的结论。将一个多因素试验化为多个单因素试验效果不佳效果不佳,不宜推荐不宜推荐772.5.3 部分因子设计部分因子设计n稀疏原则稀疏原则：在因子试验中，重要效应的个数不会太多n有序原则有序原则：主效应比交互效应重要；低价交互效应比高阶交互效应重要，而同阶效应重要性一样在全部水平组合中，选出一部分有代表的试验点作试验。选取代表点的两个原则两个原则：常见的方法有正交设计正交设计和均匀设计均匀设计78正交设计正交设计要求n任一因素的诸水平作相同数目的试验；n任两个因素的水平组合作相同数目的试验。79均匀设计均匀设计要求n任一因素的诸水平作相同数目的试验；n所选的试验点在试验范围内分布均匀。80
