1、算法设计与分析算法设计与分析学知不足，业精于勤学知不足，业精于勤唯一能持久的唯一能持久的竞争优势是胜竞争优势是胜过竞争对手的过竞争对手的学习能力学习能力http:/http:/2唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤学习要点学习要点 理解回溯法的深度优先搜索策略理解回溯法的深度优先搜索策略 掌握用回溯法解题的算法框架掌握用回溯法解题的算法框架（1 1）递归回溯）递归回溯（2 2）迭代回溯）迭代回溯（3 3）子集树算法框架）子集树算法框架（4 4）排列树算法框架）排列树算法框架 通过应用范例学习回溯法的设计策略
2、通过应用范例学习回溯法的设计策略（1 1）装载问题）装载问题（2 2）批处理作业调度）批处理作业调度（3 3）符号三角形问题）符号三角形问题（4 4）n n后问题后问题（5 5）0-10-1背包问题背包问题（6 6）最大团问题）最大团问题（7 7）图的）图的m m着色问题着色问题（8 8）旅行售货员问题）旅行售货员问题（9 9）圆排列问题）圆排列问题（1010）电路板排列问题）电路板排列问题（1111）连续邮资问题）连续邮资问题http:/3唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤v有许多问题，当需要找出它的解
3、集或者要求回答什有许多问题，当需要找出它的解集或者要求回答什么解是满足某些约束条件的最佳解时，往往要使用么解是满足某些约束条件的最佳解时，往往要使用回溯法。回溯法。v回溯法的基本做法是搜索，或是一种组织得井井有回溯法的基本做法是搜索，或是一种组织得井井有条的，能避免不必要搜索的穷举式搜索法。这种方条的，能避免不必要搜索的穷举式搜索法。这种方法适用于解一些组合数相当大的问题。法适用于解一些组合数相当大的问题。v回溯法在问题的解空间树中，按深度优先策略，从回溯法在问题的解空间树中，按深度优先策略，从根结点出发搜索解空间树。算法搜索至解空间树的根结点出发搜索解空间树。算法搜索至解空间树的任意一点时，
4、先判断该结点是否包含问题的解。如任意一点时，先判断该结点是否包含问题的解。如果肯定不包含，则跳过对该结点为根的子树的搜索，果肯定不包含，则跳过对该结点为根的子树的搜索，逐层向其祖先结点回溯；否则，进入该子树，继续逐层向其祖先结点回溯；否则，进入该子树，继续按深度优先策略搜索。按深度优先策略搜索。http:/4唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤问题的解向量：回溯法希望一个问题的解能够表示成一个问题的解向量：回溯法希望一个问题的解能够表示成一个n n元式元式(x(x1 1,x,x2 2,x,xn n)的形式。
5、的形式。显约束：对分量显约束：对分量x xi i的取值限定。的取值限定。隐约束：为满足问题的解而对不同分量之间施加的约束。隐约束：为满足问题的解而对不同分量之间施加的约束。解空间：对于问题的一个实例，解向量满足显式约束条件的所有多元组，解空间：对于问题的一个实例，解向量满足显式约束条件的所有多元组，构成了该实例的一个解空间。构成了该实例的一个解空间。注意：同一个问题可以有多种表示，有些表示方法更简单，所需表示的状态空间更小（存储量少，搜索方法简单）。n=3时的时的0-1背包问题用完全二叉树表示的解空间背包问题用完全二叉树表示的解空间http:/5唯一能持久的竞争优势是唯一能持久的竞争优势是胜过
6、竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤v 扩展结点扩展结点:一个正在产生儿子的结点称为扩展结点一个正在产生儿子的结点称为扩展结点v 活结点活结点:一个自身已生成但其儿子还没有全部生成的节点称做一个自身已生成但其儿子还没有全部生成的节点称做活结点活结点v 死结点死结点:一个所有儿子已经产生的结点称做死结点一个所有儿子已经产生的结点称做死结点v 深度优先的问题状态生成法：如果对一个扩展结点深度优先的问题状态生成法：如果对一个扩展结点R R，一旦产，一旦产生了它的一个儿子生了它的一个儿子C C，就把，就把C C当做新的扩展结点。在完成对子树当做新的扩展结点。在完
7、成对子树C C（以（以C C为根的子树）的穷尽搜索之后，将为根的子树）的穷尽搜索之后，将R R重新变成扩展结点，重新变成扩展结点，继续生成继续生成R R的下一个儿子（如果存在）的下一个儿子（如果存在）v 宽度优先的问题状态生成法：在一个扩展结点变成死结点之前，宽度优先的问题状态生成法：在一个扩展结点变成死结点之前，它一直是扩展结点它一直是扩展结点v 回溯法：为了避免生成那些不可能产生最佳解的问题状态，要回溯法：为了避免生成那些不可能产生最佳解的问题状态，要不断地利用限界函数不断地利用限界函数(bounding function)(bounding function)来处死那些实际上来处死那些实
8、际上不可能产生所需解的活结点，以减少问题的计算量。不可能产生所需解的活结点，以减少问题的计算量。具有限界具有限界函数的深度优先生成法称为回溯法函数的深度优先生成法称为回溯法http:/6唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤(1)针对所给问题，定义问题的解空间；针对所给问题，定义问题的解空间；(2)确定易于搜索的解空间结构；确定易于搜索的解空间结构；(3)以深度优先方式搜索解空间，并在搜索过程中用以深度优先方式搜索解空间，并在搜索过程中用剪枝函数避免无效搜索。剪枝函数避免无效搜索。常用剪枝函数：常用剪枝函数：
9、用约束函数在扩展结点处剪去不满足约束的子树；用约束函数在扩展结点处剪去不满足约束的子树；用限界函数剪去得不到最优解的子树。用限界函数剪去得不到最优解的子树。用回溯法解题的一个显著特征是在搜索过程中动态产生问题的用回溯法解题的一个显著特征是在搜索过程中动态产生问题的解空间。在任何时刻，算法只保存从根结点到当前扩展结点的解空间。在任何时刻，算法只保存从根结点到当前扩展结点的路径。如果解空间树中从根结点到叶结点的最长路径的长度为路径。如果解空间树中从根结点到叶结点的最长路径的长度为h(n)h(n)，则回溯法所需的计算空间通常为，则回溯法所需的计算空间通常为O(h(n)O(h(n)。而显式地存。而显式
10、地存储整个解空间则需要储整个解空间则需要O(2O(2h(n)h(n)或或O(h(n)!)O(h(n)!)内存空间。内存空间。http:/7唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤回溯法对解空间作深度优先搜索，因此，在一般情况下用递回溯法对解空间作深度优先搜索，因此，在一般情况下用递归方法实现回溯法。归方法实现回溯法。void backtrack(int t)if(tn)output(x);else for(int i=f(n,t);i0)if(f(n,t)=g(n,t)for(int i=f(n,t);in)o
11、utput(x);else for(int i=0;in)output(x);else for(int i=t;i n)/到达叶结点到达叶结点 更新最优解更新最优解bestx,bestw;return;r-=wi;if(cw+wi bestw)xi=0;/搜索右子树搜索右子树 backtrack(i+1);r+=wi;http:/12唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤给定给定n个作业的集合个作业的集合J1,J2,Jn。每个作业先由机器。每个作业先由机器1处理，然处理，然后由机器后由机器2处理。作业处理。作
12、业Ji需要机器需要机器j的处理时间为的处理时间为tji。对于一个确定。对于一个确定的作业调度，设的作业调度，设Fji是作业是作业i在机器在机器j上完成处理的时间。所有作业在上完成处理的时间。所有作业在机器机器2上完成处理的时间和称为该作业调度的完成时间和。上完成处理的时间和称为该作业调度的完成时间和。批处理作业调度问题要求对于给定的批处理作业调度问题要求对于给定的n n个作业，制定最佳作业调度个作业，制定最佳作业调度方案，使其完成时间和达到最小。方案，使其完成时间和达到最小。jittji机器机器1 1机器机器2 2作业作业1 12 21 1作业作业2 23 31 1作业作业3 32 23 3这
13、3个作业的6种可能的调度方案是1,2,3；1,3,2；2,1,3；2,3,1；3,1,2；3,2,1；它们所相应的完成时间和分别是19，18，20，21，19，19。易见，最佳调度方案是1,3,2，其完成时间和为18。http:/13唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤解空间：排列树解空间：排列树private static void backtrack(int i)if(i n)for(int j=1;j=n;j+)bestxj=xj;bestf=f;else for(int j=i;j f1)?f2i-
14、1:f1)+mxj2;f+=f2i;if(f half)|(t*(t-1)/2-counthalf)return;if(tn)sum+;else for(int i=0;i2;i+)p1t=i;count+=i;for(int j=2;j=t;j+)pjt-j+1=pj-1t-j+1pj-1t-j+2;count+=pjt-j+1;Backtrack(t+1);for(int j=2;j=t;j+)count-=pjt-j+1;count-=i;+-+-+-+-+-+-+-+复杂度分析复杂度分析计算可行性约束需要计算可行性约束需要O(n)时间，在最坏情况下有时间，在最坏情况下有 O(2n)个结
15、点需要计算可行性约束，故解符号三角个结点需要计算可行性约束，故解符号三角形问题的回溯算法所需的计算时间为形问题的回溯算法所需的计算时间为 O(n2n)。http:/16唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤在在nn格的棋盘上放置彼此不受攻击的格的棋盘上放置彼此不受攻击的n个皇后。按照国际象个皇后。按照国际象棋的规则，皇后可以攻击与之处在同一行或同一列或同一斜线棋的规则，皇后可以攻击与之处在同一行或同一列或同一斜线上的棋子。上的棋子。n后问题等价于在后问题等价于在nn格的棋盘上放置格的棋盘上放置n个皇后，个皇后
16、，任何任何2个皇后不放在同一行或同一列或同一斜线上。个皇后不放在同一行或同一列或同一斜线上。1 2 3 4 5 6 7 812345678QQQQQQQQhttp:/17唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤解向量：解向量：(x1,x2,xn)显约束：显约束：xi=1,2,n隐约束：隐约束：1)不同列：不同列：xi xj 2)不处于同一正、反对角线：不处于同一正、反对角线：|i-j|xi-xj|bool Queen:Place(int k)for(int j=1;jn)sum+;else for(int i=
17、1;i=n;i+)xt=i;if(Place(t)Backtrack(t+1);http:/18唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤解空间：子集树解空间：子集树可行性约束函数：可行性约束函数：上界函数：上界函数：11cxwniiitemplateTypep Knap:Bound(int i)/计算上界计算上界 Typew cleft=c-cw;/剩余容量剩余容量 Typep b=cp;/以物品单位重量价值递减序装入物品以物品单位重量价值递减序装入物品 while(i=n&wi=cleft)cleft-=wi
18、;b+=pi;i+;/装满背包装满背包 if(i n)/到达叶结点到达叶结点 for(int j=1;j=n;j+)bestxj=xj;bestn=cn;return;/检查顶点检查顶点 i 与当前团的连接与当前团的连接 int OK=1;for(int j=1;j bestn)/进入右子树进入右子树 xi=0;Backtrack(i+1);复杂度分析复杂度分析最大团问题的回溯算法最大团问题的回溯算法backtrack所需的计算时间所需的计算时间显然为显然为O(n2n)。12453http:/21唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，
19、业精于勤学知不足，业精于勤v选择合适的搜索顺序，可以使得上界函数更有效的发选择合适的搜索顺序，可以使得上界函数更有效的发挥作用。例如在搜索之前可以将顶点按度从小到大排挥作用。例如在搜索之前可以将顶点按度从小到大排序。这在某种意义上相当于给回溯法加入了启发性。序。这在某种意义上相当于给回溯法加入了启发性。v定义定义S Si i=v=vi i,v,vi+1i+1,.,v,.,vn n，依次求出，依次求出S Sn n,S,Sn-1n-1,.,S,.,S1 1的解。的解。从而得到一个更精确的上界函数，若从而得到一个更精确的上界函数，若cn+Scn+Si i=maxn)sum+;for(int i=1;
20、i=n;i+)cout xi ;cout endl;else for(int i=1;i=m;i+)xt=i;if(Ok(t)Backtrack(t+1);bool Color:Ok(int k)/检查颜色可用性检查颜色可用性 for(int j=1;j=n;j+)if(akj=1)&(xj=xk)return false;return true;复杂度分析复杂度分析图图m可着色问题的解空间树中内结点个数是可着色问题的解空间树中内结点个数是对于每一个内结点，在最坏情况下，用对于每一个内结点，在最坏情况下，用ok检查当检查当前扩展结点的每一个儿子所相应的颜色可用性需前扩展结点的每一个儿子所相应的
21、颜色可用性需耗时耗时O(mn)。因此，回溯法总的时间耗费是。因此，回溯法总的时间耗费是10niim)()1/()1()(10nnniinmOmmnmmnmhttp:/24唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤解空间：排列树解空间：排列树templatevoid Traveling:Backtrack(int i)if(i=n)if(axn-1xn!=NoEdge&axn1!=NoEdge&(cc+axn-1xn+axn1 bestc|bestc=NoEdge)for(int j=1;j=n;j+)bestxj
22、=xj;bestc=cc+axn-1xn+axn1;else for(int j=i;j=n;j+)/是否可进入是否可进入xj子树子树?if(axi-1xj!=NoEdge&(cc+axi-1xi bestc|bestc=NoEdge)/搜索子树搜索子树 Swap(xi,xj);cc+=axi-1xi;Backtrack(i+1);cc-=axi-1xi;Swap(xi,xj);复杂度分析复杂度分析算法算法backtrack在最坏情况下可能需要更新当前最在最坏情况下可能需要更新当前最优解优解O(n-1)!)次，每次更新次，每次更新bestx需计算时间需计算时间O(n)，从而整个算法的计算时间复
23、杂性为，从而整个算法的计算时间复杂性为O(n!)。http:/25唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤给定给定n n个大小不等的圆个大小不等的圆c c1 1,c,c2 2,c,cn n，现要将这，现要将这n n个圆排进一个矩个圆排进一个矩形框中，且要求各圆与矩形框的底边相切。圆排列问题要求从形框中，且要求各圆与矩形框的底边相切。圆排列问题要求从n n个圆的所有排列中找出有最小长度的圆排列。例如，当个圆的所有排列中找出有最小长度的圆排列。例如，当n=3n=3，且所给的且所给的3 3个圆的半径分别为个圆的半径分
24、别为1 1，1 1，2 2时，这时，这3 3个圆的最小长度个圆的最小长度的圆排列如图所示。其最小长度为的圆排列如图所示。其最小长度为242http:/26唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤float Circle:Center(int t)/计算当前所选择圆的圆心横坐标计算当前所选择圆的圆心横坐标 float temp=0;for(int j=1;jtemp)temp=valuex;return temp;void Circle:Compute(void)/计算当前圆排列的长度计算当前圆排列的长度 flo
25、at low=0;high=0;for(int i=1;i=n;i+)if(xi-rihigh)high=xi+ri;if(high-lown)Compute();else for(int j=t;j=n;j+)Swap(rt,rj);float centerx=Center(t);if(centerx+rt+r1min)/下界约束下界约束 xt=centerx;Backtrack(t+1);Swap(rt,rj);复杂度分析复杂度分析由于算法由于算法backtrack在最坏情况下可能需要计算在最坏情况下可能需要计算O(n!)次当前圆排列长度，每次计算需次当前圆排列长度，每次计算需O(n)计算
26、时计算时间，从而整个算法的计算时间复杂性为间，从而整个算法的计算时间复杂性为O(n+1)!)上述算法尚有许多改进的余地。例如，象上述算法尚有许多改进的余地。例如，象1,2,n-1,n和和n,n-1,2,1这种互为镜像的排列具有相同的圆排列长度，这种互为镜像的排列具有相同的圆排列长度，只计算一个就够了，可减少约一半的计算量。另一方面，如只计算一个就够了，可减少约一半的计算量。另一方面，如果所给的果所给的n个圆中有个圆中有k个圆有相同的半径，则这个圆有相同的半径，则这k个圆产生的个圆产生的k!个完全相同的圆排列，只计算一个就够了。个完全相同的圆排列，只计算一个就够了。http:/27唯一能持久的竞
27、争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤假设国家发行了假设国家发行了n n种不同面值的邮票，并且规定每张信种不同面值的邮票，并且规定每张信封上最多只允许贴封上最多只允许贴m m张邮票。连续邮资问题要求对于给张邮票。连续邮资问题要求对于给定的定的n n和和m m的值，给出邮票面值的最佳设计，在的值，给出邮票面值的最佳设计，在1 1张信封张信封上可贴出从邮资上可贴出从邮资1 1开始，增量为开始，增量为1 1的最大连续邮资区间。的最大连续邮资区间。例如，当n=5和m=4时，面值为(1,3,11,15,32)的5种邮票可以贴出邮资的
28、最大连续邮资区间是1到70。解向量：用解向量：用n元组元组x1:n表示表示n种不同的邮票面值，并约定它种不同的邮票面值，并约定它们从小到大排列。们从小到大排列。x1=1是唯一的选择。是唯一的选择。可行性约束函数：已选定可行性约束函数：已选定x1:i-1，最大连续邮资区间是，最大连续邮资区间是1:r，接下来接下来xi的可取值范围是的可取值范围是xi-1+1:r+1。http:/28唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤v如何确定如何确定r r的值？的值？v计算计算X1:iX1:i的最大连续邮资区间在本算法中被频
29、繁使用的最大连续邮资区间在本算法中被频繁使用到，因此势必要找到一个高效的方法。考虑到直接递归到，因此势必要找到一个高效的方法。考虑到直接递归的求解复杂度太高，我们不妨尝试计算用不超过的求解复杂度太高，我们不妨尝试计算用不超过m m张面张面值为值为x1:ix1:i的邮票贴出邮资的邮票贴出邮资k k所需的最少邮票数所需的最少邮票数ykyk。通过通过ykyk可以很快推出可以很快推出r r的值。事实上，的值。事实上，ykyk可以通过可以通过递推在递推在O(n)O(n)时间内解决：时间内解决：vfor(int j=0;j=xi-2for(int j=0;j=xi-2*(m-1);j+)(m-1);j+)
30、v if(yjm)if(yjm)v for(int k=1;k=m-yj;k+)for(int k=1;k=m-yj;k+)v if(yj+kyj+xi-1if(yj+kyj+xi-1*k)yj+xi-1k)yj+xi-1*k=yj+k;k=yj+k;v while(yrmaxint)r+;while(yrmaxint)r+;http:/29唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤v通过前面具体实例的讨论容易看出，回溯算法的通过前面具体实例的讨论容易看出，回溯算法的效率在很大程度上依赖于以下因素：效率在很大程度
31、上依赖于以下因素：v(1)(1)产生产生xkxk的时间；的时间；v(2)(2)满足显约束的满足显约束的xkxk值的个数；值的个数；v(3)(3)计算约束函数计算约束函数constraintconstraint的时间；的时间；v(4)(4)计算上界函数计算上界函数boundbound的时间；的时间；v(5)(5)满足约束函数和上界函数约束的所有满足约束函数和上界函数约束的所有xkxk的的个数。个数。v好的约束函数能显著地减少所生成的结点数。但好的约束函数能显著地减少所生成的结点数。但这样的约束函数往往计算量较大。因此，在选择这样的约束函数往往计算量较大。因此，在选择约束函数时通常存在生成结点数与
32、约束函数计算约束函数时通常存在生成结点数与约束函数计算量之间的折衷。量之间的折衷。http:/30唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤对于许多问题而言，在搜索试探时选取对于许多问题而言，在搜索试探时选取xi的值顺序是任意的。的值顺序是任意的。在其它条件相当的前提下，让可取值最少的在其它条件相当的前提下，让可取值最少的xi优先优先。从图中。从图中关于同一问题的关于同一问题的2棵不同解空间树，可以体会到这种策略的潜棵不同解空间树，可以体会到这种策略的潜力。力。图(a)中，从第1层剪去1棵子树，则从所有应当考虑的3元组中一次消去12个3元组。对于图(b)，虽然同样从第1层剪去1棵子树，却只从应当考虑的3元组中消去8个3元组。前者的效果明显比后者好。(a)(b)http:/31唯一能持久的竞争优势是唯一能持久的竞争优势是胜过竞争对手的学习能力胜过竞争对手的学习能力学知不足，业精于勤学知不足，业精于勤
