1、地球物理反演理论地球物理反演理论地球物理反演理论课题组地球物理反演理论课题组武汉大学武汉大学 测绘学院测绘学院1、梯度法、梯度法2、牛顿法、牛顿法3、共轭梯度法（、共轭梯度法（Conjugate Gradient Method）4、变尺度法、变尺度法5、蒙特卡洛法、蒙特卡洛法6、模拟退火法、模拟退火法7、遗传算法（、遗传算法（simulate annealing）8、人工神经网络（、人工神经网络（ANN）法）法9、多尺度反演（、多尺度反演（Multi-Scale Inversion）10、R.Parker法法非线性反演方法非线性反演方法非线性反演方法非线性反演方法 所谓非线性问题，是指观测数据
2、所谓非线性问题，是指观测数据 和模型参数和模型参数 之间不存在线性关系。这种非线性关系既可能之间不存在线性关系。这种非线性关系既可能呈显式呈显式 ，也可能呈隐式，也可能呈隐式 。本章要讲的是目。本章要讲的是目前地球物理资料反演中常用的一些非线性反演方法。它不涉及线前地球物理资料反演中常用的一些非线性反演方法。它不涉及线性化，而是直接解非线性问题，实现从数据空间到模型空间的直性化，而是直接解非线性问题，实现从数据空间到模型空间的直接映射。接映射。不管是哪一类的反演问题，归根结底，反演过程都是一个对不管是哪一类的反演问题，归根结底，反演过程都是一个对目标函数目标函数(或概率、概率密度或概率、概率密
3、度)的最优化过程，只是实现最优的途的最优化过程，只是实现最优的途径和方法不同罢了。径和方法不同罢了。Midi,2,11,2,jmjMgdm,0Fd m梯度法梯度法 梯梯度法又称最速下降法（度法又称最速下降法（the steepest descent method）、最）、最速上升法（速上升法（the steepest ascent method）或爬山法。梯度法是一种）或爬山法。梯度法是一种古老的反演方法，在地球物理的发展过程中曾起过重要的作用，古老的反演方法，在地球物理的发展过程中曾起过重要的作用，而且，直到目前仍有一些地球物理资料的反演问题仍采用梯度法而且，直到目前仍有一些地球物理资料的反
4、演问题仍采用梯度法求解。求解。梯度法梯度法 在模型参数在模型参数 和观测数据和观测数据 呈隐式的情况下，有：呈隐式的情况下，有：md,0Fd m（5.1）设：设：,xd m（5.2）令：令：12,MFFFFFd md mxd md m梯度法梯度法 如将这些非线性函数过程下式，并称之为目标函数：如将这些非线性函数过程下式，并称之为目标函数：21MiixF x（5.3）显然，显然，的零极值点，就是方程（的零极值点，就是方程（5.15.1）式的解。）式的解。当观测数据和模型参数呈显函数的情况下，在当观测数据和模型参数呈显函数的情况下，在 范数意义范数意义下，目标函数写为：下，目标函数写为：x2L 2
5、1Mriiixdd式中：式中：为观测值；为观测值；为在第为在第 r 次迭代时之理论值。次迭代时之理论值。id rid梯度法梯度法 同样，同样，的极小值所对应的模型参数的极小值所对应的模型参数 ，就应该是待求模，就应该是待求模型的解。在多维空间中，一般来说，型的解。在多维空间中，一般来说，函数是一个高次曲面。函数是一个高次曲面。以二维空间为例，此时以二维空间为例，此时 所形成的曲面与平行所形成的曲面与平行 的平的平面之切点就是它的极小值点（图面之切点就是它的极小值点（图5-15-1）。极小值点对应）。极小值点对应 ，就是观测数据就是观测数据 对应模型对应模型 之值。之值。如果用如果用 （是常数，
6、相当于一系列平行于是常数，相当于一系列平行于 的平面），与空间曲面的平面），与空间曲面 相截，可以得到一族平面相截，可以得到一族平面曲线，将它们投影到曲线，将它们投影到 平面上，如图平面上，如图5-25-2所示，称为曲面的所示，称为曲面的等高线族。由外向内，等高线族。由外向内，值不断下降，当达到极小点时，即为值不断下降，当达到极小点时，即为 函数的极值。函数的极值。12,x xdm xx x12xx1x2x ixcic12xx 12,xx x12xx图图5-1 5-1 目标函数空间曲面的示意图目标函数空间曲面的示意图图图5-2 5-2 用等高线表示的目标函数用等高线表示的目标函数梯度法梯度法
7、在任意一个初始模型在任意一个初始模型 处等高线的法向方向，就是处等高线的法向方向，就是 函函数在该点的梯度方向，即有：数在该点的梯度方向，即有：x 0 x 0110020020ppxxgxgxgxxxg xgxx梯度法梯度法 沿沿 的方向是的方向是 值上升最快的方向。因此，其反方向为：值上升最快的方向。因此，其反方向为：000 xg xgxxg（5.4）就是就是 值下降最快的方向。梯度法，就是从一个初始模型出发，值下降最快的方向。梯度法，就是从一个初始模型出发，沿负梯度方向搜索沿负梯度方向搜索 函数极小点的一种最优化方法。函数极小点的一种最优化方法。不难理解，沿目标函数不难理解，沿目标函数 的
8、负梯度方向搜索，只要步长适的负梯度方向搜索，只要步长适当，经过反复迭代，最终总可以达到目标函数的极小点。用梯度法当，经过反复迭代，最终总可以达到目标函数的极小点。用梯度法反演求取目标函数的极小点时，一要有一个初始模型，二是要沿负反演求取目标函数的极小点时，一要有一个初始模型，二是要沿负梯度方向，三是要有一个合适的步长。下面研究步长因子的求法：梯度方向，三是要有一个合适的步长。下面研究步长因子的求法：x梯度法梯度法 设第设第i i次搜索迭代时次搜索迭代时 函数的负梯度方向的单位矢量为：函数的负梯度方向的单位矢量为：x iiii g xgxPgxg xg（5.5）则模型参数的改正量则模型参数的改正
9、量 为：为：x i 1iiixxx P 式中：式中：称为搜索（或校正）步长。称为搜索（或校正）步长。将目标函数进行台劳级数展开有：将目标函数进行台劳级数展开有：11iLTiiiiiijjjxxxxxxxxg（5.6）梯度法梯度法 将（将（5.55.5）式代入（）式代入（5.65.6）式，则得步长计算式：）式，则得步长计算式：第二种计算步长的方法是内插法。如对目标函数计算几个不同第二种计算步长的方法是内插法。如对目标函数计算几个不同的步长值，然后用抛物线方程对之进行拟合，抛物线之极小点就是的步长值，然后用抛物线方程对之进行拟合，抛物线之极小点就是最佳步长值。最佳步长值。第三种方法为固定步长法。即
10、在整个搜索的过程中，步长保持第三种方法为固定步长法。即在整个搜索的过程中，步长保持不变，只要每次迭代时满足不变，只要每次迭代时满足 即可接受。即可接受。（5.7）11iiiii TPjjjxxxxxPx gP 1iixx牛顿法牛顿法 设目标函数设目标函数 在在 点附近按台劳级数展开，并忽略二点附近按台劳级数展开，并忽略二次以上高阶项以后得：次以上高阶项以后得：（5.8）00201110001212NNNiijiijiijTTxxxxx x xxxxxg xxx Hx x 0 x式中：式中：000012TNxxxxxxg x（梯度向量）（梯度向量）12TNxxx x（模型参数的改正向量）（模型参
11、数的改正向量）牛顿法牛顿法 0002221112100022202122200022212NNNNNNx xx xx xx xx xx xxxxxxx xxxxxxHxxx（Hessian矩阵）矩阵）牛顿法牛顿法 对（对（5.85.8）式再求一次导数，并设：）式再求一次导数，并设：（5.9）0 xx则得：则得：10000 g xxHg xH1,2,K 写成递推公式，得：写成递推公式，得：11KKKKxxHg x牛顿法牛顿法 牛顿法的不足之处在于牛顿法的不足之处在于Hessian短阵的计算工作量很大，而且短阵的计算工作量很大，而且其逆往往会出现病态和奇异的情况。其逆往往会出现病态和奇异的情况。梯
12、度法和牛顿法利用了目标函数的梯度法和牛顿法利用了目标函数的不同性质，前者利用了目不同性质，前者利用了目标函数在初始模型处之梯度，即一阶偏导数，后者不仅利用了梯标函数在初始模型处之梯度，即一阶偏导数，后者不仅利用了梯度，而且利用了目标函数的曲率，即二阶偏导数。因此它们具有度，而且利用了目标函数的曲率，即二阶偏导数。因此它们具有不同的特性。前者在远离极小点的地方收敛较快，而后者在极小不同的特性。前者在远离极小点的地方收敛较快，而后者在极小点附近点附近收敛比梯度法要快。收敛比梯度法要快。图图5-3是牛顿法搜索目标函数极小点的示意图。是牛顿法搜索目标函数极小点的示意图。图图5-3 牛顿法搜索极小点示意
13、图牛顿法搜索极小点示意图共轭梯度法共轭梯度法 1 1、共轭向量的定义、共轭向量的定义设目标函数设目标函数 为二次函数，即：为二次函数，即：x 012TT xxgxx H x（5.10）式中式中 和和 都是都是N 维的向量，维的向量，为为N*N 阶对称、正定矩阵，阶对称、正定矩阵，为常数。定义：若存在：为常数。定义：若存在：xgH 0 x0Tij Hij0Tij H0Tji Hij,1,2,i jN（5.11）则称则称 ，相对相对 是共轭的。是共轭的。ijH共轭梯度法共轭梯度法 1 1、共轭向量的定义、共轭向量的定义与本节内容有关的共轭向量的性质及其求法：与本节内容有关的共轭向量的性质及其求法：
14、1 1）设有一组）设有一组M个个N为向量为向量 彼此相对彼此相对H共轭，即：共轭，即：0Tij Hij0Tij Hij,1,2,i jM12,M 则则 一定是线性无关的。一定是线性无关的。2 2）关于）关于H共轭的一组向量共轭的一组向量 的求法的求法设设 是一组线性无关的向量，通过线性组合，可是一组线性无关的向量，通过线性组合，可得到一组得到一组M个彼此成个彼此成H共轭的向量共轭的向量 。12,M 12,M 12,M 12,Mg gg共轭梯度法共轭梯度法 1 1、共轭向量的定义、共轭向量的定义设设 ，取，取 ，求与，求与 共轭的向量共轭的向量取取 1,2,iM2由于由于 与与 对对H共轭，故共
15、轭，故1111g1112210TTT H Hg H1ig221g2所以：所以：1121TT Hg H（5.12）共轭梯度法共轭梯度法 1 1、共轭向量的定义、共轭向量的定义故故与与 是共轭的。是共轭的。设已求出设已求出 ，它们是彼此，它们是彼此H共轭，求一个向量共轭，求一个向量 与与 都都H H共轭。即：共轭。即：11111222212111TTTT Hg Hgggg H H（5.13）12,M 1K12,K!11KKKrrrg使使 与与 成成H共轭，即有：共轭，即有：1K12,K 共轭梯度法共轭梯度法 将（将（5.135.13）式代入上式，得：）式代入上式，得：1,2,iK10iTK H（5
16、.14）1!11iTKiKKKiTii Hgg H与与 成成H共轭。若取共轭。若取 ，便得到，便得到M个彼个彼此此H共轭的向量共轭的向量 。12,K 1iTiKiTi Hg H1,2,iK将（将（5.145.14）式代入（）式代入（5.135.13）式，得：）式，得：（5.15）12,M 1,2,1KM共轭梯度法共轭梯度法 2 2、共轭梯度法的原理、共轭梯度法的原理第一步，设第一步，设第二步，求第二步，求 ，其中，其中 111xxg2211g第三步，求第三步，求 ，11211TT Hg H1K1,2,1KM!11KKKrrrg1TrKrTrr Hg H按上述方法求得的向量按上述方法求得的向量
17、彼此是彼此是H的共轭向量的共轭向量12,M 共轭梯度法共轭梯度法 2 2、共轭梯度法的原理、共轭梯度法的原理第四步，沿共轭梯度方向上式目标函数的极小点。设第四步，沿共轭梯度方向上式目标函数的极小点。设1KKKKrrrrxx沿沿 方向进行第方向进行第K次搜索时，应满足：次搜索时，应满足：设目标函数设目标函数 在在 处是二次函数，即：处是二次函数，即：或或KKKrrrx（5.16）Kr1minKKKKKKKrrrrrrrxxx x 012TT xxgxx H x 0 x共轭梯度法共轭梯度法 2 2、共轭梯度法的原理、共轭梯度法的原理根据复合函数的极值理论根据复合函数的极值理论设设 ，则：，则：0T
18、TKKKKrrrKr xgxH KKrrxxxx 0Krx可得：可得：TKKrrKrTKKKrr gH（5.17）共轭梯度法共轭梯度法 2 2、共轭梯度法的原理、共轭梯度法的原理设设K=0=0，即在第一次迭代时，即在第一次迭代时，不难看出，如果目标函数是二次型，则沿共轭方向最多各进行一次不难看出，如果目标函数是二次型，则沿共轭方向最多各进行一次搜索，就可以找到目标函数的极小点的位置。若非准确的二次函数，搜索，就可以找到目标函数的极小点的位置。若非准确的二次函数，则上述搜索过程必须进行反复迭代，直到搜索到目标函数的极小点则上述搜索过程必须进行反复迭代，直到搜索到目标函数的极小点为止。在共轭梯度法
19、中，每次迭代都必须重新计算初始模型所对应为止。在共轭梯度法中，每次迭代都必须重新计算初始模型所对应 和和 ，及相应的共轭方向，因此，计算量仍然很大。，及相应的共轭方向，因此，计算量仍然很大。00100000TrrrrrTrrgxxH（5.18）gH变尺度法变尺度法 以以Huang的变尺度法为例说明变尺度法的原理和实施步骤的变尺度法为例说明变尺度法的原理和实施步骤由共轭向量由共轭向量 求与之成求与之成H共轭的方向共轭的方向 ，存在如下，存在如下通式：通式：（5.19）021,K KTKKK H g其中：其中：11TTKKKTKK g HIg（5.20）设想从设想从 点的负梯度方向左乘一个矩阵点的
20、负梯度方向左乘一个矩阵 ，就得出与，就得出与 共轭的方向共轭的方向 。能否对。能否对 建立起一个迭代关系，建立起一个迭代关系，由由 产生产生 ，使：，使：KxTKH021,K KKHKH1KH变尺度法变尺度法（5.21）02,K 1Kg111TKKK Hg能和能和 共轭。假定已知共轭。假定已知 ，求出了，求出了 ，并记，并记（5.22）此时，有了此时，有了 便可以求出便可以求出 ；同样，有了；同样，有了 也可也可以求出以求出 。于是，我们的任务就是如何选取。于是，我们的任务就是如何选取 ，使从，使从1KH1KKKHHH1KHKHKH1KHKH1KKK HHH（5.23）求出的求出的 具有上述性
21、质。具有上述性质。1KH变尺度法变尺度法 02,K 0,1,2,jK为使为使 与与 关于关于H共轭，应有：共轭，应有：所以令：所以令：1110TTTjKjKK H HHg若对若对 也有：也有：KH1K已知：已知：0TjK g0,1,2,1jK1TTTjKj HH0,1,2,jK就有：就有：10TjK H0,1,2,jKTTTjKj HH0,1,2,1jK变尺度法变尺度法 0,1,2,1jK则由则由 得出：得出：所以，将上式中的所以，将上式中的j换为换为K，则：，则：（5.24）式和（）式和（5.25）式又可改写为：）式又可改写为：0,1,2,1jK1KKKHHH10TTTTTTTTjKjKjK
22、jj H H HH HH（5.24）1TTTTTTTTTKKKKKKKKK H H HH HH HH（5.25）0KjH HKKKKKH HH H变尺度法变尺度法 设目标函数为二次型，即：设目标函数为二次型，即：如以如以 左乘左乘 ，并利用：，并利用：则（则（5.24）式可改写为：）式可改写为：0,1,2,jK 0012TT xxg xxx H x 11jjjjjjjHH xxggyjjH 1jjjjjHH xxH x0KjH y0,1,2,1jK（5.26）KKKKKH yxH y（5.27）变尺度法变尺度法 如果能求出满足（如果能求出满足（5.265.26）式和（）式和（5.275.27）
23、式的）式的 ，则利用（，则利用（5.235.23）式便能求出满足以上要求的式便能求出满足以上要求的 ，也就建立起了迭代关系。，也就建立起了迭代关系。由上述迭代关系可以看出，变尺度法是从尺度由上述迭代关系可以看出，变尺度法是从尺度 （可以是（可以是单位矩阵）开始，由单位矩阵）开始，由 求得求得 。求。求 时，是通过改变尺度时，是通过改变尺度 为为 而不是改变系数而不是改变系数 为为 ，使得，使得 和和 为共轭方向。然为共轭方向。然后，再改变尺度后，再改变尺度 为为 ，而不是求取系数，而不是求取系数 ，使求得的，使求得的 与与 ，成成 共轭。如此反复，直至求出共轭。如此反复，直至求出 位置。位置。
24、KH1KH0H1g110H1H01101H2H2201H1N变尺度法变尺度法 HuangHuang给出了如下关系，并令：给出了如下关系，并令：KTTKKKKK HxUH y V（5.28）式中：式中：，为两个需要加以选择的量。为两个需要加以选择的量。HuangHuang选择选择 中的中的 ，满足：满足：KUKVKUKVKH00,1,2,1TKjjKjKU y00,1,2,11TKjjKjKV y变尺度法变尺度法 下面是下面是HuangHuang提出的求取提出的求取 ，的公式，因为：的公式，因为：0TjK HKUKV0,1,2,1jKjjjHy0,1,2,jKKjK x所以：所以：0KTKjjK
25、jK yx H0,1,2,1jK0TKjKKjK y H0,1,2,1jK0,1,2,1jKKjjH H0TTTjKKjK HH y y0,1,2,1jK0TKTTKTjKKjjKKjjKKy H yHH y HH y0,1,2,1jK变尺度法变尺度法 所以只要取：所以只要取：1112KKKTKKKUxH y（5.29）参数参数 ，满足：满足：TKkU y1TKk V y2122KKKTKKKVxH y21K11K12K22K便满足便满足 和和 。将（。将（5.295.29）式代入上两式，于是五个参）式代入上两式，于是五个参数数 ，应满足两个关系式，所以独立应满足两个关系式，所以独立参数只有三
26、个。参数只有三个。KUKV21K11K12K22K变尺度法变尺度法 选定了选定了 ，满足的条件，便可根据满足的条件，便可根据（5.295.29）求出）求出 ，。从而算出。从而算出 ，将，将 代入（代入（5.265.26）式就可求得式就可求得 ，将，将 代入：代入：即可得与即可得与 成成H共轭的向量共轭的向量 。21K11K12K22KKUKVKHKH1KH1KH111TKKK Hg（5.30）02,K 1K蒙特卡洛法蒙特卡洛法 最简单、最直接、最完全的非线性反演法，是彻底搜索法或最简单、最直接、最完全的非线性反演法，是彻底搜索法或称穷举法。即在一定约束条件下的对模型参数进行一切可能的组称穷举法
27、。即在一定约束条件下的对模型参数进行一切可能的组合，从而得到大量不同的模型，然后对所有这些模型进行正演计合，从而得到大量不同的模型，然后对所有这些模型进行正演计算，得到相应的理论数据。将这些理论数据与实际观测数据进行算，得到相应的理论数据。将这些理论数据与实际观测数据进行比较。如果符合某种可以接受的标准，则模型被接受；否则被排比较。如果符合某种可以接受的标准，则模型被接受；否则被排斥，并重新进行计算。如此反复，直至所有可能的模型均被检测斥，并重新进行计算。如此反复，直至所有可能的模型均被检测为止。因此称为彻底搜索法或穷举法。它的优点是，只要在模型为止。因此称为彻底搜索法或穷举法。它的优点是，只
28、要在模型空间存在满足条件的解，一定可以搜索到这些解。其致命的缺点空间存在满足条件的解，一定可以搜索到这些解。其致命的缺点是彻底搜索在计算机上是不现实的。因此，穷举法只有理论上的是彻底搜索在计算机上是不现实的。因此，穷举法只有理论上的价值，而没有丝毫实用的意义。价值，而没有丝毫实用的意义。蒙特卡洛法蒙特卡洛法 和穷举法不同，蒙特卡格法在模型空间中不进行彻底搜索，和穷举法不同，蒙特卡格法在模型空间中不进行彻底搜索，而是随机搜索。实践表明，如果我们在模型空间中随机选择模型、而是随机搜索。实践表明，如果我们在模型空间中随机选择模型、求取目标函数的总体极小，比规则地划分模型空间，求取模型的求取目标函数的
29、总体极小，比规则地划分模型空间，求取模型的总体极小所需的计算时间和耗费的经费都要少。总体极小所需的计算时间和耗费的经费都要少。为纪念有名的睹城为纪念有名的睹城蒙特卡洛，人们将反演过程中任何一蒙特卡洛，人们将反演过程中任何一个阶段，用随机个阶段，用随机(或似随机或似随机)发生器产生模型的方法统称为蒙特卡发生器产生模型的方法统称为蒙特卡洛法。它可以用于解决高次非线性、多参数、具有多个局部极小洛法。它可以用于解决高次非线性、多参数、具有多个局部极小值的非线性反演问题。值的非线性反演问题。蒙特卡洛法蒙特卡洛法 蒙特卡洛法又分为传统的蒙特卡洛法和现代的启发式蒙特卡蒙特卡洛法又分为传统的蒙特卡洛法和现代的
30、启发式蒙特卡洛法。洛法。传统的荣持卡洛法又橡为传统的荣持卡洛法又橡为“尝试法尝试法”。这种方法是在计算中。这种方法是在计算中按一定的先验信息给出的先验约束随机地生成大量可选择的模型，按一定的先验信息给出的先验约束随机地生成大量可选择的模型，计算其理论值，并将这些理论值与实际观测值进行比较，并用一计算其理论值，并将这些理论值与实际观测值进行比较，并用一些先验约束条件进行比较；如比较和检验符合某些可接受的标准，些先验约束条件进行比较；如比较和检验符合某些可接受的标准，则模型被接受，否则被排斥。则模型被接受，否则被排斥。传统的蒙特卡洛法在模型空间进行搜索时，需要产生具有各传统的蒙特卡洛法在模型空间进
31、行搜索时，需要产生具有各种概率分布的随机变量。最简单和最基本的随机变量是种概率分布的随机变量。最简单和最基本的随机变量是0,10,1区区间上均有分布的随机变量。这些随机变量的抽样值就称为随机数。间上均有分布的随机变量。这些随机变量的抽样值就称为随机数。蒙特卡洛法蒙特卡洛法 Press反演方法，是一种完全随机的蒙特卡洛法。其作法是：反演方法，是一种完全随机的蒙特卡洛法。其作法是：在一定先验信息基础上，给定地球物性参数的变化范围，然后在在一定先验信息基础上，给定地球物性参数的变化范围，然后在这一范围内随机生成模型，并计算其理论值以及该理论与实际观这一范围内随机生成模型，并计算其理论值以及该理论与实
32、际观测值之间的误差，再按原来设计好的判断标准，决定该模型是否测值之间的误差，再按原来设计好的判断标准，决定该模型是否接受或接受或排斥。排斥。值得提出值得提出的是，的是，Press反演法不是求目标函数小于某一给定值反演法不是求目标函数小于某一给定值的满意解，而是看求得的模型是否满足先验的约束条件；不是求的满意解，而是看求得的模型是否满足先验的约束条件；不是求某种意义下的确定解，而是在承认它们的非唯一性的前提下，求某种意义下的确定解，而是在承认它们的非唯一性的前提下，求得满足先验约束条件的解集得满足先验约束条件的解集。蒙特卡洛法蒙特卡洛法 蒙特卡洛法的适应性很强，受反演问题的条件限制少。不管蒙特卡
33、洛法的适应性很强，受反演问题的条件限制少。不管多么复杂的非线性问题，不管其维数多高，非线性程度多大，蒙多么复杂的非线性问题，不管其维数多高，非线性程度多大，蒙特卡洛法都可以使用，都可以获得满足约束条件的模型解集；由特卡洛法都可以使用，都可以获得满足约束条件的模型解集；由于蒙特卡洛法的收敛速度与问题的维数（及反演参数的个数）无于蒙特卡洛法的收敛速度与问题的维数（及反演参数的个数）无关，因此，特别适宜于大规模、多参数问题的反演；蒙特卡洛反关，因此，特别适宜于大规模、多参数问题的反演；蒙特卡洛反演法易于编程，便于理解，占用内存少，容易实现。但是。蒙特演法易于编程，便于理解，占用内存少，容易实现。但是
34、。蒙特卡洛法仍不能保持搜索彻底性，不能充分暴露模型空间。因此，卡洛法仍不能保持搜索彻底性，不能充分暴露模型空间。因此，谁也不能保证所获得的结果已经谁也不能保证所获得的结果已经“完全完全”满意了。蒙特卡洛法的满意了。蒙特卡洛法的致命弱点是计算工作量太大，收敛速度太慢，且拟合误差不确定，致命弱点是计算工作量太大，收敛速度太慢，且拟合误差不确定，仅具概率性。仅具概率性。蒙特卡洛法蒙特卡洛法 然而，随着地球物理观测资料的精度不断提高，反演方法不然而，随着地球物理观测资料的精度不断提高，反演方法不断改进，传统的蒙特卡洛法越来越不适应发展的需要。改进传统断改进，传统的蒙特卡洛法越来越不适应发展的需要。改进
35、传统的蒙特卡洛法势在必行，改进的主要方向是摒弃完全的随机搜索，的蒙特卡洛法势在必行，改进的主要方向是摒弃完全的随机搜索，实现在一定先验知识引导下有实现在一定先验知识引导下有“方向方向”的随机搜索，即启发式蒙的随机搜索，即启发式蒙特卡洛法。这就是下面要讲的模拟退火法和遗传算法。特卡洛法。这就是下面要讲的模拟退火法和遗传算法。模拟退火法（模拟退火法（Simulated Annealing）模拟退火是模拟物质退火的物理过程，即统计实验的组合优模拟退火是模拟物质退火的物理过程，即统计实验的组合优化过程。化过程。Rothman（1985,1986）将退火原理引入地球物理资料）将退火原理引入地球物理资料的
36、反演，并称之为的反演，并称之为模拟退火法。模拟退火法。模拟退火法用于反演模拟退火法用于反演的基本思路是将待反演的模型参数看作的基本思路是将待反演的模型参数看作是融化物体的一个分子。将目标函数看作融化物体的能量函数。是融化物体的一个分子。将目标函数看作融化物体的能量函数。通过缓慢的减小模拟温度通过缓慢的减小模拟温度T，进行迭代反演，使目标函数最终达，进行迭代反演，使目标函数最终达到极小。到极小。模拟退火法（模拟退火法（Simulated Annealing）模模拟退火法有两种算法，即拟退火法有两种算法，即Metropolis算法（简称算法（简称MSA）和）和Heat Bath算法（简称算法（简称
37、HBSA）。两种的区别在于搜索模型空间的）。两种的区别在于搜索模型空间的方法和模型参数的修改方法不同。方法和模型参数的修改方法不同。MSA算法可在全空间自动搜索，算法可在全空间自动搜索，模型修改量是随机的；而模型修改量是随机的；而HBSA算法则是把模型参数限制在一定算法则是把模型参数限制在一定的范围内，模型修改量是一固定值。两种算法本质上是一致的。的范围内，模型修改量是一固定值。两种算法本质上是一致的。研究表明，研究表明，HBSA的计算速度比的计算速度比MSA快，特别是在已知某些模型快，特别是在已知某些模型参数的情况下，由于模型空间的缩小，计算速度就进一步加快了参数的情况下，由于模型空间的缩小
38、，计算速度就进一步加快了。模拟退火法（模拟退火法（Simulated Annealing）在模拟退火中，退火温度的选取最为重要，选择不当，将导在模拟退火中，退火温度的选取最为重要，选择不当，将导致反演失败。根据前人研究，致反演失败。根据前人研究，T T取指数变化的模式，比较切合退取指数变化的模式，比较切合退火的实质。火的实质。用模拟退火法反演地球物理资料仍然存在收敛于局部极小的用模拟退火法反演地球物理资料仍然存在收敛于局部极小的问题，但几率比其他非线性反演方法要小。与其他非线性反演相问题，但几率比其他非线性反演方法要小。与其他非线性反演相比，模拟退火法不依赖于初始模型的选择，同时在反演过程中不
39、比，模拟退火法不依赖于初始模型的选择，同时在反演过程中不需要计算雅可比矩阵。需要计算雅可比矩阵。遗传算法（遗传算法（Genetic Algorithm）遗传算法则是模拟生物进化的自然选择和遗传过程遗传算法则是模拟生物进化的自然选择和遗传过程，最早是，最早是由由John Holland与与1975年提出来的一种非线性反演方法。它既不年提出来的一种非线性反演方法。它既不是依赖于目标函数梯度的一类非启发式反演法；又不是在模拟空是依赖于目标函数梯度的一类非启发式反演法；又不是在模拟空间进行完全、彻底的随机搜索的传统的蒙特卡洛法。和模拟退火间进行完全、彻底的随机搜索的传统的蒙特卡洛法。和模拟退火法一样，
40、它是一种自法一样，它是一种自模型空间进行启发式搜索的非线性反演方法。模型空间进行启发式搜索的非线性反演方法。选择、交换、变异三个选择、交换、变异三个步骤构成了遗传算法的基本框架。为步骤构成了遗传算法的基本框架。为了实现这三个步骤，还必须有其他一些考虑：了实现这三个步骤，还必须有其他一些考虑：遗传算法（遗传算法（Genetic Algorithm）1模型模型编码编码 在遗传算法中，不直接处理模型参数，而是对模型参数的二在遗传算法中，不直接处理模型参数，而是对模型参数的二进制（或十进制）码进行进制（或十进制）码进行操作。将待反演的模型之每一个参数的操作。将待反演的模型之每一个参数的十进制表达式，变
41、成二进制编码（或仍采用十进制码），并将此十进制表达式，变成二进制编码（或仍采用十进制码），并将此二进制（或十进制）编码（或编码的组合）称为二进制（或十进制）编码（或编码的组合）称为“染色体染色体”。每。每一个（或几个）模型参数对应一条染色体。而在染色体上的每一一个（或几个）模型参数对应一条染色体。而在染色体上的每一个代码代表一个个代码代表一个“基因基因”。各二进制代码只能取。各二进制代码只能取0或或1。遗传算法（遗传算法（Genetic Algorithm）2 2初始模型群体的产生初始模型群体的产生 初始模型群体是随机产生的。初始模型群体是随机产生的。3 3选择、繁殖选择、繁殖 就是在模型群体
42、中，挑选模型配对以进行交换。就是在模型群体中，挑选模型配对以进行交换。4.4.交换交换 其原则，既可以完全随机，也可以根据交换概率的大小来进行。其原则，既可以完全随机，也可以根据交换概率的大小来进行。依据的原则不同，交换的结果就不同。交换的实质是在模型空间依据的原则不同，交换的结果就不同。交换的实质是在模型空间进行大范围的搜索，充分暴露模型空间。遗传算法搜索出的模型进行大范围的搜索，充分暴露模型空间。遗传算法搜索出的模型空间，可能与预先约定的空间完全不同，甚至相差和那大。因此空间，可能与预先约定的空间完全不同，甚至相差和那大。因此遗传算法是一种非邻近区域搜索算法。遗传算法是一种非邻近区域搜索算
43、法。遗传算法（遗传算法（Genetic Algorithm）5 5变异变异 在遗传工程中，变异是物质进化的必然规律和要求。在非线在遗传工程中，变异是物质进化的必然规律和要求。在非线性反演中，变异是对模型空间进行更彻底搜索的重要手段。性反演中，变异是对模型空间进行更彻底搜索的重要手段。在遗传算法中，选择、交换和变异三个步骤各具其特殊功能。在遗传算法中，选择、交换和变异三个步骤各具其特殊功能。选择决定哪些父选择决定哪些父代模型能繁殖，其依据是目标函数的拟合度；交代模型能繁殖，其依据是目标函数的拟合度；交换决定了模型中包含的基因遗传或重组；变异可以产生父代不具换决定了模型中包含的基因遗传或重组；变异
44、可以产生父代不具备的基因，形成父代没有的特征，使反演迭代更优化，其依据是备的基因，形成父代没有的特征，使反演迭代更优化，其依据是变异概率。变异概率。人工神经网络（人工神经网络（ANN）法）法 1神经网络的基本特征神经网络的基本特征（1）巨量并行性）巨量并行性（2）信息存储和信息处理时合在一起）信息存储和信息处理时合在一起（3）自组织、自学习的功能）自组织、自学习的功能人工神经网络（人工神经网络（ANN）法）法 2简单人工神经元模型简单人工神经元模型（1）M-P神经元模型神经元模型 特点：特点：1）多输入，但输出；）多输入，但输出；2）阈值作用；）阈值作用；3）输入与输出均为两态（抑制、兴奋）；
45、）输入与输出均为两态（抑制、兴奋）；4）每个输入通过权值来表征它对神经元之耦合程度（若）每个输入通过权值来表征它对神经元之耦合程度（若无耦合可取无耦合可取wj=0）。）。图图5-4 5-4 M-P神经元模型神经元模型 人工神经网络（人工神经网络（ANN）法）法 2简单人工神经元模型简单人工神经元模型（2）连续神经元）连续神经元模型模型 为反映神经元状态参数连续变化的情况，常用一阶非线性为反映神经元状态参数连续变化的情况，常用一阶非线性微分方程来模拟生物神经元膜电位微分方程来模拟生物神经元膜电位随时间变化的规律随时间变化的规律 图图5-5 连续神经元模型连续神经元模型人工神经网络（人工神经网络（
46、ANN）法）法 4Hopfield网络及其在地球物理资料反演中的应用网络及其在地球物理资料反演中的应用 Hopfield网络的最重要的应用之一是最优化问题。这样应网络的最重要的应用之一是最优化问题。这样应用的关键在于：将用的关键在于：将Hopfield网络的能量函数和地球物理最优化网络的能量函数和地球物理最优化问题的目标函数联系起来，找到地球物理反演问题中的模型问题的目标函数联系起来，找到地球物理反演问题中的模型（mi,i=1,2,M）、核函数）、核函数Gij（i,j=1,2,M）在神经元稳定输）在神经元稳定输出状态下，和神经元诸要素（如神经元的输入、输出和它们之出状态下，和神经元诸要素（如神
47、经元的输入、输出和它们之间的连接权等）之关系。间的连接权等）之关系。Hopfield网络在地球物理反演中应用的另一重要内容问题网络在地球物理反演中应用的另一重要内容问题是如何将地球物理的模型参数用二进制的形式表示是如何将地球物理的模型参数用二进制的形式表示 人工神经网络（人工神经网络（ANN）法）法 4Hopfield网络及其在地球物理资料反演中的网络及其在地球物理资料反演中的应用应用用用Hopfield网络进行地球物理资料反演时，也同样存在有收敛网络进行地球物理资料反演时，也同样存在有收敛到局部极小的可能性。初始模型的选择对反演结果关系很大，到局部极小的可能性。初始模型的选择对反演结果关系很
48、大，应尽量使初始模型逼近待求的真实的模型，这样既可以减少计应尽量使初始模型逼近待求的真实的模型，这样既可以减少计算时间，又可避免陷入局部极小。算时间，又可避免陷入局部极小。人工神经网络（人工神经网络（ANN）法）法 5回传（回传（Back Propagation）理论及其在地球物理资料反演中）理论及其在地球物理资料反演中的应用的应用 BP回传学习的原理是：把希望输出与实际输出之偏差归结回传学习的原理是：把希望输出与实际输出之偏差归结为连接权的为连接权的“过错过错”，通过把输入层单元的误差，逐层向输入，通过把输入层单元的误差，逐层向输入层逆向回传，分摊给各层单元，从而获得各层单元的参考误差，层逆
49、向回传，分摊给各层单元，从而获得各层单元的参考误差，以调整以调整相应的连接权。相应的连接权。最基本最基本的的BP网络是三层前馈网络。即输入层网络是三层前馈网络。即输入层LA，隐含层，隐含层LB和输入层和输入层LC之间前向连接。通常之间前向连接。通常BP网络可以有多个隐含层，网络可以有多个隐含层，可以跨层连接，可以有单元自身的反馈连接，也可以有层内单可以跨层连接，可以有单元自身的反馈连接，也可以有层内单元横向连接。元横向连接。如图如图5-6所示所示图图5-6 最基本的最基本的BP网络的拓扑结构网络的拓扑结构人工神经网络（人工神经网络（ANN）法）法 5回传（回传（Back Propagation
50、）理论及其在地球物理资料反演中）理论及其在地球物理资料反演中的应用的应用 BP学习有两个阶段。在第一个学习阶段中，对于给定的网学习有两个阶段。在第一个学习阶段中，对于给定的网络输入，通过现有连接权沿其正向传播，获得各个元素的实际络输入，通过现有连接权沿其正向传播，获得各个元素的实际输出。如实际输出和理论输出一致，则学习终止；否则进入第输出。如实际输出和理论输出一致，则学习终止；否则进入第二阶段，将输出层各单元的误差，逐层向输入层方向逆向传播，二阶段，将输出层各单元的误差，逐层向输入层方向逆向传播，并调整各中间层的连接权，直至输出层的输出误差达到最小为并调整各中间层的连接权，直至输出层的输出误差
