1、第第3讲讲 生物信息学与数学生物信息学与数学calculus函数函数functionl一元函数l多元函数 12,nyf xyf x xx极限极限limit 00|for:|limxxf xLxxxf xLl上式中的L即为函数f(x)在x0处的极限导数导数derivative 2121211100lim =lim =lim()xxxxf xf xdydxxxf xxf xxyxdyd f xfxdxdx 导数的几何意义导数的几何意义函数曲线在该点处切线（tangent）的斜率（slope）导数的规则导数的规则rules for derivativesl加法规则addition rulel传递原则
2、chain rulel乘法原则multiplication rulel除法原则division rule h xf xg xhxfxgx ,z=h zf zg xhg xfg xgx h xf x g xhxfx g xf x gx 2/h xf xg xg x fxgx f xhxg xApplied calculusl变化Change:常导数ordinary、偏导数partial和方向导数directional derivativesl最优化optimization：包括拟合fitting和带约束的优化constrained optimizationl建模modelingl函数类型：线性l
3、inear、多项式polynomial、指数exponential、三角trigonometric、幂power-lawl多元函数multi-variables functionl微分方程differential equationl单位和维度units and dimensionl例子:二元二次多项式微分方程：动态过程建模微分方程：动态过程建模Differential Equation动态模型动态模型dynamic modell描述描述研究对象特征随时间/空间变化的演变过程l分析分析研究对象特征的变化规律l预测预测研究对象特征的未来状态l控制控制研究对象特征的未来状态l微分方程建模方法l根据函
4、数及其变化率（导数导数）的关系建模l根据建模目的和问题分析简化假设简化假设l根据内在规律（模式模式）或类比类比法建立微分方程Linear Algebra基本概念基本概念l集合（set）l线性空间（linear space）l线性组合（linear combination）l线性相关（linear independent）l欧式空间（Euclidean space）l正交（perpendicular，orthogonal）向量的加法（向量的加法（addition）l其实质是对应元素的加法l交换律（communicative law）l结合律（associative law）l分配率（distri
5、butive law）l向量加减的几何学意义（geometric interpretation）向量乘法（向量乘法（multiplication）的几何意义）的几何意义l内积（inner product）：也称作点乘（dot product），其结果为一标量（scalar），相当于a的范数（L2-norm）与b的范数的乘积乘以两向量的夹角余弦值，表示为 或 abl应用：计算物理上的做功。l外积（outer product）：也称作叉乘（cross product），其结果为垂直于向量a与b形成的的平面的向量，其范数为向量a和b范数的乘积乘以夹角的正弦值，表示为 abl应用：物理上的电磁力计算，
6、确定方向采用右手螺旋方法矩阵（矩阵（matrix）l矩阵的秩（rank）：矩阵A的行（或列）极大无关组的个数，表示为rank(A)，rank(A)=min(m,n)。如果等式成立，则称A是满秩（full rank）的（行满秩还是列满秩取决于m、n大小）；如果rank(A)=m=n，则称A为n阶非奇异方阵（n-order nonsingular square matrix），此时A可逆（invertible）。l方阵的行列式（determinant），表示为det(A)。矩阵非奇异的充要条件是：det(A)0l矩阵的转置（transpose matrix）l逆矩阵（inverse matrix）
7、l对称矩阵（symmetric matrix）l正交矩阵（orthonormal matrix）l正定矩阵（positive definite matrix）l正半定矩阵（positive semidefinite matrix）mnA R矩阵分解（矩阵分解（decomposition/factorization）所谓矩阵分解，是将矩阵分解为经典矩阵（canonical matrix）的乘积的办法，目的是为了简化计算。lLU分解：将矩阵分解为下三角矩阵（upper triangular matrix，L）和上三角矩阵（upper triangular matrix，U）的乘积，常用于方程组的求
8、解。通常A为方阵lQR分解：将矩阵分解为一个正规正交矩阵（Q）和一个上三角矩阵的积（R）。QR分解常用来求解线性最小二乘问题。矩阵不必为方阵，分解得到Q为mm方阵，R为nn方阵lCholesky分解：l特征值分解（eigendecomposition）：lSchur分解：l奇异值分解（singular value decomposition,SVD）：A=USVT，其中U、V为正规正交矩阵，S为对角阵。是最为准确的矩阵分解方法，可用于主成份分析（PCA）和聚类（clustering）Optimization Theory&Applications数学规划（数学规划（mathematical p
9、rogramming）min (),s.t.0,1,2,0,1,2,niif xxcxilcxilllmRcl最优化理论的一个重要分支l数学规划是指对n个变量对单目标（或多目标）函数求解极小值（或极大值）l变量可能受到某些条件（等式或不等式）的约束优化问题：分类优化问题：分类l线性规划+非线性规划（二次规划等）l凸规划+非凸规划l全局（global）优化和局部（local）优化l带约束的优化+不带约束的优化l无约束优化应用：最小二乘法（ordinary least squares,OLS）l带约束的优化应用：LASSO（least absolute shrinkage and selectio
10、n operator）线性规划（线性规划（linear programming）l目标函数（objective）和约束函数（constraint）都是线性的l方法（solutions）l图解法（graphical method）l单纯形法（Simplex method）l修正单纯形法（Modified Simplex method）l对偶单纯形法（dual Simplex method）l应用：二次规划（二次规划（quadratic programming）ProbabilityStatistics：Cheating Tools？Descriptive statisticslContinuou
11、s datalLocation:mean,median,modelDispersion:range,standard deviation,coefficient of variation,percentilelMoments:variance,semivariance,skewness,kurtosislCategorical datalFrequencylContingency tableStatistical graphicslbar plotlbiplotlboxplotlHistogramlStemplotlQ-QplotlcorrelogramMathematics can be b
12、eautiful barplotboxplotPairs plotPerspective plotTime series data decompositionStem plot 1|1111112222233444 1|5555556666667899999 2|3344 2|59 3|3|5678 4|012Stochastic Process马尔可夫链（马尔可夫链（Markov Chain）l有向无环图（Directed Acyclic Graph,DAG）l可用于预测（prediction）与分类（classification）l每条有向边为量化的可信度（或者概率）l是马尔可夫链（Mar
13、kov chain,MC）的扩展（extension或generalization）l每个节点概率的计算，可用贝叶斯公式计算；与马尔可夫链相似，每个状态值取决于前面有限个状态贝叶斯网络（贝叶斯网络（Bayesian Network）l有向无环图（Directed Acyclic Graph,DAG）l可用于预测（prediction）与分类（classification）l每条有向边为量化的可信度（或者概率）l是马尔可夫链（Markov chain,MC）的扩展（extension或generalization）l每个节点概率的计算，可用贝叶斯公式计算；与马尔可夫链相似，每个状态值取决于前面有限个状态Graph TheoryClassification mindsl(apple,orange,banana,watermelon,grape,grapefruit,mango,star fruit)lClustering or classification?
