1、基于神经网络函数的数据拟合基于神经网络函数的数据拟合思考问题的范式：变换到不同空间来考虑问题 将信息（数据）变换到不同的空间 再在该空间解决问题：建模、算法、实现一个熟知的例子：Fourier分析：从时域变换到频域什么是“变换”：抽取特征 变换就是函数：参数化 变换后的空间称为隐空间（Latent space）变换后的数据称为“特征”(Feature)曲面参数化“变换”的例子1：曲面特征检测特征线将顶点变换到曲率相关的一个空间“变换”的例子2：曲面编辑将顶点的欧氏坐标变换到Laplace空间“变换”的例子3：图像特征检测将像素的RGB表达变换到各种度量空间初始空间称为观察空间(ambient
2、space)，变换后的空间称为隐空间(latent space)变换后的数据称为变换后的数据称为“特征特征”如何将数据变换到合适的空间，是研究该问题的关键因素！（注意：可以进行多次变换”Deep”）然后在这个合适的空间来建立然后在这个合适的空间来建立数学模型、进行求解数学模型、进行求解如何表达一个变换（函数）？函数的维数函数 有哪些函数？幂函数三角函数对数函数指数函数幂函数指数函数(反)三角函数对数函数更复杂的函数 用若干简单函数(“基函数”)线性组合成复杂函数 线性组合张成一个函数空间多项式函数空间幂基三角函数空间三角函数基空间的完备性：这个函数空间是否可以表示（逼近）任意函数？万能逼近定理
3、：多项式函数空间是稠密的例子：拟合(Fitting)/回归(Regression)输入：一些观察的数据点 输出：反映这些数据规律的函数拟合：插值或逼近插值插值逼近逼近零误差最小平方误差(最小二乘拟合)Overfitting（过拟合）误差为0，但是拟合的函数并无使用价值！过拟合（Overfitting）如何选择合适的基函数？High bias(underfitting)“Just right”High variance(overfitting)需要根据不同的应用与需求，不断尝试（不断“调参”）分类问题的过拟合避免过拟合的常用方法 数据去噪剔除训练样本中噪声 数据增广增加样本数，或者增加样本的代表
4、性和多样性 模型简化预测模型过于复杂，拟合了训练样本中的噪声选用更简单的模型，或者对模型进行裁剪 正则约束适当的正则项，比如方差正则项、稀疏正则项岭回归正则项 选择一个函数空间 基函数的线性表达 最小二乘拟合 Ridge regression（岭回归）稀疏正则化 冗余基函数（过完备）通过优化来选择合适的基函数系数向量的L0模（L1模）尽量小挑选出合适的基函数稀疏学习（稀疏优化)稀疏学习：“学习”合适的基函数冗余基函数（过完备）工具：稀疏优化从另一角度：压缩感知MN 已知y和，有无穷多解x 对于稀疏信号x，可通过优化能完全重建x 在一定条件下(on)Candes and Tao 2005s.t.
5、xy 0min xL0 优化从神经网络的角度看函数将函数看成网络多元函数和向量值函数图形学中的例子：曲面拟合 输入：空间点云 输出：用一张B样条曲面拟合点云曲面拟合的方法输入点云参数域拟合曲面参数化用B-样条基函数进行拟合参数化对曲线/曲面拟合的影响将曲线拟合看成网络将曲面拟合看成网络一个问题：如何解决基函数选取纠结的问题？一个想法：用元函数及其变换平移变换伸缩变换如果有足够多的变换所构成的函数，其张成的函数空间的表达能力如何？万有逼近定理bxwxwwzmmkk11x高维Input:将线性函数复合一个非线性函数作为一个“神经元”z1wkwKw1xkxmxb zbiasyweightsA sim
6、ple functionActivation function zz zez11Sigmoid Function高维Input:将线性函数复合一个非线性函数作为一个“神经元”神经元单变量多变量单隐层神经网络：一个复杂的函数：由很多小函数组合而成多隐层神经网络：多重复合函数一个复杂的函数：由很多小函数复合而成Activation Functions（激活函数）使用简单元函数及其平移构成使用简单元函数及其平移构成“基函数基函数”（归一化）（归一化）【类比：径向基函数(RBF)】用神经网络函数来拟合数据Regression problem:Input:Given training set(x1,y1
7、),(x2,y2),(x3,y3),.Output:Adjust parameters q(for every node)to make:优化算法（BP算法）多隐层的几何意义 将数据变换到不同的空间，即参数化数据的真实维度？图形学：三维曲面已知是二维流形 一般问题：并不知道数据的真实维数流形学习神经网络函数的表达能力 神经网络的表达能力取决于其参数个数网络足够大，参数就足够多，表达能力就足够强任何一个特定的网络不可能表达任意复杂的函数深度神经网络不是新发明，为什么近年来爆发？大数据 高效算法 高性能机器机器学习深度学习：基于深度神经网络的数据拟合优势：自动抽象特征、无须预测模型！整合了两个过程
8、（端对端）！Key:Extracting Feature Hierarchies！统一的深度网络框架！TraditionalfunctionDNNRBF networkELMRecap:深度神经网络函数 中间的任何一个隐层都可以作为特征 中间的任何连续多层之间都可作为一个函数(function blocks)，可以任意组合与拼接轻松看懂所有网络结构！Unsupervised Feature Learning(Auto-Encoder)EncoderDecoderCodeVariational Auto-Encoder(VAE)变种的神经元 卷积神经元（Convolutional cells）池
9、化神经元和插值神经元（Pooling and interpolating cells）概率神经元：均值神经元和标准方差神经元（Mean and standard deviation cells）循环神经元（Recurrent cells）长短期记忆神经元（Long short term memory cells）门控循环神经元（Gated recurrent cells）不断涌现出的各种神经网络及学习方法 Convolutional Neural Network(CNN)Recurrent Neural Network(RNN)Generative Adversarial Network(GA
10、N)Reinforcement Learning Transfer learning Metric learning 层出不穷的新名字-machine“机”-net “网”使用深度学习的方法 理解问题 数学建模 设计合适的神经网络 调试和修改网络机器学习：不仅仅是深度神经网络 逻辑回归 SVM KNN 决策树 随机森林 Clustering（聚类分析）Boosting 贝叶斯网络 非监督学习 三维数据的深度学习的三种方法压缩感知与深度学习：殊途同归 方法的不同性压缩感知：基于模型的，有很好的结构和数学模型；来自于数学理论的突破深度学习：基于实证的，模型灵活，须通过数据进行监督学习；来自于求解速度的突破 一致性目标：高维数据的信息(特征)提取结果：从局部信息来处理全局信息类似的网络结构：求解L1优化的IST(Iterative Soft-Thresholding)算法实质上是多层网络优化不仅仅是基于神经网络的深度学习
