1、SHU JU FEN XI YU WA JUEOutline人工神经网络概况手写字符识别3研究背景12小结4研究背景1背景背景1234背景背景 手写数字识别是光学字符识别技术(OCR)的一个分支,研究如何利用计算机自动辨认手写在纸张上的数字。手写体数字的随意性很大,字体大小、倾斜、笔画的粗细等都会对识别结果造成影响。下面是一些样例:人工神经网络及BP网络2人工神经网络人工神经网络12人工神经元人工神经元人工神经元:生物神经元的简化模拟。人工神经元间的互连:信息传递路径轴突-突触-树突的简化;连接的权值:两个互连的神经元之间相互作用的强弱。 人工神经元模型接收的信息(其它神经元的输出) 互连强度
2、 作比较 的阈值n维输入向量X 输出 激活函数 niiixwfy1神经元的动作: niiixwnet1)(netfy 激活函数 f: 阈值型S型分段线性型输出值:niiixwfy11nw设 ,点积形式:)(TXWfy T11,nnwww WT1 1,nxx X式中,BP神经网络神经网络网络拓扑结构:1、BP神经网络具 有三层或三层以 上的多层神经网络2、每一层都由若干个神经元组成3、左右各层之间神经元实现全连接,同层神经元无连接 BP网络的标准学习算法网络的标准学习算法p学习的过程:神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。p学习的本质:对各连接
3、权值的动态调整p学习规则:权值调整规则,即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。BP网络的标准学习算法网络的标准学习算法-学习过程学习过程p正向传播:正向传播: 输入样本输入层各隐层输出层p判断是否转入反向传播阶段:判断是否转入反向传播阶段: 若输出层的实际输出与期望的输出(监督信号)不符p误差反传误差反传 误差以某种形式在各层表示修正各层单元的权值p网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度p进行到预先设定的学习次数为止进行到预先设定的学习次数为止手写字符识别315准备样本准备样本例:美国邮政服务(USPS)数据库抽取样本的特征抽取样本的特征 全
4、局统计特征是将整个字符点阵作为研究对象,从整体上抽取特征。常用的是全局变换特征:对字符图象进行各种变换,利用变换系数作为特征,常用的变换有Fourier变换、Hadamard变换、DCT变换、Walsh变换、Rapid变换、K-L变换等。另外还有:不变矩(Moment)特征、笔画穿透数目特征、全局笔画方向特征、背景特征。 局部统计特征是将字符点阵图象分割成不同区域或网格,在各个小区域内分别抽取统计特征,主要包括局部笔画方向特征、细胞特征、相补特征、方向线素特征、Gabor特征、四角特征。 根据抽取特征的不同,可以选用不同的匹配方法,常用的统计匹配方法有模板匹配、相关匹配、树分类器等。常用的距离度量有欧氏距离、城市块距离、马氏距离等。 12317训练训练BP网络分类器网络分类器例:手写数字识别研究中,构造了10个、输出层使用purelin函数,其他层使用logsig函数的BP神经网络。图像采集图像采集19邮政编码的定位邮政编码的定位20邮政编码的定位邮政编码的定位21邮政编码图像的提取邮政编码图像的提取22灰度化灰度化23二值化二值化24笔画粗细调整笔画粗细调整25图像标准化并识别图像标准化并识别小结4小结小结需要尽可能的添加手写数字到样品库神经网络有可能会陷入局部极小值,导致错分123