表情识别-PPT课件.ppt

1、Jia XUEJia XUE2006-6-5 USTC表情识别 PPT课件Jia XUEJia XUE2006-6-5 USTCJia XUEJia XUE2006-6-5 USTCJia XUEJia XUE2006-6-5 USTCJia XUEJia XUE2006-6-5 USTCFacial Expression RecognitionNeutral Jia XUEJia XUE2006-6-5 USTCFacial Expression RecognitionJia XUEJia XUE2006-6-5 USTCFacial Expression RecognitionJia XU

2、EJia XUE2006-6-5 USTCFacial Expression RecognitionJia XUEJia XUE2006-6-5 USTCFacial Expression RecognitionJia XUEJia XUE2006-6-5 USTCFacial Expression RecognitionJia XUEJia XUE2006-6-5 USTCFacial Expression RecognitionJia XUEJia XUE2006-6-5 USTCFacial Expression RecognitionJia XUEJia XUE2006-6-5 UST

3、CFacial Expression RecognitionJia XUEJia XUE2006-6-5 USTCFacial Expression RecognitionJia XUEJia XUE2006-6-5 USTCFacial Expression RecognitionJia XUEJia XUE2006-6-5 USTC研究现状研究现状国际上国际上 美国、日本、英国、德国、荷兰、法国、印度、美国、日本、英国、德国、荷兰、法国、印度、新加坡都有专门的研究组进行这方面的研究。其中新加坡都有专门的研究组进行这方面的研究。其中MITMIT、CMUCMU、Maryland Marylan

4、d 大学、大学、Standford Standford 大学、日本城蹊大学、大学、日本城蹊大学、东京大学、东京大学、ATR ATR 研究所的贡献尤为突出研究所的贡献尤为突出 。国内国内 清华大学、哈尔滨工业大学、中科院、中国科技清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学大学、南京理工大学、北方交通大学 Jia XUEJia XUE2006-6-5 USTC绪论绪论人脸检测与定位人脸检测与定位表情识别表情识别人脸特征提取人脸特征提取图像或图像序列图像或图像序列人脸人脸特征特征表情分类表情分类Action UnitsAction UnitsCohn-Kanade A

5、U-Coded Facial Cohn-Kanade AU-Coded Facial Expression Database Expression Database ANNAANNAJia XUEJia XUE2006-6-5 USTCFACSFACS定义的面部定义的面部AUAU编码及其含义编码及其含义绪论绪论Jia XUEJia XUE2006-6-5 USTC面部动作单元识别方法面部动作单元识别方法 纯手工方法：效率低。 自动识别方法：特征抽取需要一些受控制的成像环境，限制了实际应用。 本文方法：克服了两种方法的缺点。绪论绪论Jia XUEJia XUE2006-6-5 USTC面部表情识

6、别方法面部表情识别方法 面部表情识别方法： 基于模板的方法 基于神经网络的方法 基于规则的方法 本文从人类大脑结构角度，将人类理解面部表情的一些生理机能也加入到实验中，希望能够从心理角度和生理角度来处理计算机的面部识别问题。绪论绪论Jia XUEJia XUE2006-6-5 USTC 使用交互式遗传算法IGA进行面部动作单元识别面部动作单元识别面部动作单元识别Jia XUEJia XUE2006-6-5 USTC实际问题参数集实际问题参数集编码编码群体群体t计算适应度值计算适应度值运算：复制运算：复制 交叉交叉 变异变异群体群体t+1满足要求？满足要求？解码解码改善或解决实际问题改善或解决实

7、际问题群体群体t+1群体群体tYN用户给出用户给出Jia XUEJia XUE2006-6-5 USTCInexperienced subjects Inexperienced subjects X Detect AU from facial images Detect AU from facial images Recognize facial behavior, Recognize facial behavior, open mouse, frown open mouse, frown, , stare stare Grasp the similarities and difference

8、s Grasp the similarities and differences between two images between two images To use humans ability comparing with GA to To use humans ability comparing with GA to realize AU detectionrealize AU detectionMethod IMethod Il Basic IdeaBasic IdeaJia XUEJia XUE2006-6-5 USTCMethod IIMethod II Case-Based

9、AU Recognition Using IGACase-Based AU Recognition Using IGAFig. 3 Framework of the proposed AU recognitionFig. 3 Framework of the proposed AU recognitionJia XUEJia XUE2006-6-5 USTCInterface of the systemInterface of the system Experiment Interface Experiment InterfaceJia XUEJia XUE2006-6-5 USTCExper

10、iment conditions Subjects:Subjects: 3 male 3 male 2 female, 22-292 female, 22-29 Database:Database: final frames in 481 image sequences, final frames in 481 image sequences, from Cohn_Kanade AU-Coded Facial Expression from Cohn_Kanade AU-Coded Facial Expression Database with AU codes Database with A

11、U codes Case base:Case base: 465 images465 images / / 481 images481 images Test:Test: 16 images/ 16 images/ 10 images10 images GA :GA : ParametersParametersValueValueParametersParametersValueValuePopulation size Population size Crossover rate Crossover rate Mutation rateMutation rate12120.80.80.010.

12、01GA codingGA codingBit lengthBit lengthBinary codingBinary coding9292Jia XUEJia XUE2006-6-5 USTCJia XUEJia XUE2006-6-5 USTC 比较实验特征脸算法实验面部动作单元识别面部动作单元识别图像库特征脸测试图片图像库中图像在特征脸空间中的投影前向反馈神经网络测试图像在特征脸空间中的投影标准化和主元素分析标准化训练测试Jia XUEJia XUE2006-6-5 USTC比较实验总结面部动作单元识别面部动作单元识别简单图像实验单个AU平均识别率简单图像实验AU组合平均识别率特征脸（整

13、张脸）51.4%51.4%特征脸（上下脸分开）46.7%46.7%普通IGA76.48%80.61%IGASVM82.52%84.96%AIGA86.59%87.11%相对整张脸实验的改进量（IGA/IGASVM/AIGA）25%/31%/35%30%/33%/36%Jia XUEJia XUE2006-6-5 USTC面部表情识别面部表情识别人 脸语 言韵 律转换模块控制器无意识情感有意识情感输入无意识情感有意识情感转换模块控制器 xy输出zJia XUEJia XUE2006-6-5 USTCBASIC BRAIN EMOTION CIRCUIT Valence in amygdala &

14、 OBFC Attention in parietal & PFC Interaction in ACGSCParietalAThalACGSFGNBMJia XUEJia XUE2006-6-5 USTC面部表情识别面部表情识别Jia XUEJia XUE2006-6-5 USTC面部表情识别面部表情识别Jia XUEJia XUE2006-6-5 USTC面部表情识别面部表情识别表情训练样本个数测试样本个数高兴14061惊讶12052愤怒16058恐惧18076厌恶17053悲伤23057Jia XUEJia XUE2006-6-5 USTC面部表情识别面部表情识别91.80%75.47%

15、82.89%82.76%76.92%85.96%高兴高兴厌恶厌恶恐惧恐惧惊讶惊讶愤怒愤怒悲伤悲伤Jia XUEJia XUE2006-6-5 USTC比较实验 实验结果面部表情识别面部表情识别表情训练次数（ANNA/NN）训练样本平均识别率（ANNA/NN）测试样本平均识别率（ANNA/NN）高兴350/70091.80%/92.14%91.80%/77.04%惊讶520/180092.50%/91.67%76.92%/80.77%愤怒500/160090.63%/79.16%82.76%/78.85%恐惧480/54092.22%/82.89%82.89%/68.42%厌恶440/68088

16、.82%/75.47%75.47%/69.81%悲伤680/253090.00%/85.96%85.96%/75.44%Jia XUEJia XUE2006-6-5 USTCCS, USTC 对面部动作单元的识别方法进行研究。对面部动作单元的识别方法进行研究。 提出使用提出使用IGA进行进行AU识别，避开传统识别方法所识别，避开传统识别方法所遇到干扰条件的影响；遇到干扰条件的影响； 提出两种改进识别算法：使用结合提出两种改进识别算法：使用结合SVM的的IGA和和基于绝对尺度预测的基于绝对尺度预测的IGA算法，减轻用户疲劳度。算法，减轻用户疲劳度。Jia XUEJia XUE2006-6-5 U

17、STCCS, USTC 对面部表情识别方法进行研究。对面部表情识别方法进行研究。 使用使用Taylor等人提出的基于意识模块的神经网络等人提出的基于意识模块的神经网络结构进行面部表情识别。基于该结构的表情识别结构进行面部表情识别。基于该结构的表情识别算法更具有人脑的结构特征，这样就可以从一定算法更具有人脑的结构特征，这样就可以从一定程度上更能够体现人脑识别情感的机制。程度上更能够体现人脑识别情感的机制。Jia XUEJia XUE2006-6-5 USTCCS, USTC 有待解决的一些问题：有待解决的一些问题：1、本文AU识别方法的推广：任何AU和AU组合的识别；动态的图像序列的AU识别。2

18、、交互和动态的增加样本集。3、对于情感有关的其他脑部成分进行有益的探索，更好地实现基于大脑模型的情感识别机制。Jia XUEJia XUE2006-6-5 USTCJia XUEJia XUE2006-6-5 USTC 遗传算法是模拟生物在自然环境下的遗传和进化过程而形成的一种自适应全局遗传算法是模拟生物在自然环境下的遗传和进化过程而形成的一种自适应全局 优化概率搜索方法优化概率搜索方法。 它最早由美国密西根大学的它最早由美国密西根大学的H.Holland教授提出，起源于教授提出，起源于60年代年代对自然和人工对自然和人工 自适应系统的研究；自适应系统的研究； 1967年年，Bagley发表了

19、关于遗传算法应用的论文，在其论文中首次使用发表了关于遗传算法应用的论文，在其论文中首次使用“遗传遗传算法（算法（ Genetic Algorithm）”一词。一词。 70年代年代 De Jong基于遗传算法的思想在计算机上进行了大量的纯数值函数优化基于遗传算法的思想在计算机上进行了大量的纯数值函数优化 计算实验。计算实验。 在一系列研究工作的基础上，在一系列研究工作的基础上，80年代年代由由Goldberg进行归纳总结，形成了遗传进行归纳总结，形成了遗传算法的基本框架。算法的基本框架。 Jia XUEJia XUE2006-6-5 USTC 根据各个个体的适应度，按照一根据各个个体的适应度，按

20、照一 定的规则或方法，从第定的规则或方法，从第t代群体代群体P(t) 中选择出一些优良的个体遗传到下中选择出一些优良的个体遗传到下 一代群体一代群体P(t+1)中；中； 将群体将群体P(t)内的各个个体随机搭配内的各个个体随机搭配 成对，对每一对个体，以某个概率成对，对每一对个体，以某个概率 (称为交叉概率）交换它们之间的称为交叉概率）交换它们之间的 部分染色体；部分染色体； 对群体对群体P(t)中的每一个个体，以中的每一个个体，以某一概率某一概率(称为变异概率称为变异概率)改变某改变某 一个或某一些基因座上的基因值一个或某一些基因座上的基因值为其他基因值。为其他基因值。实际问题参数集实际问题

21、参数集编码编码群体群体t计算适值计算适值运算：复制运算：复制 交叉交叉 变异变异群体群体t+1满足要求？满足要求？解码解码改善或解决实际问题改善或解决实际问题群体群体t+1群体群体tYNJia XUEJia XUE2006-6-5 USTC 例：求下述二元函数的最大值：例：求下述二元函数的最大值： max f(x1,x2)=x12+x22 s.t. x1 1,2,3,4,5,6,7 x2 1,2,3,4,5,6,7 遗传算法的运算对象是表示个体的符号串，所以必须把变量遗传算法的运算对象是表示个体的符号串，所以必须把变量 x1, x2 编码为一种编码为一种 符号串。符号串。本题中，用无符号二进制

22、整数来表示。本题中，用无符号二进制整数来表示。 因因 x1, x2 为为 0 7之间的整数，所以分别用之间的整数，所以分别用3位无符号二进制整数来表示，将它位无符号二进制整数来表示，将它 们连接在一起所组成的们连接在一起所组成的6位无符号二进制数就形成了个体的基因型，表示一个可位无符号二进制数就形成了个体的基因型，表示一个可 行解。行解。 例如，基因型例如，基因型 X101110 所对应的表现型是：所对应的表现型是：x 5，6 。 个体的表现型个体的表现型x和基因型和基因型X之间可通过编码和解码程序相互转换。之间可通过编码和解码程序相互转换。Jia XUEJia XUE2006-6-5 UST

23、C 本例中，我们采用与适应度成正比的概率来确定各个个体复制到下一代群体中本例中，我们采用与适应度成正比的概率来确定各个个体复制到下一代群体中 的数量。其具体操作过程是：的数量。其具体操作过程是： 先计算出群体中所有个体的适应度的总和先计算出群体中所有个体的适应度的总和 fi ( i=1.2,M ); 其次计算出每个个体的相对适应度的大小其次计算出每个个体的相对适应度的大小 fi / fi ，它即为每个个体被遗传，它即为每个个体被遗传 到下一代群体中的概率，到下一代群体中的概率， 每个概率值组成一个区域，全部概率值之和为每个概率值组成一个区域，全部概率值之和为1； 最后再产生一个最后再产生一个0

24、到到1之间的随机数，依据该随机数出现在上述哪一个概率区之间的随机数，依据该随机数出现在上述哪一个概率区 域内来确定各个个体被选中的次数。域内来确定各个个体被选中的次数。0124%24%17%35%1#2#3#4#个体编号个体编号初始群体初始群体p(0)适值适值占总数的百分比占总数的百分比总和总和1234011101101011011100111001343425500.240.240.170.351431选择次数选择次数选择结果选择结果1102011101101011 111001111001 x1 x2 3 5 5 3 3 4 7 1Jia XUEJia XUE2006-6-5 USTC 交

25、叉运算是遗传算法中交叉运算是遗传算法中产生新个体产生新个体的主要操作过程，它以某一概率相互交换某的主要操作过程，它以某一概率相互交换某 两个个体之间的部分染色体。两个个体之间的部分染色体。 本例采用单点交叉的方法，其具体操作过程是：本例采用单点交叉的方法，其具体操作过程是： 先对群体进行随机配对；先对群体进行随机配对； 其次随机设置交叉点位置；其次随机设置交叉点位置； 最后再相互交换配对染色体之间的部分基因。最后再相互交换配对染色体之间的部分基因。选择结果选择结果01 110111 10011010 111110 01配对情况配对情况交叉点位置交叉点位置个体编号个体编号12341-23-41-

26、2：23-4：4交叉结果交叉结果011001 111101101001111011 可以看出，其中新产生的个体可以看出，其中新产生的个体“111101”、“111011”的适应度较原来两个个的适应度较原来两个个体体 的适应度都要高。的适应度都要高。Jia XUEJia XUE2006-6-5 USTC 变异运算是对个体的某一个或某一些基因座上的基因值按某一较小的概率进变异运算是对个体的某一个或某一些基因座上的基因值按某一较小的概率进 行改变，它行改变，它也是产生新个体也是产生新个体的一种操作方法。的一种操作方法。 本例中，我们采用基本位变异的方法来进行变异运算，其具体操作过程是：本例中，我们采

27、用基本位变异的方法来进行变异运算，其具体操作过程是： 首先确定出各个个体的基因变异位置，下表所示为随机产生的变异点位置，首先确定出各个个体的基因变异位置，下表所示为随机产生的变异点位置， 其中的数字表示变异点设置在该基因座处；其中的数字表示变异点设置在该基因座处； 然后依照某一概率将变异点的原有基因值取反。然后依照某一概率将变异点的原有基因值取反。对群体对群体P(t)进行一轮选择、交叉、变异运算之后可得到新一代的群体进行一轮选择、交叉、变异运算之后可得到新一代的群体p(t+1)。个体编号个体编号1234交叉结果交叉结果011001 111101101001111011变异结果变异结果变异点变异

28、点4526011101 111111111001111010子代群体子代群体p(1)011101 111111111001111010Jia XUEJia XUE2006-6-5 USTC 从上表中可以看出，群体经过一代进化之后，其适应度的最大值、平均值都得从上表中可以看出，群体经过一代进化之后，其适应度的最大值、平均值都得 到了明显的改进。事实上，这里已经找到了最佳个体到了明显的改进。事实上，这里已经找到了最佳个体“111111”。 需要说明的是，表中有些栏的数据是随机产生的。这里为了更好地说明问题，需要说明的是，表中有些栏的数据是随机产生的。这里为了更好地说明问题， 我们特意选择了一些较好

29、的数值以便能够得到较好的结果，而在实际运算过程中我们特意选择了一些较好的数值以便能够得到较好的结果，而在实际运算过程中 有可能需要一定的循环次数才能达到这个最优结果。有可能需要一定的循环次数才能达到这个最优结果。个体编号个体编号子群体子群体p(1)适值适值占总数的百分比占总数的百分比总和总和1234011101 111111111001111010349850530.140.420.210.232351 x1 x2 3 5 7 7 7 1 7 2Jia XUEJia XUE2006-6-5 USTC个体编号个体编号初始群体初始群体p(0) 适值适值fi(x1,x2)占总数的百分比占总数的百分比

30、fi / f1234011101101011011100111001343425500.240.240.170.35 x1 x2 3 5 5 3 3 4 7 1 fi=143fmax=50f=35.75选择结果选择结果011101111001101011111001配对情况配对情况交叉点位置交叉点位置1-23-41-2：23-4：4交叉结果交叉结果011001 111101101001111011选择次数选择次数1102变异结果变异结果变异点变异点4526011101 111111111001111010子代群体子代群体p(1) 适值适值fi(x1,x2)占总数的百分比占总数的百分比fi / f011101 111111111001111010349850530.140.420.210.23 x1 x2 3 5 7 7 7 1 7 2 fi=253fmax=98f=58.75