1、 多模态话语分析多模态话语分析 内容提要内容提要一、多模态话语分析及其历史发展一、多模态话语分析及其历史发展二、主要研究成果二、主要研究成果三、未来的发展趋势三、未来的发展趋势四、参考文献四、参考文献多模态话语相关概念界定多模态话语相关概念界定多模态话语：多模态话语：是一种融合了多种符号是一种融合了多种符号模态进行交际的话语。模态进行交际的话语。李战子（李战子（2019：5）指）指出多模态话语为除了文出多模态话语为除了文本之外，还带有图像、本之外，还带有图像、图表等的复合话语，或图表等的复合话语，或者说任何一种以上的符者说任何一种以上的符号编码实现意义的文本。号编码实现意义的文本。Mode a
2、nd Medium模态（模态（Mode）：同步）：同步实现话语和交流类别实现话语和交流类别的符号资源，它可以的符号资源，它可以通过一种生产媒介来通过一种生产媒介来实现。实现。媒介（媒介（Medium）：表）：表达信息的物理工具达信息的物理工具。多模态话语分析理论介绍多模态话语分析理论介绍20世纪世纪90年代（西方）年代（西方）批评话批评话系统功系统功能语法能语法社会符社会符号学号学传统的语传统的语话分析话分析批评性社会符号学批评性社会符号学语分析语分析语言教学语言教学影视影视戏剧戏剧建筑建筑规划规划网站页网站页面设计面设计书刊书刊排版排版 多模态多模态 话语分析话语分析传媒学传媒学心理学心理学
3、法学法学哲学哲学美学美学多模态话语分析理论介绍多模态话语分析理论介绍理论基础理论基础以社会符号学为视角，以韩礼德的系统功能语法为以社会符号学为视角，以韩礼德的系统功能语法为理论基础，即语言是社会符号，除语言这外还有非理论基础，即语言是社会符号，除语言这外还有非语言符号（绘画、雕刻、音乐、舞蹈等）这些非语语言符号（绘画、雕刻、音乐、舞蹈等）这些非语言符号与语言共同构建社会意义。言符号与语言共同构建社会意义。主要观点主要观点图像、音乐、手势、动画、音调等非语言图像、音乐、手势、动画、音调等非语言符号在交流中也是意义生成的资源。符号在交流中也是意义生成的资源。意义的表达是由多种模态符号来共同实现的，
4、意义的表达是由多种模态符号来共同实现的，在社会交往的过程中，所有的模态符号都是各在社会交往的过程中，所有的模态符号都是各自独立又相互作用的，孤立地研究一种符号模自独立又相互作用的，孤立地研究一种符号模态不能解释话语的全部意义。态不能解释话语的全部意义。Kress and van Leeuwen提出提出“多模态话语多模态话语”（multimodal multimodal discoursediscourse）这个概念，他们将系统功能语）这个概念，他们将系统功能语言学中的纯理功能思想拓宽到视觉模式，创言学中的纯理功能思想拓宽到视觉模式，创建了以建了以“再现意义再现意义”“”“互动意义互动意义”和和
5、“构图构图意义意义”为核心内容的分析视觉图像的语法框为核心内容的分析视觉图像的语法框架，奠定了多模态话语分析的理论基础和分架，奠定了多模态话语分析的理论基础和分析方法。析方法。80年代后期：年代后期：多模态话语分析理论的历史发展多模态话语分析理论的历史发展话语分析话语分析篇章语言学篇章语言学批评话语分析批评话语分析（研究话语表层形式与深（研究话语表层形式与深层社会结构和权势之间的层社会结构和权势之间的关系，以韩礼德的系统功关系，以韩礼德的系统功能语法为理论基础。）能语法为理论基础。）2020世纪世纪7070年代后期：年代后期：Kress&van Leeuwen开开始尝试包括对语调、音乐、始尝试
6、包括对语调、音乐、视觉图像、雕塑、绘画、视觉图像、雕塑、绘画、建筑的研究，自此建筑的研究，自此“社会社会符号学符号学”成为一门独立的成为一门独立的学科，专门研究包括语言学科，专门研究包括语言在内的各种模态符号对交在内的各种模态符号对交际的作用，关注在社会情际的作用，关注在社会情境下所有的符号模态构建境下所有的符号模态构建意义的过程。意义的过程。2019年首届国际多模年首届国际多模态话语研讨会在奥地态话语研讨会在奥地利萨尔斯堡召开，并利萨尔斯堡召开，并出版会议论文集出版会议论文集Perspectives on Multimodality.以后以后每隔两年举行一次每隔两年举行一次。2006年在意大
7、利年在意大利Pavia 召开的第三届多模态大召开的第三届多模态大会，涵盖了身体符号学、会，涵盖了身体符号学、数字和因特网语类、多数字和因特网语类、多媒体翻译、多模态文化媒体翻译、多模态文化和教育、视觉艺术和电和教育、视觉艺术和电影等七个主题。影等七个主题。本世纪初本世纪初我国学者也开我国学者也开始关注多模态话语，发始关注多模态话语，发表论文内容涉及广告、表论文内容涉及广告、教学、建筑、影视等诸教学、建筑、影视等诸多领域，多领域，2009年我国国内第一本年我国国内第一本多模态话语专著多模态话语专著视觉视觉环境下的多模态化与多环境下的多模态化与多模态话语研究模态话语研究出版出版主要代主要代表人物表
8、人物 Kress,van Leeuwen,Lemke Kress,van Leeuwen,Lemke，Jewitt Jewitt OHalloran,OToole,Ventola,Baldry,ThibOHalloran,OToole,Ventola,Baldry,Thibault,Socollonault,Socollon，顾曰国、韦琴红，李战子，顾曰国、韦琴红，李战子，胡壮麟，张德禄，朱永生，叶起昌，成文，胡壮麟，张德禄，朱永生，叶起昌，成文，田海龙等田海龙等主要研究成果主要研究成果国外主要成果国内主要成果国外主要研究成果国外主要研究成果Kress and Leeuwen,(2019;20
9、19)研究了模研究了模态与媒体的关系态与媒体的关系,专门探专门探讨了多模态现象规则地讨了多模态现象规则地表达意义的现象表达意义的现象,包括视包括视觉图象、颜色语法觉图象、颜色语法,以及以及报纸的版面设计和不同报纸的版面设计和不同媒介的作用等媒介的作用等;他们所构他们所构建的建的分析视觉图像的语分析视觉图像的语法框架法框架为多模态话语分为多模态话语分析提供了理论依据和分析提供了理论依据和分析方法；析方法；OToole(1994)主要从主要从级阶的角度级阶的角度来分析图象。来分析图象。Lemke(2019)探讨了科探讨了科学文章中图学文章中图表与文字的表与文字的关系；关系；Martinec&Sal
10、way(2019)、Len(2019)则则详细地探讨了详细地探讨了新旧媒体中的新旧媒体中的图文二者关系。图文二者关系。二维平面中的二维平面中的图文关系：图文关系：再现再现互动互动构图构图概念概念人际人际组篇组篇Kress&Leeuwen分析视觉图像的语法框架分析视觉图像的语法框架叙事叙事概念概念行动、反应、言行动、反应、言语和心理语和心理分类、分析、象征分类、分析、象征接触、社会距离、态度接触、社会距离、态度信息价值、突出度、分格信息价值、突出度、分格OHalloran,K.L.(2019a;2019b;2000;2019;2019)不不仅研究多模态的仅研究多模态的理论建构理论建构,还专还专门
11、研究了数学语门研究了数学语篇中的多模态现篇中的多模态现象，数学公式与象，数学公式与语言之间的转换语言之间的转换。Royce,T.(2019，2019)探讨了广探讨了广告中图像与文告中图像与文字的关系，研字的关系，研究了不同符号究了不同符号在多模态话语在多模态话语中的互补性中的互补性,以以及在第二语言及在第二语言课堂教学中多课堂教学中多模态的协同性模态的协同性等；等；Jewitt(2019)观察了观察了教师使用互动白板教师使用互动白板（Interactive Whiteboards）时对）时对节奏、多模态和互动节奏、多模态和互动性的资源分配，分析性的资源分配，分析了互动白板语篇设计了互动白板语篇
12、设计和教学原则，探讨课和教学原则，探讨课堂教学中多模态读写、堂教学中多模态读写、教学方法和现代技术教学方法和现代技术的关系；的关系；Norris(2019,2019,2019)在在Scollon的的MDT理论理论基础上建基础上建立了自己的多模态立了自己的多模态分析框架，并利用分析框架，并利用这个理论框架分析这个理论框架分析了两个德国妇女的了两个德国妇女的身份构建过程以及身份构建过程以及多人交际中关联的多人交际中关联的产生；产生；Baldry,Thibault（2019）详尽的介绍）详尽的介绍了多模态语篇的转写了多模态语篇的转写和分析方法，包括语和分析方法，包括语言描述法、绘图法、言描述法、绘图
13、法、图文结合法、图片展图文结合法、图片展示法等，以及如何在示法等，以及如何在电子学习的环境下利电子学习的环境下利用多模态话语分析方用多模态话语分析方法来辅助教学。法来辅助教学。MDT理论理论MDT理论理论（Mediated Discourse Theory）介入性语篇分析介入性语篇分析Scollon交际社会交际社会语言学语言学民俗方民俗方法论法论语言人语言人类学类学跨文化跨文化交际交际社会文化社会文化心理学心理学该理论试图把人们的社会行为和语篇有机地结合起该理论试图把人们的社会行为和语篇有机地结合起来研究以弥补以往的语篇分析理论忽略了行为而社来研究以弥补以往的语篇分析理论忽略了行为而社会学理论
14、忽略了语篇的不足。会学理论忽略了语篇的不足。国内主要研究成果国内主要研究成果李战子李战子(2019)对对Kress和和 Van Leeuwen的多模的多模态话语的社会符态话语的社会符号学分析方法进号学分析方法进行了研究，指出行了研究，指出其对于加深认识其对于加深认识语言的社会符号语言的社会符号特点、对于多模特点、对于多模式话语的产生和式话语的产生和理解以及英语教理解以及英语教学都具有重要意学都具有重要意义。义。胡壮麟胡壮麟(2019,2019a,2019b)从从理论和实践的角度理论和实践的角度研究了多模态化和研究了多模态化和意义的多模态构建。意义的多模态构建。朱永生朱永生(2019)研究研究了
15、多模态话语的理了多模态话语的理论基础和研究方法。论基础和研究方法。顾曰国顾曰国（2019,2019）提出从内容层提出从内容层和媒介层两方和媒介层两方面来分析多模面来分析多模态话语，并运态话语，并运用自己的构建用自己的构建的多模态分析的多模态分析框架分析了北框架分析了北外五十周年校外五十周年校庆的庆典礼；庆的庆典礼；张德禄（张德禄（2009）提）提出一个出一个多模态话语多模态话语分析综合理论框架分析综合理论框架，模态选择的原则，模态选择的原则，并对多模态话语理并对多模态话语理论应用到外语教学论应用到外语教学的实践进行了探索。的实践进行了探索。韦琴红（韦琴红（2009）在在Kress和和 Van
16、Leeuwen的社会的社会符号学框架下的符号学框架下的视觉交流理论的视觉交流理论的基础上，从图像、基础上，从图像、情态、构图、颜情态、构图、颜色、印刷版式等色、印刷版式等视觉交流的和主视觉交流的和主要方面研究了多要方面研究了多模态话语。模态话语。张德禄多模态话语分析综合理论框架张德禄多模态话语分析综合理论框架 文化层面文化层面 文化语境 语境层面语境层面 情景语境内内 意义层面 话语意义容容层层面面 形式层面 形式及关系 表达层面 媒体意识形态体裁话语范围、话语基调、话语方式概念意义人际意义谋篇意义形式关系语言、图觉、声觉、感觉互补非互补语言非语言伴语言纯语言身体、非身体外语教学中模态的选择
17、基本因素（1）教学内容所涉及的领域-话语范围 （2）教学对象的情况，以及与授课者的关系-话语基调 教学条件和场所-话语的方式 多模态选择的目的：补缺，强化，吸引注意力，帮助理解 三个角度：（1）为外语教学提供情景和便利条件 （2）为外语教学提供辅助条件（3）为多模态话语交际提供多通道话语意义表达方式，提高教学效率。未来的发展趋势未来的发展趋势如何把各个学科的如何把各个学科的研究成果融合起来研究成果融合起来是将是多模态话语是将是多模态话语分析今后必须面对分析今后必须面对的问题。的问题。跨学科交叉研究将跨学科交叉研究将是多模态话语分析是多模态话语分析未来的必然趋势。未来的必然趋势。如何把多媒体和多
18、如何把多媒体和多种模态结合起来进种模态结合起来进行分析解读是多模行分析解读是多模态话语分析将要解态话语分析将要解决的问题。决的问题。把多媒体技术和多把多媒体技术和多种模态结合研究是种模态结合研究是多模态话语分析的多模态话语分析的必然趋势。必然趋势。1Kay L.OHalloran,Multimodal Analysis and Digital Technology 2Gu,Y.A multimodal text analysis of an anniversary ceremony in China,2019 3Gu,Y.Multimodal text analysis:A corpus li
19、nguistic approach to situated discourse,2019 4YINGEN XIONG AND FRANCIS QUEK,Hand Motion Gesture Frequency Properties and Multimodal Discourse Analysis 5Jaime Snyder,Applying multimodal discourse analysis to study image-enabled communication 6WeiQingHong,Studies on Multimodality and Multimodal Discourse in Visual Surroundings,2009 参考文献参考文献
