1、多模态话语：多模态话语：理论与运用理论与运用模态：实际是指承载信息的媒介承载信息的媒介，根据人体感知器官可将承载信息的媒介分为视觉模态、听觉模态、嗅觉模态、触觉模态和味觉模态等（朱永生）多模态话语分析是指对两个或两个以上的信息媒介进行意义意义解读。是什么？从哪来？源理论是系统功能语言学上个世纪80年代，韩礼德（Halliday）提出了语言的三大元功能，即表示概念意义的概念功能，表示说话人和听话人关系以及说话人对所说内容的态度的人际功能，以及表示语篇意义的组篇功能（李战子）。90年代，克瑞斯和勒文（Kress&van Leeuwen），认为意义的生产不仅仅依靠语言，非语言符号系统也起着重要作用，
2、并将系统功能语言学的理论做了延伸，发展了视觉符号系统的功能语法，将包括图像意义的多模式话语的意义分为再现、互动和构图等相互交织的三种，并比照功能语法的概念、人际和组篇意义，进行了细致的系统构建（李战子）。在中国李战子（2019）多模式话语的社会符号学分析胡壮麟（2019）、朱永生（2019）、张德禄（2009）等学者分别从多模态与计算机符号学的关系、多模态话语分析的理论基础与方法、多模态话语分析综合研究框架等方面进行了研究与探讨，从不同角度丰富了多模态话语分析的理论思考与创新（何山燕）。多模态话语分析的研究主要分布在二维平面的图文关系多模态研究、影视作品的多模态分析研究、三维空间的多模态话语分
3、析研究、电子语篇中的图文关系多模态研究、多模态语口语语料库问题研究、教学领域中的多模态应用研究等方面（何山燕）。在传播学目前，多模态话语分析在传播学的应用，主要集中于对视觉、听觉符号的意义解读。从研究对象看，分为两类，一类是以平面广告和电影海报为主的静态视觉符号系统，另一类是以广告视频、电影作品和电视节目为主的动态视听符号系统。从分析框架看，主要继承克瑞斯和勒文的多模态话语分析框架，即再现意义、互动意义和构图意义。此分析框架最先由李战子（2019）、王红阳（2019）通过介绍性文章向国内学界输入。其中，不少学者用此解读电影海报的意义（卜爱萍、车艳超；赵宝福；乔玉巧）。不少学者进行了有意的尝试。
4、有学者直接以系统功能语言学的三大元功能，即概念功能、人际功能和语篇功能作为分析框架（张平丽）；也有学者将影视作品分为六个层面，即帧、镜头、场景、程序、类型步骤和整体作品，而后逐一分析其语义构建（李战子、向平；李妙晴）或从类型、情节、场景、场面调度、画格、人物等建构分析框架（李妙晴2019，2019）；还有学者根据系统功能语言学的三大元功能，从视觉分类、视觉排序、视觉形态和视觉照应来构建分析框架（姚银燕、陈晓燕）或结合定性、定量两种方法，从文化语境和交际目的、情景语境、多模态话语交际模式和多模态话语模态间的协同进行分析（张德禄、袁艳艳）。如何做？克瑞斯和勒文建立的分析框架1.再现意义：叙事再现和
5、概念再现2.互动意义：接触、社会距离、态度和情态3.构图意义：信息值、取景和显著性具体而言：1.再现意义：叙事再现和概念再现叙事再现中，参与者之间的关系是通过相互作用来体现的，具体可以分为行动过程、反应过程、言语和心理过程三个方面；概念再现中，参与者之间的关系是通过他们的属性、类别和特征等来体现的。矢量是叙事图像的标志在图片中，通常是通过使图中的元素形成斜线，特别是强烈的对角线来形成矢量。当参与者被矢量连接起来时，它们就被再现为对相互做某件事。海报主要展示的参与者是一位穿着厚重拆弹服奔跑的士兵 他身后拆弹爆炸是发出的强烈而刺眼的火焰与黑色的浓烟，将整幅海报划分成上下两部分 奔跑中的拆弹士兵，头
6、转向右边，说明他正竭尽自己所能的奔跑，但沉重的拆弹服，使他的奔跑看起来是那样的缓慢他身后的就是爆炸所造成的刺眼火光。那火光就紧跟在他的身后，似乎也预示着，他所做的努力注定改变不了他的命运-死亡。而上空的黑烟，不仅是在说明爆炸的威力有多么的大，也预示着在黑色浓烟笼罩之下的巴格达人民处于战争的不幸之中和战争对于人们生活的破坏奔跑中的士兵与战争的黑色浓烟和火光形成的背景做了鲜明的对比。红色火光与黑色浓烟的色彩饱和度使读者不由自主的将焦点聚集于此。从而准确地反映出了电影的背景和战争主题2.互动意义：接触、态度、情态和社会距离接触是指图像中的参与者和图像观看者，通过目光指向建立起来的一种想象中的人际关系
7、。图像中的参与者(通常是具有生命特征的人或动物)似乎在向观看者“索取”什么东西，KressVanLeeuwen把这类图像称为索取(demanding)类图像 态度主要通过视角来体现，表达对图像中参与者所持的态度。可以从水平视角和垂直视角来分析，正面视角给观看者或者图像制作者带来一种身临其境 融入其中的感觉。从平视角度来看，则表示观看者和参与者相对平等的关系，仰视则表示参与者处于强势地位。情态是指某种图画表达手段的使用程度，如色彩、色调、深度和再现细节等。社会距离：图像参与者与图像观看者之间的亲疏关系。亲近距离:只看得到脸部或头部;个人近距离:头部和肩部;个人远距离:腰部以上;社会近距离:整个人
8、;社会远距离:整个人并且周围有空间环绕;公共距离:至少有45个人的距离震后余生大眼睛：苏明娟接触：“索取”什么海报采用了上下两端暗中间明亮的高情态色调，对比鲜明的色彩给人以强烈的视觉冲击力和远视力 从色彩的饱和度与协调度来看，该海报使用了高饱和度的色彩:红黑蓝绿白等色彩深浅有致搭配协调。海报的背景从黑色逐渐过渡到五彩斑斓的明快色调，形象地展示了影片中男女主人公曲折的生活经历，以及他们对未来美好生活的向往海报在深度再现照明和亮度方面也体现了高情态的量值 通过层次分明的亮度和五彩斑斓的色调，海报向观看者最大程度地展现了男女主人公复杂的内心世界，以及印度的社会现状，从而揭示了影片的主旨。情态：色彩、
9、色调、深度再现细节态度和社会距离在图1中，代言人和识读者处于同一高度，拍摄视角为水平，这仿佛在向顾客传递一个信，商家和顾客是处于平等而非强买强卖的关系，同时也反映了商家对顾客根据个人喜好选择产品权利的尊重。从水平视角看，代言人虽然没有正面识读者，但通过分析图像背景虚拟出来的转头动作眼神交流及面部微笑，我们可以推断，图像参与者所持的绝非一种漠不关心不屑一顾或傲慢疏远的态度。在广告中，图像参与者和互动者，即代言人和顾客之间的距离为个人近距离这样的图片取景拉近了参与者和互动者之间原本很远的社会距离，增进了两者之间的情感交流，提高了互动者对参与者的认可度和接受度顾客在看到这样的广告图片时会觉得一个亲密
10、的朋友向他推荐产品。信息值是通过元素在构图中的放置位置来实现的,在Kress VanLeeuwen(2019)看来，放置在左边的信息是已知信息，放在右边的是新信息;放置在中间的图像具有核心信息提供者的功能，而放置在边缘上的信息则起着辅助核心信息的功能。取景指的是有无取景手段(可通过造成分割线条或实际分割框架的线条来实现)，这些线条割断或连接图像中的元素，表示它们在某种意义上是属于还是不属于的(李战子，2019）显著性是指图像中的元素吸引观看者注意力的不同程度可通过被放置的位置前景或背景相对尺寸色调值的对比(或色彩)鲜明度的不同程度等来实现(李战子，2019)3.构图意义：信息值、取景和显著性在
11、这张海报中，人物的面部局部特写和一句电影台词(There are no clean getaways.)位于最上方，据克瑞斯和勒文的理论进行分析，此图中的脸部特写及台词象征着人们不愿意相信的社会的黑暗面。从整个海报图像来看，主人公在逃跑，以及电影片名（No Country for Old Man）海报图像的下方。显然，它给观众提供的信息值让人感觉真实，让人们深刻体会到随着时代变迁，在法律管制下的和谐社会早已变了模样，眼前的社会早就不适合那些生活在旧时代的人们。信息值取景与显著性人物的脸部特写作为背景，占了整个画面的三分之二，十分显著。通过对眼睛恐表情的特写，表现出对这样的社会现实表示悲哀和叹息
12、。在老无所依电影海报中，名角本身就是卖点，就凭这张脸，也可以吸引更多的人来关注它。通过面部特写，并且尽量放大，甚至构图破出画面，造成强烈的视觉充击，的确是世界上最吸引眼球的东西。通过对面部惊恐表情的刻画，给人留下深刻印象。取景与显著性整幅海报的背景色彩对比鲜明，形成分割线条，形象地向观看者展示了截然不同的两个世界。海报的上下两端色调黑暗，象征着贫民窟的艰苦生活 这样的生活是男女主人公想要逃脱的生活。海报的中间部分色彩斑斓，象征着光明而美好的生活 这是男女主人公向往的生活。影片名Slumdog Millionaire 色彩渐变，形成了明显的分割线条，与明暗鲜明的背景相衬托，再现了影片的主题。男孩
13、的侧面头像是整张海报的焦点，占据着海报的四分之一空间，整个头部被分为黑暗和光明两个对比鲜明的部分，象征着男孩心中的矛盾和挣扎，以及现实中两个完全不同的世界 一点心得意意义义主观性创造性工具，越用越熟练工具，越用越熟练参考文献李战子.多模式话语的社会符号学分析王红阳.多模态广告语篇的互动意义的构建朱永生.多模态话语分析的理论基础与研究方法何山燕.国内多模态话语分析研究述评卜爱萍、车艳超.多模态话语分析2009年奥斯卡最佳影片拆弹部队海报赵宝福.多模态话语分析奥斯卡最佳影片奖老无所依的电影海报乔玉巧.多模态话语分析第81届奥斯卡最大赢家贫民富翁的电影海报姚银燕、陈晓燕.对视频语篇的多模态话语分析-以一则企业形象电视广告为例张平丽.音乐视频中意义的多模态构建_以周杰伦的稻香为例李战子、向平.当代中国新话语之一 一个馒头引发的血案的巴赫金式解读李妙晴.复调的狂欢多模态话语分析阳光灿烂的日子李妙晴.双重视角下的爱情挽歌:多模态话语分析电影色戒张德禄、袁艳艳.动态多模态话语的模态协同研究以电视天气预报多模态语篇为例王硕、尹富林.视觉语法观照下的多模态语篇分析以一则平面广告为例
