1、多模态语篇分析n当今，人们在交际过程中经常同时使用多种符号工具来表达意义或创造信息。多模态（multimodality）也称多符号（multi-semiotic），指包括口语、书面语、图像、图表、空间以及其他可以用来构建意义的各种符号资源。随着现代技术的发展，人们使用的交际模态和交际媒体都发生了很大的变化。多模态话语冲击了传统上文字在交际领域中的中心地位。在许多情况下，语言与其它符号资源各有所长，一起构建意义。各种模态以整合的整体共同为交际服务。n如今，我们生活在一个多模态的社会，使用各种符号资源来完成意义表征和交际。正如Kress（2001:68）所提到的，在教材、报纸、机构报告、电子媒介、
2、网络等，图像正替代语言成为主要的意义构建资源，或者与语言平分秋色。在“视觉文化”的影响下，意义的构建往往通过文化处所或实体来体现，视听动态图像逐渐取代文本来传递信息。n人们通常认为现代符号学研究始于Saussure和Peirce。Saussure（1916）认为符号学属于社会心理学，主要研究符号的构成及其支配规律。他认为语言学是符号学的一个组成部分。符号包括能指和所指两方面组成。符号同符号之间的区别构成符号系统，用于实现交际目的。Peirce（1958）则认为符号由三方面组成：表征、对象和解释。他重点区分了三种符号：图像符号、指示符号和象征符号。n受Saussure和Peirce的影响，主要的
3、符号学研究都在寻求能够适用于所有符号的理论框架。根据Hervey（1982）的观察，Morris将符号学分为研究符号与存在之间关系的语义学，符号与人的创造性使用的语用学以及符号与符号之间关系的语形学。Barthes把符号视作一种社会文化意识形态，将符号学的研究范围扩展到整个社会，包括文学、语言、图片、电影、烹饪和衣着等。学者们应用符号学的理论对交通信号系统、罗马数字系统、语表意文字、文学作品、电影、广告作了分析。n近年来的多模态研究主要有四种视角：交互社会学的视角、认知的视角、语体学的视角和功能符号学视角。从交互社会学的视角，学者应用交互社会学理论研究即席话语和公共场所中的多模态，关注人们如何
4、在交际时采用不同模态构建他们所处的情景和身份。其出发点不是语篇而是人们的行为，主要代表人物有Scollon和Norris等。n从认知的视角，学者们关心的是概念化理论如何指导交际者选择不同的模态或模态组合进行连贯的交际。他们侧重研究理想的认知模式中源和目标如何同时以一种以上的模态表征。其主要代表人物有Forceville和Holsanova等人，其主要代表作品有Pictorial Metaphor in Advertising（Forceville 1996）等。此外，Stckl（2004）也做了相关的研究，认为不同模态在符号属性、认知取向和语义潜势上体现出区别性特征。n符号属性指模态的内在结构
5、和使用者惯常使用该模态构建意义的方式。图像对世界的表征手段是象似性，是对现实世界的直接模拟，而语言则是象征性的。n语言是线性结构，在认知取向上要求把线性的符号组织成短语，短语组织成句子等。图像则基于整体的完形感知（gestalt-perception）。因此，与语言相比，图像是更快捷的意义构建模式。心理学实验表明，图像比语言更容易吸引读者的注意力，更容易记忆。n语体学视角关注的语体特征与多模态的关系。Lanham（1983；2003）注意到受计算机技术的影响，“散文”的概念已发生了变化：从书面到电子、从静态到动态、从无声到有声等。他认为散文分析应该包括传统的书面散文和现代的多媒体散文，并指出计
6、算机给文本写作提供了动态的三维空间。因此，我们需要一种描写这种三维文本的语法，特别是描写文字同声音和图像的关系。n线性阅读和图像式阅读相辅相成，互为补充。n功能符号学的视角运用系统功能语言学理论，分析包括语言之内不同模态的意义构建模式。在多模态话语的研究上，这一视角的研究成果最多，成为多模态研究的主要力量。其代表人物包括Kress，van Leeuwen，OToole，Lemke，OHalloran，Baldry，Thibault，Bateman和Martinec等。功能符号学的多模态分析理论基础主要来自Halliday（1978）的语言是社会符号的观点。n早期的功能符号学多模态研究关注用Ha
7、lliday的系统功能语法来分析语言之外的某种模态，如OToole（1994）对油画、建筑和雕塑的分析，Kress&van Leeuwen对图像的分析。20世纪90年代末以来，系统功能符号学者开始关注多模态话语中模态间的分工与整合。nOHalloran（2007;2008）称之为系统功能的多模态话语分析（Systemic Functional Multimodal Discourse Analysis，简称SF-MDA）。SF-MDA主要研究符号资源的意义潜势在不同层面（语境、语篇语义、词汇语法、语音、书写/图形）的体现和多模态话语中符号选择的意义整合。n一些学者运用系统功能语言学理论研究语言
8、之外的某种模态，较早的两部专著是Kress与Van Leeuwen合著的Reading Images:The Grammar of Visual Design(1990/1996/2006）和OToole的Language of Displayed Art（1994）。两者都致力于视觉语法的构建：前者关注图像，后者主要研究油画、雕塑和建筑。n有些学者认为各种模态的三个元功能具有同等的作用。n他们根据系统功能语法中的概念功能、人际功能和语篇功能，分析了图像的再现功能、互动功能和构图功能。n但是视觉符号与语音层不同，有点、线条、颜色、光等。n此外，也有些学者认为某个元功能占主导作用（Martine
9、c 2005）。Van Leeuwen（1999）认为音乐中人际功能占主导地位，因为音乐的结构特征是韵律的和递归的，即旋律和节奏。Lemke（1998）对书面科学语篇中的图形和图表的分析表明呈现意义和组织意义要比取向意义更前景化，并显示出明显的多样化。Martinec（2001;2004）认为在动作模态中经验功能占主导地位。n更多的学者关注多模态话语中各模态之间的关系和语法整合。Lemke（1998，2000）从理论上解释了模态之间的语义扩展。他认为，语言和其他模态共同进化使我们拥有构建范畴意义和程度意义的两种不同方式。语言擅长范畴意义的构建，而动态动作和视觉图像更容易表达程度意义。Lemke
10、（2000）认为，多模态语篇中的模态混合必然导致语义的扩展，从而产生新的解释空间。例如，数学语篇混合使用语言、视觉图像和数学符号构建的世界远远超越了语言所能构建的世界，从而产生新的解释空间。n多模态语篇中模态间的研究大致有三类。一类是研究多模态语篇中不同部分之间的关系；另一类是研究由不同模态体现的语篇之间的关系，比如图像语篇和语言语篇之间的关系，语言、数学符号和图像之间的关系，态势与口语的协作以及图像，语言和声音的协作。第三类是研究多模态语篇中不同模态之间的关系。目前大致有三种观点：意义关系，成分衔接和符号隐喻。nLemke（2002）提出超模态（hypermodality）的概念，指超媒体（
11、如网络）中的语言、图像和声音等体现的意义的互动。超模态不同于多模态，前者不仅是具有超链接的语篇，也不仅仅是图像、文字和声音的并置，而且还有它们之间的多种隐性或者显性的联系。Lemke 认为，两个网页之间存在着交换关系、取向关系和呈现关系。此外，颜色在空间分布上的差异也体现出不同的突显模式。Djonov（2006）也分析了儿童网站上最常见的逻辑-语义关系及其超链接对使用者的导航作用。n多模态研究关注的一个重点是教育，尤其是多模态读写（multiliteracy）。胡壮麟（2007:7）将多模态读写解释为具有能阅读所能接触到的各种媒体和模态的信息，并能循此产生相应的材料，如阅读互联网或互动的多媒体
12、。传统方式的读写在多媒体时代已不够用。教室中不断增加的多媒体设备已使教育多模态化。多模态的发展使传统的文字读写向多模态读写转变，教学方法、教材编写和学习任务等也相应发生了变化。Duncum（2004）认为多模态读写涉及不同媒介的互动来构建意义。n随着现代科学技术的迅速发展，多模态语篇的出现打破了传统概念上的语言或言语基础上的理解。人们需要以新的角度审视现代社会中的话语。Kress（2001:80）甚至认为，不存在所谓外在的语境，只有各种符号模式组成的整体。学者们在近20年间对多模态现象进行了广泛的研究，从理论上和实践上探索了多模态的本质，涉及模态本身、模态之间的关系、多模态语料库建设和软件开发以及多模态在教育中的作用。n研究的视角也呈多样化，包括了交互社会学的视角、认知的视角、语体学的视角和功能符号学视角。多模态语篇分析考察了教材、故事书、文学作品、广告、互联网、影视、音乐等等的多模态特征，涉及了图像、色彩、图表、声音、文字等多种模态或模态组合。这些研究还注意到了多模态语篇的社会作用和功能，考虑到了话语社区、媒体以及话语的理解和阐释等。另外，我们也看到了系统功能语言学理论在多模态研究中的重要作用。
