1、多模态设计及在教学多模态设计及在教学中的作用中的作用张德禄张德禄同济大学同济大学1n一、多模态设计一、多模态设计n1.设计设计n设计是一个常用的概念，可以出现在各种需要设计的领域设计是一个常用的概念，可以出现在各种需要设计的领域，如建筑、报纸、刊物、科技产品制造等。n在教育领域在教育领域，设计主要用在宏观的层面上，如课程设置。n在具体教学实践上，实际上我们也一直在设计在具体教学实践上，实际上我们也一直在设计。如在教学教学中，老师要设计教学的步骤设计教学的步骤、每个步骤的具体操作和占用的时间，环环相扣，使整个教学过程十分紧凑，不浪费时间，经济有效。n但在语言学研究领域，设计一直没有地位。但在语言
2、学研究领域，设计一直没有地位。2n2.交际的多模态化呼唤设计交际的多模态化呼唤设计n随着计算机和网络的产生，交际越来越屏幕化屏幕化。人类社会进入多模态话语交际阶段。n在多模态话语交际阶段，交际者交际者可以选用多种符号资源来可以选用多种符号资源来进行交际进行交际，完成信递任务。n这样，在什么环境中选用什么模态更合适，根据不同的交什么环境中选用什么模态更合适，根据不同的交际目的选择不同的模式或模态组合际目的选择不同的模式或模态组合就成为一个主要问题，设计就成为一个重要手段设计就成为一个重要手段。3n3.职业的变化要求设计职业的变化要求设计n以前的单模态职业时代是专家主导时代以前的单模态职业时代是专
3、家主导时代：音乐家音乐家主要是编写乐词和谱曲，摄影师摄影师的作用是摄影，画家画家的工作是绘画。各自从事自己的工作，一般互不干涉一般互不干涉。n现在，现在，单模态行业不断被多种模态并用的行业所替代单模态行业不断被多种模态并用的行业所替代。在这些行业中再没有单纯的绘画师、摄影师等，而是各种技能的各种技能的综合，模态的层级性被综合，模态的层级性被“扁平化扁平化”，各种不同的模态被作为资源同时用来进行交际，不再区分层次和地位。n这样，对不同的模态进行综合设计也成为一种必然。这样，对不同的模态进行综合设计也成为一种必然。4n4.设计的定义设计的定义n设计是有意识地选择交际模态，设计是有意识地选择交际模态
4、，同时，还要把它们组织起来，形成一个模态组合整体，最有效地完成交际任务。n设计可以比作图纸，设计的对象可以比作房子设计可以比作图纸，设计的对象可以比作房子；设计是设计是把要发出的话语变成图纸，与建筑相似，是把已有的资把要发出的话语变成图纸，与建筑相似，是把已有的资源组织起来组成一个框架，作为产出的图纸源组织起来组成一个框架，作为产出的图纸。（Kress&van Leeuven,2001:50）。5二、设计的理论定位二、设计的理论定位n1.设计的理论位置设计的理论位置n设计一直没有被纳入语言学研究的理论框架中。当多模态成为当今社会交际的重要因素时，设计被提到前景中，需设计被提到前景中，需要给它确
5、定一个合适的位置要给它确定一个合适的位置。n在系统功能语言学理论中，设计是没有地位的设计是没有地位的。在社会交际中，交际者将根据交际者所处的文化环境和情景语境来选择意义，然后再在语言或其他模态中选择相应的词汇语法特征来体现意义。这样这样，对意义的选择是受语境和交际，对意义的选择是受语境和交际目的支配的，不是设计的结果目的支配的，不是设计的结果。6n根据Halliday&Matthiessen(2004)：n系统功能语言学研究可以从五个层面进行，每个层面都有系统功能语言学研究可以从五个层面进行，每个层面都有整体、部分、示例的关系，整体、部分、示例的关系，即：n语境语境（文化语境、语境类型、情景语
6、境）；n意义意义（意义潜势、次级意义潜势、语篇意义）；n模态模态（模态系统、体现一个语域的模态系统、语篇的模态整合体）；n媒体媒体（媒体系统、体现某个语域的模态的媒体类型、语篇的媒体系统整合体）；n实体实体（实体综合、体现某个语域的模态的实体、语篇的实体综合）。7n用图三表示为：用图三表示为：8n但在这个模式中，没有设计的地位。但在这个模式中，没有设计的地位。n但但Kress&van Leeuven（2001）提出的话语话语（discourse）、设计、生产）、设计、生产(production)、分布、分布(distribution)四个四个层次层次：n话语话语：话语是社会建构的现实的知识话语
7、是社会建构的现实的知识；是适合社会语境的话语。n设计设计：设计居于内容和表达之间，是表达的概念面，概念的表达面设计居于内容和表达之间，是表达的概念面，概念的表达面。设计是对所有符号模态以及符号模态组合形成的符号资源的运用。设计的结果是在一定的交际语境中体现话语的手段。n生产生产：生产是对表达的组织，是对符号事件用实际材料的表达，或是对生产是对表达的组织，是对符号事件用实际材料的表达，或是对符号物件的实际生产符号物件的实际生产。这个阶段涉及一系列其他的技能，包括技术技能、手眼技能，是和媒体相关的技能。n分布分布：分布是对体现模态的媒体的保养和布局分布是对体现模态的媒体的保养和布局，如歌唱家的作用
8、是把作曲家的歌唱好；声响工程师的工作是声音包括高保真度等。9n这四个层面四个层面和根据语言建构的五个层面五个层面是什么关系呢？n如上所述，对意义的选择则促动了对模态的选择，而选择什么模态选择什么模态是是要要经过设计的经过设计的。所以，设计是处于意义和模态选择之间所以，设计是处于意义和模态选择之间。对意义选择的结果是话语（discourse/text）。从这个角度讲，设计不是一个层次，而是一个操作过程操作过程，及意义经过这个操作过程而体现为模态。这个操作过程即是一个体现过程。n从这个角度讲，以上四个层面都可以看作以上五个层面的理论框架的以上四个层面都可以看作以上五个层面的理论框架的操作过程操作过
9、程：n在语境和意义之间是一个话语过程，是组织交际，选择意义的过程组织交际，选择意义的过程；n在意义和模态之间是一个设计过程，是根据要表达的意义而选择合适是根据要表达的意义而选择合适的模态的过程的模态的过程；n在模态和媒介之间是一个生产过程，是由物质手段体现模态的过程。是由物质手段体现模态的过程。n在媒介和实体之间是一个分布过程，由尽量选择优质实体来保证媒介由尽量选择优质实体来保证媒介的效果的过程的效果的过程。1011n2.设计的实施过程设计的实施过程n（1）根据语境的话语生成过程）根据语境的话语生成过程：n语境是产生话语的促动因素语境是产生话语的促动因素，话语生成的过程是在具体的语境中产生话语
10、的过程。具体的语境是某个语境类型的一个实例，所以，这个具体语境要具有这个语境类型的共性特征。n这个语境类型是文化语境的一个部分这个语境类型是文化语境的一个部分，因此具有这个言语社团的文化的个性特征。n语境促动了社会交际的产生，即话语过程语境促动了社会交际的产生，即话语过程，即建构客观现实的知识的过程，这个过程的结果是选择了交际的意义。n 文化语境文化语境 语境类型语境类型 n n 具体语境具体语境n 交际话语交际话语n （语篇意义选择）12n（2）根据选择的意义选择模态的过程）根据选择的意义选择模态的过程n语境决定对意义的选择语境决定对意义的选择。在这个特定语境中选择的意义是这个语境类别决定的
11、次级意义系统的一个实例，是一个语域（韩礼德的术语）的一个实例，所以，应该具有这个语境的特性。n根据意义的类别和特点，需要通过设计来选择合适的模态，或者模态通过设计来选择合适的模态，或者模态的组合的组合。n设计需要根据语篇意义的特点从不同的符号系统中选择合适的模态，从不同的符号系统中选择合适的模态，包括语言模态和非语言模态包括语言模态和非语言模态。设计的过程产生的是适合体现意义的模模态或者模态组合态或者模态组合。n 意义潜势意义潜势 语域语域n 语篇意义语篇意义 n 设计设计 n （模态选择）13n（3）根据语篇的意义选择合适的模态）根据语篇的意义选择合适的模态n意义决定对模态或模态组合的选择意
12、义决定对模态或模态组合的选择。在这个特定意义组合中选择的模态是是和与实现这个特点语域的模态系统的一部分决定的模态组合的一个实例，是体现一个语域的模态系统的一个实例。n根据这个模态或模态组合的类别和特点，需要通过生产来选择合适的通过生产来选择合适的媒体，或者媒体组合媒体，或者媒体组合。n 符号系统符号系统 体现一个语域的符号系统体现一个语域的符号系统 n 模态或模态组合模态或模态组合n 生产生产 n （媒体选择）（媒体选择）n生产的结果是一系列媒体的组合。生产的结果是一系列媒体的组合。14n（4）根据模态或模态组合选择合适的媒体）根据模态或模态组合选择合适的媒体n选择了合适的模态实际上确定了要选
13、择的媒体系统选择了合适的模态实际上确定了要选择的媒体系统，即特定的模态是固定由特定媒体来体现的。所以，媒体系统总是作为资源的实际存在形式而等待选择。n不同的意义特点决定了不同模态系统的选择，从而决定了对媒体系统不同的意义特点决定了不同模态系统的选择，从而决定了对媒体系统的选择的选择。但对媒体的选择还是从媒体系统选择的结果：n 模态总系统模态总系统适合于体现某个语域的模态系统适合于体现某个语域的模态系统 n 模态组合模态组合 n 分布语篇分布语篇n （实体选择）（实体选择）n分布的结果是体现媒体的实体特征，需要通过分布保持在高质量、高分布的结果是体现媒体的实体特征，需要通过分布保持在高质量、高效
14、率的状态效率的状态。15三、设计的操作框架三、设计的操作框架n通过以上设计的理论框架的探讨，我们可以发现，设计要受通过以上设计的理论框架的探讨，我们可以发现，设计要受到以下几个方面的制约：到以下几个方面的制约：n1.语境的制约语境的制约，包括现场语境、语境类型、文化语境现场语境、语境类型、文化语境；n2.话语生成过程话语生成过程：要经过话语生成的过程来产生意义产生意义，通过语境来从整体意义潜势中的语域中选择适合现场语境的意义适合现场语境的意义；n3.交际目的和目标交际目的和目标：为什么要进行交际实际上受到外因和内因外因和内因两个方面的制约。n外因外因：由于处于这种语境中，交际者必须要进行这类交
15、际，是语境的制语境的制约，通常没有其他选择，或者是最好的选择约，通常没有其他选择，或者是最好的选择，如在走路时遇到好朋友要交谈一阵子，不这样会产生负向效应。n内因：内因：同时，交际者由于自己的兴趣或者理想等而主动选择做某事，完自己的兴趣或者理想等而主动选择做某事，完成一定交际任务成一定交际任务。它可以不是主要由外因引起的。16n4.已有资源：已有资源：表示设计中可以利用的符号资源表示设计中可以利用的符号资源，包括传统的资源，和新开发的资源：n传统的资源：传统的资源：是在一个言语社团中经常使用的、习惯性的、是在一个言语社团中经常使用的、习惯性的、不断重复使用的符号系统不断重复使用的符号系统，如在
16、教学中经常使用口语、黑板书写语、手势、表情等；n新开发的资源：新开发的资源：是新出现的交际资源是新出现的交际资源，如随着科技的发展而出现的新的交际资源，如PPT、网络平台、计算机等。n5.转换的资源转换的资源：是经过设计产生的新的话语是经过设计产生的新的话语。和原有的资源相比，它既有共性，又有创新和发展。1718n6.设计模态设计模态n在以上语境和交际因素的制约下，根据要体现的意义要体现的意义，交际者要对可利用的模态系统做出选择对可利用的模态系统做出选择。n1.在模态设计中，首先要认识交际意义的特点，根据意义在模态设计中，首先要认识交际意义的特点，根据意义的特点设计要选择的模态的特点设计要选择
17、的模态。n2.要认识各个模态的表义潜势，即模态的供用特征认识各个模态的表义潜势，即模态的供用特征（affordances)：这个系统适合于表达什么样的意义，例如，音乐音乐适合于表达人的情感态度等，而手势手势更适合表达方向、形状等的意义；语言语言适合于表达深奥的哲理和理论等。19n3.要认识模态之间的组合规律，看什么组合适合于表达什么意义，图形加口头语言图形加口头语言解释适合于表达陌生的、特别是抽象的食物。n4.要遵循一定的设计原则遵循一定的设计原则，根据这些原则选择合适的模态和模态组合。下面要简单介绍这些原则。n5.要根据模态的供用特征、模态组合的功能、选择原则等选择出具体的模态组合结构，选择
18、出具体的模态组合结构，包括图文口语组合、图文动图文口语组合、图文动画口语组合、口语加手势画口语组合、口语加手势等。2021教学目标和教学任务教学目标和教学任务教学环境和教学条件教学环境和教学条件选择设计理念选择设计理念确定教学阶段确定教学阶段选择每个阶段的教学方法选择每个阶段的教学方法选择每个阶段的教学模态选择每个阶段的教学模态让学生学哪些东西，包括知识、技能等个人的能力和水平 学生的基础多媒体设备、教室环境等条件教材权威知识获取技能训练经历体验资源发展（课前准备活动）（课前准备活动）；课堂开始仪式课堂开始仪式；宣布本课的主要教学目标宣布本课的主要教学目标（提出教学要求）（提出教学要求）；（对
19、上堂课的内容进行总结）（对上堂课的内容进行总结）引入主要教学内容引入主要教学内容；（提供背景信息）（提供背景信息）（放录像、提供网络材料）（放录像、提供网络材料）；（提出问题，进行讨论）（提出问题，进行讨论）课文理解：解释、问答课文理解：解释、问答；老师组织活动老师组织活动（学生活动：学生自我学习）（学生活动：学生自我学习）；（老师对讨论进行解释、评价）（老师对讨论进行解释、评价）小结小结；作业布置作业布置直接法、模式训练法、暗示法 社团商讨法、情景法、交际法 任务教学法等口头、书面、ppt书面语 黑板书面语、图像、图表 动画、行动、行为等四、多模态教学设计四、多模态教学设计1.1.教学教学设
20、计的设计的语境语境因素因素n教师在设计中要教师在设计中要：n1.清楚教学的目标清楚教学的目标，要重视目标，有目标意识要重视目标，有目标意识。n2.确定教学的步骤确定教学的步骤，和每个教学步骤的微观教学目标，以及每个阶段的教学方法，n3.在教学中在教学中要要采用采用合适合适的教学资源、教学媒体的教学资源、教学媒体等。n4.进行有效的教学设计还必须根据教学的语境因素进行进行有效的教学设计还必须根据教学的语境因素进行。根据系统功能语言学的语境理论（Halliday&Matthiessen,1999），在外语教学中，有三个变项是关键因素：教学内教学内容、师生特点和教学条件容、师生特点和教学条件。22n
21、（1）教学内容）教学内容：所教授的课程的知识领域所教授的课程的知识领域，包括深度、难度；所要培养的基本技能，以及互文性特点互文性特点。这是教学设这是教学设计要实现的主要目标，也是制约模态选择和教学方法选择计要实现的主要目标，也是制约模态选择和教学方法选择的主要因素的主要因素，所以，Kress&van Leeuven（2001:5）把它作为唯一的因素提出来。n（2）师生情况）师生情况：老师和学生的基本情况，如水平、性格、老师和学生的基本情况，如水平、性格、爱好爱好等也同样制约教学模态和教学方法的选择。（3）教学条件：）教学条件：教学条件直接影响教学的交际方式，如空教学条件直接影响教学的交际方式，
22、如空间条件、设备和用具、教学环境、传播渠道等。间条件、设备和用具、教学环境、传播渠道等。232.2.多模态设计多模态设计的理念的理念nKress&van Leeuven（2001:51）所说的“修辞/认识立场”（1）教材权威型）教材权威型在把教材作为知识的权威来源的理念指导下，在把教材作为知识的权威来源的理念指导下，老师的任务是按照教材提供的知识学习程序和步骤组织教学。n（2）知识获取型：）知识获取型：n把教学看作知识学习的过程把教学看作知识学习的过程，设法帮助学生理解所学的知识。n（3）技能训练型：）技能训练型：n把教学看作一种程序把教学看作一种程序，帮学生掌握技能。n（4）经历体验型：）经
23、历体验型：n把教学看作一种经历，让学生参与实践把教学看作一种经历，让学生参与实践。其基本理念是“要知道梨子的滋味，就要亲口尝一尝”。（5）资源发展型：）资源发展型：把教学看作一种手段，帮学生发展表意资源把教学看作一种手段，帮学生发展表意资源。24n3.教学设计的主要方面教学设计的主要方面n1.设计教学内容设计教学内容：在接续已学内容的基础上，设计本次课的教学内容。n2.设计教学程序：设计教学程序：把教学过程分为几个阶段，每个阶段分几个步骤。n3.设计教学方法：设计教学方法：为整体设计合适的宏观教学理念，为每个阶段设计合适的具体教学方法合适的具体教学方法。n4.设计教学模态设计教学模态：根据现有
24、的条件，教学目标和教学内容，学生的情况，为每个教学阶段选择合适的模态，或者模态组合。2526 语语言言教教学学中中设设计计可可用用模模态态资资源源n4.教学设计的基本程序教学设计的基本程序n第一第一，考察教学环境和教学条件，确定本课教学的教学目标和要完成，考察教学环境和教学条件，确定本课教学的教学目标和要完成的教学任务的教学任务；n第二，要确定设计的依据，即制约设计的基本理念第二，要确定设计的依据，即制约设计的基本理念；n第三，为教学过程设计合适的阶段，确定每个阶段的目标，为每个阶第三，为教学过程设计合适的阶段，确定每个阶段的目标，为每个阶段设计合适的程序和步骤段设计合适的程序和步骤。n第四，
25、为整个教学过程和每个教学阶段选择合适教学方法，第四，为整个教学过程和每个教学阶段选择合适教学方法，讲语法：讲语法：先讲规则、再举例子、或用语法完成任务先讲规则、再举例子、或用语法完成任务。n第五，第五，据此选择合适教学模态据此选择合适教学模态，如口头、书面、ppt书面语、黑板书面语、图像、图表、动画、行动、行为等。n当然，实际的设计过程可能不是这一个结束，那一个开始的过程当然，实际的设计过程可能不是这一个结束，那一个开始的过程，而而是综合性的，整合为一体是综合性的，整合为一体的。275.5.课堂教学设计课堂教学设计应遵循的原则应遵循的原则n模态选择的原则是以模态选择的动因为基础的模态选择的原则
26、是以模态选择的动因为基础的。为了取得更好的教学效果，教师要尽量选择多种有效的措施和方法，尽量选择多种有效的措施和方法，特别是技术手段特别是技术手段；但从经济的角度讲，模态的选择则是越越简单越好简单越好。所以，教学模态的选择是在最优化和最简单化最优化和最简单化的矛盾之中的矛盾之中进行的。n模态选择的总原则：充分利用现代媒体技术，最大限度地充分利用现代媒体技术，最大限度地充分表达讲话者的意义，取得最佳效果。充分表达讲话者的意义，取得最佳效果。n在这个总原则指导下，还有相互联系的几个原则相互联系的几个原则：有效原有效原则、适配原则、经济原则。则、适配原则、经济原则。28n有效原则有效原则表示选择任何
27、一个模态都要以取得更好的教学效果为前提，避免无效模态，或者其所产生的负效应等于或者大于正效应。n适配原则适配原则表示选择不同的模态时，要考虑不同模态之间的相互配合，以获得最佳搭配为标准。n有效原则和适配原则都有自己的次级原则有效原则和适配原则都有自己的次级原则。有效原则有效原则可以包括工具原则和引发原则工具原则和引发原则。n工具原则工具原则是说在教学中，某种模态用以为教学主程序提供便利，如提供真实语境等(张德禄，2009)。29引发原则引发原则是说现代技术还可以从内部提供动力，使学生从内心愿意从事这种活动，把外因转化为内因。n适配原则适配原则的次级原则包括强化原则、协调原则、前景背景原强化原则
28、、协调原则、前景背景原则、抽象具体原则则、抽象具体原则。n强化原则强化原则表示在同时选用两个或以上模态时，一般是一个为主模态，另一个对它进行强化，使传递的意义更加突出。协调原则协调原则表示在同时选用两个或以上模态时，各种模态之间要相互协调，由一种媒体不能独自完成的交际任务可以由其他媒体来补充。前景背景原则前景背景原则表示在同时选用两个或以上模态时，其中的主模态处于前景中，其他模态为它提供背景信息。30五、结语五、结语n本文探讨了多模态设计的基本概念、理论定位、基本文探讨了多模态设计的基本概念、理论定位、基本操作框架，最后探讨了多模态外语教学中的设计。本操作框架，最后探讨了多模态外语教学中的设计。n但这个研究还是初步的，本研究的成果还需要进一但这个研究还是初步的，本研究的成果还需要进一步验证和优化，以及细化和系统化步验证和优化，以及细化和系统化。所以，本研究权作引玉之砖，希望更多的类似研究出现。31n谢谢大家n请批评指正32
