视觉语法视角下图画书的多模态研究摘要：Kress和vanLeeuwen提出韩礼德的语言三大元功能同样适用于视觉语法的研究，并将其延伸为再现意义、互动意义和构图意义。本文在研究其理论基础Z上，以图画书TheManWhoseMotherWasaPirate为例分析图画如何传达意义。视觉语法运用于图画书的分析上，不仅为儿童和成人阅读图画书提供新角度，而且为图画书作家精准传达意义开辟新途径。关键词：视觉语法多模态图画书功能符号学一、引言进入二十世纪以后，随着科学技术发展进入新的阶段，多媒体的广泛使用丰富和便利了人们的生活，也改变了人们的交流方式：从以语言、文字为主到如今的文字、图片、声音等并存。顺从时代的发展，学者不再仅仅专注于传统的单一语言话语分析，越来越多的目光转向图片、文本、动作、声音等多模态分析。以图片为主、文字为辅传递信息和情感的儿童读物，是典型的多模态文本。然而国内的多模态研究领域对其关注度并不高,图画书是极英重要的儿童文学组成部分，对儿童的身心健康具有重要作用，研究图画书的意义构建和接受有利于更好地培养儿童的思想、道德和审美。从视觉语法角度分析TheManWhoseMotherWasaPirate的图画如何传达意义，希望引起更多学者对图画书多模态研究的注意。二、多模态的研究李战子认为多模式是复合的话语，也就是说除了最基础的文本之外，往往还包含图像、图表等模式（李战子，2003）o多模态的研究角度有多种，常见的有交互社会学角度、语体学角度等。而在本文中我们将从功能符号学岀发，对多模态进行探讨和研究。MichealO,Tool发表于1994年的TheLanguageofDisplayedArt是多模态领域为数不多的一部开创性作品，完全致力于艺术作甜的分析和解？。这本书探讨了绘画、雕塑和建筑等艺术的视觉语法，提出三种意义：再现意义、情态意义和组合意义。1996年,Kress和vanLeeuwen在《图像识读：视觉设计的语法》（ReadingImages：TheGrammarofVisualDesign）一书中提出了视觉语法的理论研究和分析框架。而在中国知网上第一篇介绍多模态话语研究的是李战子于2003年在《外语研究》上发表的《多模式话语的社会符号学分析》一文，这篇文章对Kress和vanLeeuwen的视觉语法理论体系做了较系统的介绍。在此之后，胡壮麟、张德禄等学者在多模态研究上有突出贡献。张德禄在论文《多模态话语分析综合理论框架探索》中尝试构建了多模态话语分析的理论框架，主耍有四个层面：文化层面、语境层面、内容层面和表达层面。他认为对于多模态话语选择来说，最关键的是让多种模态之间相互配合，这样才能达到最好的交际效果。另外他还提出，模态间的配合主要体现在内容层面下的形式层血，特别是其中的语法层血（张德禄，2009）o本文所重点研究的视觉语法系统则是其所指的语法层面之一。三、视觉语法Kress和vanLeeuwen是视觉语法研究的集大成者。他们于1996年发表的《图像识读》构建了视觉语法研究的框架，并配有大量实例加以佐证其解释力。Kress和vanLeeuwen强调视觉语法中的“语法”不同于传统意义的语法，他们所说的“语法”关注各种元素如何结合并生成有意义的整体。语言的语法描述词语怎样组成小句、句子和篇章，同样的，视觉的语法描述各种元素一一人、地点和事物一一怎样组合为视觉上意义，这种意义具有不同的复杂程度和延展度的状态(Kress&vanLeeuwen2006)。同时，他们提出视觉结构不是对现实结构一种简单的再创作，相反这些图片与产生、传播和识读与其所处的社会机构紧密相关，即它们是具有意识形态的。视觉结构不仅是形式的，更重要的是具有意义维度。韩礼德提出语言的元功能包括概念功能、人际功能和语篇功能，Kress和vanLeeuwen认为这三大功能可以用于视觉系统、触觉系统等。而在视觉语法中主耍延伸为再现意义(roproscntationalmeaning)>互动意义(interactivemeaning)和构图意义(compositionalmeaning)三大意义。因此，Kress和vanLeeuwen的视觉语法被认为是对韩礼德元功能思想的继承和创造性延伸(张敬源2012)o1•再现意义视觉语法中的再现意义对应语言中的概念功能。根据矢量的有无，再现意义可分为叙事再现(ndjrrdtiverepresentations)和概念再现(conceptualrepresentations...