<正>人类与世界的互动本质上是多模态的。英国语言学家Halliday认为,人际交往一般发生在特定的社会生活情境中。对于不同的人来说,他们通常根据不同的符号以及这些符号所代表的意义来传递各种信息。意义的表达和信息的交流过程往往采用多种符号学模式,通过相互合作来实现整个过程。所谓多模态人机交互是指人们利用多个感官通过多种物理媒介与计算机或其他机器进行交互。