MR环境下多模态人机交互的设计评价系统研究曹琪范劲松摘要：解决现有设计评价工具成本高、周期长、交互性差等问题。以清洁车设计为例，利用头戴式设备HoIoLens，通过与人交互对话，将优化的虚拟清洁车模型及属性实时、无缝地叠加在实际的使用场景中。利用系统可用性量表（sus）进行用户体验评估，测试结果良好。通过将MR技术引入到设计评价过程，可以提高新产品研发效率和效益，为使用者提供更加自然、高效、真实的评价工具。关键詞：工业设计设计评价混合现实多模态人机交互HoIoLens：TP47文献标识码：A：1003-0069（2020）05-0026-03Abstract：Solvetheprob}emsofhighcost，longcycleandpoorinteractivltyofexistingdesignevaluationtooloTakingthecleaningcardeoignasanexample，thehead-mounteddeviceHoloLensisusedtointeractivelyandinteractlvelysuperimposetheoptimizedvirtualdeaningvehiclemodelandattributesintheactualusescenereactionusingtheSystemAvailabilityScale（SUS）todouserexperienceevaluation，theteotresultsaregood.ByintroducingMRtechnologyintothedesignevaluationproceoS，newproductdevelopmentefficiencyandefficiencycanbeimproved，anduserscanbeprovidedwithmorenatural，efficientandrealisticevaluationtoolsKeywords：IndustrialdeoignDesignevafuatIonMIxedRealityMulti-modalhuman-computerinteractionHoloLens设计评价（DR）系统是在产品开发过程当中及早地发现和指出产品设计的缺陷、错误和可能存在的制造问题[1]，以便对其性能和使用等各个方面进行全面的评估。目前工业设计评价过程使用的工具为实物样机[2]、数字样机[3]和虚拟样机[4]。实物样机的主要问题是成本高、周期长和逼真度不够;数字样机的主要问题是要依赖于应用软件，对设备和使用人员的要求高;虚拟样机可以实现实时交互，克服了上面两种方法的不足，但主要交互方式基于计算机传统图形界面和鼠标键盘，不是自然的交互方式。同时，数字样机和虚拟样机都要求用户必须在计算机上操作，使用不够便捷，限制了用户交互的自然性。近年来，随着多媒体软硬件技术的发展，人机交互的研究已经拓展到MR领域[5]。借助MR技术搭建一个多模态人机交互的设计评价系统是工业设计领域的—次尝试。一、MR环境下的多模态人机交互界面（一）多模态人机交互概念多模态人机交互，又称多通道人机交互，是一种区别于传统的单通道人机交互而言的新技术。通道指的是感官。多模态人机交互同时对来自多个交互通道的信息进行识别并融合，最终得到一个综合后的交互信息，以此获得更自然性和高效性人机交互体验。很多情况下，一套多模态人机交互系统需要多种识别设备来共同实现。（二）MR环境下的多模态用户界面模型MR环境下的多模态用户界面[6]是一种全新的人机交互平台，用户通过手势、语音、视觉、触觉等多种通道实现虚实融合环境下的自然交互。用户界面是人机交互的媒介，主要利用人机工学原理，实现人_机一环境之间的协调配合。这里的“人”指的是人的感官，“机”指的是MR交互设备，“环境”指的是虚实结合的交互环境。通过综合利用人的多感觉通道和效应通道，力图使计算机能够听、说、理解用户的交互意图[7]，如图1。（三）用户界面的系统框架用户界面的功能是实现人机环境之间的信息传递，而一个完整的信息加工过程从用户输入开始，经过数据处理到功能实现结束。在MR环境下的多模态用户界面中，用户首先通过手势识别、语音识别、眼动追踪和触觉反馈等自然的操作方式实现信息输入。然后，MR头戴设备会将获取的用户信息进行处理，将全息图像投影在真实世界中，现人机互动，最终完成用户的意图，如图2。二、MR环境下的多模态人机交互方式（一）凝视交互凝视的目的是实现对全息图的目标选择。如图3，该系统通过HoIoLens向用户眼睛的凝视方向发出一条射线与全息图像之间进行碰撞检测8。假设射线与全息图某个部件的交点为P。射线与前后剪切面相交于空间点P1和P2。其中，P1点坐标可用该点所在射线单位向量E与模M表示为：P=Pl+ExM（1）已知全息图上的3个基准点A（XA，YA，ZA）、B（XB，YB，ZB）、C（XC，YC...