动作识别与行为理解综述徐光祐曹媛媛普适计算教育部重点实验室清华大学计算机科学与技术系北京，100084）摘要随着“以人为中心计算”的兴起和生活中不断涌现的新应用，动作识别和行为理解逐渐成为计算机视觉领域的研究热点。本文主要从视觉处理的角度分析了动作识别和行为理解的研究现状，从行为的定义和表示、运动特征的提取和动作表示以及行为理解的推理方法三个方面对目前的工作做了分析和比较。并且指出了目前这些工作面临的难题和今后的研究方向。关键词以人为中心动作识别行为理解中图法分类号：TP391文献标识码：AActionRecognitionandActivityUnderstanding:AReviewXUGuangyou,CAOYuanyuan(KeyLabofPervasiveComputing,MinistryofEducation,DepartmentofComputerScienceandTechnology,TsinghuaUniversity,Bei激ng100084,China)AbstractAsthe“Human-centeredcomputing”isgettingmoreandmorepopularandnovelapplicationsarecomingup,actionrecognitionandactivityunderstandingareattractingresearchers’attentioninthefieldofcomputervision.Inthispaper,wegiveareviewofthestateinartofworkonactionandactivityanalysis,butfocusonthreeparts:Definitionofactivity,low-levelmotionfeaturesextractionandactionrepresentation,andreasoningmethodforactivityunderstanding.Furthermore,openproblemsforfutureresearchandpotentialdirectionsarediscussed.Keywordshuman-centeredcomputing,actionrecognition,activityunderstanding引言计算正渗透和影响到人们生活的各个方面，根据传感器数据来识别和理解人的动作和行为就成为未来”以人为中心的计算”(Human-centeredcomputing)中的关键[1]。其中基于视觉的动作识别和行为理解尤为重要。因为在人之间的人际（interpersonal）交互过程中，视觉是最重要的信息。视觉可以帮助人们迅速获得一些关键特征和事实，如对方的表情、手势、体态和关注点等，这些视觉线索综合起来反映了对方的态度，潜在意图和情绪等信息。未来人机交互和监控中，机器要感知人的意图很大程度上就需要依靠视觉系统。此外，视觉传感器体积小、被动性和非接触式的特点，使得视觉传感器和视觉信息系统具备了无所不在的前提。近年来，在对计算机视觉提出的层出不穷的新要求中，行为理解是一个具有挑战性的新课题，在诸如智能家居，老年人看护，智能会议室等应用中都起着至关重要的作用。它要解决的问题是根据来自传感器（摄像机）的原始图像（包括图像序列）数据，通过视觉信息的处理和分析，识别人体的动作，并在上下镜(context)信息的指导下，理解人体动作的目的、所传递的语义信息。行为理解作为近几年开始兴起的研究，正在逐渐获得越来越多的关注。人体检测、定位以及人体的重要部分（头部，手等）的检测，识别和跟踪是人体行为理解的基础，在解决这些基本问题的基础上，更重要也更困难的问题就是动作识别和行为理解。对动作识别的研究可以追溯到90年代，在2002年，相关研究的论文数量经历了一个飞跃式的增长，这些研究大多假设是在结构化（structured）环境和孤立动作条件下。所谓的结构化环境就是预先设定和可人为控制的环境，例如，用于计算机输入的手势识别等，这时视觉数据采集的光照，视角，距离等因素都是固定或已知的。这就为改善视觉处理的脆弱性提供了有利条件。但与此同时，也带来了很大的局限性。例如，基于生理特征的生物特征识别，目前的方法只适合于愿意在规定环境下给予系统配合的合作对象。与此相对，能在自然环境下，基于行为特征的生物特征识别就更为困难，但具有容易被对象接受，或不易被察觉的优点。对于各种目的的视觉监控来说，能工作在自然环境下，更是至关重要。例如，为帮助老人延长独立生活或改善生活质量的视觉监控和提示。都需要能在老人生活的日常环境提供相应的服务。近年来，对日常生活和工作中动作和行为的理解正成为热点。这是所谓的“日常活动”（Activitiesofdailyliving，ADL）的分析和理解。由于人们在日常生活环境中的动作是自然和连续的，而且与环境有密切的联系，因此给识别和理解带来一系列具有挑战性的难...