多维度特征融合的教学行为智能分析模式构建赵刚朱文娟胡碧灵夏青刘闪初洁[摘要]分析课堂教学行为是揭示课堂教学规律的一个重要途径。如何利用信息技术手段处理与分析累积的海量教学视频公开课中的教学行为，成为当前改革教学过程评价服务的热点之一。由于教学中教学行为具有教学性、有序性、关联性等固有教育特性，使得基于深度学习的视频分割与识别技术仍然无法有效理解教学场景和教学行为。因此，文章设计了包含“基于视听觉特征的教学行为分析编码系统、教学行为听觉特征识别、教学行为视觉特征识别、教学分析过程数据可视化呈现”四个核心要素的一种多维度特征融合的教学行为智能分析模式，提出了“视觉特征为主、听觉特征为主、融合特征为主”三条实践路径，以厘清教学行为智能分析要素的关系，并以视觉特征为主的实践路径初步分析了43节课堂教学视频，提取了时间维度上的教学行为视觉特征，以期为“一师一优课、一课一名师”“教师研修”等教学行为智能分析活动提供借鉴。[关键词]教学行为;多维度特征;智能分析;人工智能技术[]G434[文献标志码]A[作者简介]赵刚（1981—），男，江西奉新人。教授，博士，主要从事多媒体技术与处理、智能学习分析研究。E-mail：zhaogang@mail.ccnu.edu.cn。朱文娟为通訊作者，E-mail：zwj@mails.ccnu.edu.cn。一、引言课堂教学行为研究通过分析教学场景中教师和学生行为的显著性特征，归纳师生教学行为的种类、活动率、转换率等深层次特征，帮助教师全面了解教学情况，促进教师专业技能发展[1]。基于视频的课堂教学行为分析为优化课堂教学过程、提高教学质量提供了可能[2]。然而，目前基于视频的教学行为分析仍普遍采用人工参与机制[3]，即按照固定时间分割后，安排分析人员观察和分析教学内容，分析人员根据主观的经验识别其中的教学行为[4]。在人工智能方面，视听觉的视频分割与识别方法在新闻[5]、体育[6]、监控[7]等领域已从技术研究走向技术应用。在教学领域中，也有研究利用该方法对学生异常行为进行识别[8-9]，但是，教学中的教学行为具有教学性、有序性、关联性等固有教育特性，没有充分考虑教学行为的教学含义，仍然难以取得理想的分割与识别效果，难以为后续分析提供理想的支持依据。因此，文章深入分析教学行为（非言语行为、言语行为）在教学场景中的表现形式和特点，提取各行为主体（教师、学生）的视觉、听觉、语义等多维度特征信息，结合时序行为检测、语义分析等技术，提出一种智能化的教学行为分析模式，实现教学场景中教学行为的高效、精准分割与识别，满足海量教学视频分析的需求。二、教学行为分析方法概述（一）教学行为分析方法的起源与发展课堂教学行为研究起源较早，并且一直是教育领域的研究热点，对教学行为的深入研究是开展教学分析的重要基础。目前，教学行为分析方法主要分为教学行为分类与编码和教学行为量化分析两种方法。教学行为分类与编码是一种对教学行为进行分类，再进行编码的方法，主要归纳为弗兰德斯分析方法及其衍生分析方法和TIMSS方法。弗兰德斯分析方法及其衍生分析方法起源于1963年弗兰德斯提出的弗兰德斯互动分析系统（FIAS）[10]，该系统明确了课堂中师生言语行为类型，弗兰德斯的局限性在于过于重视教师在课堂教学中的行为（7个类别），忽视了学生行为（2个类别）。我国学者提出了不同的分析系统以适应不同环境下、不同学科的课堂教学行为分析。面向不同教学环境，2004到2016年，我国学者顾小清[11]、方海光[12]、穆肃[13]、张屹[14]和蒋立兵[3]对FIAS进一步细分了行为类型，分别提出了基于信息技术的互动分析编码系统（ITIAS）、针对数字化课堂教学环境的改进型弗兰德斯互动分析系统（iFIAS）、针对信息化教学环境的课堂教学行为分析系统（TBAS）、智慧教室环境下的课堂教学互动分析编码系统和智慧教室环境下的高校课堂教学行为分析系统（CTBAS）。面向不同学科，郑长龙提出了CPUP化学课堂结构模型[15];刘向永结合小学英语教学的特征，修改和完善了iFIAS系统[16]。TIMSS方法提出的编码系统比弗兰德斯互动分析系统更为细致[13]，将教师言语行为和学生言语行为分类至三级编码[17]。获取课堂教学...