多媒体情报系统体系结构研究摘要：针对多媒体情报处理的现状，指出了多媒体情报处理过程中需要解决的主要问题，并在此基础上将多媒体情报的处理流程划分为多媒体情报收集、情报处理、情报服务三个阶段。以新闻视频为例对多媒体情报系统的体系结构进行了详细设计，重点设计了其中的多媒体情报处理与情报服务子系统，并对其中涉及的部分关键技术进行了研究。关键词：多媒体；情报处理；情报服务；体系结构：TP391文献标志码：A：1001－3695(2008)06－1773－03随着多媒体技术的发展，多媒体情报日益增多。与传统的文本数据不同，多媒体数据具有数据量大、数据结构复杂、数据内容丰富等特点，因此难以直接对其进行查询与检索。随着未来多媒体情报资料的逐步增加，需要着重解决两个问题：a）建立数字化的多媒体情报处理与管理系统体系。目前多媒体情报的处理仍然以模拟数据为主，从采集、处理、加工到存贮都是围绕模拟的形式进行。随着时间的推移，面对堆积如山的录像带、录音带，长期保存和快速检索所需的信息越来越困难。因此，迫切希望能够实现多媒体情报处理与管理过程的全数字化。b）对多媒体数据的内容进行有效的处理与管理。从实际需求来看，对多媒体数据的内容要求能够进行自动或半自动的处理，如结构化分析、内容分析、语义分析、摘要生成等，并能够对其实施有效的管理，如存储、海量索引，以便用户能通过良好的接口快速获取相关情报信息。?バ挛攀悠底魑?一种公开的情报资料，不仅易于获取而且含有丰富的情报信息。本文以新闻视频为例，设计多媒体情报系统的体系结构。?ネ?1是多媒体情报处理系统的流程示意图。由图1可见，多媒体情报处理大致需要经历三个阶段：a)情报的收集阶段。该阶段的目标是收集有用的多媒体情报源数据。b)情报的处理阶段。该阶段通过对视音频内容以及文档内容的综合分析，对多媒体情报进行分析与处理，获取部分的语义内容。c）情报的服务阶段。该阶段将分析处理后的多媒体情报以可视化的形式进行表现，并为用户提供一种可以选择、组织、协调和定制的个性化工具，实现用户的浏览、检索、预警等多种情报信息服务。??1多媒体情报系统体系结构?ブ谒?周知，单一的某个技术如果能在一个统一的框架下进行综合集成，将更好地发挥其效能。笔者希望能够提供一个开放的、可扩展的体系结构以解决不同媒体的处理、索引、检索与表现问题，从而一方面增强媒体中抽取出信息的可重用性；另一方面允许单独的媒体信息处理与抽取以及多重的媒体内容的传输与表现。举个简单的例子，从媒体处理的角度而言，从新闻视频中抽取出的标题字幕不仅可以用于视频摘要，而且还可以用于视频故事单元的分割；抽取出的人脸不仅可以用于表现重要的视频内容，而且还可以结合字幕或文本进行人物的识别；从媒体服务角度而言，按照重要度规则生成的媒体摘要不仅可以用于媒体的浏览，而且还可以用于媒体检索等。?ナ率瞪洗痈髦置教逯谐槿〕隼吹哪谌菔羌?其丰富的，包括视频流、场景、摄像机运动、文本、人脸、对象以及语音文档等；使用的处理技术也千差万别，如语音识别、OCR识别、字幕探测、人脸探测等。这些技术虽然各不相同，抽取出的内容也不同，但它们都具备一个共同的特征，即在媒体处理与服务系统中的生命周期是相似的，都需要经过特征的抽取、存储、索引、检索与表现等各个阶段。这些模块之间并非彼此孤立，而是相互之间存在关联。如何获取它们之间的关联，如何利用这种关联实现多个模块之间的协作以提高多媒体服务的性能是需要考虑并解决的一个问题。要实现多个模态之间的协作，需要建立一个统一的框架，使得各个模块开发者之间可以方便地理解、沟通并交换信息，从而增加信息的可重用性，并最大限度地发挥各个模态的性能。?ネ?2是本文设计的多媒体情报系统体系结构图。整个系统由两部分组成，即多媒体情报处理子系统和多媒体情报服务子系统。其中，多媒体情报处理子系统主要负责媒体中各种模态的处理，这部分工作由模态处理器离线完成，处理后的结果统一存储在数据库中。用户编辑器可以对数据库进行在线的编辑处理，索引/过滤器则负责完成数据库的索引与过滤功能。多媒体情报服务子系统主...