动态网络环境下的音视频同步技术设计与实现南春辉李博武颖（中北大学,电子测试技术国家重点实验室,仪器科学与动态测试教育部重点实验室,山西，太原，030051）摘要：针对网络传输中由于延迟、抖动、网络传输条件变化等因素引起的音视频不同步的问题，设计并实现了一种适应不同网络条件的音视频同步方案。利用音视频编码技术AMR-WB和H.264具有在复杂网络环境中速率可选择的特性，结合RTP时间戳和RTCP反馈检测QOS，通过控制音视频编码方式，实现了动态网络环境下的音视频同步方案。重点介绍了可靠网络环境和动态网络环境下同步算法的设计过程，并通过实际测试验证了此方案的可行性。结果表明，此方案能够保证不同网络环境中的音视频同步。关键词：音视频同步，时间戳,RTP/RTCP中图分类号：TN919.81文献标识码：AThedesignandimplementationofthesynchronizationofaudioandvideoindynamicnetworkNanChunhui,LiBo,WuYing(NationalKeyLaboratoryforElectronicMeasurementTechnology,KeyLaboratoryofInstrumentationScience&Dynamic,NorthUniversityofChina,Taiyuan030051)Abstract:Inviewoftheproblemthataudioandvideoarenotsynchronized,whichiscausedbyfactorssuchasdelay,shakingandthechangeofnetworkconditionintransmission,thispaperdesignsasolutionforthesynchronizationofaudioandvideowhichadaptstodifferentnetwork.ByuseofthepropertyofvariousratesofthecodecAMR-WBandH.264,andRTPtimestampandRTCPfeedbackdetectionQOS,thissynchronizationschemeisrealizedbycontrollingthecodecofaudioandvideo.Inthepaper,thedesignprocessofsynchronizationalgorithmwhichworksinreliableanddynamicnetworkisemphasized,andthefeasibilityoftheschemeisverifiedthroughactualtest.Theresultsshowthatthisdesigncanguaranteethesynchronizationofaudioandvideoindifferentnetworkenvironment.Keywords:audioandvideosynchronization,timestamp,RTP/RTCP引言音视频媒体间同步是多媒体系统服务质量（QoS）研究中的一项重要内容。在网络上传输多媒体数据时，由于终端对数据的处理方式，以及网络中的延时、抖动会引起音视频流的不同步。传统的解决方案往往存在实时性差，时间开销大，且无法适应动态网络环境等缺陷，针对此问题本文在分析媒体间同步性定义、影响因素等的基础上，提出了一种基于循环缓冲队列和RTCP反馈控制的同步解决方案。1媒体间同步性定义同步是多媒体通信的主要特征，也是其重要研究内容之一，同步与否直接影响多媒体通信的质量。媒体间同步即是要保持音频流和视频流之间的时间关系[1]。为了描述同步，实现相关的控制机制，定义了相应的服务质量参数（QoS）。针对音视频，采用时间差即偏差来表示。结果表明如果偏差限制在一定的范围内，认为媒体是同步的。当偏移在-90ms（音频滞后于视频）到+20ms（音频超前视频）之间时，人感觉不到试听质量的变化，这个区域可以认为是同步区域；当偏移在-185到+90之外时，音频和视频会出现严重的不同步现象此区域认为是不同步区域。本设计认为偏移在-120ms到+40ms之间音视频同步。1.1音视频同步的影响因素在网络环境下，多媒体信息在传输过程中受到各种因素的影响，会导致其在接收端不能正确播放，即音视频不同步。引起音视频不同步的原因主要有两种：一种是终端处理数据引起的，发送端在数据的采集、编码、打包等模块和接收端在处理解包、解压、回放等模块时，由于音频和视频的数据量以及编码算法不同而引起的时间差。并且发送端没有统一的同步时钟另一种是网络传输延时，网络传输是受到网络的实时传输带宽、传输距离和网络节点的处理速度等因素的影响，在网络阻塞时，媒体信息不能保证以连续的“流”数据方式传输，特别是不能保证数据量大的视频信息的连续传输，从而引起媒体流内和流间的失步[2-3]。2音视频同步系统设计在音视频同步系统中，发送端在发送音视频流时，要给各帧数据打上相对时间戳，并且音频流和视频流，一个作为主流另一个作为从流。主流连续播放，从流的播放由主流的播放状态决定，从而实现同步。考虑到人对声音更...