唇音同步技术 哪些因素影响视频会议系统视音频效果
发布网友
发布时间：2022-04-22 22:29
共1个回答
热心网友
时间：2023-07-17 19:37
1）网络的服务质量；
2）MCU和终端的性能；
3）会议室的设计。
一、网络的服务质量（QoS）
目前，视频会议系统常用的网络主要有E1专线和IP两种。E1专线基于电路交换和时分复用技术，能够提供端到端的独享带宽，因此网络本身具有完善的传输质量保障机制。在绝大多数情况下，影响E1专线传输效果的主要因素就是传输设备和传输线路的质量。对于这类因素，我们往往可以通过更换传输设备和降低线路误码率进行改善。
而IP网基于统计复用和分组交换技术，在需要同时传输语音、数据以及视频等多种业务时，其传统的“尽力传递”机制暴露出很多问题，其中最重要的一点就是无法为每一种业务提供端到端的带宽保证，会导致较大的传输延时和抖动。为此，我们必须通过技术手段对IP网进行优化，以减少网络本身对视频会议系统效果的影响。这些技术手段目前已经发展为IP体系中的一个重要分支，就是服务质量（QoS）。
所谓QoS，是指一个网络通过多种技术为某一特定的网络流量提供更好服务的能力，它的主要目的是实现优先权控制，包括带宽、延时、抖动以及丢包等多个方面。几乎所有的网络都可以利用QoS的优势来获得最佳的效率。
QoS技术分为三类，包括尽力而为服务、集成服务、差分服务，其中差分服务应用最广泛。在差分服务中，网络根据每一个数据包的QoS标记对数据包进行分类、排队和管理。这些标记可以是IP地址、TCP端口号或IP数据包中的特定字段。
在实际的网络规划中，就要求网络设备（如路由器）能够借助于复杂的流量管理系统，通过多种技术提供QoS保证机制，根据业务类型划分不同的优先等级，比如语音最优、视频其次、数据最后，然后根据这些优先级别分配网络资源。
对于视频会议而言，为了保证视频业务的带宽，路由器必须能够在通过的IP数据流中识别出视频业务数据包并对其分类，然后再通过拥塞管理机制提供带宽保证和优先传递服务。这样，在网络发生拥塞时，就可以保证语音和视频业务的传输效果了。目前主流路由器厂商均可提供基于分类、标记与拥塞管理的QoS支持。
二、MCU和终端的性能
除了网络应该提供良好的QoS保障机制外，视频会议系统设备本身也应该具有良好的性能才能真正保证会议的效果。这些性能因素包括系统采用的视音频编解码技术、设备的设计结构、设备本身对恶劣网络环境的适应能力以及其他方面。
1、视音频编解码技术
视音频编码技术是视频会议系统的关键技术指标，是影响会议效果的重要因素。目前视频会议系统中用到的视频编码技术主要有H.261、H.263、H.264、MPEG-2、MPEG-4等，音频编码技术主要有G.711、G.722、G.728、G.729、MP3等。
其中，H.264和MPEG-4这两种视频编码技术能够在低带宽下实现高清晰的动态图像效果，而且编码延时小，作为新一代视频编解码标准，其优势非常明显。
而在音频编码方面，MP3是一种高效的声音压缩算法，其频响范围在20Hz到20KHz之间，采样频率达到44.1KHz，而且支持双声道编码，因此正在获得越来越广泛的应用。
2、设备的设计结构
早期有很多视频会议系统中的MCU和终端均采用PC作为硬件结构，操作系统则基于Windows。这类设备在编解码性能、包转发效率以及稳定性、安全性等方面均存在很大的局限性，导致会议视音频质量不高、延时较大。
作为专业的会议室型应用，绝大多数视频会议系统现在都选择基于嵌入式设计结构的MCU和终端设备。这主要是因为嵌入式系统指令精简、实时性高，结合专用的编解码DSP，可实现高品质、低延时的视音频信号处理，而且稳定性、安全性也高。
3、设备对恶劣网络环境的适应能力
网络的QoS可以在一定程度上保证视频会议的传输效果，但其作用是很有限的，尤其是在一些较为恶劣的网络环境下。视频会议系统设备本身对恶劣网络环境的适应能力也将对会议效果产生较大的影响。这些适应能力包括IP优先权设置、IP包排序、IP包重复控制、IP包抖动控制、丢包重传以及速率自动调整等。
1）IP优先权（IP Precedence）
在网络规划差分服务方式的QoS技术时，可通过多种匹配手段对进入数据网的业务包进行分类，包括IP地址、IP 优先权（IP Precedence）等。
其中，利用IP包中的IP优先权部分可以对音频、视频和RTCP（Multicast）数据流进行优先级划分。当网络采用IP Precedence进行流量匹配时，可通过视频设备发出的修改过IP Precedence字段信息的视音频包进行入队列处理，以保证视频会议码流的优先传送。
2）IP包排序
通常，网络的尽力传递机制无法保证其转发的数据包的正确次序。对于H.323视频会议系统，如果视频设备按次序接收IP包，将带来错序问题，数据包的丢失或延迟将导致视频图像的冻结或声音的中断或抖动。
可通过视频设备支持IP包排序功能解决该问题，当IP包到达时，视频设备将对其次序进行验证，无序的包被退回，以维护发送给终端用户的音频和视频流的连续性。
3）IP包重复控制
一个IP包经过承载网时可能会产生多个重复的副本，或为了适应恶劣网络环境系统可能采用重传机制时也会产生多个重复的副本，这样将引起视频图像的冻结或声音中断。支持IP包重复控制的视频设备可通过该功能来纠正该错误，以维护发送给终端用户的音频和视频流的连续性。
4）抖动控制
当音频和视频IP包离开发送端时，按照规则的间隔均匀的排列。在通过网络之后，这一均匀的间隔因不同的延时大小而遭到破坏，从而产生抖动。抖动会导致目标终端上音频和视频流的不连贯性。支持抖动控制的视频设备可通过抖动缓存来实现抖动消除，以维护终端用户接收到的音频和视频流的连贯性。
5）丢包重传
当网络拥塞严重时，网络设备（如路由器）会根据缓存大小并配合相关处理机制丢掉一些视频包，视频会议系统中视频包是采用UDP协议进行传输的，而UDP本身没有重传机制，因此会导致接收端出现图像丢帧或马赛克现象。支持丢包重传的视频设备可通过添加丢包检测和重传的机制来保证会议图像的连贯性。
6）自动速率调整技术
在一些恶劣的网络环境下，降低会议码率将有助于提高视音频的连贯性和实际效果。如果视频设备支持动态速率调整技术，可以使终端和MCU能通过检测网络上有利和不利的因素来自动适应网络的容量和性能，通过动态调整视频会议的码率，为终端用户提供尽可能好的视频质量。
视频设备的自适应带宽调整功能主要是通过检测数据包丢失率来实现的。如果终端检测到数据包丢失率超过了指定的阀值，它将自动降低视频会议码率，同时通知其它参会终端做相同的动作，从而提供一个具有最优视音频效果的会议码率。
7）唇音同步技术
视频会议系统中视频信号和音频信号是分别编码、分别传输的，由于IP优先级和视音频包大小等因素的影响，会使视音频的同步包到达顺序不同，引起唇音不同步。
影响唇音不同步主要有两种因素：网络传输时延和视音频处理时延不同。
当音频和视频包离开发送端时，音频包与对应的视频包保持同步。但是，在通过承载网时，各种队列算法会对音频资料包和视频资料包进行不同的处理。这将打乱音频资料包与相应的视频资料包的同步关系。最终的结果导致声音与口型失去同步。支持唇音同步的视频设备可通过使用IP包中的RTP时间戳信息来纠正这一问题。利用RTP时间戳，设备能够确定哪一音频包与哪一视频包对应。进一步重新调整相应的视音频包，以保证声音与口型的同步。
在发送端，处理音频所花费的时间不同于处理视频所花费的时间。影响这一问题的因素包括声速与光速的不同、房间的大小和形状、音频和视频编码的算法的复杂性。为了避免时间差，支持唇音同步的设备可通过在音频流的出发点增加一定的延迟，以获得声音与口型的同步；也可在接收端增加或减少音频延迟，以纠正发送端不恰当的延迟设置。这样就保证远程会场在接收视频会议声音和图像时，实现唇音同步。满足了部分用户的需求，最多花10万元就能实现立体投影。要介绍的这款产品是四维宇宙立体图象发生器VCT-2005。
这款AP转换器将以个输入的立体3D信号转换成两个被动3D输出信号。这个单独的左眼和右眼信息被输入到两台放映机，如低成本的LCD放映机，然后通过偏振的3D目镜观看，可以得到高质量的3D影像效果。
通常我们用显示器观看立体图象时，当刷新率低于60HZ时就会感觉到屏幕中的图象在闪烁。这是因为显示器中的图象是由两幅图象交替输出的，这样实际上只能达到显示器输出刷新率的一半。而立体眼镜是与计算机同步的，即使投影机刷新率高也没用，高刷新的图象根本到达不了投影机。这样频繁闪的图象就会给观看者的眼睛造成疲劳。目前，“立体图象发生器”是采用偏振光技术，将VCT或PC机的视频信号输给DLP/LCD投影机，在大屏幕上投射3D影象。通过偏振光角度来使左右眼同时观看两幅不同的图象。图象的输出不受刷新率的*。左右眼观看到的是两幅同时输出的不间断的图象，这与我们日常观看图象的习惯一样，不会产生闪烁，彻底消除了闪烁造成的疲劳感。可使观众融入在数字环境中，有身临其境的真实感受。配合数据手套、空间跟踪定位器、操纵杆等，可达到人机互动的效果。
