【Stones from other hills】音频/视频同步算法

请教一个音视频同步算法。
情况是这样的，我们同步网络把音频/视频分开传送到接收端，现在的问题关键问题的如果对这股流进行同步播放。
我现在的算法是这样的:
在发送方:
对于相同时刻的音频/视频帧，打上相同的时间戳(系统时间)
接收方:
保存两个队列，audio/video分别用来存放还未播放的音频和视频
1。当每接收到音频帧的时候，遍历此时的video队列，将此音频帧的时间戳跟每个视频帧的时间戳进行比较:
1)如果音频帧的时间在这个视频帧的前面，帧播放该音频
2)如果音频跟视频的时间戳相差在某个可以接受的误差内，则同时播放该音频/视频(并将视频帧从video队列中删除)
3)如果视频时间在前，则播放视频帧(并将视频帧从video队列中删除)
如果video队列中的最后一帧的时间都在这个audio帧之前，在此时会把整个video队列中的帧播放完，此时video队列将为空，那么将这个音频放入audio队列。
2.对接收到视频帧的时候，也做类似的处理。
现在我们在局域网内测试，没有任何的问题。
但是我自己发现这个算法还是有些问题:
1)音频和视频发送帧的频率不一样，假如audio的频率是video的3倍，那么播放时，会是3个3个音频帧地播放
2)如果网络比较差的话，只有一个通道是好的时，将不能正常播放。我现在采取的方法是设定一个时间，如果没有接收到帧的话，就认为该通道是断开的，然后就只管自己播放。这样可以解决一些问题，但是在这不判断这个流是断开的过程中，另外一个流的播放是停止的，这是个大问题。我看网络播放方面的软件都没有这个问题，它们的音频给视频似乎是各自独立的，除了在同步的时候。