chromium video相关

来源:互联网 发布:廖雪峰的python 编辑:程序博客网 时间:2024/05/21 13:55
规范:
  - HTMLAudioElement
  - HTMLMediaElement
  - HTMLVideoElement

概况:
    chromium的video的实现依赖于以下三部分:
        pipeline:chromium自己实现的播放引擎,处理音频/视频的同步和资源获取
        FFMpeg: 开源库。用于音视频的解码
        WebKit: 实现HTML和javascript。渲染播放器的控制(不知道该怎么表达,对应js里面的controls)。提供MediaPlayerPrivate和引擎结合。
    
    WebKit可以向引擎发送一些命令,如播放。也用来绘制controls,其他部分都是引擎驱动的。WebKit作为pipeline的client,其播放内容由引擎来控制。

WebKit
相关代码:
HTMLMediaElement.h,  MediaPlayer.h, MediaPlayerPrivate.h, RenderMedia.h, RenderMediaControlsChromium.h, webmediaplayer_impl.h.
类图:

FFMpeg

这部分代码不熟。


Pipeline

Pipeline作为播放引擎,会获取资源,并demux,解码,渲染,和硬件打交道。



总体上,流程如下图所示



以上主要参考官方文档:http://www.chromium.org/developers/design-documents/video


下面我们走进代码

load的过程:

js里面的src会导致loadResource,调用m_player->load,最终会走到播放引擎中。

而播放引擎会设置网络状态,获取资源并设置资源状态,这些又会反映到HTMLMediaElement。因为播放时需要检查这些状态。

webkit/media/webmediaplayer_impl.cc   //播放引擎和HTMLMediaElement的桥梁

load //根据URL设置pipeline

    StartPipeline

          WebMediaPlayerProxy::NetworkEventCallback会调用setNetworkState

          WebMediaPlayerProxy::PipelineInitializationCallback->WebMediaPlayerProxy::PipelineInitializationTask->WebMediaPlayerImpl::OnPipelineInitialize->SetReadyState


play的过程: