ONVIF协议网络摄像机(IPC)客户端程序开发(12):读取音视频流
来源:互联网 发布:加厚行美工刀架 编辑:程序博客网 时间:2024/06/05 06:05
1 专栏导读
本专栏第一篇文章「专栏开篇」列出了专栏的完整目录,按目录顺序阅读,有助于你的理解,专栏前面文章讲过的知识点(或代码段),后面文章不会赘述。为了节省篇幅,突出重点,在文章中展示的示例代码仅仅是关键代码,你可以在「专栏开篇」中获取完整代码。
如有错误,欢迎你的留言纠正!让我们共同成长!你的「点赞」或「打赏」是对我最大的支持和鼓励!
2 原理简介
ONVIF规范中设备管理和控制部分所定义的接口均以Web Services的形式提供,而音视频流则通过RTP/RTSP进行。
简单粗暴的理解:IPC的各种参数获取/配置都是通过ONVIF协议接口实现,而音视频流多媒体传输采用的是RTP/RTSP协议实现。
要读取IPC的音视频流,概况起来是,先通过ONVIF接口获取IPC主/辅码流的RTSP地址,再利用FFmpeg接口(或其他开源方案)读取音视频流数据。
3 编码流程
通过「设备发现」,得到 「设备服务地址」。
使用「设备服务地址」调用GetCapabilities接口,得到「媒体服务地址」。
使用「媒体服务地址」调用GetProfiles接口,得到主次码流的「媒体配置信息」,其中包含ProfileToken。
使用ProfileToken 调用GetStreamUri接口,得到主次码流的流媒体RTSP地址。
使用RTSP地址,调用FFmpeg接口,读取音视频流数据。
4 VLC播放RTSP视频
RTSP是很成熟的多媒体传输协议,用于传输音视频流数据。我们不需要自己码代码来实现RTSP协议,有很多现成的开源方案可供我们使用,比如强大的FFmpeg。
为了让大家对RTSP有个更好的认识,下面演示:使用VLC media player播放RTSP视频流。
- 打开VLC media player播放器(我的版本是VLC media player 2.1.3)。
选择菜单【媒体】>【打开网络串流】,输入RTSP地址,点击【播放】,即可实时播放视频流媒体,如下图所示。
如果提示认证失败,那么URL就要加上用户名、密码,格式如:rtsp://username:password@100.100.100.5:554/av0_0
5 准备FFmpeg库
官网:http://ffmpeg.org/
Windows平台下的FFmpeg,官网上有编译好的动态库可直接使用。
- 下载Dev版本,里面包含了ffmpeg的xxx.h头文件以及xxx.lib库文件。
- 下载Shared版本,里面包含了ffmpeg的dll文件。
- 将这两部分文件拷贝到VC工程下面就可以了
如:
ffmpeg-20160926-64545dd-win32-dev.zip
ffmpeg-20160926-64545dd-win32-shared.zip
Linux平台下的FFmpeg就要自己编译了(我下载的源码版本是:ffmpeg-3.0.2.tar.bz2),详细的编译过程不再本文讨论范围内,大致的命令是:
# ./configure --enable-shared --disable-yasm --disable-debug --prefix=/home/ffmpeg-linux-pc# make# make all
6 示例代码
#include <stdio.h>#include <stdlib.h>#include <assert.h>#include "onvif_comm.h"#include "onvif_dump.h"#include "libavcodec/avcodec.h"#include "libavdevice/avdevice.h"#include "libavformat/avformat.h"#include "libavfilter/avfilter.h"#include "libavutil/avutil.h"#include "libswscale/swscale.h"#include "libavutil/pixdesc.h"/**************************************************************************函数:open_rtsp**功能:从RTSP获取音视频流数据**参数: [in] rtsp - RTSP地址**返回:无************************************************************************/void open_rtsp(char *rtsp){ unsigned int i; int ret; int video_st_index = -1; int audio_st_index = -1; AVFormatContext *ifmt_ctx = NULL; AVPacket pkt; AVStream *st = NULL; char errbuf[64]; av_register_all(); // Register all codecs and formats so that they can be used. avformat_network_init(); // Initialization of network components if ((ret = avformat_open_input(&ifmt_ctx, rtsp, 0, NULL)) < 0) { // Open the input file for reading. printf("Could not open input file '%s' (error '%s')\n", rtsp, av_make_error_string(errbuf, sizeof(errbuf), ret)); goto EXIT; } if ((ret = avformat_find_stream_info(ifmt_ctx, NULL)) < 0) { // Get information on the input file (number of streams etc.). printf("Could not open find stream info (error '%s')\n", av_make_error_string(errbuf, sizeof(errbuf), ret)); goto EXIT; } for (i = 0; i < ifmt_ctx->nb_streams; i++) { // dump information av_dump_format(ifmt_ctx, i, rtsp, 0); } for (i = 0; i < ifmt_ctx->nb_streams; i++) { // find video stream index st = ifmt_ctx->streams[i]; switch(st->codec->codec_type) { case AVMEDIA_TYPE_AUDIO: audio_st_index = i; break; case AVMEDIA_TYPE_VIDEO: video_st_index = i; break; default: break; } } if (-1 == video_st_index) { printf("No H.264 video stream in the input file\n"); goto EXIT; } av_init_packet(&pkt); // initialize packet. pkt.data = NULL; pkt.size = 0; while (1) { do { ret = av_read_frame(ifmt_ctx, &pkt); // read frames } while (ret == AVERROR(EAGAIN)); if (ret < 0) { printf("Could not read frame (error '%s')\n", av_make_error_string(errbuf, sizeof(errbuf), ret)); break; } if (pkt.stream_index == video_st_index) { // video frame printf("Video Packet size = %d\n", pkt.size); } else if(pkt.stream_index == audio_st_index) { // audio frame printf("Audio Packet size = %d\n", pkt.size); } else { printf("Unknow Packet size = %d\n", pkt.size); } av_packet_unref(&pkt); }EXIT: if (NULL != ifmt_ctx) { avformat_close_input(&ifmt_ctx); ifmt_ctx = NULL; } return ;}/**************************************************************************函数:ONVIF_GetStreamUri**功能:获取设备码流地址(RTSP)**参数: [in] MediaXAddr - 媒体服务地址 [in] ProfileToken - the media profile token [out] uri - 返回的地址 [in] sizeuri - 地址缓存大小**返回: 0表明成功,非0表明失败**备注:************************************************************************/int ONVIF_GetStreamUri(const char *MediaXAddr, char *ProfileToken, char *uri, unsigned int sizeuri){ int result = 0; struct soap *soap = NULL; struct tt__StreamSetup ttStreamSetup; struct tt__Transport ttTransport; struct _trt__GetStreamUri req; struct _trt__GetStreamUriResponse rep; SOAP_ASSERT(NULL != MediaXAddr); SOAP_ASSERT(NULL != uri); memset(uri, 0x00, sizeuri); SOAP_ASSERT(NULL != (soap = ONVIF_soap_new(SOAP_SOCK_TIMEOUT))); memset(&req, 0x00, sizeof(req)); memset(&rep, 0x00, sizeof(rep)); memset(&ttStreamSetup, 0x00, sizeof(ttStreamSetup)); memset(&ttTransport, 0x00, sizeof(ttTransport)); ttStreamSetup.Stream = tt__StreamType__RTP_Unicast; ttStreamSetup.Transport = &ttTransport; ttStreamSetup.Transport->Protocol = tt__TransportProtocol__RTSP; ttStreamSetup.Transport->Tunnel = NULL; req.StreamSetup = &ttStreamSetup; req.ProfileToken = ProfileToken; ONVIF_SetAuthInfo(soap, USERNAME, PASSWORD); result = soap_call___trt__GetStreamUri(soap, MediaXAddr, NULL, &req, &rep); SOAP_CHECK_ERROR(result, soap, "GetServices"); dump_trt__GetStreamUriResponse(&rep); result = -1; if (NULL != rep.MediaUri) { if (NULL != rep.MediaUri->Uri) { if (sizeuri > strlen(rep.MediaUri->Uri)) { strcpy(uri, rep.MediaUri->Uri); result = 0; } else { SOAP_DBGERR("Not enough cache!\n"); } } }EXIT: if (NULL != soap) { ONVIF_soap_delete(soap); } return result;}void cb_discovery(char *DeviceXAddr){ int stmno = 0; // 码流序号,0为主码流,1为辅码流 int profile_cnt = 0; // 设备配置文件个数 struct tagProfile *profiles = NULL; // 设备配置文件列表 struct tagCapabilities capa; // 设备能力信息 char uri[ONVIF_ADDRESS_SIZE] = {0}; // 不带认证信息的URI地址 char uri_auth[ONVIF_ADDRESS_SIZE + 50] = {0}; // 带有认证信息的URI地址 ONVIF_GetCapabilities(DeviceXAddr, &capa); // 获取设备能力信息(获取媒体服务地址) profile_cnt = ONVIF_GetProfiles(capa.MediaXAddr, &profiles); // 获取媒体配置信息(主/辅码流配置信息) if (profile_cnt > stmno) { ONVIF_GetStreamUri(capa.MediaXAddr, profiles[stmno].token, uri, sizeof(uri)); // 获取RTSP地址 make_uri_withauth(uri, USERNAME, PASSWORD, uri_auth, sizeof(uri_auth)); // 生成带认证信息的URI(有的IPC要求认证) open_rtsp(uri_auth); // 读取主码流的音视频数据 } if (NULL != profiles) { free(profiles); profiles = NULL; }}int main(int argc, char **argv){ ONVIF_DetectDevice(cb_discovery); return 0;}
open_rtsp函数的执行结果类似:
Input #0, rtsp, from 'rtsp://100.100.100.5:554/av0_0': Metadata: title : av0_0 Duration: N/A, start: 0.000000, bitrate: N/A Stream #0:0: Video: h264 (Main), yuv420p, 1280x720, 25 tbr, 90k tbn, 180k tbc Stream #0:1: Audio: pcm_mulaw, 8000 Hz, 1 channels, s16, 64 kb/sInput #1, rtsp, from 'rtsp://100.100.100.5:554/av0_0': Metadata: title : av0_0 Duration: N/A, start: 0.000000, bitrate: N/A Stream #1:0: Video: h264 (Main), yuv420p, 1280x720, 25 tbr, 90k tbn, 180k tbc Stream #1:1: Audio: pcm_mulaw, 8000 Hz, 1 channels, s16, 64 kb/sAudio Packet size = 320Video Packet size = 73926Video Packet size = 6387Video Packet size = 3768Video Packet size = 5742Audio Packet size = 320Audio Packet size = 320Audio Packet size = 320Video Packet size = 5188Audio Packet size = 320Video Packet size = 5035Video Packet size = 4833Audio Packet size = 320Video Packet size = 4791Audio Packet size = 320
- ONVIF协议网络摄像机(IPC)客户端程序开发(12):读取音视频流
- ONVIF协议网络摄像机(IPC)客户端程序开发(12):读取音视频流
- ONVIF协议网络摄像机(IPC)客户端程序开发(5):门外汉理解ONVIF协议
- ONVIF协议网络摄像机(IPC)客户端程序开发(5):门外汉理解ONVIF协议
- ONVIF协议网络摄像机(IPC)客户端程序开发(2):第一次使用IPC摄像头
- ONVIF协议网络摄像机(IPC)客户端程序开发(2):第一次使用IPC摄像头
- ONVIF协议网络摄像机(IPC)客户端程序开发(9):鉴权(认证)
- ONVIF协议网络摄像机(IPC)客户端程序开发(9):鉴权(认证)
- ONVIF协议网络摄像机(IPC)客户端程序开发(1):专栏开篇
- ONVIF协议网络摄像机(IPC)客户端程序开发(3):理解什么是Web Services
- ONVIF协议网络摄像机(IPC)客户端程序开发(7):设备搜索
- ONVIF协议网络摄像机(IPC)客户端程序开发(8):获取设备基本信息
- ONVIF协议网络摄像机(IPC)客户端程序开发(10):设备校时
- ONVIF协议网络摄像机(IPC)客户端程序开发(11):设备能力
- ONVIF协议网络摄像机(IPC)客户端程序开发(13):图像抓拍
- ONVIF协议网络摄像机(IPC)客户端程序开发(14):修改分辨率
- ONVIF协议网络摄像机(IPC)客户端程序开发(15):遮挡报警
- ONVIF协议网络摄像机(IPC)客户端程序开发(1)
- Analysis of notepad process loading
- Android四大组件之服务--Service
- java实现哈夫曼编码
- Qt中LineEdit的文本数字等的读取
- 块状链表---by konnyakuxzy
- ONVIF协议网络摄像机(IPC)客户端程序开发(12):读取音视频流
- 5-18
- LintCode-比较字符串
- Maven创建第一个java项目(官方教程)
- 权限问题
- Bartender2017条码打印软件破解版含注册机
- vim安装出错: sudo apt-get install vim-gtk
- JSON总结
- 442. Find All Duplicates in an Array