海康摄像头实时显示与字符叠加详解
来源:互联网 发布:2018年禁止网络直播 编辑:程序博客网 时间:2024/05/23 12:20
1、说明
文章详细叙述了海康摄像头的两种实时显示方法——基于SDK 解码显示和基于数据流回调显示,并且讲述了这在两种显示方法下如何往画面添加字符和图像,最后比较了这两种方法的优劣。文章全程给以详细的程序说明,供各位开发者参考。
2 实时预览
2.1 实时预览模块流程
图中虚线框部分的模块不是必须部分,是与预览模块相关,必须在启动预览后才能调用,这些模块之间是并列的关系,各自完成相应的功能。
2.2 SDK 解码显示
在预览接口 NET_DVR_RealPlay_V40 中预览参数的播放窗口句柄赋成有效句柄,则由 SDK 实现解码功能。在初始化 SDK 和注册设备两步骤后,直接调用启动预览和停止预览接口。
SDK 直接解码显示代码:
#include <stdio.h>#include <iostream>#include “Windows.h”#include “HCNetSDK.h”#include <time.h>using namespace std;typedef HWND (WINAPI *PROCGETCONSOLEWINDOW)();PROCGETCONSOLEWINDOW GetConsoleWindow;void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser){ char tempbuf[256] = {0}; switch(dwType) { case EXCEPTION_RECONNECT: //预览时重连 printf(“----------reconnect--------%d\n”, time(NULL)); break; default: break; }}void main() {//--------------------------------------- //初始化 NET_DVR_Init(); //设置连接时间与重连时间 NET_DVR_SetConnectTime(2000, 1); NET_DVR_SetReconnect(10000, true); //--------------------------------------- //--------------------------------------- // 注册设备 LONG lUserID; NET_DVR_DEVICEINFO_V30 struDeviceInfo; lUserID = NET_DVR_Login_V30(“192.0.0.64”, 8000, “admin”, “12345”, &struDeviceInfo); if (lUserID < 0) { printf(“Login error, %d\n”, NET_DVR_GetLastError()); NET_DVR_Cleanup(); return; } //--------------------------------------- //设置异常消息回调函数 NET_DVR_SetExceptionCallBack_V30(0, NULL,g_ExceptionCallBack, NULL); //--------------------------------------- //启动预览并设置回调数据流 LONG lRealPlayHandle; HWND hWnd = GetDlgItem(hWnd, IDC_PIC); //获取MFC的pic控件句柄 NET_DVR_PREVIEWINFO struPlayInfo = {0}; struPlayInfo.hPlayWnd = hWnd; //需要 SDK 解码时句柄设为有效值,仅取流不解码时可设为空 struPlayInfo.lChannel = 1; //预览通道号 struPlayInfo.dwStreamType = 0; //0-主码流, 1-子码流, 2-码流 3, 3-码流 4,以此类推 struPlayInfo.dwLinkMode = 0; //0- TCP 方式, 1- UDP 方式, 2- 多播方式, 3- RTP 方式, 4-RTP/RTSP, 5-RSTP/HTTP struPlayInfo.bBlocked = 1; //0- 非阻塞取流, 1- 阻塞取流 lRealPlayHandle = NET_DVR_RealPlay_V40(lUserID, &struPlayInfo, NULL, NULL); if (lRealPlayHandle < 0) { printf(“NET_DVR_RealPlay_V40 error\n”); NET_DVR_Logout(lUserID); NET_DVR_Cleanup(); return; } Sleep(10000); //--------------------------------------- //关闭预览 NET_DVR_StopRealPlay(lRealPlayHandle); //注销用户 NET_DVR_Logout(lUserID); //释放 SDK 资源 NET_DVR_Cleanup(); return;}
2.3 实时流数据回调显示
实时流数据回调,用户需要在回调函数中自行处理码流数据。用户可以通过设置预览接口 NET_DVR_RealPlay_V40 中预览参数的播放窗口句柄为空值,并通过调用捕获数据的接口(即设置NET_DVR_RealPlay_V40 接口中的回调函数或调用NET_DVR_SetRealDataCallBack、NET_DVR_SetStandardDataCallBack 接口),获取码流数据进行后续解码播放处理。
实时流数据回调代码:
#include <stdio.h>#include <iostream>#include “Windows.h”#include “HCNetSDK.h”#include “plaympeg4.h”#include <time.h>using namespace std;typedef HWND (WINAPI *PROCGETCONSOLEWINDOW)();PROCGETCONSOLEWINDOW GetConsoleWindow;LONG lPort; //全局的播放库 port 号HANDLE MainVectorhMutex; // 主互斥量vector<IplImage*> MainImageVector; // 主视频图片容器void yv12toYUV(char *outYuv, char *inYv12, int width, int height, int widthStep){ int col, row; unsigned int Y, U, V; int tmp; int idx; for (row = 0; row < height; row++) { idx = row * widthStep; int rowptr = row*width; for (col = 0; col < width; col++) { tmp = (row / 2)*(width / 2) + (col / 2); Y = (unsigned int)inYv12[row*width + col]; U = (unsigned int)inYv12[width*height + width*height / 4 + tmp]; V = (unsigned int)inYv12[width*height + tmp]; outYuv[idx + col * 3] = Y; outYuv[idx + col * 3 + 1] = U; outYuv[idx + col * 3 + 2] = V; } }}// 主解码回调 视频为YUV数据(YV12),音频为PCM数据 void CALLBACK DecCBFunMain(long nPort, char * pBuf, long nSize, FRAME_INFO * pFrameInfo, long nReserved1, long nReserved2){ long lFrameType = pFrameInfo->nType; if (lFrameType == T_YV12) {#if USECOLOR IplImage* pImgYCrCb = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3);//得到图像的Y分量 yv12toYUV(pImgYCrCb->imageData, pBuf, pFrameInfo->nWidth, pFrameInfo->nHeight, pImgYCrCb->widthStep);//得到全部RGB图像 IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3); cvCvtColor(pImgYCrCb, pImg, CV_YCrCb2RGB);#else IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 1); memcpy(pImg->imageData, pBuf, pFrameInfo->nWidth*pFrameInfo->nHeight);#endif // 将图像保存到容器中 // 获取互斥量 WaitForSingleObject(MainVectorhMutex, INFINITE); // 存入容器 MainImageVector.push_back(pImg); // 容器容量大于5,则丢掉尾帧,以免造成延时 if (MainImageVector.size() > 5) { // 删除保存的最后一帧 //IplImage *data = *(MainImageVector.end() - 1); //MainImageVector.erase(MainImageVector.end() - 1); IplImage *data = *MainImageVector.begin(); MainImageVector.erase(MainImageVector.begin()); // 释放 cvReleaseImage(&data); } // 释放互斥量 ReleaseMutex(MainVectorhMutex);#if USECOLOR cvReleaseImage(&pImgYCrCb); // 由于将图像指针保存在容器中,此处不能释放 // cvReleaseImage(&pImg); #else // cvReleaseImage(&pImg);#endif }}// 主实时流回调 void CALLBACK fRealDataCallBackMain(LONG lRealHandle, DWORD dwDataType, BYTE *pBuffer, DWORD dwBufSize, void *pUser){ DWORD dRet; switch (dwDataType) { case NET_DVR_SYSHEAD: //系统头 if (!PlayM4_GetPort(&nPort)) //获取播放库未使用的通道号 { break; } if (dwBufSize > 0) { if (!PlayM4_OpenStream(nPort, pBuffer, dwBufSize, 1024 * 1024)) { dRet = PlayM4_GetLastError(nPort); break; } //设置解码回调函数 只解码不显示 ,设置回调函数DecCBFunMain if (!PlayM4_SetDecCallBack(nPort, DecCBFunMain)) { dRet = PlayM4_GetLastError(nPort); break; } //打开视频解码 if (!PlayM4_Play(nPort, hWnd)) { dRet = PlayM4_GetLastError(nPort); break; } } break; case NET_DVR_STREAMDATA: //码流数据 if (dwBufSize > 0 && nPort != -1) { BOOL inData = PlayM4_InputData(nPort, pBuffer, dwBufSize); while (!inData) { Sleep(10); inData = PlayM4_InputData(nPort, pBuffer, dwBufSize); OutputDebugString(L"PlayM4_InputData failed \n"); } } break; }}void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser){ char tempbuf[256] = {0}; switch(dwType) { case EXCEPTION_RECONNECT: //预览时重连 printf(“----------reconnect--------%d\n”, time(NULL)); break; default: break; }}// 主线程显示图像UINT ThreadProc_MainPlay(LPVOID lParam){ // TODO: 在此添加控件通知处理程序代码 while (1) { while (MainImageVector.size() <= 0) { Sleep(20); continue; } // 获取互斥量 WaitForSingleObject(MainVectorhMutex, INFINITE); // 获取头一帧 IplImage *pImg; if (MainImageVector.size() > 0) { pImg = *(MainImageVector.begin()); } else { return 0; } // 删除头一帧 MainImageVector.erase(MainImageVector.begin()); // 释放互斥量 ReleaseMutex(MainVectorhMutex); // 显示监控画面 hWnd = AfxGetApp()->GetMainWnd()->GetSafeHwnd(); HDC hDC = GetDC(GetDlgItem(hWnd, IDC_PIC)); CRect rect; GetClientRect(GetDlgItem(hWnd, IDC_PIC), &rect); CvvImage cvvimg; cvvimg.CopyOf(pImg); cvvimg.DrawToHDC(hDC, &rect); // 释放图像 cvReleaseImage(&pImg); } return 0;}void main() { //--------------------------------------- // 初始化 NET_DVR_Init(); //设置连接时间与重连时间 NET_DVR_SetConnectTime(2000, 1); NET_DVR_SetReconnect(10000, true); //--------------------------------------- //--------------------------------------- // 注册设备 LONG lUserID; NET_DVR_DEVICEINFO_V30 struDeviceInfo; lUserID = NET_DVR_Login_V30(“172.0.0.100”, 8000, “admin”, “12345”, &struDeviceInfo); if (lUserID < 0) { printf(“Login error, %d\n”, NET_DVR_GetLastError()); NET_DVR_Cleanup(); return; } //--------------------------------------- //设置异常消息回调函数 NET_DVR_SetExceptionCallBack_V30(0, NULL,g_ExceptionCallBack, NULL); //--------------------------------------- //启动预览并设置回调数据流 LONG lRealPlayHandle; NET_DVR_PREVIEWINFO struPlayInfo = { 0 }; struPlayInfo.hPlayWnd = GetDlgItem(hWnd, IDC_PIC); //需要 SDK 解码时句柄设为有效值,仅取流不解码时可设为空 struPlayInfo.lChannel = 1; //预览通道号 struPlayInfo.dwStreamType = 0; //0-主码流, 1-子码流, 2-码流 3, 3-码流 4,以此类推 struPlayInfo.dwLinkMode = 1; //0- TCP 方式, 1- UDP 方式, 2- 多播方式, 3- RTP 方式, 4-RTP/RTSP, 5-RSTP/HTTP struPlayInfo.bBlocked = 0; //0- 非阻塞取流, 1- 阻塞取流 lRealPlayHandle = NET_DVR_RealPlay_V40(lUserID, &struPlayInfo, fRealDataCallBackMain, NULL); if (lRealPlayHandle < 0) { AfxMessageBox(_T("获取失败")); } ProcThread_MainPlay = AfxBeginThread(ThreadProc_MainPlay, this, THREAD_PRIORITY_NORMAL); //开启视频显示线程 Sleep(10000); //--------------------------------------- //关闭预览 NET_DVR_StopRealPlay(lRealPlayHandle); //注销用户 NET_DVR_Logout(lUserID); NET_DVR_Cleanup(); return;}
程序主要思路是,从视频流中解码出图像数据pImg,然后存入图像容器MainImageVector中。在显示线程ThreadProc_MainPlay中再从图像容器MainImageVector中读取出图像数据,往MFC图片控件中显示;为了防止读写冲突,需要设立一读写互斥量MainVectorhMutex来保护MainImageVector。
3 图像字符叠加
很多时候,我们不仅要实时显示监控画面,还想在画面上显示一些字符、图像信息,比如在进行行人识别、跟踪时,我们往往需要在画面上框出目标,因此图像字符有很大的应用。
3.1 基于实时流数据的字符叠加
基于实时流数据回调显示方法的字符叠加方法比较简单,直接在显示前往图像中绘制字符、图像即可(用opencv实现),即:
// 主线程显示图像UINT ThreadProc_MainPlay(LPVOID lParam){ // TODO: 在此添加控件通知处理程序代码 while (1) { while (MainImageVector.size() <= 0) { Sleep(20); continue; } // 获取互斥量 WaitForSingleObject(MainVectorhMutex, INFINITE); // 获取头一帧 IplImage *pImg; if (MainImageVector.size() > 0) { pImg = *(MainImageVector.begin()); } else { return 0; } // 删除头一帧 MainImageVector.erase(MainImageVector.begin()); // 释放互斥量 ReleaseMutex(MainVectorhMutex); // 在左上角绘制一60*60的黄色正方形框 cv::rectangle(Mat(pImg), CvRect(0,0,60,60), CV_RGB(255, 255, 0), 4, 8); // 显示监控画面 hWnd = AfxGetApp()->GetMainWnd()->GetSafeHwnd(); HDC hDC = GetDC(GetDlgItem(hWnd, IDC_PIC)); CRect rect; GetClientRect(GetDlgItem(hWnd, IDC_PIC), &rect); CvvImage cvvimg; cvvimg.CopyOf(pImg); cvvimg.DrawToHDC(hDC, &rect); // 释放图像 cvReleaseImage(&pImg); } return 0;}
3.2 基于SDK解码的字符叠加
而基于SDK解码的方式,由于我没有直接操作图像,所以不能往图像上绘制东西。实际海康开发人员早就意识到了这一点,在SDK中留有叠加字符图像接口 NET_DVR_RigisterDrawFun。该接口主要完成注册回调函数,获得当前表面的设备上下文(Device Context,DC) 。用户可以在这个 DC 上画图或写字,就好像在窗口的客户区 DC 上绘图,但这个 DC 不是窗口客户区的 DC,而是播放器 DirectDraw里的 Off-Screen 表面的 DC。
我们在NET_DVR_RealPlay_V40函数后面添实现NET_DVR_RigisterDrawFun接口即可:
void main() { //--------------------------------------- // 初始化 NET_DVR_Init(); ... lRealPlayHandle = NET_DVR_RealPlay_V40(lUserID, &struPlayInfo, fRealDataCallBackMain, NULL); if (lRealPlayHandle < 0) { AfxMessageBox(_T("获取失败")); } //注册绘制回调函数 if (!NET_DVR_RigisterDrawFun(lRealPlayHandle, fDrawFun, NULL)) { AfxMessageBox(_T("绘图失败")); } ...}// 绘图回调函数void CALLBACK fDrawFun(LONG lRealHandle, HDC hDc, DWORD dwUser){ CDC dc; dc.Attach(hDc); CPen pen; //生成画笔,黄色 pen.CreatePen(PS_SOLID, 2, RGB(255, 255, 0)); CPen* pOldPen = (CPen*)dc->SelectObject(&pen); dc->SelectStockObject(NULL_BRUSH);//选入空刷子 dc->Rectangle(CRect(0, 0, 60, 60)); //在左上角绘制一60*60的黄色正方形框}
4 总结
在我们的实验过程中,发现基于数据流回调的方法由于需要用户自行解码、绘制、显示,会占用电脑太多CPU,造成很严重的卡帧,并且由于读取不及时,造成显示延后,不顺畅等问题。而基于SDK解码的方式,毕竟这是人家公司提供的开发包,优化做得非常好,显示得非常顺畅和及时,所以建议大家用SDK解码的方式。
经过测试,终于知道基于数据流的方法延迟问题出现在哪里了,其实因为用的是debug版本,把项目改成release版本就流畅好多了。
参考资料
1、海康摄像头 设备(IPC)网络 SDK 编程指南:http://www.hikvision.com/cn/download_more_570.html
2、OpenCV+海康威视摄像头的实时读取:http://blog.csdn.net/lonelyrains/article/details/50350052
- 海康摄像头实时显示与字符叠加详解
- 海康摄像头实时读取+opencv显示
- 海康摄像头实时读取+opencv显示
- opencv实现摄像头的实时图像采集与显示
- Qt 显示实时摄像头内容
- HTML5实时显示摄像头视频
- 使用海康摄像头实现实时监控
- 使用海康摄像头实现实时监控
- 海康摄像头视频实时监控
- 海康摄像头视频实时监控
- 问题解决:部分海康网络摄像头无法实现视频流解码与实时预览
- 【IOS开发】实时显示摄像头内容
- Linux 获取摄像头数据并实时显示
- FFmpeg+Qt实现摄像头(rtsp)实时显示
- OpenCV编程->四路摄像头拼接实时显示
- PHP与jquery实时显示网站在线人数实例详解
- 海康威视多摄像头视频实时采集——OpenCV显示
- OpenCV入门学习之读取usb摄像头图像,实时显示
- Ubuntu 16.04 安装中文输入法
- PHP 7 的革新与性能优化
- 设计模式之策略模式
- Linux kernel中断子系统之(五):驱动申请中断API
- 序列化SerializedField
- 海康摄像头实时显示与字符叠加详解
- Keras:2.2搭建分类神经网络
- luogu1149【2008提高】火柴棒等式(模拟)
- #NOIP模拟赛#同色齿轮问题(Hungary最大匹配 or 网络流)
- 面向对象编程思想-访问者模式
- LightOJ 1348 Aladdin and the Return Journey【树链剖分入门题】
- iOS 应用闪退的原因
- OSI七层与TCP/IP五层网络架构详解
- RGB颜色对照表(全)