程序员经验分享-hwhale

海康摄像头实时显示与字符叠加详解

2023-05-16

1、说明

文章详细叙述了海康摄像头的两种实时显示方法——基于SDK 解码显示和基于数据流回调显示，并且讲述了这在两种显示方法下如何往画面添加字符和图像，最后比较了这两种方法的优劣。文章全程给以详细的程序说明，供各位开发者参考。

2 实时预览

2.1 实时预览模块流程

这里写图片描述
图中虚线框部分的模块不是必须部分，是与预览模块相关，必须在启动预览后才能调用，这些模块之间是并列的关系，各自完成相应的功能。

2.2 SDK 解码显示

在预览接口 NET_DVR_RealPlay_V40 中预览参数的播放窗口句柄赋成有效句柄，则由 SDK 实现解码功能。在初始化 SDK 和注册设备两步骤后，直接调用启动预览和停止预览接口。
SDK 直接解码显示代码：

#include <stdio.h>
#include <iostream>
#include “Windows.h”
#include “HCNetSDK.h”
#include <time.h>
using namespace std;
typedef HWND (WINAPI *PROCGETCONSOLEWINDOW)();
PROCGETCONSOLEWINDOW GetConsoleWindow;
void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser)
{
    char tempbuf[256] = {0};
    switch(dwType)
    {
        case EXCEPTION_RECONNECT: //预览时重连
        printf(“----------reconnect--------%d\n”, time(NULL));
        break;
        default:
        break;
    }
}
void main() {
//---------------------------------------
    //初始化
    NET_DVR_Init();
    //设置连接时间与重连时间
    NET_DVR_SetConnectTime(2000, 1);
    NET_DVR_SetReconnect(10000, true);
    //---------------------------------------

    //---------------------------------------
    // 注册设备
    LONG lUserID;
    NET_DVR_DEVICEINFO_V30 struDeviceInfo;
    lUserID = NET_DVR_Login_V30(“192.0.0.64”, 8000, “admin”, “12345”, &struDeviceInfo);
    if (lUserID < 0)
    {
        printf(“Login error, %d\n”, NET_DVR_GetLastError());
        NET_DVR_Cleanup();
        return;
    }
    //---------------------------------------
    //设置异常消息回调函数
    NET_DVR_SetExceptionCallBack_V30(0, NULL,g_ExceptionCallBack, NULL);
    //---------------------------------------
    //启动预览并设置回调数据流
    LONG lRealPlayHandle;
    HWND hWnd = GetDlgItem(hWnd, IDC_PIC); //获取MFC的pic控件句柄
    NET_DVR_PREVIEWINFO struPlayInfo = {0};
    struPlayInfo.hPlayWnd = hWnd; //需要 SDK 解码时句柄设为有效值，仅取流不解码时可设为空
    struPlayInfo.lChannel = 1; //预览通道号
    struPlayInfo.dwStreamType = 0; //0-主码流， 1-子码流， 2-码流 3， 3-码流 4，以此类推
    struPlayInfo.dwLinkMode = 0; //0- TCP 方式， 1- UDP 方式， 2- 多播方式， 3- RTP 方式， 4-RTP/RTSP， 5-RSTP/HTTP
    struPlayInfo.bBlocked = 1; //0- 非阻塞取流， 1- 阻塞取流
    lRealPlayHandle = NET_DVR_RealPlay_V40(lUserID, &struPlayInfo, NULL, NULL);
    if (lRealPlayHandle < 0)
    {
        printf(“NET_DVR_RealPlay_V40 error\n”);
        NET_DVR_Logout(lUserID);
        NET_DVR_Cleanup();
        return;
    }
    Sleep(10000);
    //---------------------------------------
    //关闭预览
    NET_DVR_StopRealPlay(lRealPlayHandle);
    //注销用户
    NET_DVR_Logout(lUserID);
    //释放 SDK 资源
    NET_DVR_Cleanup();
    return;
}

2.3 实时流数据回调显示

实时流数据回调，用户需要在回调函数中自行处理码流数据。用户可以通过设置预览接口 NET_DVR_RealPlay_V40 中预览参数的播放窗口句柄为空值，并通过调用捕获数据的接口（即设置NET_DVR_RealPlay_V40 接口中的回调函数或调用NET_DVR_SetRealDataCallBack、NET_DVR_SetStandardDataCallBack 接口），获取码流数据进行后续解码播放处理。
实时流数据回调代码：

#include <stdio.h>
#include <iostream>
#include “Windows.h”
#include “HCNetSDK.h”
#include “plaympeg4.h”
#include <time.h>
using namespace std;
typedef HWND (WINAPI *PROCGETCONSOLEWINDOW)();
PROCGETCONSOLEWINDOW GetConsoleWindow;
LONG lPort; //全局的播放库 port 号

HANDLE MainVectorhMutex; // 主互斥量
vector<IplImage*> MainImageVector; // 主视频图片容器

void yv12toYUV(char *outYuv, char *inYv12, int width, int height, int widthStep)
{
    int col, row;
    unsigned int Y, U, V;
    int tmp;
    int idx;

    for (row = 0; row < height; row++)
    {
        idx = row * widthStep;
        int rowptr = row*width;

        for (col = 0; col < width; col++)
        {
            tmp = (row / 2)*(width / 2) + (col / 2);
            Y = (unsigned int)inYv12[row*width + col];
            U = (unsigned int)inYv12[width*height + width*height / 4 + tmp];
            V = (unsigned int)inYv12[width*height + tmp];
            outYuv[idx + col * 3] = Y;
            outYuv[idx + col * 3 + 1] = U;
            outYuv[idx + col * 3 + 2] = V;
        }
    }
}
// 主解码回调 视频为YUV数据(YV12)，音频为PCM数据  
void CALLBACK DecCBFunMain(long nPort, char * pBuf, long nSize, FRAME_INFO * pFrameInfo, long nReserved1, long nReserved2)
{
    long lFrameType = pFrameInfo->nType;

    if (lFrameType == T_YV12)
    {
#if USECOLOR  
        IplImage* pImgYCrCb = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3);//得到图像的Y分量    
        yv12toYUV(pImgYCrCb->imageData, pBuf, pFrameInfo->nWidth, pFrameInfo->nHeight, pImgYCrCb->widthStep);//得到全部RGB图像  
        IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3);
        cvCvtColor(pImgYCrCb, pImg, CV_YCrCb2RGB);
#else  
        IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 1);
        memcpy(pImg->imageData, pBuf, pFrameInfo->nWidth*pFrameInfo->nHeight);
#endif  

        // 将图像保存到容器中
        // 获取互斥量
        WaitForSingleObject(MainVectorhMutex, INFINITE);
        // 存入容器
        MainImageVector.push_back(pImg);
        // 容器容量大于5，则丢掉尾帧，以免造成延时
        if (MainImageVector.size() > 5)
        {
            // 删除保存的最后一帧
            //IplImage *data = *(MainImageVector.end() - 1);
            //MainImageVector.erase(MainImageVector.end() - 1);
            IplImage *data = *MainImageVector.begin();
            MainImageVector.erase(MainImageVector.begin());
            // 释放
            cvReleaseImage(&data);
        }
        // 释放互斥量
        ReleaseMutex(MainVectorhMutex);

#if USECOLOR  
        cvReleaseImage(&pImgYCrCb);
        // 由于将图像指针保存在容器中，此处不能释放
        // cvReleaseImage(&pImg); 
#else  
        // cvReleaseImage(&pImg);
#endif
    }
}
// 主实时流回调  
void CALLBACK fRealDataCallBackMain(LONG lRealHandle, DWORD dwDataType, BYTE *pBuffer, DWORD dwBufSize, void *pUser)
{
    DWORD dRet;
    switch (dwDataType)
    {
    case NET_DVR_SYSHEAD:    //系统头  
        if (!PlayM4_GetPort(&nPort)) //获取播放库未使用的通道号  
        {
            break;
        }
        if (dwBufSize > 0)
        {
            if (!PlayM4_OpenStream(nPort, pBuffer, dwBufSize, 1024 * 1024))
            {
                dRet = PlayM4_GetLastError(nPort);
                break;
            }
            //设置解码回调函数 只解码不显示 ，设置回调函数DecCBFunMain 
            if (!PlayM4_SetDecCallBack(nPort, DecCBFunMain))
            {
                dRet = PlayM4_GetLastError(nPort);
                break;
            }

            //打开视频解码  
            if (!PlayM4_Play(nPort, hWnd))
            {
                dRet = PlayM4_GetLastError(nPort);
                break;
            }

        }
        break;

    case NET_DVR_STREAMDATA:   //码流数据  
        if (dwBufSize > 0 && nPort != -1)
        {
            BOOL inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);
            while (!inData)
            {
                Sleep(10);
                inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);
                OutputDebugString(L"PlayM4_InputData failed \n");
            }
        }
        break;
    }
}
void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser)
{
    char tempbuf[256] = {0};
    switch(dwType)
    {
        case EXCEPTION_RECONNECT: //预览时重连
        printf(“----------reconnect--------%d\n”, time(NULL));
        break;
        default:
        break;
    }
}

// 主线程显示图像
UINT ThreadProc_MainPlay(LPVOID lParam)
{
    // TODO:  在此添加控件通知处理程序代码
    while (1)
    {

        while (MainImageVector.size() <= 0)
        {
            Sleep(20);
            continue;
        }
        // 获取互斥量
        WaitForSingleObject(MainVectorhMutex, INFINITE);
        // 获取头一帧
        IplImage *pImg;
        if (MainImageVector.size() > 0)
        {
            pImg = *(MainImageVector.begin());
        }
        else
        {
            return 0;
        }
        // 删除头一帧
        MainImageVector.erase(MainImageVector.begin());
        // 释放互斥量
        ReleaseMutex(MainVectorhMutex);

        // 显示监控画面
        hWnd = AfxGetApp()->GetMainWnd()->GetSafeHwnd();
        HDC hDC = GetDC(GetDlgItem(hWnd, IDC_PIC));
        CRect rect;
        GetClientRect(GetDlgItem(hWnd, IDC_PIC), &rect);
        CvvImage cvvimg;
        cvvimg.CopyOf(pImg);
        cvvimg.DrawToHDC(hDC, &rect);
        // 释放图像
        cvReleaseImage(&pImg);
    }
    return 0;
}
void main() {
    //---------------------------------------
    // 初始化
    NET_DVR_Init();
    //设置连接时间与重连时间
    NET_DVR_SetConnectTime(2000, 1);
    NET_DVR_SetReconnect(10000, true);
    //---------------------------------------

    //---------------------------------------
    // 注册设备
    LONG lUserID;
    NET_DVR_DEVICEINFO_V30 struDeviceInfo;
    lUserID = NET_DVR_Login_V30(“172.0.0.100”, 8000, “admin”, “12345”, &struDeviceInfo);
    if (lUserID < 0)
    {
        printf(“Login error, %d\n”, NET_DVR_GetLastError());
        NET_DVR_Cleanup();
        return;
    }
    //---------------------------------------
    //设置异常消息回调函数
    NET_DVR_SetExceptionCallBack_V30(0, NULL,g_ExceptionCallBack, NULL);
    //---------------------------------------
    //启动预览并设置回调数据流
    LONG lRealPlayHandle;
    NET_DVR_PREVIEWINFO struPlayInfo = { 0 };
    struPlayInfo.hPlayWnd =  GetDlgItem(hWnd, IDC_PIC); //需要 SDK 解码时句柄设为有效值，仅取流不解码时可设为空
    struPlayInfo.lChannel = 1; //预览通道号
    struPlayInfo.dwStreamType = 0; //0-主码流， 1-子码流， 2-码流 3， 3-码流 4，以此类推
    struPlayInfo.dwLinkMode = 1; //0- TCP 方式， 1- UDP 方式， 2- 多播方式， 3- RTP 方式， 4-RTP/RTSP， 5-RSTP/HTTP
    struPlayInfo.bBlocked = 0; //0- 非阻塞取流， 1- 阻塞取流
    lRealPlayHandle = NET_DVR_RealPlay_V40(lUserID, &struPlayInfo, fRealDataCallBackMain, NULL);
    if (lRealPlayHandle < 0)
    {
        AfxMessageBox(_T("获取失败"));
    }

    ProcThread_MainPlay = AfxBeginThread(ThreadProc_MainPlay, this, THREAD_PRIORITY_NORMAL);  //开启视频显示线程
    Sleep(10000);
    //---------------------------------------
    //关闭预览
    NET_DVR_StopRealPlay(lRealPlayHandle);
    //注销用户
    NET_DVR_Logout(lUserID);
    NET_DVR_Cleanup();
    return;
}

程序主要思路是，从视频流中解码出图像数据pImg，然后存入图像容器MainImageVector中。在显示线程ThreadProc_MainPlay中再从图像容器MainImageVector中读取出图像数据，往MFC图片控件中显示；为了防止读写冲突，需要设立一读写互斥量MainVectorhMutex来保护MainImageVector。

3 图像字符叠加

很多时候，我们不仅要实时显示监控画面，还想在画面上显示一些字符、图像信息，比如在进行行人识别、跟踪时，我们往往需要在画面上框出目标，因此图像字符有很大的应用。

3.1 基于实时流数据的字符叠加

基于实时流数据回调显示方法的字符叠加方法比较简单，直接在显示前往图像中绘制字符、图像即可（用opencv实现），即：

// 主线程显示图像
UINT ThreadProc_MainPlay(LPVOID lParam)
{
    // TODO:  在此添加控件通知处理程序代码
    while (1)
    {

        while (MainImageVector.size() <= 0)
        {
            Sleep(20);
            continue;
        }
        // 获取互斥量
        WaitForSingleObject(MainVectorhMutex, INFINITE);
        // 获取头一帧
        IplImage *pImg;
        if (MainImageVector.size() > 0)
        {
            pImg = *(MainImageVector.begin());
        }
        else
        {
            return 0;
        }
        // 删除头一帧
        MainImageVector.erase(MainImageVector.begin());
        // 释放互斥量
        ReleaseMutex(MainVectorhMutex);

        // 在左上角绘制一60*60的黄色正方形框
        cv::rectangle(Mat(pImg), CvRect(0,0,60,60), CV_RGB(255, 255, 0), 4, 8);

        // 显示监控画面
        hWnd = AfxGetApp()->GetMainWnd()->GetSafeHwnd();
        HDC hDC = GetDC(GetDlgItem(hWnd, IDC_PIC));
        CRect rect;
        GetClientRect(GetDlgItem(hWnd, IDC_PIC), &rect);
        CvvImage cvvimg;
        cvvimg.CopyOf(pImg);
        cvvimg.DrawToHDC(hDC, &rect);
        // 释放图像
        cvReleaseImage(&pImg);
    }
    return 0;
}

3.2 基于SDK解码的字符叠加

而基于SDK解码的方式，由于我没有直接操作图像，所以不能往图像上绘制东西。实际海康开发人员早就意识到了这一点，在SDK中留有叠加字符图像接口 NET_DVR_RigisterDrawFun。该接口主要完成注册回调函数，获得当前表面的设备上下文(Device Context，DC) 。用户可以在这个 DC 上画图或写字，就好像在窗口的客户区 DC 上绘图，但这个 DC 不是窗口客户区的 DC，而是播放器 DirectDraw里的 Off-Screen 表面的 DC。
我们在NET_DVR_RealPlay_V40函数后面添实现NET_DVR_RigisterDrawFun接口即可：

void main() {
    //---------------------------------------
    // 初始化
    NET_DVR_Init();
    ...
    lRealPlayHandle = NET_DVR_RealPlay_V40(lUserID, &struPlayInfo, fRealDataCallBackMain, NULL);
    if (lRealPlayHandle < 0)
    {
        AfxMessageBox(_T("获取失败"));
    }
    //注册绘制回调函数
    if (!NET_DVR_RigisterDrawFun(lRealPlayHandle, fDrawFun, NULL))  
    {
        AfxMessageBox(_T("绘图失败"));
    }
    ...
}
// 绘图回调函数
void CALLBACK fDrawFun(LONG lRealHandle, HDC hDc, DWORD dwUser)
{
    CDC dc;
    dc.Attach(hDc);
    CPen pen;    //生成画笔，黄色
    pen.CreatePen(PS_SOLID, 2, RGB(255, 255, 0));
    CPen* pOldPen = (CPen*)dc->SelectObject(&pen);
    dc->SelectStockObject(NULL_BRUSH);//选入空刷子
    dc->Rectangle(CRect(0, 0, 60, 60));  //在左上角绘制一60*60的黄色正方形框
}

4 总结

在我们的实验过程中，发现基于数据流回调的方法由于需要用户自行解码、绘制、显示，会占用电脑太多CPU，造成很严重的卡帧，并且由于读取不及时，造成显示延后，不顺畅等问题。而基于SDK解码的方式，毕竟这是人家公司提供的开发包，优化做得非常好，显示得非常顺畅和及时，所以建议大家用ＳＤＫ解码的方式。

经过测试，终于知道基于数据流的方法延迟问题出现在哪里了，其实因为用的是debug版本，把项目改成release版本就流畅好多了。

参考资料

1、海康摄像头 设备(IPC)网络 SDK 编程指南：http://www.hikvision.com/cn/download_more_570.html
2、OpenCV+海康威视摄像头的实时读取：http://blog.csdn.net/lonelyrains/article/details/50350052

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

海康摄像头实时显示与字符叠加详解

海康摄像头实时显示与字符叠加详解 的相关文章

  • uniapp安卓打包证书制作，亲测可直接使用

    平常证书制作直接使用的安卓证书在线制作 xff0c 最近这个工具不能使用了 xff0c 现分享下证书制作过程和打包流程 uniapp安卓打包证书制作 xff0c 亲测可直接使用 尝试多次 xff0c 证书文件不是有效的keystore文件出

  • PHP原生开发demo

    好久没有用到原生PHP进行页面的开发了 xff0c 昨天帮忙写了一个 xff0c 不过脑子 xff0c 也没有封装 xff0c 像流水一样 xff0c 哈哈哈哈 span class token operator lt span span

  • 手机端预览pdf,兼容安卓iOS和pc端

    手机端预览pdf 兼容安卓iOS和pc端 pdf web viewer html 官方下载 https github com mozilla pdf js releases download v2 15 349 pdfjs 2 15 349

  • fiddler抓包APP查看接口请求响应信息

    1 安装夜神模拟器 2 下载fiddler https www telerik com download fiddler first run 3 设置fiddler的Connection接口为8888 4 设置同台电脑的模拟器的wlan的手

  • 详解NRF24L01无线收发模块

    近日有粉丝朋友留言 xff0c 希望介绍一下nRF24L01这款无线收发芯片 xff0c 正巧前不久的电赛有些涉及 xff0c 因此将自己的一些经验写在这里 xff0c 希望能有所收获 前面我们介绍过单片机的几种通信协议 xff0c 并且初

  • 可以替代树莓派4(raspberry pi 4B)的tinker board 2

    近几年 xff0c 随着国产芯片的飞速发展 xff0c 一批基于国产SOC的 xff0c 性价比高 xff0c 能运行Android Linux的开发板在市场上出现 xff0c 此前 xff0c 如果要用到Android Linux的开发板

  • 全国大学生电子设计竞赛参赛分享

    在你想要放弃的那一刻 想想为什么当初走到了这里 努力走自己喜欢且有意义的路 xff0c 遇见以后不平凡的自己 时隔九年 xff0c 再次回想起大学时候参见电子设计竞赛的经历 xff0c 依然历历在目 大赛简介 全国大学生电子设计竞赛 xff

  • Turtlebot 3 rplidar bringup

    Turtlebot 3上安装rplidar A1驱动并配置相关的sh及launch文件 xff0c 实现SBC端的bringup xff0c 以及PC上的rviz Turtlebot 3默认的雷达是HLS Hitachi LG Sensor

  • LiDAR 1 基础

    激光的形成过程 xff1a 原子内的电子有低能量状态和高能量状态 xff0c 低能量电子吸收能量进入高能量活跃态 xff0c 恢复低能量时发射光子 通过高电压在谐振腔内触发激光 不同的介质可以触发不同频段的激光 激光雷达使用的是红外波段的非

  • LiDAR 4 固态激光雷达 (Flash LiDAR)

    固态激光雷达分为Flash LiDAR和OPA Optical Phased Array LiDAR xff0c Flash LiDAR是非扫描式的 xff0c OPA LiDAR 是扫描式的 Flash LiDAR的发射光源和接收部件都是

  • LiDAR 5 相控阵激光雷达 (OPA LiDAR)

    OPA LiDAR相控阵激光雷达的技术核心是OPA scanner Quanergy S3激光雷达Transmitter OPA xff1a Leddar Tech OPA LiDAR模块 xff1a 相控阵Phase array实现方式

  • LiDAR 6 FMCW

    FMCW是TOF之外的另一种方式 xff0c 利用光波的调频实现目标的探测 光的波粒二象性 多普勒效应 系统架构 当系统的复杂程度上升后 xff0c 能够采集到的信息也更多 xff0c 包括距离和速度 采用OPA扫描的FMCW激光雷达设计

  • LiDAR 7 消费电子3D应用

    消费电子3D应用 Depth Camera xff0c AR Glass xff0c 类似 Microsoft Azure Kinect xff0c Intel RealSense xff0c iPhone iPad 等产品 Microso

  • LiDAR 8 激光雷达行业

    激光雷达应用的领域特别广泛 xff0c 在无人驾驶上的应用受到很大的关注 全球汽车领域激光雷达的厂商 xff0c 生态链厂商 xff0c 相信激光雷达在产品和技术上的发展还会有很广阔的天地

  • FOC - SVPWM

    FOC vector control 电机矢量控制FOC通过转子坐标系的转换 xff0c 实现动态电流控制 实现的几个环节 xff0c 相电流phase current gt Park Ialpha Ibeta gt Clarke Iq I

  • STL- 容器特点总结

    关于 STL1 序列式容器2 关联式容器3 容器适配器 关于 STL STL即标准模板库 xff08 Standard Template Library xff09 STL包含 6大组件 43 13个头文件 六大组件 xff1a 容器 算法

  • C++ 迭代器失效 ++报错

    迭代器失效 xff0c 迭代器 43 43 报错 Program terminated with signal SIGSEGV Segmentation fault 0 0x00007f5a4be6ffb4 in std Rb tree i

  • 将.bib转换内容为bibitem(bbl)格式

    部分期刊要求使用一些小众的参考文献格式 xff0c 或者不允许使用biblatex包 xff08 不兼容 xff09 xff0c 这是就需要将 bib里的参考文献转成bibitemx并放在 tex文件的末尾 Latex排版引用问题 xff1

  • 杰卡德相似系数(Jaccardsimilarity coefficient)

    xff08 1 xff09 杰卡德相似系数 两个集合A和B交集元素的个数在A B并集中所占的比例 xff0c 称为这两个集合的杰卡德系数 xff0c 用符号 J A B 表示 杰卡德相似系数是衡量两个集合相似度的一种指标 xff08 余弦距

随机推荐

热门标签