Qt 中获取摄像头图像数据的方法

在 Qt 中提供了 QCamera 类用来操作摄像头。（这里的摄像头指的是电脑上常用的那种 USB 摄像头或网络摄像头，暂时还不支持工业相机。）摄像头获取的实时图像可以显示在 QCameraViewfinder 或 QGraphicsVideoItem 上，QCameraImageCapture 可以获取静态的图像，QMediaRecorder 可以用来录像。

用这些现有的组件可以很方便的完成一些基本的相机操作。但是如果我们做的更深入点，比如做个人脸识别、美颜处理一类的就不够用了。这时我们就需要获取相机的每一帧实时图像数据。

在 Qt 中，实现这个功能有两种主要的方法，一种是写一个派生自 QAbstractVideoSurface 的类。第二个方法是用 QVideoProbe。采用 QVideoProbe 比 第一种方法要简单。
但是按照 https://wiki.qt.io/Qt_5.7_Multimedia_Backends 上面的说法：

QVideoProbe support:
Android: only for camera
Blackberry: no support
iOS: no support
Linux: only for media player
Mac: no support
Windows: only for media player

QVideoProbe 暂时只在 android 平台上支持 QCamera。所以我们这篇文章主要来讲第一种方法。

QAbstractVideoSurface 是个纯虚类。要派生一个类需要我们实现两个函数。
* bool present(const QVideoFrame &frame);
* QList supportedPixelFormats(QAbstractVideoBuffer::HandleType type = QAbstractVideoBuffer::NoHandle) const

我们派生的类叫做 CameraImage，那么这个类的头文件可以这样。

class CameraImage : public QAbstractVideoSurface{    Q_OBJECTpublic:    QList<QVideoFrame::PixelFormat> supportedPixelFormats(            QAbstractVideoBuffer::HandleType handleType = QAbstractVideoBuffer::NoHandle) const override;    explicit CameraImage(QObject *parent = 0);    void setVideoFrame(const QVideoFrame &frame);private slots:    bool present(const QVideoFrame &frame) override;private:    void setRGB24Image(const uint8_t *imgBuf, QSize size);    void setRGB32Image(const uint8_t *imgBuf, QSize size);    void setMono8Image(const uint8_t *imgBuf, QSize size);    void setYUY2Image(const uint8_t *imgBuf, QSize size);    void setVYUYImage(const uint8_t *imgBuf, QSize size);    void setUYVYImage(const uint8_t *imgBuf, QSize size);    QImage m_image;};

这个类中的 m_image 就是用来存放相机图像数据的。相机采集的每一帧数据都会放到这里，供进一步处理。

supportedPixelFormats 函数用来返回所有的支持的 PixelFormats。这里我们只是做个例子，支持最基本的几种，作为一个完善的 CameraImage 类，当然是支持的像素类型越多越好。

CameraImage::CameraImage(QObject *parent)    : QAbstractVideoSurface(parent){}QList<QVideoFrame::PixelFormat> CameraImage::supportedPixelFormats(        QAbstractVideoBuffer::HandleType handleType) const{    Q_UNUSED(handleType);    QList<QVideoFrame::PixelFormat> list;    list << QVideoFrame::Format_RGB32;    list << QVideoFrame::Format_ARGB32;    list << QVideoFrame::Format_RGB24;    list << QVideoFrame::Format_UYVY;    list << QVideoFrame::Format_Y8;    list << QVideoFrame::Format_YUYV;    return list;}

present 函数是最重要的，每次相机有新图像到来，都会调用 present 函数。

bool CameraImage::present(const QVideoFrame &frame) {    // 处理捕获的帧    if(frame.isMapped())    {        setVideoFrame(frame);    }    else    {        QVideoFrame f(frame);        f.map(QAbstractVideoBuffer::ReadOnly);        setVideoFrame(f);    }    return true; }

这里有个 QVideoFrame，需要讲解一下。一个 QVideoFrame 代表的就是相机的一帧数据。QVideoFrame::bits() 返回的是一帧图像的起始地址。但是在调用 bits() 函数之前还要先判断 frame 是否 map 了。所谓 map 就是将图像数据放到 CPU 可以寻址的地方。具体的大家可以看 QVideoFrame 的帮助文档。但是使用的方法很简单，就是先判断是否 map，如果没 map 就 map 一下。之后就可以正常使用了。

setVideoFrame 函数的作用是将 QVideoFrame 转换为 QImage。

void CameraImage::setVideoFrame(const QVideoFrame &frame){    switch (frame.pixelFormat())    {    case QVideoFrame::Format_RGB24:        setRGB24Image(frame.bits(), frame.size());        break;    case QVideoFrame::Format_RGB32:    case QVideoFrame::Format_ARGB32:    case QVideoFrame::Format_ARGB32_Premultiplied:        setRGB32Image(frame.bits(), frame.size());        break;    case QVideoFrame::Format_Y8:        setBayerImage(frame.bits(), frame.size());        break;    case QVideoFrame::Format_YUYV:        setYUY2Image(frame.bits(), frame.size());        break;    case QVideoFrame::Format_UYVY:        setUYVYImage(frame.bits(), frame.size());        break;    default:        break;    }    // 这里可以做人脸识别一类的其他工作。}

setVideoFrame 函数中又调用了 setRGB24Image 等其他函数。这些函数实现具体的数据转换操作。代码比较多，这里就不贴出来了。

• void setRGB24Image(const uint8_t *imgBuf, QSize size);
• void setRGB32Image(const uint8_t *imgBuf, QSize size);
• void setMono8Image(const uint8_t *imgBuf, QSize size);
• void setYUY2Image(const uint8_t *imgBuf, QSize size);
• void setVYUYImage(const uint8_t *imgBuf, QSize size);
• void setUYVYImage(const uint8_t *imgBuf, QSize size);