经过大量研究,我终于能够开发出一个可行的解决方案。有很多步骤需要执行,我将在下面详细讨论:
General
正如我在上面的问题中所描述的,目标是能够获取网络摄像头的传入流并将其转发到虚拟视频设备,然后可以使用 VLC 等工具打开该虚拟视频设备。这被认为是能够进行进一步图像处理的第一步。
1)v4l2环回
v4l2loopback是Linux的虚拟视频设备(内核模块)。可以从这里下载源代码https://github.com/umlaeute/v4l2loopback。下载后,必须执行以下步骤才能运行它:
make
sudo make install
sudo depmod -a
sudo modprobe v4l2loopback
如果您想在 Chrome (WebRTC) 中使用此视频设备,您需要使用附加参数执行最后一行:
sudo modprobe v4l2loopback exclusive_caps=1
请注意,exlusive_caps 是一个数组,因此如果上述方法不起作用,请尝试:
sudo modprobe v4l2loopback exclusive_caps=1,1,1,1,1,1,1,1
信息:需要注意的是,v4l2loopback 设备必须设置为与下面示例中要使用的分辨率相同的分辨率。如您所见,我已将示例中的定义设置为 FullHD。如果你想要例如800x600,您需要在编译之前更改 v4l2loopback 代码中的默认值,或者在插入模块时通过附加命令行参数更改分辨率max_width
and max_height
。内核模块默认运行分辨率为 640x480。您可以使用以下方式获取更多详细信息和所有支持的参数:
modinfo v4l2loopback
2)开放CV
OpenCV 是一个支持捕获和实时视频操作的库。要构建 OpenCV,请访问此页面http://docs.opencv.org/3.0-beta/doc/tutorials/introduction/linux_install/linux_install.html其中详细解释了所有步骤。
3)示例代码
您可以通过以下方式构建/运行下面的示例代码:
g++ -ggdb `pkg-config --cflags --libs opencv` sample.cpp -o sample
./sample
这是代码:
#include <stdio.h>
#include <fcntl.h>
#include <errno.h>
#include <unistd.h>
#include <sys/ioctl.h>
#include <linux/videodev2.h>
#include "opencv2/opencv.hpp"
#define VIDEO_OUT "/dev/video0" // V4L2 Loopack
#define VIDEO_IN "/dev/video1" // Webcam
#define WIDTH 1920
#define HEIGHT 1080
int main ( int argc, char **argv ) {
cv::VideoCapture cap;
struct v4l2_format vid_format;
size_t framesize = WIDTH * HEIGHT * 3;
int fd = 0;
if( cap.open ( VIDEO_IN ) ) {
cap.set ( cv::CAP_PROP_FRAME_WIDTH , WIDTH );
cap.set ( cv::CAP_PROP_FRAME_HEIGHT, HEIGHT );
} else {
std::cout << "Unable to open video input!" << std::endl;
}
if ( (fd = open ( VIDEO_OUT, O_RDWR )) == -1 )
printf ("Unable to open video output!");
memset ( &vid_format, 0, sizeof(vid_format) );
vid_format.type = V4L2_BUF_TYPE_VIDEO_OUTPUT;
if ( ioctl ( fd, VIDIOC_G_FMT, &vid_format ) == -1 )
printf ( "Unable to get video format data. Errro: %d\n", errno );
vid_format.fmt.pix.width = cap.get ( CV_CAP_PROP_FRAME_WIDTH );
vid_format.fmt.pix.height = cap.get ( CV_CAP_PROP_FRAME_HEIGHT );
vid_format.fmt.pix.pixelformat = V4L2_PIX_FMT_RGB24;
vid_format.fmt.pix.sizeimage = framesize;
vid_format.fmt.pix.field = V4L2_FIELD_NONE;
if ( ioctl ( fd, VIDIOC_S_FMT, &vid_format ) == -1 )
printf ( "Unable to set video format! Errno: %d\n", errno );
cv::Mat frame ( cap.get(CV_CAP_PROP_FRAME_HEIGHT),
cap.get(CV_CAP_PROP_FRAME_WIDTH), CV_8UC3 );
printf ( "Please open the virtual video device (/dev/video<x>) e.g. with VLC\n" );
while (1) {
cap >> frame;
cv::cvtColor ( frame, frame, cv::COLOR_BGR2RGB ); // Webcams sometimes deliver video in BGR not RGB. so we need to convert
write ( fd, frame.data, framesize );
}
}