图传的一个重要功能就是可以看视频。主要是采集树莓派zero摄像头的数据，经过编码打包，通过wifibroadcast发送到地面端的PC上，然后再通过解码显示出来。
这里用到了视频采集和编解码相关的软件。
在树莓派上，有自带的软件可以直接采集视频，很方便；地面端的解码可以使用gstreamer来做，因为涉及到显示窗口的问题，可能还需要跟X Window相关的库。
树莓派摄像头还是比较便宜的，使用自带的raspivid程序就可以采集视频，直接编码成H.264流。
发送端的命令行：
raspivid -n -ex fixedfps -w 1920 -h 1080 -b 4000000 -fps 30 -vf -hf -t 0 -o – | sudo ./tx_my.sh wlan1-o 表示输出，最后的 - 表示输出到标准输出流，可以在后面接上wbf的发送命令，直接将流发出去；
-n 表示不进行视频的预览
-w -h 表示视频的宽度和高度
-b 表示视频码率，单位时bps
-fps 表示设置fsp帧速率
-vf -hf 表示纵向和横向视频反向
-t 表示采集时间，单位ms，0表示一直采集
后面的tx_my.sh脚本看上一篇文章的介绍。
OpenHD改造实现廉价高清数字图传（树莓派zero + ubuntu PC ）——（二）Wifibroadcast Wifi广播通信_hoopertsau的博客-CSDN博客_openhd
通过这个就可以将视频流通过WiFibroadcast发出去了。
视频的接收端使用gstreamer相关的库去做。
安装相关的库命令行
sudo apt-get install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libgstreamer-plugins-bad1.0-dev gstreamer1.0-plugins-base gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav gstreamer1.0-doc gstreamer1.0-tools gstreamer1.0-x gstreamer1.0-alsa gstreamer1.0-gl gstreamer1.0-gtk3 gstreamer1.0-qt5 gstreamer1.0-pulseaudio
内容比较多，要安装一会的。
gstreamer可以先用命令行工具进行解码测试，如果没什么问题可以对照相关命令行的内容，编写成C++代码和单独的应用程序。
接收端的命令行：
sudo ./rx_my.sh wlan0| gst-launch-1.0 -v fdsrc fd=0 ! h264parse ! avdec_h264 ! videoconvert ! xvimagesink 这里首先用rx_my.sh接收数据，通过管道输入给gsteamer工具；
然后使用gst-launch-1.0工具，这里的fdsrc就是从fd文件读取数据，fd=0 中的0 就是标准输入的fd编号，也就是从管道上过来的数据，接收到的视频数据。
这样就能直接在PC上自动开启一个窗口进行显示了。通过这个命令行可以测试一下通信和编解码是否正常。
但是这个工具是个单独的软件，如果要根据我们的OSD叠加就不好弄了，因此还是要用gstreamer的API进行开发，后面还要将OSD的显示整合进来。
可以参考官方的这篇文章进行GUI的开发。Basic tutorial 5: GUI toolkit integration
但我准备用的就是直接使用XWindow，略微有些不一样，但总体上的思路是相同的。
使用streamer开发视频显示应用软件，主要就是创建合适的窗口，初始化gstreamer管道并连接相关插件，然后将gstreamer显示绑定到窗口上，就可以显示了。
直接上一个最简单的代码看看。
#include<X11/Xlib.h>
#include <glib.h>
#include <gst/gst.h>
#include <gst/video/videooverlay.h>
#include <stdio.h>
// 定义一个窗口
Window win;
void initGst()
{
// 创建视频处理的管道，这里和使用命令行类似
GstElement *pipeline = gst_pipeline_new ("xvoverlay");
GstElement *src = gst_element_factory_make ("videotestsrc", NULL);
GstElement *sink = gst_element_factory_make ("xvimagesink", NULL);
gst_bin_add_many (GST_BIN (pipeline), src, sink, NULL);
gst_element_link (src, sink);
// 绑定UI界面，这里的win就是我们创建的X Window
gst_video_overlay_set_window_handle (GST_VIDEO_OVERLAY (sink), win);
// 将状态设置为运行
GstStateChangeReturn sret = gst_element_set_state (pipeline, GST_STATE_PLAYING);
}
int main(int argc, char *argv[]){
/* 初始化GStreamer库 */
gst_init (&argc, &argv);
// 打开一个显示
Display *dsp = XOpenDisplay( NULL );
if( !dsp ){ return 1; }
// 设置屏幕
int screenNumber = DefaultScreen(dsp);
unsigned long white = WhitePixel(dsp,screenNumber);
unsigned long black = BlackPixel(dsp,screenNumber);
// 创建窗体
win = XCreateSimpleWindow(dsp,
DefaultRootWindow(dsp),
50, 50, // origin
800, 600, // size
0, black, // border
white ); // backgd
XMapWindow( dsp, win );
long eventMask = StructureNotifyMask;
XSelectInput( dsp, win, eventMask );
XEvent evt;
do{
XNextEvent( dsp, &evt ); // calls XFlush
}while( evt.type != MapNotify );
// 创建具体的视频处理管道，并绑定刚才的创建的窗口
initGst();
do
{
XNextEvent( dsp, &evt ); // calls XFlush()
}while( evt.type != ButtonRelease );
XDestroyWindow( dsp, win );
XCloseDisplay( dsp );
return 0;
}这个代码就是一个最简单的gstreamer的GUI程序，保存成x11_gst_demo.cpp
编译一下：
g++ x11_gst_demo.cpp -o x11_gst_demo `pkg-config --cflags --libs gstreamer-video-1.0 gstreamer-1.0 x11`这是一个简单的程序，使用videotestsrc显示一个测试画面
接下来就可以在这个基础上，将视频处理的部分进行变化，使用不同的插件组合使用，来接收显示我们摄像头传过来的画面。
主要是实现这句话：
gst-launch-1.0 -v fdsrc fd=0 ! h264parse ! avdec_h264 ! videoconvert ! xvimagesink
主要是该initGst函数，将上面这条语句用C++代码来实现，代码不难，看一下就应该能看懂。如果有些不清楚可以上网查询相关的函数的定义。
void initGst2()
{
GstElement *gst_pipeline;
GstElement *gst_src;
GstElement *gst_parser;
GstElement *gst_decoder;
GstElement *gst_conv;
GstElement *gst_sink;
// 以下的效果与这条语句等同
// gst-launch-1gst-launch-1.0 -v fdsrc fd=0 ! h264parse ! avdec_h264 ! videoconvert ! xvimagesink
// 创建管道
gst_pipeline = gst_pipeline_new ("xvoverlay");
// 创建fdsrc，用来从标准输入接收视频流
gst_src = gst_element_factory_make ("fdsrc", "source");
// 设置属性fd=0
g_object_set(G_OBJECT(gst_src), "fd", 0, NULL);
// 创建h264解码器
gst_parser = gst_element_factory_make("h264parse", NULL);
gst_decoder = gst_element_factory_make("avdec_h264", NULL);
// 创建视频转换插件
gst_conv = gst_element_factory_make("videoconvert", NULL );
// 创建sink显示插件
gst_sink = gst_element_factory_make ("xvimagesink", "sink");
// 将多个插件连接起来
gst_bin_add_many(GST_BIN(gst_pipeline), gst_src, gst_parser,gst_decoder, gst_conv, gst_sink, NULL);
if(gst_element_link_many(gst_src, gst_parser, gst_decoder, gst_conv, gst_sink, NULL) == 0 )
{
printf("gst_element_link_many error!\r\n");
}
// 绑定UI界面，这里的win就是我们创建的X
gst_video_overlay_set_window_handle (GST_VIDEO_OVERLAY (gst_sink), win);
// 将状态设置为运行
GstStateChangeReturn sret = gst_element_set_state (gst_pipeline, GST_STATE_PLAYING);
printf("set gst playing. sret=%d\r\n",sret);
}重新编译运行，就可以实现从标准输入显示视频了
用这个软件直接替换刚才的gstreamer自带的工具即可
使用wifibroadcast作为底层通信，使用gstreamer来解码，使用X11窗口来进行显示。
发送端：
raspivid -n -ex fixedfps -w 1920 -h 1080 -b 4000000 -fps 30 -vf -hf -t 0 -o – | sudo ./tx_my.sh wlan1
接收端：
使用gstreamer自带工具：
sudo ./rx_my.sh wlan0| gst-launch-1.0 -v fdsrc fd=0 ! h264parse ! avdec_h264 ! videoconvert ! xvimagesink
使用自己开发的GUI程序
sudo ./rx_my.sh wlan0 | x11_gst_demo
