使用 gstreamer-1.0 的 H264 RTP 流

我尝试从带有摄像头模块的 Raspberry Pi 3 到视频标签制作 H264 RTP 流。

使用以下代码启动流

raspivid -t 0 -h 720 -w 1080 -fps 25 -hf -b 2000000 -o - | \

gst-launch-1.0 -v fdsrc \
           ! h264parse \
           ! rtph264pay \
           ! gdppay \
           ! udpsink host="192.168.0.11" port=5000

然后我提供一个带有视频标签的简单网页：

<video id="videoTag" src="h264.sdp" autoplay>
        <p class="warning">Your browser does not support the video tag.</p>
</video>

src 引用以下 SDP 文件：

v=0
m=video 5000 RTP/AVP 96
c=IN IP4 192.168.0.51
a=rtpmap:96 H264/90000

当我加载网页时没有任何反应，并且 js 控制台完全是空的。

所以我尝试用VLC查看流，并得到以下错误：

[00007efd80c03ea8] es demux error: cannot peek
[00007efd80c03ea8] es demux error: cannot peek
[00007efd80c03ea8] live555 demux error: no data received in 10s, aborting

我以为根本没有UDP通信，所以我从远程机器上测试了它：

gst-launch-1.0 udpsrc port=5000 \
               caps="application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264, payload=(int)96" \
               ! fakesink dump=true

ans收到UDP数据包。所以我向前研究并发现了这一点：

https://cardinalpeak.com/blog/the-many-ways-to-stream-video-using-rtp-and-rtsp/ https://cardinalpeak.com/blog/the-many-ways-to-stream-video-using-rtp-and-rtsp/

现在很明显，我需要 2 个端口，其中一个用于传输数据并建立 RTP 控制协议。但是我不知道如何使用 gstreamer 做到这一点。

最糟糕的是当我跑步时：

gst-inspect-1.0 | grep -i rtcp

我什么也没得到。

如何使用 RTP 协议使用 gstreamer-1.0 启动视频流到网页内的视频标签？

update

Using 视频测试源作为 gstreamer videosouce 并删除gdppay（它导致无效的 RTP 负载错误）我能够使用 VLC 和以下 gstreamer 代码从远程客户端查看视频流：

gst-launch-1.0 udpsrc port=5000 \
               caps="application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264, payload=(int)96" \
               ! rtph264depay \
               ! avdec_h264 \
               ! autovideosink

首先你需要提供更多信息：哪个浏览器（尝试chrome，据说safari也有更好的流支持）..

对于 SDP，我认为您缺少 h264 的信息？ 是的，gdppay 仅适用于内部“仅 GStreamer”流媒体（gdp 表示“GStreamer 数据协议”，其他人无法理解:)）。

如果您确实希望 GStreamer 传输 RTSP，您可以使用 gstreamerrtsp服务器实现 https://gstreamer.freedesktop.org/modules/gst-rtsp-server.html- 例如，它位于单独的存储库中，并且包含在 Ubuntu 中的某些软件包中。

如果你只想要rtp，那么你做得正确 - 正如你所看到的，这种方法适用于例如vlc..但是是什么让你认为sdp可以在HTML5中工作（我只是问我没有这方面的最新信息） ？

您也可以使用 netcat 进行测试 - 对于此类调试来说它很好。 你可以这样伪造一个 rtp 客户端：

nc -u -l 5000 

这会将流量转出。

I read here https://stackoverflow.com/q/1735933/3876138HTML5 中的 rtp/rtsp 存在问题，但谁知道也许现在它已经可以工作了..

您可以尝试 hls - 它通常用于流式传输，并且对 GStreamer 1.6 及更高版本有更好的支持。（提示：使用 hlssink）。

这里有一些用于处理hls的js：https://github.com/dailymotion/hls.js https://github.com/dailymotion/hls.js

你也可以尝试 ogg/vorbis/theora 之类的东西（听起来很疯狂，但你可以尝试一下，我在某处读到它适合流媒体）..