如何将音频从浏览器流式传输到 WebRTC 本机 C++ 应用程序

到目前为止，我已成功运行以下示例：

WebRTC 原生 C++ 到浏览器视频流示例 http://sourcey.com/webrtc-native-to-browser-video-streaming-example/

该示例展示了如何将视频从本机 C++ 应用程序 (peerconnection_client.exe) 流式传输到浏览器（我使用的是 Chrome）。这工作正常，我可以在浏览器中看到自己。

我想做的是将音频从浏览器流式传输到本机应用程序，但我不确定如何进行。有人可以给我一些指点吗？

我正在尝试找到一种将视频和音频从浏览器流式传输到我的本机程序的方法。到目前为止，这是我的方法。

要在没有 GUI 的情况下将视频从浏览器流式传输到本机程序，只需按照此处的示例操作即可。https://chromium.googlesource.com/external/webrtc/+/refs/heads/master/examples/peerconnection/client/ https://chromium.googlesource.com/external/webrtc/+/refs/heads/master/examples/peerconnection/client/

use AddOrUpdateSink添加您自己的VideoSinkInterface您将在回调中收到帧数据void OnFrame(const cricket::VideoFrame& frame)。您可以做任何您想做的事情，而不是像示例那样将框架渲染到 GUI。

无需真正的音频设备即可将音频从浏览器流式传输到您的本机程序。您可以使用假音频设备。

1. 修改变量rtc_use_dummy_audio_file_devices to true在文件中https://chromium.googlesource.com/external/webrtc/+/master/webrtc/build/webrtc.gni https://chromium.googlesource.com/external/webrtc/+/master/webrtc/build/webrtc.gni
2. 调用全局静态函数来指定文件名webrtc::FileAudioDeviceFactory::SetFilenamesToUse("", "file_to_save_audio");
3. patch file_audio_device.cc随着代码的爆炸。 （当我写这个答案时，FileAudioDevice 有一些问题，可能已经修复）
4. 重新编译你的程序，touch file_to_save_audio你会看到pcm数据file_to_save_audiowebrtc连接建立后。

patch:

    diff --git a/webrtc/modules/audio_device/dummy/file_audio_device.cc b/webrtc/modules/audio_device/dummy/file_audio_device.cc
index 8b3fa5e..2717cda 100644
--- a/webrtc/modules/audio_device/dummy/file_audio_device.cc
+++ b/webrtc/modules/audio_device/dummy/file_audio_device.cc
@@ -35,6 +35,7 @@ FileAudioDevice::FileAudioDevice(const int32_t id,
     _recordingBufferSizeIn10MS(0),
     _recordingFramesIn10MS(0),
     _playoutFramesIn10MS(0),
+    _initialized(false),
     _playing(false),
     _recording(false),
     _lastCallPlayoutMillis(0),
@@ -135,12 +136,13 @@ int32_t FileAudioDevice::InitPlayout() {
       // Update webrtc audio buffer with the selected parameters
       _ptrAudioBuffer->SetPlayoutSampleRate(kPlayoutFixedSampleRate);
       _ptrAudioBuffer->SetPlayoutChannels(kPlayoutNumChannels);
+      _initialized = true;
   }
   return 0;
 }

 bool FileAudioDevice::PlayoutIsInitialized() const {
-  return true;
+  return _initialized;
 }

 int32_t FileAudioDevice::RecordingIsAvailable(bool& available) {
@@ -236,7 +238,7 @@ int32_t FileAudioDevice::StopPlayout() {
 }

 bool FileAudioDevice::Playing() const {
-  return true;
+  return _playing;
 }

 int32_t FileAudioDevice::StartRecording() {
diff --git a/webrtc/modules/audio_device/dummy/file_audio_device.h b/webrtc/modules/audio_device/dummy/file_audio_device.h
index a69b47e..3f3c841 100644
--- a/webrtc/modules/audio_device/dummy/file_audio_device.h
+++ b/webrtc/modules/audio_device/dummy/file_audio_device.h
@@ -185,6 +185,7 @@ class FileAudioDevice : public AudioDeviceGeneric {
   std::unique_ptr<rtc::PlatformThread> _ptrThreadRec;
   std::unique_ptr<rtc::PlatformThread> _ptrThreadPlay;

+  bool _initialized;;
   bool _playing;
   bool _recording;
   uint64_t _lastCallPlayoutMillis;