解码器的输出表面如何传递到编码器的输入表面？

我试图了解表面到表面的方法如何与 MediaCodec 配合使用。在仅使用 ByteBuffer 的方法中，解码后的数据放置在 OutputBuffer 中。这些非编码数据可以手动处理，然后传递到编码器的输入缓冲区。

如果我们看一个 Android 的例子媒体编解码器 CTS https://android.googlesource.com/platform/cts/+/jb-mr2-release/tests/tests/media/src/android/media/cts/ExtractDecodeEditEncodeMuxTest.java使用表面到表面的方法在解码器和编码器之间传递数据，我们配置解码器将解码后的数据输出到称为outputSurface的Surface上，并配置编码器以接收称为inputSurface的Surface上的数据。

在文档中，createInputSurface 以及该表面在编码器配置中的使用描述如下：

createInputSurface()：请求 Surface 用作编码器的输入，代替输入缓冲区。

换句话说，这在 ByteBuffers 声明中的 CTS 示例中可见：编码器没有 InputBuffers。你有：

• DecoderInputBuffers（从 MediaExtractor 接收视频轨道样本）
• DecoderOutputBuffers（输出以拉解码的 yuv 帧）
• 没有什么。 （嗯......输入表面。）
• EncoderOutputBuffers（输出以拉动重新编码的内容以传递给复用器）

您无需将数据排队到编码器输入缓冲区中，而是使用以下代码行：

outputSurface.awaitNewImage();
outputSurface.drawImage();
inputSurface.setPresentationTime(videoDecoderOutputBufferInfo.presentationTimeUs * 1000);
inputSurface.swapBuffers();

Decoder的ouputSurface内容是如何传递到Encoder的inputSurface的？幕后具体发生了什么？

解码器/编码器的输出/输入Surface分别是一个特别配置的（任何一个物理上连续的 or reserved等）一块专门用于硬件的内存（例如，GPUs、硬件（加速）编解码器）或软件模块可以以最适合性能需求的方式使用（通过使用硬件加速、DMA 等功能）。

更具体地说，例如在当前上下文中，解码器的输出 Surface 由SurfaceTexture，这样它就可以用在OpenGL environment用作external在将纹理渲染到 Surface 上之前进行任何类型的处理，编码器可以从中读取和编码以创建最终的视频帧。

并非巧合的是，OpenGL 只能渲染到这样的Surface.

So the decoder充当provider原始视频帧的表面纹理） the carrier, OpenGL the medium将其呈现给编码器input Surface哪一个是目的地对于（要编码的）视频帧。

为了进一步满足您的好奇心，请检查使用 MediaCodec 编辑帧和编码 https://stackoverflow.com/questions/34932623/editing-frames-and-encoding-with-mediacodec更多细节。

[Edit]

您可以检查子项目grafika 连续相机 https://github.com/google/grafika/blob/master/src/com/android/grafika/ContinuousCaptureActivity.java or 显示+捕捉相机 https://github.com/google/grafika/blob/master/src/com/android/grafika/CameraCaptureActivity.java，当前将相机帧（馈送到 SurfaceTexture）渲染到视频（和显示器）。因此，本质上，唯一的变化是 MediaCodec 将帧传送到 SurfaceTexture，而不是相机。

谷歌CTS解码编辑编码测试 https://android.googlesource.com/platform/cts/+/kitkat-release/tests/tests/media/src/android/media/cts/DecodeEditEncodeTest.java完全相同，可以作为参考，以使学习曲线更加平滑。

从最基本的开始，正如 fadden 指出的那样，使用Android 图形教程 https://source.android.com/devices/graphics/architecture.html