我的目标是使用 Android MediaCodec 解码视频流，然后使用输出图像在本机代码中进行进一步的图像处理。
平台：华硕 tf700t android 4.1.1。
测试码流：H.264 全高清 @ 24 frm/s
内置 Tegra-3 SoC，我指望硬件支持视频解码。从功能上讲，我的应用程序的行为符合预期：我确实可以访问解码器图像
并妥善处理它们。然而，我遇到了非常高的解码器 CPU 负载。
在下面的实验中，进程/线程负载是通过 adb shell 中的“top -m 32 -t”来测量的。为了从“top”获得可靠的输出，通过运行几个以最低优先级永远循环的线程来强制所有 4 个 cpu 核心处于活动状态。通过重复执行“cat /sys/devices/system/cpu/cpu[0-3]/online”可以确认这一点。为了简单起见，只有视频解码，没有音频；并且没有时序控制，因此解码器尽可能快地运行。
第一个实验：运行应用程序，调用 JNI 处理函数，但所有进一步的处理调用都被注释掉。结果：
- 吞吐量：25 frm/s
- 应用程序线程VideoDecoder的1%负载
- 进程 /system/bin/mediaserver 的线程 Binder_3 负载为 24%
看来解码速度是受CPU限制的（四核CPU的25%）......
当启用输出处理时，解码的图像是正确的并且应用程序可以工作。唯一的问题：解码时 CPU 负载过高。
经过大量实验后，我考虑给 MediaCodec 一个表面来绘制其结果。在所有其他方面，代码都是相同的。结果：
- 吞吐量 55 frm/s（很好！！）
- 应用程序线程VideoDecoder的2%负载
- 进程 /system/bin/mediaserver 的线程 mediaserver 负载为 1%
事实上，视频显示在提供的 Surface 上。由于几乎没有任何CPU负载，这必须是硬件加速的......
看来 de MediaCodec 仅在提供 Surface 的情况下才使用硬件加速？
到目前为止，一切都很好。我已经倾向于使用 Surface 作为一种解决方法（不是必需的，但在某些情况下甚至是一个很好的选择）。但是，如果提供了表面，我将无法访问输出图像！结果是本机代码中出现访问冲突。
这实在是让我很困惑！我没有在文档中看到任何访问限制的概念或任何内容http://developer.android.com/reference/android/media/MediaCodec.html http://developer.android.com/reference/android/media/MediaCodec.html。
谷歌 I/O 演示中也没有提到这个方向http://www.youtube.com/watch?v=RQws6vsoav8 http://www.youtube.com/watch?v=RQws6vsoav8.
那么：如何使用硬件加速的Android MediaCodec解码器并以本机代码访问图像？如何避免访问冲突？任何帮助表示赞赏！也是一种解释或提示。
我很确定 MediaExtractor 和 MediaCodec 已正确使用，因为应用程序
功能正常（只要我不提供 Surface）。
它仍然处于实验阶段，良好的 API 设计已在待办事项列表中；-)
请注意，两个实验之间的唯一区别是变量 mSurface: null 或实际的 Surface
在“mDecoder.configure（mediaFormat，mSurface，null，0）;”
初始化代码：
mExtractor = new MediaExtractor();
mExtractor.setDataSource(mPath);
// Locate first video stream
for (int i = 0; i < mExtractor.getTrackCount(); i++) {
mediaFormat = mExtractor.getTrackFormat(i);
String mime = mediaFormat.getString(MediaFormat.KEY_MIME);
Log.i(TAG, String.format("Stream %d/%d %s", i, mExtractor.getTrackCount(), mime));
if (streamId == -1 && mime.startsWith("video/")) {
streamId = i;
}
}
if (streamId == -1) {
Log.e(TAG, "Can't find video info in " + mPath);
return;
}
mExtractor.selectTrack(streamId);
mediaFormat = mExtractor.getTrackFormat(streamId);
mDecoder = MediaCodec.createDecoderByType(mediaFormat.getString(MediaFormat.KEY_MIME));
mDecoder.configure(mediaFormat, mSurface, null, 0);
width = mediaFormat.getInteger(MediaFormat.KEY_WIDTH);
height = mediaFormat.getInteger(MediaFormat.KEY_HEIGHT);
Log.i(TAG, String.format("Image size: %dx%d format: %s", width, height, mediaFormat.toString()));
JniGlue.decoutStart(width, height);
解码器循环（在单独的线程中运行）：
ByteBuffer[] inputBuffers = mDecoder.getInputBuffers();
ByteBuffer[] outputBuffers = mDecoder.getOutputBuffers();
while (!isEOS && !Thread.interrupted()) {
int inIndex = mDecoder.dequeueInputBuffer(10000);
if (inIndex >= 0) {
// Valid buffer returned
int sampleSize = mExtractor.readSampleData(inputBuffers[inIndex], 0);
if (sampleSize < 0) {
Log.i(TAG, "InputBuffer BUFFER_FLAG_END_OF_STREAM");
mDecoder.queueInputBuffer(inIndex, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM);
isEOS = true;
} else {
mDecoder.queueInputBuffer(inIndex, 0, sampleSize, mExtractor.getSampleTime(), 0);
mExtractor.advance();
}
}
int outIndex = mDecoder.dequeueOutputBuffer(info, 10000);
if (outIndex >= 0) {
// Valid buffer returned
ByteBuffer buffer = outputBuffers[outIndex];
JniGlue.decoutFrame(buffer, info.offset, info.size);
mDecoder.releaseOutputBuffer(outIndex, true);
} else {
// Some INFO_* value returned
switch (outIndex) {
case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
Log.i(TAG, "RunDecoder: INFO_OUTPUT_BUFFERS_CHANGED");
outputBuffers = mDecoder.getOutputBuffers();
break;
case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
Log.i(TAG, "RunDecoder: New format " + mDecoder.getOutputFormat());
break;
case MediaCodec.INFO_TRY_AGAIN_LATER:
// Timeout - simply ignore
break;
default:
// Some other value, simply ignore
break;
}
}
if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
Log.d(TAG, "RunDecoder: OutputBuffer BUFFER_FLAG_END_OF_STREAM");
isEOS = true;
}
}
