我正在尝试实施
AudioRecord (MIC) ->
PCM -> AAC Encoder
AAC -> PCM Decode
-> AudioTrack?? (SPEAKER)
with MediaCodec在 Android 4.1+ (API16) 上。
首先，我成功（但不确定是否正确优化）实施PCM -> AAC Encoder by MediaCodec如下所示
private boolean setEncoder(int rate)
{
encoder = MediaCodec.createEncoderByType("audio/mp4a-latm");
MediaFormat format = new MediaFormat();
format.setString(MediaFormat.KEY_MIME, "audio/mp4a-latm");
format.setInteger(MediaFormat.KEY_CHANNEL_COUNT, 1);
format.setInteger(MediaFormat.KEY_SAMPLE_RATE, 44100);
format.setInteger(MediaFormat.KEY_BIT_RATE, 64 * 1024);//AAC-HE 64kbps
format.setInteger(MediaFormat.KEY_AAC_PROFILE, MediaCodecInfo.CodecProfileLevel.AACObjectHE);
encoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
return true;
}
输入：PCM 比特率 = 44100(Hz) x 16(位) x 1(单声道) = 705600 bit/s
输出：AAC-HE 比特率 = 64 x 1024（位）= 65536 位/秒
因此，数据大小大约被压缩x11，我通过观察日志确认了这一点
- AudioRecoder：读取4096字节
- AudioEncoder：369字节编码
数据大小近似压缩x11， 到目前为止，一切都很好。
现在，我有一个 UDP 服务器来接收编码数据，然后对其进行解码。
解码器配置文件设置如下：
private boolean setDecoder(int rate)
{
decoder = MediaCodec.createDecoderByType("audio/mp4a-latm");
MediaFormat format = new MediaFormat();
format.setString(MediaFormat.KEY_MIME, "audio/mp4a-latm");
format.setInteger(MediaFormat.KEY_CHANNEL_COUNT, 1);
format.setInteger(MediaFormat.KEY_SAMPLE_RATE, 44100);
format.setInteger(MediaFormat.KEY_BIT_RATE, 64 * 1024);//AAC-HE 64kbps
format.setInteger(MediaFormat.KEY_AAC_PROFILE, MediaCodecInfo.CodecProfileLevel.AACObjectHE);
decoder.configure(format, null, null, 0);
return true;
}
由于 UDPserver 数据包缓冲区大小为1024
由于这是压缩的 AAC 数据，我预计解码大小将为
约1024x11，然而实际结果是
大约是x8，我感觉有些不对劲。
解码器代码如下：
IOudpPlayer = new Thread(new Runnable()
{
public void run()
{
SocketAddress sockAddress;
String address;
int len = 1024;
byte[] buffer2 = new byte[len];
DatagramPacket packet;
byte[] data;
ByteBuffer[] inputBuffers;
ByteBuffer[] outputBuffers;
ByteBuffer inputBuffer;
ByteBuffer outputBuffer;
MediaCodec.BufferInfo bufferInfo;
int inputBufferIndex;
int outputBufferIndex;
byte[] outData;
try
{
decoder.start();
isPlaying = true;
while (isPlaying)
{
try
{
packet = new DatagramPacket(buffer2, len);
ds.receive(packet);
sockAddress = packet.getSocketAddress();
address = sockAddress.toString();
Log.d("UDP Receiver"," received !!! from " + address);
data = new byte[packet.getLength()];
System.arraycopy(packet.getData(), packet.getOffset(), data, 0, packet.getLength());
Log.d("UDP Receiver", data.length + " bytes received");
//===========
inputBuffers = decoder.getInputBuffers();
outputBuffers = decoder.getOutputBuffers();
inputBufferIndex = decoder.dequeueInputBuffer(-1);
if (inputBufferIndex >= 0)
{
inputBuffer = inputBuffers[inputBufferIndex];
inputBuffer.clear();
inputBuffer.put(data);
decoder.queueInputBuffer(inputBufferIndex, 0, data.length, 0, 0);
}
bufferInfo = new MediaCodec.BufferInfo();
outputBufferIndex = decoder.dequeueOutputBuffer(bufferInfo, 0);
while (outputBufferIndex >= 0)
{
outputBuffer = outputBuffers[outputBufferIndex];
outputBuffer.position(bufferInfo.offset);
outputBuffer.limit(bufferInfo.offset + bufferInfo.size);
outData = new byte[bufferInfo.size];
outputBuffer.get(outData);
Log.d("AudioDecoder", outData.length + " bytes decoded");
decoder.releaseOutputBuffer(outputBufferIndex, false);
outputBufferIndex = decoder.dequeueOutputBuffer(bufferInfo, 0);
}
//===========
}
catch (IOException e)
{
}
}
decoder.stop();
}
catch (Exception e)
{
}
}
});
完整代码：
https://gist.github.com/kenokabe/9029256 https://gist.github.com/kenokabe/9029256
还需要许可：
<uses-permission android:name="android.permission.INTERNET"></uses-permission>
<uses-permission android:name="android.permission.RECORD_AUDIO"></uses-permission>
成员fadden https://stackoverflow.com/users/294248/fadden在谷歌工作的人告诉我
看起来我没有在输出缓冲区上设置位置和限制。
我读过了VP8 编码 Nexus 5 返回空/0 帧 https://stackoverflow.com/questions/21626156/vp8-encoding-nexus-5-returns-empty-0-frames/21630351#21630351，但不确定如何正确实施。
更新：我有点明白在哪里修改
看起来我没有在输出缓冲区上设置位置和限制。
，因此在 Encoder 和 Decoder 的 while 循环中添加 2 行，如下所示：
outputBuffer.position(bufferInfo.offset);
outputBuffer.limit(bufferInfo.offset + bufferInfo.size);
https://gist.github.com/kenokabe/9029256/revisions https://gist.github.com/kenokabe/9029256/revisions
然而结果是一样的。
现在，我认为错误是：W/SoftAAC2﹕ AAC decoder returned error 16388, substituting silence.表明该解码器从一开始就完全失败。又来了the data is not seekable问题。在 Android 上寻找 AAC 流 https://stackoverflow.com/questions/3933387/seeking-in-aac-streams-on-android如果 AAC 解码器不能以这种方式处理流数据而只能添加一些标头，这是非常令人失望的。
UPDATE2：UDP接收方做错了，所以修改
https://gist.github.com/kenokabe/9029256 https://gist.github.com/kenokabe/9029256
现在，错误
W/SoftAAC2﹕ AAC decoder returned error 16388, substituting silence.消失了！！
因此，这表明解码器至少可以正常工作，
然而，这是 1 个周期的日志：
D/AudioRecoder﹕ 4096 bytes read
D/AudioEncoder﹕ 360 bytes encoded
D/UDP Receiver﹕ received !!! from /127.0.0.1:39000
D/UDP Receiver﹕ 360 bytes received
D/AudioDecoder﹕ 8192 bytes decoded
PCM(4096)->AACencoded(360)->UDP-AAC(360)->(应该是)PCM(8192)
最终结果大约是原始PCM大小的2倍，但仍然有问题。
所以我的问题是
您能否正确优化我的示例代码以使其正常工作？
这是正确的使用方法吗AudioTrack用于动态播放解码的 PCM 原始数据的 API，您能告诉我正确的方法吗？示例代码值得赞赏。
谢谢。
附言。我的项目目标是 Android4.1+(API16)，我读过 API18(Andeoid 4.3+) 上的事情更容易，但出于明显的兼容性原因，不幸的是，我必须在这里跳过 MediaMuxer 等...
