在 FFmpeg 中正确分配和填充帧

我正在填写一个Frame使用 BGR 图像进行编码，但出现内存泄漏。我想我找到了问题的根源，但它似乎是一个库问题。由于 FFmpeg 是一个如此成熟的库，我认为我误用了它，我希望得到指导如何正确地使用它。

我正在分配一个Frame using:

AVFrame *bgrFrame = av_frame_alloc();

后来我将图像分配在Frame using:

av_image_alloc(bgrFrame->data, bgrFrame->linesize, bgrFrame->width, bgrFrame->height, AV_PIX_FMT_BGR24, 32);

然后我使用以下方法填充分配的图像：

av_image_fill_pointers(bgrFrame->data, AV_PIX_FMT_BGR24, bgrFrame->height, originalBGRImage.data, bgrFrame->linesize);

Where originalBGRImage是一个 OpenCVMat.

显然，这有内存泄漏，av_image_alloc()分配内存，并且av_image_fill_pointers()还分配内存，在相同的指针上（我可以看到bgrFrame->data[0]在通话之间更改）。

如果我打电话

av_freep(&bgrFrame->data[0]);

After av_image_alloc()，没关系，但如果我之后调用它av_image_fill_pointers()，程序崩溃了，尽管bgrFrame->data[0] is not NULL，我觉得很好奇。

寻找 FFmpeg 的av_image_alloc() 源代码 https://www.ffmpeg.org/doxygen/2.6/imgutils_8c_source.html#l00192，我看到它调用av_image_fill_pointers()两次在其中，一次分配一个缓冲区buff....然后在av_image_fill_pointers() 源代码 https://www.ffmpeg.org/doxygen/2.6/imgutils_8c_source.html#l00110, data[0]被图像指针取代，这是（我认为）内存泄漏的根源，因为data[0]拿着buf从上一个av_image_alloc() call.

所以这带来了最后一个问题：用图像填充框架的正确方法是什么？.

您应该分配一次框架。

AVFrame* alloc_picture(enum PixelFormat pix_fmt, int width, int height)
{
AVFrame *f = avcodec_alloc_frame();
if (!f)
    return NULL;
int size = avpicture_get_size(pix_fmt, width, height);
uint8_t *buffer = (uint8_t *) av_malloc(size);
if (!buffer) {
    av_free(f);
    return NULL;
}
avpicture_fill((AVPicture *)f, buffer, pix_fmt, width, height);
return f;
}

是的，允许强制转换 (AVPicture*)https://stackoverflow.com/a/20498359/2079934 https://stackoverflow.com/a/20498359/2079934。 在后续帧中，您可以写入此帧。由于您的OpenCV原始数据是BGR并且您需要RGB或YUV，因此您可以使用sws_scale。在我的应用程序中，我垂直镜像：

struct SwsContext* convertCtx = sws_getContext(width, height, PIX_FMT_RGB24, c->width, c->height, c->pix_fmt, SWS_FAST_BILINEAR, NULL, NULL, NULL);
avpicture_fill(&pic_raw, (uint8_t*)pixelBuffer, PIX_FMT_RGB24, width, height);
// flip
pic_raw.data[0] += (height - 1) * pic_raw.linesize[0]; 
pic_raw.linesize[0] *= -1;
sws_scale(convertCtx, pic_raw.data, pic_raw.linesize, 0, height, f->data, f->linesize);
out_size = avcodec_encode_video(c, outputBuffer, outputBufferSize, f);

（您可以根据您的需要调整 PIX_FMT_RGB24 并从中读取cv::Mat无需复制数据。）