TL;DR:我想从 AVI/MP4 文件读取原始 h264 流，甚至是损坏/不完整的。
几乎所有有关 h264 的文档都告诉我它由 NAL 数据包组成。好的。几乎所有地方都告诉我，数据包应该以这样的签名开头00 00 01 or 00 00 00 01。例如，https://stackoverflow.com/a/18638298/8167678, https://stackoverflow.com/a/17625537/8167678
H.264的格式是由NAL单元组成，每个单元开始 具有三个字节的起始前缀，值为 0x00、0x00、0x01 每个单位都有不同的类型，具体取决于第四个的值 这 3 个起始字节之后的字节。一个 NAL 单元不是一帧 视频中，每一帧由多个NAL单元组成。
Okay.
我下载了 random_youtube_video.mp4 并从中删除一帧：
ffmpeg -ss 10 -i random_youtube_video.mp4 -frames 1 -c copy pic.avi
And got:
Red part - this is part of AVI container, other - actual data.
As you can see, here I have 00 00 24 A9 instead of 00 00 00 01
这个AVI文件可以完美播放
I do same for mp4 container:
正如您所看到的，这里的字节完全相同。这个MP4文件可以完美播放
I try to strip out raw data:
ffmpeg -i pic.avi -c copy pic.h264
This file can't play in VLC or even ffmpeg, which produced this file, can't parse it:
I downloaded mp4 stream analyzer and got:
MP4Box告诉我：
Cannot find H264 start code
Error importing pic.h264: BitStream Not Compliant
当什么都不起作用时，学习 h264 的内部结构是非常困难的。
所以，我有疑问:
UPDATE:
ffmpeg 中似乎有错误：
当我进行双重转换时：
ffmpeg -ss 10 -i random_youtube_video.mp4 -frames 1 -c copy pic.mp4
ffmpeg pic.mp4 -c copy pic.h264
但是当我直接转换文件时：
ffmpeg -ss 10 -i random_youtube_video.mp4 -frames 1 -c copy pic.h264
我有 NAL 签名和一个额外的 NAL 单元。其他字节相同（选定）。
这是错误？
UPDATE
不，这不是错误，您必须使用选项 -bsf h264_mp4toannexb 将流保存为“Annex B”格式（带前缀）
“我想从 AVI 文件中读取原始 h264 流，甚至是损坏/不完整的文件。”
“几乎所有地方都告诉我，数据包应该以如下签名开头：
00 00 01or00 00 00 01"“......如你所见，我在这里
00 00 24 A9代替00 00 00 01"
您的 H264 是 AVCC 格式，这意味着它使用数据sizes（而不是数据起始码）。只有附件 B 才会有您提到的签名作为起始代码。
您寻找帧，不是通过寻找起始代码，而是只是跳过帧大小以达到（请求的）帧的最终正确偏移量......
AVI 处理：
读取大小（四）字节（32 位整数，小尾数法).
提取接下来的字节，直至达到 size amount。
这是您的 H.264 帧（AVCC 格式），解码字节以查看图像。
要转换为附件 B，请尝试替换 H.264 的前 4 个字节帧字节 with 00 00 00 01.
考虑您显示的 AVI 字节（请参阅first图片） ：
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................
00 00 00 00 4C 49 53 54 BA 24 00 00 6D 6F 76 69 ....LISTº$..movi
30 30 64 63 AD 24 00 00 00 00 24 A9 65 88 84 27 00dc.$....$©eˆ„'
C7 11 FE B3 C7 83 08 00 08 2A 7B 6E 59 B5 71 E1 Ç.þ³Çƒ...*{nYµqá
E3 9C 0E 73 E7 10 50 00 18 E9 25 F7 AA 7D 9C 30 ãœ.sç.P..é%÷ª}œ0
E6 2F 0F 20 00 3A 64 AA CA 5E 4F CA FF AE 20 04 æ/. .:dªÊ^OÊÿ® .
07 81 40 00 48 00 0A 28 71 21 84 48 06 18 90 0C [email protected]..(q!„H....
31 14 57 9E 7A CD 63 A0 E0 9B 96 69 C5 18 AE F2 1.WžzÍc à›–iÅ.®ò
E6 07 02 29 01 20 10 70 A1 0F 8C BC 73 F0 78 FA æ..). .p¡.Œ¼sðxú
9E 1D E1 C2 BF 8C 62 CE CE AC 14 5A A4 E1 45 44 ž.á¿ŒbÎά.Z¤áED
38 38 85 DB 12 57 3E F6 E0 FB AE 03 04 21 62 8D 88…Û.W>öàû®..!b.
F6 F1 1E 37 1C A2 FF 75 1C F1 02 66 0C 92 07 06 öñ.7.¢ÿu.ñ.f.’..
15 7C 90 15 6F 7D FC BD 13 1E 2B 0C 14 3C 0C 00 .|..o}ü½..+..<..
B0 EA 6F 53 B4 98 D7 80 7A 68 3E 34 69 20 D2 FA °êoS´˜×€zh>4i Òú
F0 91 FC 75 C6 00 01 18 C0 00 3B 9A C5 E2 7D BF ð‘üuÆ...À.;šÅâ}¿
一些解释：
忽略前导多个00 bytes.
4C 49 53 54 D6 3C 00 00 6D 6F 76 69包括30 30 64 63= AVI“列表”标题。
AD 24 00 00== 小数9389是AVI自己的H264项目大小（必须读入小尾数法).
请注意，AVI 字节包括...
-的一个注释item总计size (AD 24 00 00...或反转为 Little Endian ：00 00 24 AD)
-其次是item data (00 00 24 A9 65 88 84 27 ... etc ... C5 E2 7D BF).
This size包括 AVI 的 4 个字节”size" 条目 + 预期字节长度item自己的字节。可以简单地写为：
AVI_Item_Size = ( 4 + item_H264_Frame.length );
AVI 中的 H.264 视频帧字节 :
接下来是item数据，即 H.264视频帧。由于格式/字节布局的纯粹巧合，它也包含一个 4 字节条目data's size（由于您的 H264 是 AVCC 格式，如果它是附件 B，那么您将在此处看到起始代码字节而不是大小字节）。
与 AVI 字节不同，这些 H264size字节被写入大尾数法 format.
00 00 24 A9= 该视频帧的字节大小（而不是起始代码：00 00 00 01).
65 88 84 27 C7 11 FE B3 C7= H.264keyframe（始终以 X5 开头，其中X值基于其他设置）。
请记住，在四个大小字节（甚至起始代码）之后，如果后面跟着...
X5= 关键帧 (IDR)，示例字节65.X1= P 或 B 帧，示例字节41.X6= SEI（补充增强信息）。X7= SPS（序列参数集）。X8= PPS（图片参数集）。00 00 00 X9= 访问单元分隔符。如果您在 AVI 文件中搜索完全相同的字节，则可以找到 H.264。看third图片，这些是您的 H.264 字节（它们被剪切并粘贴到 AVI 容器中）。
有时，一个帧会被分割成不同的 NAL 单元。因此，如果您提取关键帧并且它仅显示 1/2 或 1/3 而不是完整图像，只需抓取下一个或两个 NAL 并重新尝试解码。