文章转载自：http://www.jianshu.com/p/5c7bec29fdbd
一直对音视频这块比较感兴趣，但是一直不知道从何下手，终于找到了比较好的资料，希望通过接下来的时间好好研究一下FFMPEG相关的知识，这里感谢一下雷霄骅大神，大神虽去但是留下来多少经典的文章，虽然都是通信出身，相比之下太多惭愧，唯有努力学习了。希望通过简书能够记录学习过程中的心得体会，以及觉得重要的知识点，以作备忘。
我们常见的avi，rmvb，mp4，flv，mkv等格式的视频，他们的后缀代表的是他们的封装格式的不同，就是把视频数据和音频数据按照既定的规范进行打包个和规范。但是这个后缀只是一种简单的方式我们并不能发现他其中的编码标准，通过mac的显示文件简介我们可以看到，他采用了AAC的音频编码和H.264的压缩编码标准。
如上图所示，视频播放主要主要几个步骤主要为：解协议(网络视频) - >解封装->视频解码 ->视音频同步
个人理解可以简单的概括为一下内容:协议有RTMP，HTTP等，解析仪后得到FLV(RTMP协议解析的)等形式的数据。之后我们再对FLV等格式的数据进行解封装，得到的是H.264编码的视频码流和AAC编码的音频码流。通过解码，压缩编码的视频数据输出成为非压缩的颜色数据，例如YUV420P，RGB等等；压缩编码的音频数据输出成为非压缩的音频抽样数据，例如PCM数据。
YUV主要用于优化彩色视频信号的传输，使其向后相容老式黑白电视。与RGB视频信号传输相比，它最大的优点在于只需占用极少的频宽（RGB要求三个独立的视频信号同时传输）。其中“Y”表示明亮度（Luminance或Luma），也就是灰阶值；而“U”和“V” 表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色,YUV百度百科介绍。
原文：视音频数据处理入门：H.264视频码流解析，包含代码。
H.264原始码流（又称为“裸流”）是由一个一个的NALU组成的。1个NALU存储1帧画面的压缩编码后的数据。压缩方法能够将图像数据压缩100倍以上。
他们的结构如下图所示。
其中每个NALU之间通过startcode（起始码）进行分隔，起始码分成两种：0x000001（3Byte）或者0x00000001（4Byte）。如果NALU对应的Slice为一帧的开始就用0x00000001，否则就用0x000001。
H.264码流解析的步骤就是首先从码流中搜索0x000001和0x00000001，分离出NALU；然后再分析NALU的各个字段。
那么NALU指的是什么呢？由文中的代码可以看到NALU分为多个类型。H264在网络传输的是NALU，NALU的结构是：NAL头+RBSP，实际传输中的数据流如图所示：
H264--2--语法及结构对NAL头和RBSP讲解还是比较多的，推荐。
源码中我们提供H.264源码的文件，通过C语言代码的程序能够打印出视频码流解析的数据。如果我们使用ESEyE工具，显示H.264的源数据文件，显示的内容如下：
上图中纵坐标代表数据量的大小
I帧 当做一张图片直接压缩 不依赖于其他的帧
P帧 会依赖前面的帧 不在存储 I帧 已经存储的数据
B帧 依赖于前面的帧和后面的帧 双向参考 达到更大的压缩率
原理:AAC原始码流（又称为“裸流”）是由一个一个的ADTS frame组成的。他们的结构如下图所示。
其中每个ADTS frame之间通过syncword（同步字）进行分隔。同步字为0xFFF（二进制“111111111111”）。AAC码流解析的步骤就是首先从码流中搜索0x0FFF，分离出ADTS frame；然后再分析ADTS frame的首部各个字段。
原文包含AAC音频码流解析代码。
FLV封装格式是由一个FLV Header文件头和一个一个的Tag组成的。Tag中包含了音频数据以及视频数据。FLV的结构如下图所示。
原文包含FLV封装格式解析代码.
看完这几篇博客研究了下C的代码，觉得懵懵懂懂，坚持下去吧，接着学习去吧。
