程序员经验分享-hwhale

18个实时音视频开发中会用到开源项目

2023-05-16

实时音视频的开发学习有很多可以参考的开源项目。一个实时音视频应用共包括几个环节：采集、编码、前后处理、传输、解码、缓冲、渲染等很多环节。每一个细分环节，还有更细分的技术模块。比如，前后处理环节有美颜、滤镜、回声消除、噪声抑制等，采集有麦克风阵列等，编解码有VP8、VP9、H.264、H.265等。

我们今天汇总了一些能帮助到正在学习或进行音视频开发的实时音视频开发者们的开源项目与几个也在为开源社区贡献力量的商业服务。这些项目分为几类：音视频编解码类、视频前后处理、服务端类等。

音视频编解码类开源项目

视频编解码的作用，就是在设备的摄像头采集画面和前处理后，将图像进行压缩，进行数字编码，用于传输。编解码器的优劣基本在于：压缩效率的高低，速度和功耗。

目前，主流的视频编码器分为3个系列：VPx（VP8，VP9），H.26x（H.264，H.265），AVS（AVS1.0，AVS2.0）。VPx系列是由Google开源的视频编解码标准。在保证相同质量情况下，VP9相比VP8码率减少约50%。H.26x系列在硬件支持上比较广泛，H.265的编码效率能比上一代提高了30-50%，但是复杂度和功耗会比上一代大很多，所以纯软件编码实现的话有一定瓶颈，现有的技术下，还是需要依靠硬件编解码为主。AVS是我国具备自主知识产权的第二代信源编码标准，目前已经发展到第二代。

WebRTC

首先会用到的肯定是WebRTC，是一个支持网页浏览器进行实时语音对话或视频对话的开源项目。它提供了包括音视频的采集、编解码、网络传输、显示等功能。如果你想基于WebRTC开发实时音视频应用，需要注意，由于WebRTC缺少服务端设计和部署方案，你还需要将WebRTC与Janus等服务端类开源项目结合即可。

官网地址：https://webrtc.org/

x264

H.264是目前应用最广的码流标准。x264则是能够产生符合H.264标准的码流的编码器，它可以将视频流编码为H.264、MPEG-4 AVC格式。它提供了命令行接口与API，前者被用于一些图形用户接口例如Straxrip、MeGUI，后者则被FFmpeg、Handbrake等调用。当然，既然有x264，就有对应HEVC/H.265的x265。

官网地址：https://www.videolan.org/deve...

FFmpeg

FFmpeg大家应该不陌生，提供了编码、解码、转换、封装等功能，以及剪裁、缩放、色域等后期处理，支持几乎目前所有音视频编码标准（由于格式众多，我们就不一一列列举了，可以在Wikipedia中找到）。

同时，FFmpeg还衍生出了libav项目，从中诞生了视频解码器LAV，许多播放软件都可调用LAV进行解码，并且LAV本身也支持利用显卡进行视频硬解。很多主流视频播放器中都以FFmpeg作为内核播放器。不仅仅是视频播放器，就连Chrome这类可以播放网页视频的浏览器也受益于FFmpeg。很多开发者也基于FFmpeg做过很多开发并开源出来，比如大神雷霄骅（代码可见他的sourceforge）。

官网地址：http://ffmpeg.org/

ijkplayer

在介绍ijkplayer之前，要先提到ffplay。ffplay是一个使用了FFmpeg和sdl库的可移植的媒体播放器。ijkplay是Bilibili开源的基于ffplay.c实现的轻量级iOS/Android视频播放器，API易于集成，且编译配置可裁剪，利于控制安装包大小。

在编解码方面，ijkplayer支持视频软解和硬解，可以在播放前配置，但在播放过程中则不能切换。iOS和Android上视频硬解可分别使用大家熟悉的VideoToolbox和MediaCodec。但ijkplayer对音频仅支持软解。

Github地址：https://github.com/Bilibili/i...

JSMpeg

JSMpeg是一个基于JavaScript的MPEG1视频的解码器。如果要做H5端的视频直播，可以考虑使用JSMpeg在移动端进行解码。在H5端做音视频直播，可以使用JSMpeg进行视频解码，这也是最近比较火的H5抓娃娃的主流策略。

Github地址：https://github.com/phoboslab/...

Opus

Opus是用C语言开发的一个高灵活度的音频编码器，针对ARM、x86有特殊优化，fix-point实现。Opus在各方面都有着明显优势。它同时支持语音与音乐的编码，比特率为6k-510k。它融合了SILK编码方法和CELT编码方法。SILK原本被用于Skype中，基于语音信号的线性预测分析（LPC），对音乐支持并不好。而CELT尽管适用于全带宽音频，但对低比特率语音的编码效率不高，所以两者在Opus中形成了互补。

Opus是“取代”了Speex。但是Speex中有的功能，Opus却没有，比如回声消除。这个功能已经从编码器中独立出来。所以如果想实现好的回声消除，可以配合WebRTC的AEC和AECM模块做二次开发。

官网地址：https://opus-codec.org/

live555

live555是一个C++流媒体开源项目，其中不仅包括了传输协议（SIP、RTP）、音视频编码器（H.264、MPEG4）等，还包括流媒体服务器的例子，是流媒体项目的首选，里面的传输模块是非常值得视频会议开发作为参考的。

官网地址：http://www.live555.com/

音视频前后处理开源项目

前后处理包含很多细分技术，应用正确的话，对视频质量或多或少都有提升。不过每增加一个处理环节，必然会增加运算量与延时，所以如何取舍，还要大家各自斟酌。
Seetaface

Seetaface是由中科院山世光老师开源的一套完整的人脸检测，人脸对齐和人脸验证方案。代码基于C++实现，开源协议为BSD-2，可供学术界和工业界免费使用。且不依赖于任何第三方的库函数，在使用对齐好的LFW图片上，检测对齐全部使用该开源软件的情况下可达到97.1%。

Github地址：https://github.com/seetaface/...

GPUImage

现在在iOS端做美颜效果、加水印，基本都会采用GPUImage，它内置了125种渲染效果, 还支持脚本自定义。该项目实现了图片滤镜、摄像头实时滤镜。它优势在于处理效果是基于GPU实现，相对于CPU处理性能更高。

Github地址：https://github.com/BradLarson...

Open nsfw model

Open nsfw model是雅虎开源项目，全名是Open Not suitable for work model，专门鉴别不适合工作时间浏览的图片（言而言之就是小黄图）。它是基于Caffe框架训练的模型，用于音视频后处理。不过，它还不能鉴别恐怖、血腥图片。

Github地址：https://github.com/yahoo/open...

Soundtouch

Soundtouch是一个开源的音频处理框架，主要功能对音频变速、变调，实现变声的效果。同时，它也能对媒体流实时处理。采用32位浮点或者16位定点，支持单声道或者双声道，采样率范围为8k - 48k。

官网地址：http://www.surina.net/soundto...

服务端类开源项目

正如开始时我们所说，WebRTC缺少服务端的设计与部署，利用MCU、SFU实现多人聊天，提高传输质量，都需要开发者自己动手。而下面这些开源项目能够帮到你。

Jitsi

Jitsi是开源的视频会议系统，可以实现在线视频会议，文档共享和即时消息的分享。它支持网络视频会议，使用SFU模式实现视频路由器功能。开发语言是Java。它支持SIP帐号注册电话呼叫。不仅支持单机本地安装方式，还支持云平台安装。

官网地址：https://jitsi.org/

JsSIP

JsSIP是基于WebRTC的JavaScript SIP协议实现的库，可以在浏览器和Node.js中运行。它可以与 OverSIP、Kamailio、Asterisk、OfficeSIP等SIP Server一起运行。

Github地址：https://github.com/versatica/...

SRS

SRS是一个采用MIT协议授权的国产的简单的RTMP/HLS 直播服务器。最新版还支持FLV模式，同时具备了RTMP的实时性，以及HLS中属于HTTP协议对各种网络环境高度适应性，并且支持更多播放器。它的功能与nginx-rtmp-module类似, 可以实现RTMP/HLS的分发。

Github地址：https://github.com/ossrs/srs

JRTPLIB

JRTPLIB 是一个开源的 RTP协议实现库，支持Windows和unix平台。它支持多线程，处理性能较好。它还支持RFC3550、UDP IPV6，支持自定义扩展传输协议。但它不支持TCP传输，这需要开发者自己来实现。同时，它也不支持音视频的分包，代码要你自己来实现。

Github地址：https://github.com/j0r1/JRTPLIB

OPAL

OPAL是OpenH323的下一个版本，继承了Openh323协议，其新包含了SIP协议栈，是实现SIP协议的首选，缺点是参考例子较少。

代码地址：http://sourceforge.net/projec...

Kurento

Kurento是一个基于WebRTC的媒体服务端，并包含了一系列API，可以简化web与移动端实时视频应用的开发。

Github地址：https://github.com/Kurento

Janus

Janus是一个WebRTC媒体网关。不论是做流媒体、视频会议、录制、网关，都可以基于Janus来实现。

Github地址：https://github.com/Kurento

其它服务

Callstats.io

实时通信过程中的，延时、丢包、接通率、掉线率等质量问题，都影响用户体验。商用项目尤其需要关注。Callstats是一家通过对WebRTC呼叫进行专业监测，来帮助用户搜集通讯数据，提升通话质量的服务商。

Callstats也通过Github开放很多案例，可供使用Jitsi-videobridge,、turn-server、JsSIP的开发者参考。

Github地址：https://github.com/callstats-io

Meetecho

Meetecho是著名的开源WebRTC网关项目Janus的开发者。他们还提供基于Janus开发的技术咨询与部署服务、建立视频会议直播与录制服务等。

Github地址：https://github.com/carlhuda/j...

声网Agora

声网提供了从编解码到端到端传输的全套服务，开发者可以接入上文所述的音视频前后处理的开源项目，配合使用声网SDK可以建立高质量的实时音视频应用。四行代码，30分钟即可让完成集成。在Web端，Agora Web SDK可以帮助WebRTC开发者解决服务端传输中会遇到的卡顿、延时、回声、多人视频不稳定等问题。

同时，声网在Github上也有70多个可供开发者参考、实践的demo，覆盖了从网页端、iOS到Android平台，以及音视频直播、游戏连麦、企业会议、AR、直播答题、小程序等多种实时互动应用场景。

官网地址：https://Agora.io

Github地址：https://github.com/AgoraIO

我们在这里列出了18个开源项目，以及3个能有效保证实时音视频传输质量的服务。不过篇幅有限，还有很多开源项目我们没有详细列出，比如在音视频方面，Xiph.org的Speex、FLAC，还有Xvid、libvpx、Lagarith、Daala、Thor等。欢迎大家继续补充。

作者：声网Agora(微信:shegnwang-agora）
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

个实时音视频开发中会用到开源项目

18个实时音视频开发中会用到开源项目 的相关文章

  • javaweb各种框架组合案例(六)：springboot+spring data jpa（hibernate）+restful

    一 介绍 1 springboot是spring项目的总结 43 整合 当我们搭smm ssh ssjdbc等组合框架时 xff0c 各种配置不胜其烦 xff0c 不仅是配置问题 xff0c 在添加各种依赖时也是让人头疼 xff0c 关键有

  • vue 如何取数组的某个值,vue提取json中，某一个元素的值，并且用value组成一个数组...

    这个是瞎捣鼓出来的 需要是做一个下拉select选择框 xff0c 因为用的是vant xff0c 所以代码是这样的 readonly clickable name 61 34 areaCode 34 value 61 34 value 3

  • 嵌入式开发的职业前景分析

    嵌入式开发的职业前景分析 http developer 51cto com 2010 01 06 09 53 佚名 互联网 我要评论 5 嵌入式开发由于应用广泛而有着很大的发展潜力 xff0c 但这方面的人才目前并不多 本文介绍了嵌入式开发

  • 无人机炸机再不怕，这款降落伞带你飞！

    以色列公司研究出一款可以保证无人机安全飞行的降落伞 无人机的出现开辟了新的航空天地 xff0c 人们在享受它带来方便的同时 xff0c 也对它炸机的危险表示深深的担忧 为什么人们对无人机炸机会有那么深的顾虑 xff1f 其一是炸机的诱因很多

  • 谈谈我学习图像处理的经历与收获

    谈谈我学习图像处理的经历与收获 大概是在2011年年底的时候 xff0c 我在家里整理以前的IT书籍 发现我买的几本图像处理的书 xff0c 于是我又随手翻了翻 xff0c 发现自己还是挺感兴趣的 xff0c 就直接放到书架上了 xff0c

  • GPS数据读取与处理

    GPS数据读取与处理 GPS模块简介 SiRF芯片在2004年发布的最新的第三代芯片SiRFstar III xff08 GSW 3 0 3 1 xff09 xff0c 使得民用GPS芯片在性能方面登上了一个顶峰 xff0c 灵敏度比以前的

  • 想自己造无人机吗？Intel推出基于 Linux x86的自助无人机开发板

    英特尔开发论坛会议消息 xff1a 英特尔手里不乏新的和升级的硬件工具包 xff0c 从无人机自助套件到各种大气的物联网包不等 xff0c 工程玩家利用这些无人机硬件可以自己组装无人机 Aero组装套件是一个最好玩的包 xff0c 即日起接

  • 回眸--从高考到程序猿

    杨过等待了小龙女16年 xff0c 终成眷属 xff0c 从此郎情妾意双双在浪迹天涯 而参加高考后也奋斗了16年 xff0c 梦中却总是想起回眸后那流泪的脸 19年前 xff0c 我们那里流行的不是高考 xff0c 而是中考 xff0c 因

  • istanbul —— JavaScript 代码覆盖率检查工具

    istanbul 是一个 JavaScript 的代码覆盖率检查工具 https yqfile alicdn com e6425e746f3af8cef9c3e64dde6ff2f9a336929d png 34 gt 文章转载自 开源中国

  • vscode怎么修改颜色主题里的某种颜色

    我习惯用深色主题 齿轮 gt 颜色主题 gt monokai是我的菜 比较精神 又不刺眼 但是这个主题的注释的颜色太浅了 几乎和背景重合 注释很重要 能体现和记录自己的代码思路 所有 改变一下comment的颜色很重要 在vscode图标右

  • 双系统linux安装分区详解,win10环境下安装Ubantu双系统(详解图解)

    1 准备工作 xff1a 先去ubantu官网 https www ubuntu com download 去下载ubantu镜像 根据自己的实际情况选择32位的或者64位的 xff0c 现在的电脑大部分已经都是4g内存了 xff0c 我推

  • Ubuntu - 硬盘分区、格式化、自动挂载配置

    Ubuntu系统的硬盘空间不够用了 xff0c 需要增加新的硬盘扩容 将硬盘分区 格式化 自动挂载配置的整个过程记下来 xff0c 备忘 运行环境 Enviroment Ubuntu 10 10 一 硬盘分区 Hard disk add n

  • linux下安装F-prot杀毒软件

    一 f xff0d prot的安装 1 首先我们要创建一个带有超级权限的用户 sudo passwa root 2 su 切换用户 3 下载F prot http www f prot com download home user down

  • 使用Github自动构建Docker

    原文链接 xff1a http yangbingdong com 2017 docker automated build by github 一开始玩Docker总是用别人的镜像确实很爽歪歪 But xff0c 如果要定制个性化的Image

  • 常用 API 函数(6): 菜单函数

    AppendMenu在指定的菜单里添加一个菜单项CheckMenuItem复选或撤消复选指定的菜单条目CheckMenuRadioItem指定一个菜单条目被复选成 34 单选 34 项目CreateMenu创建新菜单CreatePopupM

  • 视觉slam闭环检测之-DBoW2 -视觉词袋构建

    视觉slam闭环检测之 DBoW2 视觉词袋构建 利用 BoVW 表示图像 xff0c 将图像进行结构化描述 BoVW思想是将图像特征整合成视觉单词 xff0c 将图像特征空间转化成离散的视觉字典 将新的图像特征映射到视觉字典中最近邻视觉字

  • Boosting算法简介

    一 Boosting算法的发展历史 Boosting算法是一种把若干个分类器整合为一个分类器的方法 xff0c 在boosting算法产生之前 xff0c 还出现过两种比较重要的将多个分类器整合为一个分类器的方法 xff0c 即boostr

  • 关于嵌入式的学习和职业发展

    最近我的工作太忙了 身边朋友问我如何学习嵌入式 xff0c 在这个行业健康的发展 我一直未能做一个系统的回答 这里我想写篇文章 xff0c 彻底的回答这个问题 嵌入式 xff0c 这是个术语 在我看来 xff0c 嵌入式系统是 xff1a

  • Docker Hub + Github 自动化构建docker镜像

    自动创建 xff08 Automated Builds xff09 功能对于需要经常升级镜像内程序来说 xff0c 十分方便 有时候 xff0c 用户创建了镜像 xff0c 安装了某个软件 xff0c 如果软件发布新版本则需要手动更新镜像

随机推荐

  • ubuntu下旋转屏幕

    2019独角兽企业重金招聘Python工程师标准 gt gt gt ubuntu下把屏幕竖起来的方法很简单 xff1a xrandr o left 向左旋转90度 xrandr o right 向右旋转90度 xrandr o invert

  • Java 如何实现线程间通信

    正常情况下 xff0c 每个子线程完成各自的任务就可以结束了 不过有的时候 xff0c 我们希望多个线程协同工作来完成某个任务 xff0c 这时就涉及到了线程间通信了 本文涉及到的知识点 xff1a thread join object w

  • rtmp拉流测试工具

    http www cutv com demo live test swf 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61

  • 微信PC客户端无法发送图片，怎么解决？

    今天登陆电脑的微信客户端 xff0c 无法发送截图图片 xff0c 该怎么办 xff1f 解决方法 1 在任务栏找到程序 xff0c 右键找到设置 2 找到通用设置下的清除聊天记录 3 重启Pc微信客户端就可以 PS 本人测试过 xff0c

  • sql server 索引总结一

    一 存储结构 在SQL Server中 xff0c 有许多不同的可用排列规则选项 二进制 xff1a 按字符的数字表示形式排序 ASCII码中 xff0c 用数字32表示空格 xff0c 用68表示字母 34 D 34 因为所有内容都表示为

  • CSS 为什么这么难学？

    最近半年 xff0c 我一直都没在知乎上遇到好的前端问题 xff0c 而这个问题 xff0c 问到我心坎上了 在过去一年的教学过程中 xff0c 不断有学生尝试理性地理解 CSS xff0c 都以失败告终 我告诉他们 CSS 是没有逻辑可言

  • 时间复杂度分析经典问题——最大子序列和

    时间复杂度经典问题 最大子列和问题 最大子序列和问题 最大子列和问题是非常经典的问题 xff0c 基本上讲算法的书都会将这个例子 xff0c 用此例题来讲解算法时间复杂度的重要性 xff0c 对比不同算法的时间复杂度 最大子列和问题如下 x

  • 无法运行宏，可能是因为该宏在此工作簿中不可用，或者所有的宏都被禁用的解决方法...

    此行为发生以下条件之一都为真时 xff1a 宏存储在未打开的文件中 宏已被禁用 若要确定是否已禁用了宏 xff0c 请按照下列步骤操作 xff1a 单击 Microsoft Office 按钮 xff0c 然后单击 Excel 选项 单击

  • h3c vlan配置

    1 基于端口的VLAN配置命令 SWA vlan 10 创建VLAN SWA vlan10 port Ethernet1 0 1 向当前VLAN添加端口 SWA vlan 20 创建VLAN SWA vlan20 port Ethernet

  • LMDB概述

    2019独角兽企业重金招聘Python工程师标准 gt gt gt 发现一篇讲解LMDB不错的文章 xff0c 记录一下 xff0c 原文在这里 Overview homepage http symas com mdb https gith

  • GPU加速的FAST特征提取 Faster than FAST: GPU-Accelerated Frontend for High-Speed VIO (IROS 2020)

    在许多的VIO Pipeline中 xff0c 视觉特征通常依靠图像数据的detection和tracking 这两个部分通常会比较耗时 xff0c 比如一些经典的算子 xff0c 运算量都比较大 xff0c 如果将这些视觉前端用GPU进行

  • 什么是死锁及死锁的必要条件和解决方法【转】

    来自 xff1a http blog 163 com yanenshun 64 126 blog static 128388169200982444858590 fromdm amp fromSearch amp isFromSearchE

  • 获取C# RadioButton选中值

    C RadioButton的一些属性介绍 1 C RadioButton只允许用户从几个选项中选择一个 xff0c 同一个容器中一次只能选择一个按钮 xff1b 2 C RadioButton的Appearance属性 xff1a 根据的以

  • vc-api-枚举所有子窗口实例

    我经常想枚举一个父窗口的所有子窗口 xff0c 网上搜索了很多都没有搞的太懂 xff0c 经过多次实践 xff0c 总算搞明白了 xff0c 发一个最简单的实例 xff0c 希望能给大家带来帮助 实例 xff1a 枚举QQ登陆这个窗口所有的

  • VC 获取鼠标下面的窗口

    POINT pt GetCursorPos amp pt 得到鼠标下面的窗口句柄 HWND hWnd 61 WindowFromPoint pt 得到鼠标所在的子窗口句柄 HWND hChild 61 ChildWindowFromPoin

  • [SE]软件项目需求分析为什么困难

    有几种原因使需求分析变得困难 xff1a xff08 1 xff09 客户说不清楚需求 xff1b xff08 2 xff09 需求自身经常变动 xff1b xff08 3 xff09 分析人员或客户理解有误 1 客户说不清楚需求 有些客户

  • C++到底还能做什么？

    嗯 xff0c 这是一位朋友发到我邮箱里面的 xff0c 很奇怪 xff0c 发到了gmail邮箱 xff0c 而不是我常用的hotmail邮箱哈 我呢 xff0c 试着回答一下 xff0c 如果回答得不好 xff0c 叫做肖某人学艺不精

  • Docker 创建 MySQL 容器

    2019独角兽企业重金招聘Python工程师标准 gt gt gt 1 拉取镜像 docker pull mysql 5 7 2 查看当前所有的镜像 docker image ls 3 创建并启动一个容器 docker run name t

  • 深入理解Arrays.sort()

    翻译人员 铁锚 翻译日期 2013年11月16日 原文链接 Deep Understanding of Arrays sort T Comparator lt super T gt c Arrays sort T Comparator lt

  • 18个实时音视频开发中会用到开源项目

    实时音视频的开发学习有很多可以参考的开源项目 一个实时音视频应用共包括几个环节 xff1a 采集 编码 前后处理 传输 解码 缓冲 渲染等很多环节 每一个细分环节 xff0c 还有更细分的技术模块 比如 xff0c 前后处理环节有美颜 滤镜

热门标签