写给小白的实时音视频技术入门提纲
本文来自七牛云Android 多媒体开发工程师卢俊的技术分享，即时通讯网有改动。
1、前言
这是由一篇我的演讲稿整理出来的文章，目标读者是对实时音视频开发感兴趣但是又不知道如何下手的初学者们，希望把我的经验分享出来，对大家有所帮助。
2、关于“我”
卢俊：七牛云直播客户端团队技术负责人。拥有丰富的音视频领域的开发和实战经验，先后开发过Android播放SDK /推流SDK，短视频SDK，并主导了七牛连麦系统的设计和实现。服务过上百家直播客户，包括熊猫、全民、龙珠、汽车之家、懂球帝等。
学习交流：
- 即时通讯开发交流3群：185926912[推荐]
- 移动端IM开发入门文章：《新手入门一篇就够：从零开发移动端IM》
（本文同步发布于：http://www.52im.net/thread-1620-1-1.html）
3、相关文章
《学习RFC3550：RTP/RTCP实时传输协议基础知识》
《基于RTMP数据传输协议的实时流媒体技术研究（论文全文）》
4、成长的烦恼
经常收到一些网友的来信或者留言，反馈如下这样的困惑：
“我是一名应届毕业生，该如何快速地成长起来” “我只懂 C/C++，是学 Android 开发有前途，还是 iOS 开发有前途？” “我是一名 Android/iOS 开发，已经可以独立完成一个完整的 App 开发上线，该如何继续提升？” “我想从事音视频开发，该如何入门？ 如何进阶 ？”
很高兴看到大家有这样的问题，因为这也从侧面反映了你是一个积极向上，想不断努力来提升自己的人。
我就先从一个简单的问题聊起，“到底 Android 开发有前途还是 iOS 开发有前途？”
其实这个问题跟 “PHP 是不是世界上最好的语言一样”，只会引发争论，却没有什么实际价值，在我看来，无论是 Windows、Linux、Android 还是 iOS 开发，都没有什么优劣之分。
它们其实都有着很多的共同点，那就是：
1）都是基于操作系统提供的 API 完成特定需求的实现
当然，也有些不同的地方，比如：
2）系统的 API 和特性不同
3）编程语言不同，Windows/Linux 以 C/C++ 为主，Android 以 Java 为主，iOS 以 Object C 为主等等。
但无论什么平台，他们的学习曲线其实是类似的，都要经历差不多如下的环节：
1）学习对应平台的编程语言，如：C/C++，Java，Object C，Javascript 等；
2）熟悉对应平台提供的 API，如：UI 库，网络，文件，数据库， 图片处理，多媒体处理 等等；
3）掌握平台相关的特性、框架和原理，如：Windows 的 WINSOCK，ODBC，WPF 等，Unix 的设计哲学，Android 的四大组件，iOS 的 MVC 模式等等；
4）通过具体的项目，熟悉和练手，达到可完成任意功能的开发。
当你已经走到第 4 步了后，往往就会感觉遇到了瓶颈，产生如文章开头的问题，下一步何去何从 ？
其实我一直有一个观点，就是：
“基于平台的 API 做应用开发，并不是一个可以走得多远的方向，真正有价值的地方在于与具体的业务方向结合”。
具体点说，比如：
1）网络安全；
2）音视频；
3）智能硬件；
4）深度学习；
5）大数据；
6）其他（比如：金融、通信等）。
在具体的业务领域，你可以慢慢沉淀下来，用自己的努力和时间换来对领域知识的深入理解和积累，逐渐从一个开发小白走向最懂这个行业的专家。
今天呢，我就主要跟大家分享下，如果你对实时音视频这个领域感兴趣，应该如何入门和提高 ？
5、实时音视频开发包括哪些技术内容
虽然一篇文章无法把音视频开发的知识点都介绍清楚，但是大概的学习路线还是可以梳理一下的，我们先看看下面这张图：
其实说白了，音视频开发，就是要掌握图像、音频、视频的基础知识，并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。
具体的技术内容如下：
采集：它解决的是，数据从哪里来的问题；
渲染：它解决的是，数据怎么展现的问题；
处理：它解决的是，数据怎么加工的问题；
传输：它解决的是，数据怎么共享的问题。
每一个门类，都可以深挖，衍生出一个又一个充满技术挑战的话题，比如：如何更高效地渲染画面、如何提高音视频的压缩比，如何优化弱网下的音视频数据传输等等。
其实，音视频开发的技术积累，也没有那么难，带着问题去 Google，带着任务去实践，一切都不是问题，我们就从上面说的 4 个方向，逐个探索一下，有哪些知识点，是要我们去了解和掌握的。
不管怎么说，实时音视频开发方面的理论基础是必须要有所了解的，比如以下系列文章：
《即时通讯音视频开发（五）：认识主流视频编码技术H.264》
《即时通讯音视频开发（九）：实时语音通讯的回音及回音消除概述》
《即时通讯音视频开发（十）：实时语音通讯的回音消除技术详解》
《即时通讯音视频开发（十一）：实时语音通讯丢包补偿技术详解》
《即时通讯音视频开发（十三）：实时视频编码H.264的特点与优势》
《即时通讯音视频开发（十五）：聊聊P2P与实时音视频的应用情况》
另外，《移动端实时音视频直播技术详解》这个系列文章能很好地对应上我刚说的这些技术点，建议读一读：
我们分别具体来看看采集、渲染、处理、传输等技术点。
6、具体技术点之采集
采集，它解决的是，数据从哪里来的问题，那么，数据究竟从哪里来的呢 ？
其实无论在哪个平台，图像、视频最初都是来自摄像头，而音频最初都是来自麦克风，因此，做音视频采集，就要掌握如下的技术知识。
1）系统的摄像头采集接口是什么，怎么用 ？
比如：
Windows：DirectShow
Linux：V4L2
Android：Camera
iOS：AVCaptureSession
2）系统的摄像头采集的参数怎么配置，都是什么含义 ？
比如：分辨率、帧率、预览方向、对焦、闪光灯 等。
3）系统的摄像头输出的图像/视频数据，是什么格式，不同格式有什么区别 ？
比如：图片：JPEG，视频数据：NV21，NV12，I420 等
4）系统的麦克风采集接口是什么，怎么用 ？
比如：
Windows：DirectShow
Linux：ALSA & OSS
Android：AudioRecord
iOS：Audio Unit
5）系统的麦克风采集参数怎么配置，都是什么含义 ？
比如：采样率，通道号，位宽 等
6）系统的麦克风输出的音频数据，是什么格式？
比如：PCM
7、具体技术点之渲染
渲染，它解决的是，数据怎么展现的问题，那么，数据究竟怎么展现呢 ？
其实无论在哪个平台，图像、视频最终都是要绘制到视图上面，而音频最终都是要输出到扬声器，因此，做音视频渲染，就要掌握如下的技术知识。
1）系统提供了哪些 API 可以绘制一张图片或者一帧 YUV 图像数据的 ？
比如：
Windows：DirectDraw, Direct3D, GDI，OpenGL 等
Linux： GDI， OpenGL 等
Android：ImageView，SurfaceView，TextureView，OpenGL 等
iOS： CoreGraphics，OpenGL 等
2）系统提供了哪些 API 可以播放一个 mp3 或者 pcm 数据 ？
比如：
Windows：DirectSound 等
Linux：ALSA & OSS 等
Android：AudioTrack 等
iOS： AudioQueue 等
8、具体技术点之处理
处理，它解决的是，数据怎么加工的问题，那么，数据究竟可以怎么加工呢 ？
首先，我们看看图像/音视频的数据可以做哪些加工 ？
其实无论在哪个平台，图像和音视频的加工，除了系统的 API，大多数都会依赖一些跨平台的第三方库的，通过掌握这些第三方库的原理和使用方法，基本上就可以满足日常音视频处理工作了。
这些库包括但不限于：
1）图像处理：OpenGL，OpenCV，libyuv，ffmpeg 等；
2）视频编解码：x264，OpenH264，ffmpeg 等；
3）音频处理：speexdsp，ffmpeg 等；
4）音频编解码：libfaac，opus，speex，ffmpeg 等。
因此，学习和掌握这些第三方库的使用，非常有必要。（以上这些第3方库的详细介绍和盘点，详见《福利贴：最全实时音视频开发要用到的开源工程汇总》）
9、具体技术点之传输
传输，它解决的是，数据怎么共享的问题，那么，数据究竟怎么共享呢 ？
共享，最重要的一点，就是协议。
我觉得互联网之所以能够如此蓬勃地发展，将整个世界都紧密联系在一起，其实是离不开 W3C 这个委员会的巨大贡献的，因为无论什么数据，要想在不同的国家、不同设备之间互联互通，离不开 “标准”，有了 “标准”，大家就能互相读懂对方。
因此，研究音视频传输，其实就是在研究协议，具体有哪些协议呢 ？
1）音视频在传输前，怎么打包的，如：FLV，ts，mpeg4 等；
2）直播推流，有哪些常见的协议，如：RTMP，RSTP 等；
3）直播拉流，有哪些常见的协议，如：RTMP，HLS，HDL，RTSP 等；
4）基于 UDP 的协议有哪些？如：RTP/RTCP，QUIC 等。
互联网环境下的音视频的传输，是一个非常有挑战和价值的方向，为了解决弱网下的传输延时、卡顿，提高用户体验，整个业界都在不断地进行着深入的探索和优化。
有关移动弱网的特性和讨论是个很大话题，如有兴趣可以先读读以下几篇文章：
《现代移动端网络短连接的优化手段总结：请求速度、弱网适应、安全保障》
《移动端IM开发者必读(一)：通俗易懂，理解移动网络的“弱”和“慢”》
《移动端IM开发者必读(二)：史上最全移动弱网络优化方法总结》
10、本文小结
限于篇幅原因，我的经验分享就到这里了，实时音视频开发的路很长，更多的还是要靠自己去学习和实践，带着追求极致的精神去探索和优化，最终，我相信大家都能快速成长，成为真正的行业专家！
附录：更多实时音视频技术资料汇总
[1] 实时音视频开发的其它精华资料：
《学习RFC3550：RTP/RTCP实时传输协议基础知识》
《基于RTMP数据传输协议的实时流媒体技术研究（论文全文）》
《还在靠“喂喂喂”测试实时语音通话质量？本文教你科学的评测方法！》
《实现延迟低于500毫秒的1080P实时音视频直播的实践分享》
《技术揭秘：支持百万级粉丝互动的Facebook实时视频直播》
《理论联系实际：实现一个简单地基于HTML5的实时视频直播》
《首次披露：快手是如何做到百万观众同场看直播仍能秒开且不卡顿的？》
《腾讯音视频实验室：使用AI黑科技实现超低码率的高清实时视频聊天》
《七牛云技术分享：使用QUIC协议实现实时视频直播0卡顿！》
《实时视频直播客户端技术盘点：Native、HTML5、WebRTC、微信小程序》
>> 更多同类文章 ……
[2] 开源实时音视频技术WebRTC的文章：
《访谈WebRTC标准之父：WebRTC的过去、现在和未来》
《良心分享：WebRTC 零基础开发者教程（中文）[附件下载]》
《新手入门：到底什么是WebRTC服务器，以及它是如何联接通话的？》
《[观点] WebRTC应该选择H.264视频编码的四大理由》
《基于开源WebRTC开发实时音视频靠谱吗？第3方SDK有哪些？》
《开源实时音视频技术WebRTC中RTP/RTCP数据传输协议的应用》
《开源实时音视频技术WebRTC在Windows下的简明编译教程》
《网页端实时音视频技术WebRTC：看起来很美，但离生产应用还有多少坑要填？》
>> 更多同类文章 ……
（本文同步发布于：http://www.52im.net/thread-1620-1-1.html）
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
招商银行周伟:Fintech数据开放平台之数据库军规和内功修炼(含PPT)
在2018数据库大会上，招商银行的资深数据库架构师周伟，分享了招行金融科技数据开放平台的建设经验。这个主题引起了现场听众的广泛关注，我们在此整理发布出来，以其让更多用户能够借鉴到招商银行的成功经验。 作者: 周伟 招商银行 数据库架构师 个人介绍:招商银行数据库管理室数据架构组Leader， 从事数据库行业14年，所负责的信用卡代授权数据架构， 解决了主机下移的性能问题，并适应FinTech时代高并发、 高可用、可扩展的业务场景，成功经受住双十一促销节海量支付请求的考验。 以下是分享内容整理。 招商银行行长田惠宇讲过这样一段话：金融科技银行就是『以科技敏捷带动业务敏捷』，创造最佳客户体验，实现效率、成本、风险的最佳平衡。在此思想指导之下，招商银行的金融科技建设迅速展开推进。 在金融科技的进程中，招商银行逐步从投资巨大、集中式的主机系统，迁移和转换到分布式架构，以X86和云计算为基础的新平台模式。 为贯彻招行『移动优先』战略，持续提升运维保障水平，招商银行制定了明确的『数据开放平台应对策略』，并提出了四大解决方案： 通过应用读写分离、数据多活等，构建金融高可用架构； 通过运维标准化、流程...
- 下一篇
比传统事务快10倍？一张图读懂阿里云全局事务服务GTS
近日，阿里云全局事务服务GTS正式上线，为微服务架构中的分布式事务提供一站式解决方案。GTS的原理是将分布式事务与具体业务分离，在平台层面开发通用的事务中间件GTS，由事务中间件协调各服务的调用一致性，负责分布式事务的生命周期管理、服务调用失败的自动回滚，性能比XA协议事务快10倍。GTS有哪些功能，相比传统事务的优势在哪呢？我们通过一张图读懂GTS。 5月30日15：00，阿里中间件技术专家寈峰将在线解读GTS【直播报名直通车】 了解更多GTS详情请戳这里
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Red5直播服务器，属于Java语言的直播服务器
- Docker安装Oracle12C，快速搭建Oracle学习环境
- SpringBoot2初体验，简单认识spring boot2并且搭建基础工程
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- SpringBoot2更换Tomcat为Jetty，小型站点的福音
- CentOS8安装Docker，最新的服务器搭配容器使用
- SpringBoot2编写第一个Controller，响应你的http请求并返回结果
- Docker快速安装Oracle11G，搭建oracle11g学习环境
- CentOS关闭SELinux安全模块
- CentOS7设置SWAP分区，小内存服务器的救世主
微信收款码
支付宝收款码