FFmpeg直播能力更新计划与新版本发布-低调大师

FFmpeg直播能力更新计划与新版本发布

2023-11-02 367

//

编者按：客户端作为直接面向用户大众的接口，随着技术的发展进化与时俱进，实现更好的服务是十分必要的。FFmpeg作为最受欢迎的视频和图像处理开源软件，被相关行业的大量用户青睐，而随着HEVC标准的发布到广泛使用，相信国内很多网络流媒体从业者都在长期关注FFmpeg FLV支持HEVC的官方更新。LiveVideoStackCon 2023 上海站邀请了来自快手的音视频首席架构师刘歧，为大家带来他关于FFmpeg 直播能力的更新计划。

文/刘歧

整理/LiveVideoStack

大家好，下面由我和大家分享近期FFmpeg的最新技术、部分未来的发展方向以及一些我个人的经验思考。

首先向大家做一个自我介绍，本人浸淫音视频行业多年，目前是FFmpeg/SRS社区委员会的成员，曾参与编写《FFmpeg 从入门到精通》一书，也是腾讯云最具价值专家TVP。

我于2007年参加工作，早期曾从事图形图像库、Flash解析引擎开发工作。2011年我正式参与音视频流媒体技术开发。2016年受邀成为FFmpeg维护者。2017年成为FFmpeg官方顾问，创业成立了OnVideo。2019年成为FFmpeg决策委员会委员，并开始担任FFmpeg GSoC Mentor。2020年，OnVideo被快手收购，我也随之进入快手工作。

接下来简单介绍我做出本次分享的契机。

首先，FFmpeg FFplay的官方版本目前仍然无法实现FLV对封装HEVC、VVC、VP9、AV1、OPUS等现代化编码格式的支持，随着音视频技术的发展，FLV需要随之改变。

第二，业界有声音提出重视HLS、DASH、LLHLS、LLDASH等协议。但目前看来，这些协议的实时性还很差。在CDN分发过程中，链路稍有卡顿就很容易影响广域用户的观看体验。

第三是WebRTC等低延迟协议对当前大规模使用的RTMP、FLV发出了挑战。

基于前述的问题和我们开展的工作，本次分享分为以下四部分：一是介绍FFmpeg支持Enhanced FLV的有关情况；二是介绍FFmpeg支持WHIP的进展；最后是关于未来一些更多有趣的事情。

-01-

FFmpeg支持Enhanced FLV

首先，从官方标准来看，目前FLV的视频Codec ID不包括HEVC，但现有Codec ID可从8拓展到15。

目前国内一些大厂出于业务需要会拓展官方标准。例如上图，其中视频codec ID增加了12对应的HEVC。但这种方式不适用同时引入多个编码格式，且各企业、厂商对codec ID不同的自定义风格容易导致公共环境混乱。

官方标准内音频编码的定义已经被占满，引入OPUS等新格式的难度较大。

我也曾进行过类似尝试，于2014年向FFmpeg team提交了关于FLV支持HEVC编码格式的补丁，但由于没有可供参考的公认标准遭到了反对，实际上该版本也无法播放泛式的FLV视频。

2021年，一位活跃的开发者James Almer做了同样的工作，但由于相同的问题最终未能实现合并。

SRS作为国内主要的CDN服务供应端，早期已经实现了对HEVC编码的支持，并曾向FFmpeg team发出了相关呼吁。可以看到，很多音视频从业者都曾为HEVC over HTTP-FLV的官方化做出努力。

后来我们意识到，推动Adobe修订现有参考标准才是关键。于是在接下来一段时间里，我们与Adobe的相关人员积极沟通，询问关于参考标准的修订计划。虽然得到了积极回复，但一直没有实质性的进展。

期间我们也对可用在直播场景的其他网络协议进行了检讨。但目前看来，HLS、DASH、HDS的延迟远大于RTMP/FLV。LLHLS、LLDASH仅在技术上有优于RTMP/FLV的可能，经过实际测试效果并不好。SRT的延迟足够低，但在PC、手机端等多平台的可用性还有不足。

为了加快实现我们的目标，经过查访，我们与RTMP、FLV的实际维护方，Adobe旗下的Veriskope建立了联系。

与此同时，从更好地兼容现状这一角度出发。在和Veriskope沟通前，我们利用FourCC代码完成了Enhanced FLV方案。该方案解决了仅依靠修改视频Codec ID可拓展的编码格式数量有限这一缺陷，可实现无限制数量的拓展。

相较于传统参考标准，我们针对FrameType增加了拓展模式，以定义对应的读包方式和编码格式。

针对不同FourCC值指向的编码格式，可以对其HVCC和VPCC进行拓展读取。

在我们向FFmpeg team提交Enhanced FLV补丁的过程中，有videoline的开发者提出疑问：在拓展RTMP时如何明确服务端支持的编码格式。

我们查找了Enhanced RTMP标准，发现只要在conncet command内加入FourCClist即可解决这个问题。

开发完成后，我使用RTMP通过Youtube测试了AV1推流。但发现无论推流何种格式，最终得到的都是VP9格式的流。针对该现象目前我还在等待Youtube开发者的回复解释。

相较于HLS和DASH，RTMP/FLV的延迟虽然较低，但链路质量变化或推流抖动等因素同样会引起播放的卡顿和延迟累加，因此我们考虑引入WebRTC进行推流。

-02-

FFmpeg支持WHIP

FFmpeg 支持WHIP这一项目的诞生起于SRS作者杨成立的倡导。当时，现场演示端到端普通推流的延迟仅有500毫秒，可以推定，引入WebRTC是十分可行的。

WHIP易于实施。为了建立推流会话，WHIP客户端将向WHIP终端发送包括SDP Offer的HTTP POST请求，返回“201 Created”响应，建立一个SDP。随后WHIP客户端和媒体服务器之间建立ICE/DTLS会话，通过RTP/RTCP开始视频、音频流传输。推流结束后，执行HTTP DELETE请求即可结束ICE/DTLS会话，整个过程只需要实现如上所示的四个简单标准。

我在2023年5月发布了第一版补丁，具体的代码大家可以在Github上找到，Cloudflare的工程师首先响应宣布了支持。

Pion随后也反馈宣布支持。

经过测试，我们发现Janus、Millicast、TRTC等开源服务器均可支持。目前FFmpeg WebRTC可以直接对接这些服务器进行推流。

使用WebRTC从采集、推流到播放的延迟经实测约为132毫秒。

但引入WebRTC也带来了一些风险。首先是有可能导致五花八门的网络传输优化算法泛滥，其次是大幅增加了代码量，提高了维护的难度。

-03-

更多有趣的事情

最后和大家分享一些有趣的事情。首先是关于FFmpeg，6.1准备发布了，当然也可能会跳过。主要的操作包含实现了Muxer和Demuxer的拆分，实现了format和commandline层的多线程支持，相较于历史版本单线程处理DASH、HLS、MXF等大数据量音视频封装的方式进一步提升了速度；scale支持切slice多线程处理，缩放、色彩转换的性能得到大幅提升；支持了VVC解码；支持了软件无线电（Software Defined Radio），可以收听一些广播节目；支持了Enhanced FLV和Enhanced RTMP。

然后，我同其他作者共同编写了《深入理解FFmpeg》一书，此次在介绍FFmpeg基本组成的基础上进一步结合实例讲解了API的使用，目前已经全渠道开售了，大家可以在京东、当当、淘宝买到。

我本次的分享就到这里，谢谢大家！

▼点击下方阅读原文 ▼

进入LiveVideoStackCon 2023深圳站官网了解更多精彩演讲

本文分享自微信公众号 - LiveVideoStack（livevideostack）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

微信关注我们

原文链接：https://my.oschina.net/u/3521704/blog/10140436

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

titbit v23.4.2 已经发布，Node.js 环境的 Web 后端框架

titbit v23.4.2 已经发布，Node.js 环境的 Web 后端框架此版本更新内容包括：小范围优化调整代码结构。默认errorHandle忽略ERR_HTTP_REQUEST_TIMEOUT 详情查看：https://gitee.com/daoio/titbit/releases/v23.4.2

2023-11-05

480

作者 | 小新、车厘子导读静态代码扫描(SA)能快速识别代码缺陷，如空指针访问、数组越界等，以较高ROI保障质量及提升交付效率。当前扫描能力主要依赖人工经验生成规则，泛化能力弱且迭代滞后，导致漏出。本文提出基于代码知识图谱解决给机器学什么的问题，以及基于代码大模型解决机器怎么学的问题，让计算机像人一样看懂代码，并自动发现代码中的缺陷，给出提示，以期达到更小的人力成本，更好的效果泛化和更高的问题召回。全文3519字，预计阅读时间9分钟。 01 代码缺陷检测背景介绍静态代码扫描(SA)指在软件工程中，程序员写好源代码后，在不运行计算机程序的条件下，对程序进行分析检查。通过在代码测试之前，在编码阶段就介入SA，提前发现并修复代码问题，有效减少测试时间，提高研发效率，发现BUG越晚，修复的成本越大。 MEG的SA能力于2018年建立，支持C++、GO等语言，建设100+个规则，覆盖大部分MEG的模块，一定程度保障线上质量。当前检测主要依赖人工生成规则，存在人工编写成本高，以及泛化能力弱且迭代滞后，导致问题漏出。2022年Q2，我们团队尝试引入大模型：通过代码语言大模型，实现机器自主检测...

2023-11-03

390

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。