基于框架式的短视频APP开发 SDK 架构设计实践
那么我们需要用到哪些已有的框架或者已有的项目来完成这个功能呢?可以思考下,既然有预览界面,则一定需要视频播放器。播放器的基本功能包括了解码和音视频的渲染,此外再加上逻辑控制、音视频对齐就可以成为一个视频播放器。
视频播放器中视频解码模块是非常重要的,通过它可以将视频文件解码为视频帧,并且输出到解码纹理队列中,接下来就是本App最核心的工作——处理,视频处理模块会按照时间戳将对应的纹理进行处理,并放入到渲染队列,最后输出模块会将渲染队列中的纹理输出到屏幕上,而在离线保存场景下,则是将渲染队列中的纹理编码输出到本地,也就是封装成mp4或者flv等等格式写入本地磁盘。
接下来介绍一下我们团队在进行短视频APP开发 SDK 实践中主要做的一些事情,这其中最重要的就是短视频 SDK 的架构设计,包括架构设计理念、架构图、整体数据流程、模块架构设计等。
第一点我们遵循的是高模块化、模块可插拔的一个理念;高模块化必须要保证每个类每个方法都「名副其实」并「各司其职」,这样才能编写更清晰的逻辑;高模块化同时可以促进高复用,减少重复代码;短视频 SDK 内的转码核心类,因为编辑、剪辑在最后保存的时候都需要一个解码并重新编码的过程,在这里,转码核心类可以达到一个高复用。
不同的功能放在了不同的包体当中。我们并没有使用 ffmpeg 的软解软编,而是尽量使用 Android 和 iOS 的系统 API 进行硬编硬解,这样不仅减少了包体大小,而且速度要快很多,尽管在技术层面上会增加很多难度,会踩很多坑,但我们还是坚持选用这个方案。在引入第三方库时,我们也都是会经过充分配置和裁剪去严格控制包体的大小,这样一来,所有包体总和才能有现在「小而精」(1.5M)的成果。表中最后的内置滤镜模块,其中的滤镜资源可以选择性拷贝,SDK 内部会自动判断。这是关于模块设计方面的一些理念。
第二点是要和 UI 解耦,是从不同 App 中截图得到的画面,可以看出每一个App 都有各自的设计,作为一款短视频 SDK,是绝对不可以在 UI 方面限制客户发挥的。市面上有些短视频 SDK 将 UI 写死并作为 SDK 的一部分,这样对于客户在设计 UI 界面上来说,是非常不友好的;我们采用的是另一种方法,SDK 与 UI 进行解耦,客户的 UI 是可自定义的,整个 SDK 中接受 view 的地方只有一处。
接着是扩展性这一块,我们遵循高扩展,开放性的理念。在录制以及编辑过程中,都会有数据的回调并支持第三方库进行美颜滤镜SDK,动态贴纸SDK,特效等功能。
最后是关于可配置参数方面的设计,除了常规参数,比如摄像头分辨率和帧率、麦克风采样率等可以进行配置之外,包括美颜等参数我们也都是可以进行配置的。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
顶会|关于数据库顶级会议 SIGMOD 2018,看这一篇就够了!
小蚂蚁说: SIGMOD数据管理国际会议是数据库领域具有最高学术地位的国际性学术会议,位列数据库方向的三大顶级会议之首(其次是VLDB及ICDE)。OceanBase的核心团队成员有幸参与到了SIGMOD 2018会议中,本文由蚂蚁金服OceanBase研究员日照为大家带来最专业、最前沿的大会独家报道。 接下来几天,蚂蚁金服OceanBase数据库官方微信号将为大家持续带来SIGMOD系列论文解读,以下是精彩预告: 1. 细微处见匠心—2018 SIGMOD论文之传统SQL领域 2. 人工智能新时代—从SIGMOD看蚂蚁OceanBase智能化 3. Joining the best—2018 SIGMOD论文之JOIN系列 4. 新硬件的舞台—2018 SIGMOD论文之硬件发展下的数据库系统 ▼还等什么,赶紧扫码关注一下吧!▼ 本文作者:日照
- 下一篇
微服务体系三维可缩放模型
在此模型中,通过在负载均衡器后面运行复制的实例来扩展应用程序,称为X轴缩放。微服务架构是Y轴缩放的应用,数据分区模式是Z轴缩放的应用。 X轴缩放 X轴缩放包括在负载均衡器后面运行的应用程序的多个副本。如果有N个副本,则每个副本处理1 / N的负载。 这是一种简单,常用的扩展应用程序的方法。 这种方法的一个缺点是,由于每个副本可能访问所有数据,因此高速缓存需要更多的内存。这种方法的另一个问题是,它没有解决大型应用程序开发复杂性的问题。 Y轴缩放 Y轴缩放将应用程序拆分为多个不同的服务。每项服务都负责一项或多项密切相关的职能。 有几种不同的方法可以将应用程序分解为服务。一种方法是使用基于动词的分解并定义实现单个用例的服务。另一种选择是通过名词来分解应用程序,并创建负责与特定实体相关的所有操作的服务。应用程序也可能混合使用基于动词和基于名词的分解方式。 Z轴缩放 使用Z轴缩放时,每个服务器都运行相同的代码副本。在这方面,它类似于X轴缩放。最大的区别是每个服务器只负责数据的一个子集。系统的某些组件负责将每个请求路由到适当的服务器。 一种常用的路由标准是根据请求的属性,例如被访问实体的主键。另一...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS6,7,8上安装Nginx,支持https2.0的开启