那么我们需要用到哪些已有的框架或者已有的项目来完成这个功能呢？可以思考下，既然有预览界面，则一定需要视频播放器。播放器的基本功能包括了解码和音视频的渲染，此外再加上逻辑控制、音视频对齐就可以成为一个视频播放器。
视频播放器中视频解码模块是非常重要的，通过它可以将视频文件解码为视频帧，并且输出到解码纹理队列中，接下来就是本App最核心的工作——处理，视频处理模块会按照时间戳将对应的纹理进行处理，并放入到渲染队列，最后输出模块会将渲染队列中的纹理输出到屏幕上，而在离线保存场景下，则是将渲染队列中的纹理编码输出到本地，也就是封装成mp4或者flv等等格式写入本地磁盘。
接下来介绍一下我们团队在进行短视频APP开发 SDK 实践中主要做的一些事情，这其中最重要的就是短视频 SDK 的架构设计，包括架构设计理念、架构图、整体数据流程、模块架构设计等。
第一点我们遵循的是高模块化、模块可插拔的一个理念；高模块化必须要保证每个类每个方法都「名副其实」并「各司其职」，这样才能编写更清晰的逻辑；高模块化同时可以促进高复用，减少重复代码；短视频 SDK 内的转码核心类，因为编辑、剪辑在最后保存的时候都需要一个解码并重新编码的过程，在这里，转码核心类可以达到一个高复用。
不同的功能放在了不同的包体当中。我们并没有使用 ffmpeg 的软解软编，而是尽量使用 Android 和 iOS 的系统 API 进行硬编硬解，这样不仅减少了包体大小，而且速度要快很多，尽管在技术层面上会增加很多难度，会踩很多坑，但我们还是坚持选用这个方案。在引入第三方库时，我们也都是会经过充分配置和裁剪去严格控制包体的大小，这样一来，所有包体总和才能有现在「小而精」（1.5M）的成果。表中最后的内置滤镜模块，其中的滤镜资源可以选择性拷贝，SDK 内部会自动判断。这是关于模块设计方面的一些理念。
第二点是要和 UI 解耦，是从不同 App 中截图得到的画面，可以看出每一个App 都有各自的设计，作为一款短视频 SDK，是绝对不可以在 UI 方面限制客户发挥的。市面上有些短视频 SDK 将 UI 写死并作为 SDK 的一部分，这样对于客户在设计 UI 界面上来说，是非常不友好的；我们采用的是另一种方法，SDK 与 UI 进行解耦，客户的 UI 是可自定义的，整个 SDK 中接受 view 的地方只有一处。
接着是扩展性这一块，我们遵循高扩展，开放性的理念。在录制以及编辑过程中，都会有数据的回调并支持第三方库进行美颜滤镜SDK，动态贴纸SDK，特效等功能。
最后是关于可配置参数方面的设计，除了常规参数，比如摄像头分辨率和帧率、麦克风采样率等可以进行配置之外，包括美颜等参数我们也都是可以进行配置的。