Android音频开发（6）：使用 OpenSL ES API（上）-低调大师

Android音频开发（6）：使用 OpenSL ES API（上）

2017-11-25 751

利用 Android 提供的 AudioRecord 采集音频，利用 AudioTrack 播放音频，利用 MediaCodec 来编解码，这些 API 均是 Android 提供的 Java 层 API，无论是采集、播放还是编解码，这些 API 接口都需要将音频数据从 Java 拷贝到 native 层，或者从 native 层拷贝到 Java，如果希望减少拷贝，开发更加高效的 Android 音频应用，则建议使用 Android NDK 提供的 OpenSL ES API 接口，它支持在 native 层直接处理音频数据。

OpenSL ES 从 Android 2.3 开始就提供了，但是 Android 官方关于 OpenSL ES 的文档非常少，网上资料也相对贫乏，再加上它的接口采用的是面向对象的 C 接口，不是特别简单易懂，因此学习起来不是那么容易，我计划通过两篇文章来介绍一下这套框架，希望能对初学者有所帮助。

本文不准备介绍 OpenSL ES 的工作原理和函数使用（这些将会在下一篇文章中介绍），而是从宏观的角度简单介绍一下 OpenSL ES 概况，让初学者了解这套 API 是干什么的，可以做哪些事，不能做哪些事，最后给出一些参考示例代码和资源链接。

1. OpenSL ES 是什么？

OpenSL ES 全称是：Open Sound Library for Embedded Systems，是一套无授权费、跨平台、针对嵌入式系统精心优化的硬件音频加速API。它为嵌入式移动多媒体设备上的本地应用程序开发者提供标准化, 高性能, 低响应时间的音频功能实现方法，并实现软硬件音频性能的直接跨平台部署，降低执行难度，促进高级音频市场的发展。（来自百度百科）

一句话概述：OpenSL ES 是一套针对嵌入式平台的音频标准。

2. Android 与 OpenSL ES 是什么关系？

Android 2.3 (API 9) 即开始支持 OpenSL ES 标准了，通过 NDK 提供相应的 API 开发接口，下图是 Android 官方给出的关系图（出处：这里）：

由该图可以看出，Android 实现的 OpenSL ES 只是 OpenSL 1.0.1 的子集，并且进行了扩展，因此，对于 OpenSL ES API 的使用，我们还需要特别留意哪些是 Android 支持的，哪些是不支持的，具体相关文档的地址位于 NDK docs 目录下：

 
        NDKroot/docs/Additional_library_docs/opensles/index.html
       
        NDKroot/docs/Additional_library_docs/opensles/OpenSL_ES_Specification_1.0.1.pdf

3. 可以做什么？不能做什么？

下面总结一下 Android OpenSL ES 的特点以及不支持的功能。

特性：

（1）C 语言接口，兼容 C++，需要在 NDK 下开发，能更好地集成在 native 应用中

（2）运行于 native 层，需要自己管理资源的申请与释放，没有 Dalvik 虚拟机的垃圾回收机制

（3）支持 PCM 数据的采集，支持的配置：16bit 位宽，16000 Hz采样率，单通道。（其他的配置不能保证兼容所有平台）

（4）支持 PCM 数据的播放，支持的配置：8bit/16bit 位宽，单通道/双通道，小端模式，采样率（8000, 11025, 12000, 16000, 22050, 24000, 32000, 44100, 48000 Hz）

（5）支持播放的音频数据来源：res 文件夹下的音频、assets 文件夹下的音频、sdcard 目录下的音频、在线网络音频、代码中定义的音频二进制数据等等

不支持：

（1）不支持版本低于 Android 2.3 (API 9) 的设备

（2）没有全部实现 OpenSL ES 定义的特性和功能

（3）不支持 MIDI

（4）不支持直接播放 DRM 或者加密的内容

（5）不支持音频数据的编解码，如需编解码，需要使用 MediaCodec API 或者第三方库

（6）在音频延时方面，相比于上层 API，并没有特别明显地改进

4. 用 OpenSL ES 开发音频应用有什么好处？

（1）避免音频数据频繁在 native 层和 Java 层拷贝，提高效率

（2）相比于 Java API，可以更灵活地控制参数

（3）由于是 C 代码，因此可以做深度优化，比如采用 NEON 优化

（4）代码细节更难被反编译

（5）其他，待添加

5. 示例代码

有个老外（Victor Lazzarini）为 Android OpenSL ES API 写了一篇不错的介绍，并给出了一些示例代码，链接如下：

https://audioprograming.wordpress.com/2012/03/03/android-audio-streaming-with-opensl-es-and-the-ndk/

我提取了其中的两个文件，修改了一下，整理到我的 AudioDemo 示例中了，个人觉得有更好地演示效果，地址如下：

https://github.com/Jhuster/AudioDemo

本文转自 Jhuster 51CTO博客，原文链接：http://blog.51cto.com/ticktick/1764778，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/420764

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

一款开源的 Android YUV 格式查看工具

1. YUVDroidTools 最近项目比较忙，好久没有写文章了，也没有为开源社区贡献点啥了，这个周末抽空整理了一下自己一直维护的一份基于 ffmpeg 的 YUV 格式转换代码，写了一个简单的 Android YUV 数据查看工具（代码完全开源），截图如下：特性如下：（1）支持选择导入本地文件，支持实时显示 YUV 格式的图片，简单易用。（2）支持多种 YUV 格式，包括： YU12、YV12、NV21、NV12、YUYV422、YVYU422、YUV422P、UYVY422 等等。（3）支持多种图像转化算法，包括： FAST_BILINEAR、BILINEAR、BICUBIC 等等。下载地址如下：点击下载 2. 常见的 YUV 格式示意图顺便科普一下常见的 YUV 格式的排列示意图： 2.1 YUV420 (1) YU12, I420 YYYY YYYY UU VV (2) YV12 YYYY YYYY VV UU (3) NV12 YYYY YYYY UV UV (4) NV21 YYYY YYYY VU VU 2.2 YUV422 (1) YUYV, YUY2 Y...

2017-11-26

591

1. Android 官方的 MediaCodec API 首先，我们了解一下 Android 官方提供的音频编解码的 API，即 MediaCodec 类，该 API 是在 Andorid 4.1 （API 16）版本引入的，因此只能工作于 Android 4.1 以上的手机上。 1.1 MediaCodec 基本介绍（1）提供了一套访问 Android 底层多媒体模块的接口，主要是音视频的编解码接口（2）Android 底层多媒体模块采用的是 OpenMax 框架，任何 Android 底层编解码模块的实现，都必须遵循 OpenMax 标准。Google 官方默认提供了一系列的软件编解码器：包括：OMX.google.h264.encoder，OMX.google.h264.encoder， OMX.google.aac.encoder， OMX.google.aac.decoder 等等，而硬件编解码功能，则需要由芯片厂商依照 OpenMax 框架标准来完成，所以，一般采用不同芯片型号的手机，硬件编解码的实现和性能是不同的（3）Android 应用层统一由 MediaCo...

2017-11-26

667

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。