iOS Airplay Screen Mirroring 同屏技术详解-低调大师

iOS Airplay Screen Mirroring 同屏技术详解

2018-03-07 737

投屏技术已经被大量用在身边的产品，比如电视投屏，投影仪，视频会议产品中。在iOS平台外的其他平台中都已经有非常成熟的标准和实现。但在封闭的苹果iOS和Mac系统中，苹果使用私有的Airplay协议进行多屏互动，只开放给自己生态中的产品。对此相关技术限制比较严格，甚至在iOS9中加上了更严格的加密算法，直接导致很多投屏的产品不可用。本文转自刘连响知乎的文章。

文 / 刘连响

iOS中的投屏方案

1.ReplayKit

iOS9中引入了ReplayKit, 让开发者有了一定的获取屏幕数据的能力. 并在iOS10和iOS11中继续扩展了ReplayKit的能力. 但还是有很大的限制, 比如在使用ReplayKit的api时只能录制当前应用的应用, 无法在应用进入后台之后继续录屏. 如果使用系统级别的屏幕录制,又无法获得每一帧的数据,只能获得最后录取的单个视频. 这样对第三方的开发有了非常大的限制.

2.Airplay

Airplay是苹果提供的一种多屏互动技术, 可以将音频照片,视频, 屏幕从iOS设备或者Mac电脑上投射到支持airplay接受的设备上，如Apple TV。这样可以将小屏映射到大屏，可以无线音乐，可以图片分享等等. 但是Airplay属于苹果私有协议方案，设备间的协商与传输过程都进行了加密处理，并不能用于其他平台中。我们已经完整的逆向了Airplay的全部协议栈，并破解了其加密方案，可以提供跨平台Airplay接收方案。这样可以方便实现跨平台的多屏共享。

同时，通过研究，我们也可以通过Airplay Mirroring技术，做到在iPhone上把自己的屏幕的内容投送给当前iPhone，在某些情况下这种airplay的破解却非常有用处,比如手游直播。这中投屏方案使用了iOS原生的投屏能力，并且是完全的软件方案，非常方便进行集成和使用。

Airplay Mirroring实现原理

下面将介绍Airplay Mirroring接收端的实现原理，并揭示相关协议交互过程。

Airplay Mirroring客户端的同屏交互过程，分为三个主要步骤：

设备广播与发现
信息交互与能力协商
音视频数据接收与解扰

设备广播与发现

Airplay设备间的广播与发现通过Bonjour协议进行。Bonjour也被称为ZeroConf, mDNS等，可以用来在局域网内进行数据记录广播与发现。该协议比较成熟，网上可以找到诸多介绍。对于实现的Airplay（包括Mirroring）接收端而言，首先需要注册两类服务，即airtunes和airplay。 Airtunes服务主要用来处理广播视音频接收能力协商，是最为重要的服务内容，对应Bonjour记录名称为'_raop._tcp'，注册服务端口不限，一般为了避免冲突，建议采用较高的端口数；Airplay服务主要用来兼容传统的streaming等服务，对应记录名称为'_airplay._tcp'，注册端口一般为7000。

具体的服务广播内容，可以进行局域网抓包，找到对应记录内容。

当接收端通过Bonjour广播器服务能力后，发送端（如iPhone等各类iOS设备）就可以发现该接收端。

信息交互与能力协商

当发送端发现接收端后，可以开始信息交互与能力协商过程。该部分协议协议格式类似rtsp协议格式。主要分为两个阶段，设备匹配与和能力协商。

当发送端链接服务端后，设备匹配过程即开始。通信双方会进行fairplay加密协议进行信息交换，当完成信息交换后，客户端后续必须使用这部分信息来处理加密过的密钥，才能获得进一步视音频解密密钥。在iOS9之后，在fairplay过程之前，增加一个设备匹配过程，即pair-setup、pair-verify过程，其主要算法是较为标准的非对称公钥交换算法。

当两端成功匹配后，开始进行能力协商与信息交换，这些信息包括，设备名称、代号，音视频接收相关端口配置，视频接收能力以及加密密钥等，相关信息使用binary plist格式进行封装。

可以参考https://github.com/espes/Slave-in-the-Magic-Mirror找到相关协议交互的一些细节。

音视频数据接收与解密

双方协商成功后，发送端开始向接收端发送视音频数据，mirroring数据是通过TCP进行发送，为h.264 ES流格式。音频是通过RTP协议进行发送，根据内容的不同音频编码为ALAC或者AAC-ELD。

音视频流都是通过AES进行了加密处理，密钥需要通过上面一步的进过信息交互后的fairplay模组对setup过程中接收到的加密密钥进行解密，获得的AES解密需要的IV和KEY，然后经过AES解扰，即可以获得最终的视音频清流。

其他需要注意的地方

Airplay没过Session传送过来的视频h264码流，只有开头一个关键帧. 因此这种情况并不适合直播这种需要固定GOP的场景. 还需要做进一步的转码的工作，或者直接在压缩域进行处理，获得合理的GOP结构。

我们对Airplay相关协议的逆向工程已经封装成了跨平台的类库和框架, 支持windows/Mac/Android/iOS/linux, 在自己内部产品中使用已经非常稳定, 如果有需要可以联系我们. 也欢迎各类技术与应用场景讨论。我的邮箱leeoxiang#http://gmail.com

相关链接

AirCast：http://link.zhihu.com/?target=https%3A//github.com/AirCastLab
Airplay Protocol：http://link.zhihu.com/?target=https%3A//nto.github.io/AirPlay.html
AirCast website：https://aircast.cc/

微信关注我们

原文链接：https://yq.aliyun.com/articles/606115

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Android 的 ClassLoader

文章目录 1. Android 中有哪几种 ClassLoader？他们的作用和区别是什么？ 2. 简述 ClassLoader 的双亲委托模型 3. 简述双亲委托模型在热修复领域的应用首先了解下 ClassLoader 是什么众所周知我们编写的 Java 程序编写的是 .java 文件，但是在运行运行前会将代码编译成 .class 文件，以 Android Studio 项目为例在一般在项目目录下的 /build/intermediates/classes/debug 文件夹中有很多小文件夹，点进去看这些都是 .class 文件，程序在运行时就是加载这些 .class 文件，那么负责加载这些 .class 文件的就是我们的 ClassLoaer。一般在 Android 中程序打包会把多个 .class 文件打包成一个或多个 .dex 文件 1. Android 中有哪几种 ClassLoader？它们的作用和区别是什么？我们先看一下Android源码有几个 ClassLoader Android 中的 ClassLoader 我们发现 ClassLoader 是个抽象类并且有...

2018-03-07

474

背景之前项目开发一般都是写逻辑，UI方面的操作用的比较少。图片也是直接使用设计师提供的。因此一般情况下不需要用到9-patch图。然而，最近项目中分配给我的功能用到了。因此，记录一下以便给其他没有接触过的开发者参考。什么是9-patch 引用官方的一段描述 Draw 9-patch 工具是 Android Studio 中包含的一种 WYSIWYG（所见即所得）编辑器，利用此工具，您可以创建能够自动调整大小以适应视图内容和屏幕尺寸的位图图像。图像的选定部分可以根据图像内绘制的指示器在水平或竖直方向上调整比例。根据上面的描述我们可以知道，当我们要求我们的图片能够自动调整大小以适应视图内容时，我们才需要用到9-patch图。如何绘制9-patch 这边以Android Studio为例，进行实际说明如何绘制9-patch图。确定要创建9-patch的图片，这里以下面图片中的chat_bg.png为例。右键点击您想要用来创建 NinePatch 图像的 PNG 图像，然后点击 Create 9-patch file。点击之后会弹框，如果名字保持不变，结果如下。这个时候...

2018-03-08

753

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。