视频采集：iOS平台基于AVCaptureDevice的实现-低调大师

视频采集：iOS平台基于AVCaptureDevice的实现

2019-04-03 497

入门知识
AVCaptureSession
在iOS平台开发中只要跟硬件相关的都要从会话开始进行配置，如果我们使用摄像头的话可以利用AVCaptureSession进行视频采集，其可以对输入和输出数据进行管理，负责协调从哪里采集数据，输出到哪里去。
AVCaptureDevice
一个AVCaptureDevice对应的是一个物理采集设备，我们可以通过该对象来获取和识别设备属性。
例如通过AVCaptureDevice.position检测其摄像头的方向。
AVCaptureInput
AVCaptureInput是一个抽象类，AVCaptureSession的输入端必须是AVCaptureInput的实现类。
例如利用AVCaptureDevice构建AVCaptureDeviceInput作为采集设备输入端。
AVCaptureOutput
AVCaptureOutput是一个抽象类，AVCaptureSession的输出端必须是AVCaptureOutput的实现类。
例如AVCaptureVideoDataOutput可以作为一个原始视频数据的输出端。
AVCaptureConnection
AVCaptureConnection是AVCaptureSession用来建立和维护AVCaptureInput和AVCaptureOutput之间的连接的，一个AVCaptureSession可能会有多个AVCaptureConnection实例。
采集步骤

创建AVCaptureSession并初始化。
通过前后置摄像头找到对应的AVCaptureDevice。
通过AVCaptureDevice创建输入端AVCaptureDeviceInput，并将其添加到AVCaptureSession的输入端。
创建输出端AVCaptureVideoDataOutput，并进行Format和Delgate的配置，最后添加到AVCaptureSession的输出端。
获取AVCaptureConnection，并进行相应的参数设置。
调用AVCaptureSession的startRunning和stopRunning设置采集状态。
配置会话

创建一个AVCaptureSession很简单：
AVCaptureSession *captureSession;
captureSession = [[AVCaptureSession alloc] init];
我们可以在AVCaptureSession来配置指定所需的图像质量和分辨率，可选参数请参考AVCaptureSessionPreset.h。
在设置前需要检测是否支持该Preset是否被支持：
//指定采集1280x720分辨率大小格式
AVCaptureSessionPreset preset = AVCaptureSessionPreset1280x720;
//检查AVCaptureSession是否支持该AVCaptureSessionPreset
if ([captureSession canSetSessionPreset:preset]) {

captureSession.sessionPreset = preset;

}
else {

//错误处理，不支持该AVCaptureSessionPreset类型值

}
配置输入端
通过AVCaptureDevice的devicesWithMediaType的方法来获取摄像头，由于iOS存在多个摄像头，所以这里一般返回一个设备的数组。
根据业务需要(例如前后置摄像头)，我们找到其中对应的AVCaptureDevice，并将其构造成AVCaptureDeviceInput实例。
AVCaptureDevice *device;
AVCaptureDeviceInput *captureInput;
//获取前后置摄像头的标识
AVCaptureDevicePosition position = _isFront ? AVCaptureDevicePositionFront : AVCaptureDevicePositionBack;
//获取设备的AVCaptureDevice列表
NSArray *devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];
for (AVCaptureDevice *item in devices) {

//如果找到对应的摄像头
if ([item position] == position) {
    device = item;
    break;
}

}
if (device == nil) {

//错误处理，没有找到对应的摄像头

}
//创建AVCaptureDeviceInput输入端
captureInput = [[AVCaptureDeviceInput alloc] initWithDevice:device error:nil];
配置输出端
如果我们想要获取到摄像头采集到的原始视频数据的话，需要配置一个AVCaptureVideoDataOutput作为AVCaptureSession的输出端，我们需要给其设置采集的视频格式和采集数据回调队列。

AVCaptureVideoDataOutput *captureOutput;
//创建一个输出端AVCaptureVideoDataOutput实例
captureOutput = [[AVCaptureVideoDataOutput new];
//配置输出的数据格式
[captureOutput setVideoSettings:@{(id)kCVPixelBufferPixelFormatTypeKey: @(kCVPixelFormatType_420YpCbCr8PlanarFullRange)}];
//设置输出代理和采集数据的队列
dispatch_queue_t outputQueue = dispatch_queue_create("ACVideoCaptureOutputQueue", DISPATCH_QUEUE_SERIAL);
[captureOutput setSampleBufferDelegate:self queue:outputQueue];
// 丢弃延迟的帧
captureOutput.alwaysDiscardsLateVideoFrames = YES;
需要注意的几个点
•    对于setVideoSettings，虽然AVCaptureVideoDataOutput提供的是一个字典设置，但是现在只支持kCVPixelBufferPixelFormatTypeKey这个key。
•    像素格式默认使用的是YUVFullRange类型，表示其YUV取值范围是0~255，而还有另外一种类型YUVVideoRange类型则是为了防止溢出，将YUV的取值范围限制为16~235。
•    setSampleBufferDelegate必须指定串行队列来确保视频数据获取委托调用的正确顺序，当然你也可以修改队列来设置视频处理的优先级别。
•    alwaysDiscardsLateVideoFrames = YES可以在你没有足够时间处理视频帧时丢弃任何延迟的视频帧而不是等待处理，如果你设置了NO并不能保证帧不会被丢弃，只是他们不会被提前有意识的丢弃而已。
配置会话的输入和输出
//添加输入设备到会话
if ([captureSession canAddInput:captureInput]) {
    [captureSession addInput:captureInput];
}
//添加输出设备到会话
if ([captureSession canAddOutput:captureOutput]) {
    [captureSession addOutput:captureOutput];
}
//获取连接并设置视频方向为竖屏方向
AVCaptureConnection *conn = [captureOutput connectionWithMediaType:AVMediaTypeVideo];
conn.videoOrientation = AVCaptureVideoOrientationPortrait;
//前置摄像头采集到的数据本来就是镜像翻转的，这里设置为镜像把画面转回来
if (device.position == AVCaptureDevicePositionFront && conn.supportsVideoMirroring) {
    conn.videoMirrored = YES;
}
如果AVCaptureSession已经开启了采集，如果这个时候需要修改分辨率、输入输出等配置。那么需要用到beginConfiguration和commitConfiguration方法把修改的代码包围起来，也就是先调用beginConfiguration启动事务，然后配置分辨率、输入输出等信息，最后调用commitConfiguration提交修改；这样才能确保相应修改作为一个事务组提交，避免状态的不一致性。
AVCaptureSession管理了采集过程中的状态，当开始采集、停止采集、出现错误等都会发起通知，我们可以监听通知来获取AVCaptureSession的状态，也可以调用其属性来获取当前AVCaptureSession的状态，值得注意一点是AVCaptureSession相关的通知都是在主线程的。
开始采集数据和数据回调
当上面的配置搞定后，调用startRunning就可以开始数据的采集了。
if (![captureSession isRunning]) {
    [captureSession startRunning];
}
停止采集只需要调用stopRunning方法即可。
if ([captureSession isRunning]) {
    [captureSession stopRunning];
}
对于采集回调的视频数据，会在[captureOutput setSampleBufferDelegate:self queue:outputQueue]设置的代理方法触发返回，
其中最重要的是CMSampleBufferRef，其中实际存储着摄像头采集到的图像。
方法原型如下：
- (void)captureOutput:(AVCaptureOutput *)output 
        didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer 
        fromConnection:(AVCaptureConnection *)connection 
切换前后摄像头
在视频采集的过程中，我们经常需要切换前后摄像头，这里我们也就是需要把AVCaptureSession的输入端改为对应的摄像头就可以了。
当然我们可以用beginConfiguration和commitConfiguration将修改逻辑包围起来，也可以先调用stopRunning方法停止采集，然后重新配置好输入和输出，再调用startRunning开启采集。
//获取摄像头列表
NSArray *devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];
//获取当前摄像头方向
AVCaptureDevicePosition currentPosition = captureInput.device.position;
//转换摄像头
if (currentPosition == AVCaptureDevicePositionBack){
    currentPosition = AVCaptureDevicePositionFront;
}
else{
    currentPosition = AVCaptureDevicePositionBack;
}
//获取到新的AVCaptureDevice
NSArray *captureDeviceArray = [devices filteredArrayUsingPredicate:[NSPredicate predicateWithFormat:@"position == %d", currentPosition]];
AVCaptureDevice *device = captureDeviceArray.firstObject;
//开始配置
[captureSession beginConfiguration];
//构造一个新的AVCaptureDeviceInput的输入端
AVCaptureDeviceInput *newInput = [AVCaptureDeviceInput deviceInputWithDevice:device error:nil];
//移除掉就的AVCaptureDeviceInput
[captureSession removeInput:captureInput];
//将新的AVCaptureDeviceInput添加到AVCaptureSession中
if ([captureSession canAddInput:newInput]){
    [captureSession addInput:newInput];
    captureInput = newInput;
}
//提交配置
[captureSession commitConfiguration];
//重新获取连接并设置视频的方向、是否镜像
AVCaptureConnection *conn = [captureOutput connectionWithMediaType:AVMediaTypeVideo];
conn.videoOrientation = AVCaptureVideoOrientationPortrait;
if (device.position == AVCaptureDevicePositionFront && conn.supportsVideoMirroring){
    conn.videoMirrored = YES;
}
视频帧率
iOS默认的帧率设置是30帧，如果我们的业务场景不需要用到30帧，或者我们的处理能力达不到33ms(1000ms/30帧)的话，我们可以通过设置修改视频的输出帧率：
NSInteger fps = 15;
//获取设置支持设置的帧率范围
AVFrameRateRange *fpsRange = [captureInput.device.activeFormat.videoSupportedFrameRateRanges objectAtIndex:0];
if (fps > fpsRange.maxFrameRate || fps < fpsRange.minFrameRate) {
    //不支持该fps设置
    return;
}
// 设置输入的帧率
captureInput.device.activeVideoMinFrameDuration = CMTimeMake(1, (int)fps);
captureInput.device.activeVideoMaxFrameDuration = CMTimeMake(1, (int)fps);
简易预览
如果不想通过自己实现OpenGL渲染采集到的视频帧，当然，iOS也提供了一个预览组件AVCaptureVideoPreviewLayer，其继承于CALayer。
可以将这个layer添加到UIView上面就可以实现采集到的视频的实时预览。
//创建一个AVCaptureVideoPreviewLayer，并将AVCaptureSession传入
AVCaptureVideoPreviewLayer *previewLayer;
previewLayer = [[AVCaptureVideoPreviewLayer alloc] initWithSession:captureSession];
previewLayer.videoGravity = AVLayerVideoGravityResizeAspectFill;
previewLayer.frame = self.view.bounds;
//将其加载到UIView上面即可
[self.view.layer addSublayer:previewLayer];
PS：如果采用AVCaptureVideoPreviewLayer进行视频预览的话，那么可以不配置AVCaptureSession的输出端相关。

微信关注我们

原文链接：https://yq.aliyun.com/articles/696768

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

ios整理（六）关于用富文本在tableview的cell去加载html字符串的优化方案

ios整理（六）关于用富文本在tableview的cell去加载html字符串的优化方案1.相信用iOS系统的类去加载html字符串很多人第一反应就是 NSString *contens = @"1231我给你数点这里";NSData *data = [contens dataUsingEncoding:NSUnicodeStringEncoding];NSDictionary *options = @{NSDocumentTypeDocumentAttribute: NSHTMLTextDocumentType};NSMutableAttributedString *attr = [[NSMutableAttributedString alloc] initWithData:data options:options documentAttributes:nil error:nil];然后后面的就是直接将attr这个对象赋值给lab或者textView这样的控件就能展示了，苹果提供的API就是这个。然而我要说的是在反复的intiWithData的时候它是比较耗费内存性能的，你可以尝试...

2019-04-04

662

资源匹配字符资源values、布局资源layout、图片资源drawable，都可以在文件夹后添加国家后缀，放对应语言的资源。则系统会根据设置的语言自动去找对应语言的资源，如果没有设置的系统语言资源，则会拿去拿默认资源（values、layout、drawable文件夹下）。国家地区语言缩写代码：www.cnblogs.com/Mien/archiv… 工程内初始化设置 Application 重写onCreate()方法，初始化设置语言；为全局Context设置语言，若不设置，用全局Context加载的资源不会去加载用户设置的语言类型的资源。重写onConfigurationChanged(Configuration newConfig)方法，再次初始化设置语言；当手机系统改变后，这个方法会回调，所以需要手动设置成用户选的语言，否则就

2019-04-04

660

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。