iOS RTMP 视频直播开发笔记（1） – 采集摄像头图像

来源：互联网发布：银联卡网络支付接口编辑：程序博客网时间：2024/05/23 02:02

1. 采集硬件（摄像头）视频图像

这里简单说下 iOS 的摄像头采集。

首先初始化AVCaptureSession，说到Session，有没有人想到AVAudioSession呢？

1
2
// 初始化 AVCaptureSession
_session = [[AVCaptureSession alloc] init];

设置采集的 Video 和 Audio 格式，这两个是分开设置的，也就是说，你可以只采集视频。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
// 配置采集输入源（摄像头）
NSError*error=nil;
// 获得一个采集设备，例如前置/后置摄像头
AVCaptureDevice*videoDevice=[AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];
// 用设备初始化一个采集的输入对象
AVCaptureDeviceInput*videoInput=[AVCaptureDeviceInput deviceInputWithDevice:videoDevice error:&error];
if(error){
    NSLog(@"Error getting video input device: %@",error.description);
}
if([_session canAddInput:videoInput]){
    [_session addInput:videoInput];// 添加到Session
}
 
// 配置采集输出，即我们取得视频图像的接口
_videoQueue=dispatch_queue_create("Video Capture Queue",DISPATCH_QUEUE_SERIAL);
_videoOutput=[[AVCaptureVideoDataOutputalloc] init];
[_videoOutput setSampleBufferDelegate:self queue:_videoQueue];
 
// 配置输出视频图像格式
NSDictionary*captureSettings=@{(NSString*)kCVPixelBufferPixelFormatTypeKey:@(kCVPixelFormatType_32BGRA)};
 
_videoOutput.videoSettings=captureSettings;
_videoOutput.alwaysDiscardsLateVideoFrames=YES;
if([_session canAddOutput:_videoOutput]){
    [_session addOutput:_videoOutput];  // 添加到Session
}
 
// 保存Connection，用于在SampleBufferDelegate中判断数据来源（是Video/Audio？）
_videoConnection=[_videoOutput connectionWithMediaType:AVMediaTypeVideo];

实现 AVCaptureOutputDelegate：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
- (void) captureOutput:(AVCaptureOutput *)captureOutput 
 didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer 
        fromConnection:(AVCaptureConnection *)connection
{
    // 这里的sampleBuffer就是采集到的数据了，但它是Video还是Audio的数据，得根据connection来判断
    if (connection == _videoConnection) {  // Video
        /*
        // 取得当前视频尺寸信息
        CVPixelBufferRef pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
        int width = CVPixelBufferGetWidth(pixelBuffer);
        int height = CVPixelBufferGetHeight(pixelBuffer);
        NSLog(@"video width: %d  height: %d", width, height);
        */
         NSLog(@"在这里获得video sampleBuffer，做进一步处理（编码H.264）");
    } else if (connection == _audioConnection) {  // Audio
        NSLog(@"这里获得audio sampleBuffer，做进一步处理（编码AAC）");
    }
}

关于实时编码H.264和AAC Buffer，这里又是两个技术点，之后再讲吧。

配置完成，现在启动 Session：

1
2
// 启动 Session
[_sessionstartRunning];

1.1 附加任务：将当前硬件采集视频图像显示到屏幕

很简单，发送端直接使用自家的AVCaptureVideoPreviewLayer显示，so easy

1
2
3
4
5
6
_previewLayer=[AVCaptureVideoPreviewLayer layerWithSession:_session];
_previewLayer.videoGravity=AVLayerVideoGravityResizeAspectFill;// 设置预览时的视频缩放方式
[[_previewLayerconnection] setVideoOrientation:AVCaptureVideoOrientationPortrait];// 设置视频的朝向
 
_previewLayer.frame=self.view.layer.bounds;
[self.view.layer addSublayer:_previewLayer];

然后将这个layer添加到界面中即可显示了。

采集时候有个小坑，就是采集的图像尺寸和方向设置。有空我会单开个帖子来聊聊。

原创文章，采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。
转载请注明：转载自 Tony's blog，原文网址：http://itony.me/799.html

0 0