На высоком уровне я создал приложение, которое позволяет пользователю указывать свою камеру iPhone и просматривать видеокадры, обработанные визуальными эффектами. Кроме того, пользователь может нажать кнопку, чтобы снять фрейм-кадр текущего предварительного просмотра в виде фотографии с высоким разрешением, которая сохраняется в их библиотеке iPhone.
Для этого приложение следует этой процедуре:
1) Создайте AVCaptureSession
captureSession = [[AVCaptureSession alloc] init];
[captureSession setSessionPreset:AVCaptureSessionPreset640x480];
2) Подключите AVCaptureDeviceInput, используя обратную камеру.
videoInput = [[[AVCaptureDeviceInput alloc] initWithDevice:backFacingCamera error:&error] autorelease];
[captureSession addInput:videoInput];
3) Подключите AVCaptureStillImageOutput к сеансу, чтобы иметь возможность снимать неподвижные кадры при разрешении фотографий.
stillOutput = [[AVCaptureStillImageOutput alloc] init];
[stillOutput setOutputSettings:[NSDictionary
dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_32BGRA]
forKey:(id)kCVPixelBufferPixelFormatTypeKey]];
[captureSession addOutput:stillOutput];
4) Подключите AVCaptureVideoDataOutput к сеансу, чтобы иметь возможность захватывать отдельные видеофрагменты (CVImageBuffers) с меньшим разрешением
videoOutput = [[AVCaptureVideoDataOutput alloc] init];
[videoOutput setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_32BGRA] forKey:(id)kCVPixelBufferPixelFormatTypeKey]];
[videoOutput setSampleBufferDelegate:self queue:dispatch_get_main_queue()];
[captureSession addOutput:videoOutput];
5) Когда видеофрагменты захватываются, метод делегата вызывается с каждым новым фреймом как CVImageBuffer:
- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{
CVImageBufferRef pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
[self.delegate processNewCameraFrame:pixelBuffer];
}
6) Затем делегат обрабатывает/рисует их:
- (void)processNewCameraFrame:(CVImageBufferRef)cameraFrame {
CVPixelBufferLockBaseAddress(cameraFrame, 0);
int bufferHeight = CVPixelBufferGetHeight(cameraFrame);
int bufferWidth = CVPixelBufferGetWidth(cameraFrame);
glClear(GL_COLOR_BUFFER_BIT);
glGenTextures(1, &videoFrameTexture_);
glBindTexture(GL_TEXTURE_2D, videoFrameTexture_);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA, bufferWidth, bufferHeight, 0, GL_BGRA, GL_UNSIGNED_BYTE, CVPixelBufferGetBaseAddress(cameraFrame));
glBindBuffer(GL_ARRAY_BUFFER, [self vertexBuffer]);
glBindBuffer(GL_ELEMENT_ARRAY_BUFFER, [self indexBuffer]);
glDrawElements(GL_TRIANGLE_STRIP, 4, GL_UNSIGNED_SHORT, BUFFER_OFFSET(0));
glBindBuffer(GL_ARRAY_BUFFER, 0);
glBindBuffer(GL_ELEMENT_ARRAY_BUFFER, 0);
[[self context] presentRenderbuffer:GL_RENDERBUFFER];
glDeleteTextures(1, &videoFrameTexture_);
CVPixelBufferUnlockBaseAddress(cameraFrame, 0);
}
Это все работает и приводит к правильным результатам. Я вижу видео-просмотр 640x480, обработанных через OpenGL. Это выглядит так:
Однако, если я захвачу неподвижное изображение с этого сеанса, его разрешение также будет 640x480. Я хочу, чтобы это было высокое разрешение, поэтому на первом шаге я меняю пресетную строку на:
[captureSession setSessionPreset:AVCaptureSessionPresetPhoto];
Это правильно фиксирует неподвижные изображения с самым высоким разрешением для iPhone4 (2592x1936).
Однако предварительный просмотр видео (полученный делегатом в шагах 5 и 6) теперь выглядит следующим образом:
Я подтвердил, что каждый пресет (высокий, средний, низкий, 640x480 и 1280x720) превью, как и предполагалось. Тем не менее, пресет фотографий, похоже, отправляет данные буфера в другом формате.
Я также подтвердил, что данные, отправляемые в буфер в предустановке Photo, фактически являются действительными данными изображения, беря буфер и создавая из него UIImage вместо отправки его в openGL:
CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
CGContextRef context = CGBitmapContextCreate(CVPixelBufferGetBaseAddress(cameraFrame), bufferWidth, bufferHeight, 8, bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst);
CGImageRef cgImage = CGBitmapContextCreateImage(context);
UIImage *anImage = [UIImage imageWithCGImage:cgImage];
Это показывает неискаженный видеокадр.
Я сделал кучу поиска и, похоже, не могу исправить это. Моя догадка заключается в том, что это проблема с форматом данных. То есть, я считаю, что буфер настроен правильно, но с форматом, который эта строка не понимает:
glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA, bufferWidth, bufferHeight, 0, GL_BGRA, GL_UNSIGNED_BYTE, CVPixelBufferGetBaseAddress(cameraFrame));
Моя догадка заключалась в том, что изменение внешнего формата с GL_BGRA на что-то другое поможет, но оно не... и с помощью различных средств похоже, что буфер фактически находится в GL_BGRA.
Кто-нибудь знает, что здесь происходит? Или у вас есть какие-то советы о том, как я могу отлаживать, почему это происходит? (Что супер странно, так это то, что это происходит на iphone4, но не на iPhone 3GS... оба работают с ios4.3)
