UIImage, созданный из CMSampleBufferRef, не отображаемый в UIImageView?

Я пытаюсь отобразить UIImage в режиме реального времени, поступающего с камеры, и кажется, что мой UIImageView не отображает изображение должным образом. Это метод, который a AVCaptureVideoDataOutputSampleBufferDelegate должен реализовать

- (void)captureOutput:(AVCaptureOutput *)captureOutput 
didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer 
       fromConnection:(AVCaptureConnection *)connection
{ 
    // Create a UIImage from the sample buffer data
    UIImage *theImage = [self imageFromSampleBuffer:sampleBuffer];
//    NSLog(@"Got an image! %f %f", theImage.size.width, theImage.size.height);
//    NSLog(@"The image view is %@", imageView);
//    UIImage *theImage = [[UIImage alloc] initWithData:[NSData 
//        dataWithContentsOfURL:[NSURL 
//        URLWithString:@"http://farm4.static.flickr.com/3092/2915896504_a88b69c9de.jpg"]]];
    [self.session stopRunning];
    [imageView setImage: theImage];
}

Чтобы избавиться от простых проблем:

Использование UIImagePickerController не является вариантом (в конечном итоге мы будем делать что-то с изображением)
Я знаю, что обработчик вызывается (вызовы NSLog сделаны, и я вижу вывод)
Я знаю, что объявления IBOutlet настроены правильно. Если я использую прокомментированный код выше для загрузки произвольного изображения из Интернета вместо простой отправки setImage:theImage в imageView, изображение загружается правильно (а второй вызов NSLog сообщает объект, отличный от нуля).
По крайней мере, в основном, изображение, которое я получаю из imageFromSampleBuffer:, прекрасно, так как NSLog сообщает размер 360x480, размер которого я ожидал.

Код, который я использую, - это недавно опубликованный фрагмент AVFoundation от Apple, доступный здесь.

В частности, это код, который я использую, который устанавливает объект AVCaptureSession и друзей (которого я очень мало понимаю), и создает объект UIImage из буферов Core Video (что метод imageFromSampleBuffer).

Наконец, я могу заставить приложение сбой, если попытаюсь отправить drawInRect: в простой подкласс UIView с UIImage, возвращенный imageFromSamplerBuffer, в то время как он не сбой, если я использую UIImage из URL, как указано выше. Вот трассировка стека из отладчика внутри аварии (я получаю сигнал EXC_BAD_ACCESS):

#0  0x34a977ee in decode_swap ()
#1  0x34a8f80e in decode_data ()
#2  0x34a8f674 in img_decode_read ()
#3  0x34a8a76e in img_interpolate_read ()
#4  0x34a63b46 in img_data_lock ()
#5  0x34a62302 in CGSImageDataLock ()
#6  0x351ab812 in ripc_AcquireImage ()
#7  0x351a8f28 in ripc_DrawImage ()
#8  0x34a620f6 in CGContextDelegateDrawImage ()
#9  0x34a61fb4 in CGContextDrawImage ()
#10 0x321fd0d0 in -[UIImage drawInRect:blendMode:alpha:] ()
#11 0x321fcc38 in -[UIImage drawInRect:] ()

EDIT: Здесь еще немного информации о возврате UIImage этим битом кода.

Используя описанный метод здесь, я могу добраться до пикселей и распечатать их, и они выглядят нормально на первый взгляд (каждое значение в альфа-канале составляет 255, например). Тем не менее, там что-то слегка выключено с размерами буфера. Изображение, которое я получаю от Flickr с этого URL, равно 375x500, а его [pixelData length] дает мне 750000 = 375*500*4, что является ожидаемым значением. Однако пиксельные данные изображения, возвращаемые из imageFromSampleBuffer:, имеют размер 691208 = 360*480*4 + 8, поэтому в пиксельных данных есть 8 дополнительных байтов. CVPixelBufferGetDataSize сам возвращает это значение by-by-8. Я на мгновение подумал, что это может быть связано с распределением буферов на выровненных позициях в памяти, но 691200 кратно 256, так что это тоже не объясняет. Это несоответствие по размеру - единственное различие, которое я могу рассказать между двумя UIImages, и это может вызвать проблемы. Тем не менее, нет причин, по которым выделение дополнительной памяти для буфера должно вызывать нарушение EXC_BAD_ACCESS.

Большое спасибо за любую помощь, и дайте мне знать, если вам нужна дополнительная информация.

Ответ 1

У меня была такая же проблема... но я нашел этот старый пост, и его метод создания CGImageRef работает!

http://forum.unity3d.com/viewtopic.php?p=300819

Здесь рабочий пример:

app has a member UIImage theImage;

// Delegate routine that is called when a sample buffer was written
- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer  fromConnection:(AVCaptureConnection *)connection
{
        //... just an example of how to get an image out of this ...

    CGImageRef cgImage = [self imageFromSampleBuffer:sampleBuffer];
    theImage.image =     [UIImage imageWithCGImage: cgImage ];
    CGImageRelease( cgImage );
}

- (CGImageRef) imageFromSampleBuffer:(CMSampleBufferRef) sampleBuffer // Create a CGImageRef from sample buffer data
{
    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer); 
    CVPixelBufferLockBaseAddress(imageBuffer,0);        // Lock the image buffer 

    uint8_t *baseAddress = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(imageBuffer, 0);   // Get information of the image 
    size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer); 
    size_t width = CVPixelBufferGetWidth(imageBuffer); 
    size_t height = CVPixelBufferGetHeight(imageBuffer); 
    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB(); 

    CGContextRef newContext = CGBitmapContextCreate(baseAddress, width, height, 8, bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst); 
    CGImageRef newImage = CGBitmapContextCreateImage(newContext); 
    CGContextRelease(newContext); 

    CGColorSpaceRelease(colorSpace); 
    CVPixelBufferUnlockBaseAddress(imageBuffer,0); 
    /* CVBufferRelease(imageBuffer); */  // do not call this!

    return newImage;
}

Ответ 2

Live-захват видеокадров теперь хорошо объясняется Apple Technical Q & A QA1702:

https://developer.apple.com/library/ios/#qa/qa1702/_index.html

Ответ 3

Также важно установить правильный формат вывода. У меня была проблема с захватом изображения при использовании настроек формата по умолчанию. Это должно быть:

[videoDataOutput setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithUnsignedInt:kCVPixelFormatType_32BGRA] forKey:(NSString*)kCVPixelBufferPixelFormatTypeKey]];

Ответ 4

Ben Loulier имеет хорошую запись о том, как это сделать.

Я использую его пример приложения в качестве отправной точки, и он работает для меня. Наряду с заменой функции imageFromSamplerBuffer на что-то, что создает CGImageRef с CGBitmapContextCreate, он использует основную очередь отправки (через dispatch_get_main_queue()) при настройке делегата буфера выборки выборки. Это не лучшее решение, потому что ему нужна последовательная очередь, и из того, что я понимаю, основная очередь не является последовательной очередью. Поэтому, пока вам не гарантировано получить фреймы в правильном порядке, мне кажется, что это работает для меня до сих пор:)

Ответ 5

Еще одна вещь, на которую стоит обратить внимание - действительно ли вы обновляете свой UIImageView в основном потоке: если вы этого не сделаете, скорее всего, он не будет отражать никаких изменений.

captureOutput:didOutputSampleBuffer:fromConnection Метод делегата часто вызывается в фоновом потоке. Итак, вы хотите сделать это:

- (void)captureOutput:(AVCaptureOutput *)captureOutput
didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer
       fromConnection:(AVCaptureConnection *)connection
{   
    CFRetain(sampleBuffer);

    [[NSOperationQueue mainQueue] addOperationWithBlock:^{

        //Now we're definitely on the main thread, so update the imageView:
        UIImage *capturedImage = [self imageFromSampleBuffer:sampleBuffer];

        //Display the image currently being captured:
        imageView.image = capturedImage;

        CFRelease(sampleBuffer);
    }];
}