Кодирование H.264 с камеры с Android MediaCodec

Ответ 1

Для вашего быстрого воспроизведения - проблема с частотой кадров, вам здесь нечего делать. Так как это потоковое решение, другой стороне нужно сообщить частоту кадров заранее или временные метки с каждым кадром. Оба они не являются частью элементарного потока. Выбрана либо заранее определенная частота кадров, либо вы передаете какой-либо sdp или что-то в этом роде, или используете существующие протоколы, такие как rtsp. Во втором случае отметки времени являются частью потока, отправленного в виде чего-то вроде rtp. Затем клиент должен затухать поток rtp и играть в него. Вот как работает элементарная потоковая передача. [исправить частоту кадров, если у вас есть кодировщик с фиксированной скоростью или указать временные метки]

Локальное воспроизведение ПК будет быстрым, потому что он не будет знать fps. Давая параметр fps перед входом, например,

ffplay -fps 30 in.264

вы можете управлять воспроизведением на ПК.

Что касается файла, который не воспроизводится: имеет ли он SPS и PPS. Также вы должны включить заголовки NAL - формат приложения b. Я мало знаю об андроиде, но это требование для того, чтобы любой элементарный поток h.264 мог воспроизводиться, когда они не находятся в каких-либо контейнерах, и их нужно сбрасывать и воспроизводить позже. Если по умолчанию андроид - mp4, но заголовки приложений по умолчанию будут отключены, поэтому, возможно, есть переключатель, чтобы включить его. Или, если вы получаете данные по кадре, просто добавьте их самостоятельно.

Что касается цветового формата: я бы предположил, что значение по умолчанию должно работать. Поэтому постарайтесь не устанавливать его.  Если не попробовать 422 Planar или UVYV/VYUY, чередующиеся форматы. обычно камеры являются одними из них. (но не обязательно, это могут быть те, с которыми я столкнулся чаще).

Ответ 2

Android 4.3 (API 18) обеспечивает простое решение. Класс MediaCodec теперь принимает входные данные от Surfaces, что означает, что вы можете подключить предварительный просмотр камеры Surface к кодировщику и обходить все странные проблемы формата YUV.

Существует также новый класс MediaMuxer, который преобразует ваш необработанный поток H.264 в файл .mp4 (возможно, смешение в аудиопотоке).

Смотрите пример CameraToMpegTest для примера такого рода. (Он также демонстрирует использование шейдера фрагмента OpenGL ES для выполнения тривиального редактирования видео по мере его записи.)

Ответ 3

Вы можете преобразовать цветовые пространства, подобные этому, если вы задали цветовое пространство предварительного просмотра для YV12:

public static byte[] YV12toYUV420PackedSemiPlanar(final byte[] input, final byte[] output, final int width, final int height) {
        /* 
         * COLOR_TI_FormatYUV420PackedSemiPlanar is NV12
         * We convert by putting the corresponding U and V bytes together (interleaved).
         */
        final int frameSize = width * height;
        final int qFrameSize = frameSize/4;

        System.arraycopy(input, 0, output, 0, frameSize); // Y

        for (int i = 0; i < qFrameSize; i++) {
            output[frameSize + i*2] = input[frameSize + i + qFrameSize]; // Cb (U)
            output[frameSize + i*2 + 1] = input[frameSize + i]; // Cr (V)
        }
        return output;
    }

Или

 public static byte[] YV12toYUV420Planar(byte[] input, byte[] output, int width, int height) {
        /* 
         * COLOR_FormatYUV420Planar is I420 which is like YV12, but with U and V reversed.
         * So we just have to reverse U and V.
         */
        final int frameSize = width * height;
        final int qFrameSize = frameSize/4;

        System.arraycopy(input, 0, output, 0, frameSize); // Y
        System.arraycopy(input, frameSize, output, frameSize + qFrameSize, qFrameSize); // Cr (V)
        System.arraycopy(input, frameSize + qFrameSize, output, frameSize, qFrameSize); // Cb (U)

        return output;
    }

Ответ 4

Вы можете запросить MediaCodec для поддерживаемого формата растрового изображения и запросить предварительный просмотр. Проблема в том, что некоторые MediaCodecs поддерживают только запатентованные форматы YUV, которые вы не можете получить из предварительного просмотра. В частности, 2130706688 = 0x7F000100 = COLOR_TI_FormatYUV420PackedSemiPlanar. Формат по умолчанию для предварительного просмотра: 17 = NV21 = MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV411Planar = YCbCr 420 Полупланар

Ответ 5

Если вы явно не запрашивали формат другого пикселя, буферы предварительного просмотра камеры будут поступать в формат YUV 420, известный как NV21, для который COLOR_FormatYCrYCb является эквивалентом MediaCodec.

К сожалению, как упоминают другие ответы на этой странице, нет гарантии, что на вашем устройстве кодер AVC поддерживает этот формат. Обратите внимание, что существуют некоторые странные устройства, которые не поддерживают NV21, но я не знаю, что можно обновить до API 16 (следовательно, есть MediaCodec).

В документации Google также утверждается, что YV12 планарный YUV должен поддерживаться как формат предварительного просмотра камеры для всех устройств с API >= 12. Поэтому, может быть полезно попробовать (эквивалент MediaCodec COLOR_FormatYUV420Planar, который вы используете в своем фрагменте кода.)

Обновить: как напомнил мне Эндрю Коттрелл, YV12 все еще нуждается в обмене цветности, чтобы стать COLOR_FormatYUV420Planar.