Я пытаюсь использовать MediaCodec для сохранения серии изображений, сохраненных в виде байтовых массивов в файле, в видеофайл. Я тестировал эти изображения на SurfaceView (играя их последовательно), и я вижу их в порядке. Я рассмотрел множество примеров, используя MediaCodec, и вот что я понимаю (пожалуйста, поправьте меня, если я ошибаюсь):
Получить InputBuffers из объекта MediaCodec → заполнить его с помощью фрейма данные изображения → очередь входного буфера → получить кодированный выходной буфер → записать его в файл → увеличить время представления и повторить
Однако я много тестировал, и в итоге я получил один из двух случаев:
- Все примеры проектов, которые я пытался имитировать, заставили Media Server умереть при вызове
queueInputBufferво второй раз. - Я попытался позвонить
codec.flush()в конец (после сохранения выходного буфера в файл, хотя ни один из примеров, которые я видел, не сделал), а медиа-сервер не умер, однако я не могу открыть выходной видеофайл с любым медиа-плеером, поэтому что-то не так.
Вот мой код:
MediaCodec codec = MediaCodec.createEncoderByType(MIMETYPE);
MediaFormat mediaFormat = null;
if(CamcorderProfile.hasProfile(CamcorderProfile.QUALITY_720P)){
mediaFormat = MediaFormat.createVideoFormat(MIMETYPE, 1280 , 720);
} else {
mediaFormat = MediaFormat.createVideoFormat(MIMETYPE, 720, 480);
}
mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 700000);
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 10);
mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar);
mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 5);
codec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
codec.start();
ByteBuffer[] inputBuffers = codec.getInputBuffers();
ByteBuffer[] outputBuffers = codec.getOutputBuffers();
boolean sawInputEOS = false;
int inputBufferIndex=-1,outputBufferIndex=-1;
BufferInfo info=null;
//loop to read YUV byte array from file
inputBufferIndex = codec.dequeueInputBuffer(WAITTIME);
if(bytesread<=0)sawInputEOS=true;
if(inputBufferIndex >= 0){
if(!sawInputEOS){
int samplesiz=dat.length;
inputBuffers[inputBufferIndex].put(dat);
codec.queueInputBuffer(inputBufferIndex, 0, samplesiz, presentationTime, 0);
presentationTime += 100;
info = new BufferInfo();
outputBufferIndex = codec.dequeueOutputBuffer(info, WAITTIME);
Log.i("BATA", "outputBufferIndex="+outputBufferIndex);
if(outputBufferIndex >= 0){
byte[] array = new byte[info.size];
outputBuffers[outputBufferIndex].get(array);
if(array != null){
try {
dos.write(array);
} catch (IOException e) {
e.printStackTrace();
}
}
codec.releaseOutputBuffer(outputBufferIndex, false);
inputBuffers[inputBufferIndex].clear();
outputBuffers[outputBufferIndex].clear();
if(sawInputEOS) break;
}
}else{
codec.queueInputBuffer(inputBufferIndex, 0, 0, presentationTime, MediaCodec.BUFFER_FLAG_END_OF_STREAM);
info = new BufferInfo();
outputBufferIndex = codec.dequeueOutputBuffer(info, WAITTIME);
if(outputBufferIndex >= 0){
byte[] array = new byte[info.size];
outputBuffers[outputBufferIndex].get(array);
if(array != null){
try {
dos.write(array);
} catch (IOException e) {
e.printStackTrace();
}
}
codec.releaseOutputBuffer(outputBufferIndex, false);
inputBuffers[inputBufferIndex].clear();
outputBuffers[outputBufferIndex].clear();
break;
}
}
}
}
codec.flush();
try {
fstream2.close();
dos.flush();
dos.close();
} catch (IOException e) {
e.printStackTrace();
}
codec.stop();
codec.release();
codec = null;
return true;
}
Мой вопрос: как я могу получить рабочее видео из потока изображений с помощью MediaCodec. Что я делаю неправильно?
Другой вопрос (если я не слишком жадный), я хотел бы добавить звуковую дорожку к этому видео, можно ли это сделать и с MediaCodec, или я должен использовать FFmpeg?
Примечание. Я знаю о MediaMux в Android 4.3, однако это не вариант для меня, поскольку мое приложение должно работать на Android 4.1 +.
Обновление Благодаря fadden ответ, я смог достичь EOS без смерти сервера Media (выше код после модификации). Тем не менее, файл, который я получаю, производит тарабарщину. Вот снимок видео, которое я получаю (работает только как файл .h264).
Мой формат входного изображения - изображение YUV (NV21 из предварительного просмотра камеры). Я не могу получить его в любом формате. Я пробовал все форматы COLOR_FormatYUV420 и один и тот же барабанный вывод. И я все еще не могу найти (используя MediaCodec) для добавления звука.
