Android: потоковая передача камеры как mjpeg

После нескольких дней поиска SO и google я начинаю сдаваться, поэтому я думал, что мог бы также опубликовать здесь.

Я создаю приложение для Android, которое должно предложить какой-то видеочат. Поскольку это должно быть как можно ближе к реальному времени, я читал о различных протоколах и решил попробовать MJPEG для стартеров (не относящихся к аудио на данный момент).

Прямо сейчас потоковая передача данных сводит меня с ума. Соединение устанавливается, приложение начинает записывать кадры предварительного просмотра камеры в поток, но ни VLC, ни mplayer не начинают воспроизводить видео. Мониторинг подключения показывает, что данные поступают.

Подключение Этот код выполняется асинхронной задачей, при успешном прослушивании уведомляется слушатель:

try
    {
        ServerSocket server = new ServerSocket(8080);

        socket = server.accept();

        server.close();

        Log.i(TAG, "New connection to :" + socket.getInetAddress());

        stream = new DataOutputStream(socket.getOutputStream());
        prepared = true;
    }
    catch (IOException e)
    {
        Log.e(TAG, e.getMessage();
    }

На моем ПК я запускаю "mplayer http://tabletIP:8080", и планшет регистрирует соединение (и, таким образом, запускает мой стример и предварительный просмотр камеры). Это также работает с VLC.

Потоковая передача. Запись заголовка в поток:

if (stream != null)
{
    try
    {
        // send the header
        stream.write(("HTTP/1.0 200 OK\r\n" +
                      "Server: iRecon\r\n" +
                      "Connection: close\r\n" +
                      "Max-Age: 0\r\n" +
                      "Expires: 0\r\n" +
                      "Cache-Control: no-cache, private\r\n" + 
                      "Pragma: no-cache\r\n" + 
                      "Content-Type: multipart/x-mixed-replace; " +
                      "boundary=--" + boundary +
                      "\r\n\r\n").getBytes());

        stream.flush();

        streaming = true;
    }
    catch (IOException e)
    {
        notifyOnEncoderError(this, "Error while writing header: " + e.getMessage());
        stop();
    }
}

Затем потоковая передача запускается через обратный вызов Camera.onPreviewFrame():

@Override
public void onPreviewFrame(byte[] data, Camera camera)
{
    frame = data;

    if (streaming)
        mHandler.post(this);
}

@Override
public void run()
{
    // TODO: cache not filling?
    try
    {
                    // buffer is a ByteArrayOutputStream
        buffer.reset();

        switch (imageFormat)
        {
            case ImageFormat.JPEG:
                // nothing to do, leave it that way
                buffer.write(frame);
                break;

            case ImageFormat.NV16:
            case ImageFormat.NV21:
            case ImageFormat.YUY2:
            case ImageFormat.YV12:
                new YuvImage(frame, imageFormat, w, h, null).compressToJpeg(area, 100, buffer);
                break;

            default:
                throw new IOException("Error while encoding: unsupported image format");
        }

        buffer.flush();

        // write the content header
        stream.write(("--" + boundary + "\r\n" + 
                      "Content-type: image/jpg\r\n" + 
                      "Content-Length: " + buffer.size() + 
                      "\r\n\r\n").getBytes());

        // Should omit the array copy
        buffer.writeTo(stream);

        stream.write("\r\n\r\n".getBytes());
        stream.flush();
    }
    catch (IOException e)
    {
        stop();
        notifyOnEncoderError(this, e.getMessage());
    }
}

Исключено исключение. В mHandler работает собственный HandlerThread. Просто чтобы убедиться, что я пытался использовать AsyncTask, безрезультатно (кстати, это лучше?).

Кодированные фреймы на стороне Android отлично, я сохранил их в jpg файлах и мог их открыть.

Я предполагаю, что мне нужно как-то скопировать данные или установить некоторые параметры для сокета или что-то в этом роде, но... ну, я застрял.

tl; dr: VLC не играет в потоке, mplayer говорит, что "кеш не заполняется", проблема, вероятно, в последнем сегменте кода, нужна помощь ~:)

Благодарим вас!

Ответ 1