Я очень смущен, чтобы знать, что происходит внутри кодеков. Я хочу узнать об элементах внутри аудиокодеров и декодеров. Был бы очень рад, если вы можете предоставить мне некоторые ссылки, где я могу найти хороший учебный материал.
Именно я хотел бы знать, как кодек анализирует медиафайл.
Ваше название запрашивает об A/V-сжатии, но остальные ваши комментарии говорят о разборе медиа файла и определении его кодека. Это очень разные задачи: реализованы и реализованы различными организациями, выполняемыми различными API-интерфейсами в большинстве мультимедийных библиотек, и, прежде всего, требуют очень разных наборов навыков.
Форматы файлов A/V не слишком отличаются от любого другого формата файла, который, в свою очередь, является формальными грамматиками. Анализ, проверка и результирующие графы объектов концептуально ничем не отличаются от любой другой грамматики - и на практике они, как правило, намного проще, чем грамматики, с которыми вы сталкиваетесь в стандартной учебной программе CS (компиляторы, конечные автоматы). Формат файла AVI сейчас устарел, но я по-прежнему рекомендую начинать там, потому что:
Кодеки, между тем, являются одними из самых сложных алгоритмов, которые вы, вероятно, найдете среди "потребительских" программ. Они в значительной степени зависят от успехов как в академическом сообществе, так и в R & D оружия крупных корпораций (включая их обширные патентные библиотеки). Чтобы быть опытным в кодеках, вам нужно знать, по крайней мере, основы:
Если у вас уже есть приличный фон (например, вы взяли один или два уровня бакалавра "математика для инженеров" ), то я говорю о погружении прямо. Многие из лучших кодеков A/V открыты источник:
В целом, сжатие видео связано с отбрасыванием как можно большего количества информации, хотя это минимально влияет на опыт просмотра для конечного пользователя. Например, использование выборочного YUV вместо RGB сокращает размер видео вдвое. Это возможно, так как человеческий глаз менее чувствителен к цвету, чем к яркости. В YUV значение Y является яркостью, а значения U и V представляют цвет. Поэтому вы можете выбросить часть информации о цвете, которая уменьшает размер файла, без возможности просмотра зрителя каких-либо различий.
После этого большинство методов сжатия используют, в частности, 2 дублирования. Первая - временная избыточность, вторая - пространственная избыточность.
Временная избыточность отмечает, что последовательные кадры в видеопоследовательности очень похожи. Обычно видео должно составлять порядка 20-30 кадров в секунду, и ничто не меняется в 1/30 секунды. Возьмите любой DVD и приостановите его, затем переместите его на один кадр и обратите внимание на то, насколько похожи 2 изображения. Таким образом, вместо кодирования каждого кадра независимо, MPEG-4 (и другие стандарты сжатия) кодируют только разницу между последовательными кадрами (используя это для объяснения с приятными снимками
Для дальнейшего чтения эта книга неплоха, если немного тяжелая математика.
Попробуйте начать здесь:
Начало работы с кодировщиком Windows Media
http://www.microsoft.com/windows/windowsmedia/howto/articles/introencoding.aspx
Другие данные можно найти на codecpage.com
Я хорошо разбирался в формате MPEG4, работая над декодером MPEG4. Существует много различных эталонных (и с открытым исходным кодом) кодеров и декодеров для видео и аудио. Итак, нажмите на книги - начиная с Википедии: у нее есть хорошие общие резюме и ссылки, чтобы следовать (если вам повезло "открыть спецификации" ). А затем нажмите на источник.
Существует так много разных способов кодирования (многие из них связаны с какой-либо формой сжатия, будь то с потерями или без потерь), и вся проблема, как правило, еще более усложняется, также имея дело с контейнером кадрирования и "субформатами" ".
Удачи.