Подтвердить что ты не робот

Как искать контент в аудиофайлах/потоках?

Я всегда задавался вопросом, сколько существует различных методов поиска, для поиска текста, поиска изображений и даже для видео.

Однако я никогда не сталкивался с решением, которое искало контент в аудиофайлах.

Например: Предположим, что у меня есть около 200 подкастов, загруженных на мой компьютер в виде файлов mp3, wav и ogg. Все они названы, как правило, podcast1.mp3, podcast2.mp3 и т.д. Таким образом, невозможно узнать, что представляет собой контент, фактически не услышав их. Давайте скажем, что мне интересно узнать, что подкасты говорят о "игровом программировании". Я хочу, чтобы результаты отображались как:

  • Podcast1.mp3 - 3 результата (ов) во время индекса (ов) - 0:16:21, 0:43:45, 1:12:31
  • Podcast21.ogg - 1 результат (ов) по индексу времени - 0:12:01

Итак, мои вопросы:

  • Как можно подойти к этой проблеме?
  • Существуют ли подходящие алгоритмы, чтобы сделать что-то вроде этого?

Одна мысль, которая возникла у меня в голове, заключалась в том, что можно использовать программное обеспечение "речь-текст" для получения транскриптов вместе с индексами времени для каждого из аудиофайлов, а затем проанализировать транскрипцию, чтобы получить результат.

Я рассматривал это как один из моих проектов по хобби. Спасибо!

4b9b3361

Ответ 1

Если вы хотите искать текст (т.е. то, что говорится) внутри аудиопотока, вам придется обработать его с помощью какого-то алгоритма распознавания речи и сохранить текст в виде метаданных, связанных с файлами. Для видео вы также можете выполнять текстовое распознавание текста внутри видео. Evernote уже делает это для текста внутри файлов изображений, но не поддерживает аудио, насколько мне известно.

Что-то подобное возможно при использовании звука для поиска звука. Я не знаю подробностей этих алгоритмов, но я предполагаю, что они связаны с определенным анализом частоты. Shazam использует эту технологию для идентификации песен на основе аудиоклипов.

Вот некоторые статьи в Википедии, которые могут быть полезны: