Кто-нибудь знает об алгоритме, который я мог бы использовать, чтобы найти "интересную" репрезентативную миниатюру для видео?
Я говорю 30 растровых изображений, и я бы хотел выбрать наиболее представительный в качестве миниатюры видео.
Очевидным первым шагом будет устранение всех черных кадров. Тогда, возможно, найдите "расстояние" между различными кадрами и выберите что-то, что близко к avg.
Любые идеи здесь или опубликованные статьи, которые могли бы помочь?
Если видео содержит структуру, то есть несколько снимков, то стандартные методы для суммирования видео включают (a) обнаружение выстрела, затем (б) используют первый, средний или n-й кадр для представления каждого кадра. См. [1].
Однако предположим, что вы хотите найти интересный кадр в одном непрерывном потоке кадров, взятых из одного источника камеры. То есть выстрел. Это проблема обнаружения "ключевого кадра", которая широко обсуждается в текстах IR/CV (информационный поиск, компьютерное зрение). Некоторые иллюстративные подходы:
В общем, это большое поле, и есть много подходов. Вы можете ознакомиться с академическими конференциями, такими как Международная конференция по обращению с изображениями и видео (CIVR) для последних идей. Я нахожу, что [6] представляет полезное подробное резюме абстракции видео (обнаружение и обобщение ключевых кадров).
Для поиска "найти лучшее из 30 битмапов" я бы использовал такой подход, как [2]. Вычислите пространство представления кадра (например, гистограмму цвета для кадра), вычислите гистограмму для представления всех кадров и используйте кадр с минимальным расстоянием между ними (например, выберите метрику расстояния, которая наилучшим образом подходит для вашего пространства. Mover Distance).
Вы попросили документы, поэтому я нашел несколько. Если вы не находитесь на территории кампуса или на VPN-подключении к кампусу, эти документы могут быть труднодоступными.
PanoramaExcerpts: извлечение и упаковка панорам для просмотра видео
http://portal.acm.org/citation.cfm?id=266396
В этом объясняется метод генерации представления ключевого кадра в стиле комиксов.
Аннотация:
В настоящем документе представлены методы автоматического создания графических видеороликов, в которых хранятся комиксы. Относительная важность видеосегментов вычисляется по их длине и новизне. Анализ изображения и звука используется для автоматического обнаружения и выделения значимых событий. Исходя из этого важного значения, мы выбираем соответствующие ключевые кадры. Выбранные ключевые кадры оцениваются по важности, а затем эффективно упаковываются в графическое резюме. Мы представляем количественную оценку того, насколько хорошо резюме фиксирует существенные события в видео и показывает, как его можно использовать для улучшения наших резюме. Результатом является компактное и визуально приятное резюме, которое захватывает семантически важные события и подходит для печати или доступа в Интернет. Такое резюме может быть дополнительно улучшено за счет включения текстовых ограничений, полученных из OCR или других методов. Мы описываем, как автоматически генерируемые суммы используются для упрощения доступа к большому набору видео.
Автоматическое извлечение репрезентативных ключевых кадров на основе scenecontent
http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=751008
Аннотация:
Создание индексов для фильмов - утомительный и дорогостоящий процесс, который мы пытаемся автоматизировать. Несмотря на то, что алгоритмы поиска границ сцены легко доступны, было сделано мало работы по выбору отдельных кадров для краткого представления сцены. В этой статье мы представляем новые алгоритмы автоматического выбора репрезентативных ключевых кадров на основе содержания сцены. Подробное описание нескольких алгоритмов сопровождается анализом того, насколько хорошо люди чувствуют, что выбранные кадры представляют сцену. Наконец, мы рассмотрим, как эти алгоритмы могут быть интегрированы с существующими алгоритмами поиска границ сцены.
Я думаю, вы должны смотреть только на ключевые кадры.
Если видео не закодировано с использованием сжатия, основанного на ключевых кадрах, вы создаете алгоритм, основанный на следующей статье: Выбор кадра кадра по движению анализ.
В зависимости от сжатия видео вы можете иметь ключевые кадры каждые 2 секунды или 30 секунд. Чем я думаю, вы должны использовать алгоритм в статье, чтобы найти "самый" ключевой кадр из всех ключевых кадров.
Также может быть выгодно использовать рамы, эстетически приятные. То есть, ищите общие атрибуты фотографии - соотношение сторон, контрастность, баланс и т.д.
Было бы сложно найти репрезентативный снимок, если вы не знаете, что ищете. Но с некоторыми эвристиками и моим предложением, по крайней мере, вы могли бы придумать что-то хорошее.
Недавно я работал над проектом, где мы сделали некоторую обработку видео, и мы использовали OpenCV, чтобы сделать тяжелый подъем до тех пор, пока видео обработки. Нам приходилось извлекать фреймы, вычислять различия, извлекать грани и т.д. OpenCV имеет встроенные алгоритмы, которые будут вычислять различия между кадрами. Он работает с различными форматами видео и изображений.
Ничего себе, какой большой вопрос - я думаю, что вторым шагом было бы итеративное удаление фреймов, где мало или вообще не было изменений между ним и его преемниками. Но все, что вы действительно делаете, уменьшает набор потенциально интересных кадров. Как именно вы определяете "интересность" - это особый соус, я полагаю, поскольку у вас нет статистики взаимодействия с пользователем, чтобы полагаться на нее, как на Flickr.
Режиссеры иногда задерживаются на особенно "instestesting" или красивом снимке, так как найти 5-секундный раздел, который не изменится, а затем исключить те части, которые почти черные?