Автоматическое обнаружение и классификация My Little Pony

То, что я ищу, - это советы людей с опытом работы с компьютерным зрением о том, какой подход или алгоритм будет лучше всего в этой конкретной проблеме. Я опытный программист (в основном .NET), но я почти ничего не знаю о компьютерном видении, и я хочу сэкономить время.

Я бы предпочел алгоритм, который не требует большого набора тренировок.

Что я хочу обнаружить:

Отличительные цвета, острые края, отсутствие градиентов и очень мало шума.

Я предполагаю, что конечный результат будет чем-то вроде того, что делает Picasa или галерея Windows Live. Я отмечаю пони в нескольких изображениях, и программа находит другие изображения, содержащие один и тот же пони.

Ответ 1

Карикатуристы получают особенно сильную лицензию на своих рисунках по сравнению с неподтвержденной фотографией. Таким образом, попытка определить Pinkie Pie по цвету не делает много хорошего в кадре, где она попала в чан черной краски. Или вы могли бы подумать, что вы можете идентифицировать Рерику своим рогом, но подумайте о том эпизоде, в котором она хочет, чтобы она была обычным пони... но, потеряв свой рог, она узнает урок о том, чтобы быть собой.

True. Так верно.

Это означает, что в зависимости от того, что вы пытаетесь сделать здесь, и его масштаба, может иметь смысл обеспечить интерфейс для системы краудсорсинга. Если вы не видели проект белой перчатки, вы можете найти вдохновение в этом:

http://whiteglovetracking.com/

Это не обязательно все автоматическое или ручное. Вы можете использовать комбинацию методов и приносить в редакцию человека всякий раз, когда есть порог неопределенности.

Что касается проектирования эвристики, то, похоже, место, чтобы начать понимать, где находятся пони, - это искать глаза. Начиная с поиска "вещей в форме пони" может быть немного потерянной причиной... особенно если это кадры из мультфильма, которые могут иметь близкие планы. На самом деле, глядя только на ваш пример, единорог - это просто голова!

Следующим шагом, который я предложил бы, было бы посмотреть в определенном радиусе вокруг глаз на цветные блоки, соответствующие волосам и телу. Все мои Маленькие Пони в моей коллекции имеют уникальные цвета волос и тела, и... жду... Я имею в виду, что я не знаю, имеют ли персонажи My Little Pony уникальные цветовые комбинации или нет!! Но они, вероятно, делают.

Как только вы интуитивно настроили отпечаток пальца цвета пони, вы можете продолжить поиск и, возможно, получить ограничивающий прямоугольник, используя что-то вроде алгоритма заливки наводкой, предполагая, что пони - это одиночные полигоны без отверстий. Вновь глаза могут дать вам хорошее представление о том, насколько велика вероятность того, что пони окажется на картинке, но в очередной раз карикатуристы могут сломать это ожидание в любой момент. Плюсы пони закрывают глаза или мигают и т.д., Поэтому все, что вы здесь делаете, будет нуждаться в проверке.

(Примечание. Если у вас есть весь видеопоток, вы, возможно, можете использовать межкадровый анализ для тонких проблем мигания. В более общем плане, вероятно, это то, что пони являются "самыми анимированными", вещи в большинстве статических кадров, которые могут повысить вашу уверенность в эвристике для их поиска.)

Но что бы вы ни делали, помните, что "Дружба - это волшебство" - и так же распознавание изображений!

Ответ 2

HostileFork предоставил отличный ответ, но как только я прочитал ваш вопрос, он напомнил мне pyimagesearch.com как этот пример показывает.

Этот конкретный блог посвящен новизне распознавания образов и показывает их первый проект.

Им удается извлечь черные фигуры из этого изображения:

Другим хорошим примером является этот, который показывает использование Haar Cascades для обнаружения лиц кошки. Вот учебник OpenCV по обучение Haar Cascades