Я уже прошел часть классификации изображений в исходной модели, но мне нужно подсчитать объекты на изображении.
Учитывая набор данных цветов, одно изображение может иметь несколько экземпляров цветка, так как я могу получить этот счет?
Можно ли использовать начальную модель для подсчета объектов в изображении?
Ответ 1
То, что вы описываете, известно исследовательскому сообществу как Сегментация уровня экземпляра.
В прошлом году сам по себе был значительный всплеск в газетах, посвященных этой проблеме.
Вот некоторые из статей:
- https://arxiv.org/pdf/1412.7144v4.pdf
- https://arxiv.org/pdf/1511.08498v3.pdf
- https://arxiv.org/pdf/1607.03222v2.pdf
- https://arxiv.org/pdf/1607.04889v2.pdf
- https://arxiv.org/pdf/1511.08250v3.pdf
- https://arxiv.org/pdf/1611.07709v1.pdf
- https://arxiv.org/pdf/1603.07485v2.pdf
- https://arxiv.org/pdf/1611.08303v1.pdf
- https://arxiv.org/pdf/1611.08991v2.pdf
- https://arxiv.org/pdf/1611.06661v2.pdf
- https://arxiv.org/pdf/1612.03129v1.pdf
- https://arxiv.org/pdf/1605.09410v4.pdf
Как вы видите в этих статьях, простая сеть классификации объектов не решит проблему.
Если вы ищете github, вы найдете несколько репозиториев с базовыми фреймворками, вы можете построить поверх них.
- https://github.com/daijifeng001/MNC (caffe)
- https://github.com/bernard24/RIS/blob/master/RIS_infer.ipynb (факел)
- https://github.com/jr0th/segmentation (keras, tensorflow)
Ответ 2
indraforyou ответил на вопрос, как решить проблему, которую вы имеете. Я хочу добавить что-то специально для начальной модели. В https://arxiv.org/pdf/1312.6229.pdf они предлагают сеть регрессоров, обученную на выходе модели, прошедшей обучение по набору данных imagenet, как и исходная модель. Затем эта модель регрессора используется, чтобы предлагать границы объектов, которые вы можете использовать для подсчета. Преимущество этого подхода в том, что вам не нужно комментировать любые примеры обучения, и вы можете просто использовать набор данных ImageNet для обучения.
Если вы не хотите ничего тренировать, я бы предложил эвристику в поиске границ объекта. Литература в сегментации изображения https://en.wikipedia.org/wiki/Image_segmentation должна помочь вам найти подходящую эвристику. Я думаю, что использование эвристики уменьшит вашу точность.
И последнее, но не менее важное - это открытая проблема в исследовании компьютерного зрения. Вы не должны рассчитывать на точность 100% или даже на 95% при подсчете. Многие очень умные люди пробовали это и сообщали о смешанных результатах. Тем не менее, некоторые очень интересные вещи могут быть достигнуты.
Ответ 3
Любая модель классификации, такая как начальная модель, будет идентифицировать объект, такой как цветок в вашем случае. Тем не менее, когда несколько элементов не имеют классификаций, они не будут работать (путайте на простом языке).
Таким образом:
Вы должны сегментировать основное изображение в дочерние образы с одним объектом на изображение и использовать классификацию для каждого сегмента. Это называется сегментацией изображения при обработке изображений.