Разница между фундаментальными, существенными и гомографическими матрицами

У меня есть два изображения, которые берутся из разных положений. Вторая камера расположена справа, вверх и назад относительно первой камеры. Итак, я думаю, что существует перспектива преобразования между двумя представлениями, а не просто аффинное преобразование, поскольку камеры находятся на относительно разных глубинах (я прав?) У меня есть несколько соответствующих точек между этими двумя изображениями. Я думаю об использовании этих соответствующих точек для определения преобразования каждого пикселя с 1-го на 2-е изображение.

Меня смущают функции findFundamentalMat и findHomography.... оба возвращают матрицу 3x3, в чем разница между двумя?

Требуется ли какое-либо условие/необходимое условие для их использования (когда их использовать)?

Какой из них использовать для преобразования точек с 1-го изображения на 2-е изображение? В матрицах 3x3, возвращаемых функциями, включают ли они поворот и перевод между двумя кадрами изображения?

Из wikipedia выяснилось, что Фундаментальная матрица является отношением между соответствующими точками изображения. В ответе SO здесь сказано, что Essential Matrix E требуется для получения соответствующих точек... но у меня нет внутренней матрицы Camera для вычисления E... У меня есть только два изображения.

Как мне перейти к определению соответствующей точки? Ожидает предложений.. Спасибо вам

Ответ 1

Без каких-либо дополнительных предположений о геометрии мировой сцены вы не можете утверждать, что существует проективное преобразование между двумя представлениями. Это справедливо только в том случае, если сцена плоская. Хорошей ссылкой на эту тему является книга Многомерная геометрия в компьютерном видении Хартли и Зиссермана.

Если мировая сцена не является планарной, вам определенно не следует использовать функцию findHomography. Вы можете использовать функцию findFundamentalMat, которая предоставит вам оценку фундаментальной матрицы F. Эта матрица описывает эпиполярную геометрию между двумя видами. Вы можете использовать F для исправления ваших изображений, чтобы применить стерео-алгоритмы для определения плотной карты соответствия.

Я предполагаю, что вы используете выражение "перспективное преобразование" для обозначения "проективного преобразования". Насколько я знаю, преобразование перспективы - это сопоставление мира для изображения, а не изображение для сопоставления изображений.

Ответ 2

Есть только два случая, когда преобразование между двумя представлениями является проективным преобразованием (то есть гомографией): либо сцена плоская, либо две точки зрения генерировались камерой, вращающейся вокруг ее центра.

Ответ 3

Фундаментальная матрица имеет соотношение x'Fu = 0 с x в одном изображении и u в другом iff x и u - проекции одной и той же трехмерной точки. Также l = Fu определяет строку (lx '= 0), где должна находиться соответствующая точка u, поэтому ее можно использовать для ограничения пространства поиска для соответствий.

Гомография отображает точку на одной проекции плоскости на другую проекцию плоскости. x = Hu