Я прочитал несколько книг и веб-сайтов, посвященных обработке изображений, но до сих пор не уверен в правильном определении термина "энергия" в обработке изображений. Я нашел несколько определений, но иногда они просто не совпадают.
Когда мы говорим "энергия" в обработке изображений, что мы подразумеваем?
Существует более одного определения "энергии" в обработке изображений, поэтому оно зависит от контекста, где оно было использовано.
Энергия используется для описания меры "информации" при формулировании операции в рамках вероятностной структуры, такой как оценка MAP (максимум априори) в сочетании с марковскими случайными полями. Иногда энергия может быть негативной мерой, которую нужно минимизировать, а иногда это позитивная мера, которую нужно максимизировать.
Это зависит от контекста, но, как правило, в обработке сигналов "энергия" соответствует среднеквадратичному значению сигнала (обычно измеряется относительно глобального среднего значения). Эта концепция обычно ассоциируется с теоремой Парсеваля, которая позволяет нам думать о полной энергии, распределенной по "частотам" (и, например, можно сказать, что изображение сконцентрировано в большей части своей энергии). на низких частотах).
Другое связанное использование используется в преобразованиях изображений: например, преобразование DCT (основа метода сжатия JPEG) преобразует блоки пикселей (изображение 8x8) в матрицу преобразованных коэффициентов; для типичных изображений это приводит к тому, что, хотя исходное изображение 8x8 имеет свою энергию, равномерно распределенную среди 64 пикселей, преобразованное изображение имеет свою энергию, сконцентрированную в лево-верхних "пикселях" (которые, опять же, соответствуют "низким частотам", в некотором анагном смысле).
Энергия является мерой локального изменения изображения.
Энергия получает кучу разных имен и много разных контекстов, но имеет тенденцию ссылаться на одно и то же. Это скорость изменения цвета/яркости/величины пикселей по локальным областям. Это особенно верно для краев объектов внутри изображения, и из-за характера сжатия эти области труднее всего сжимать, и поэтому можно с уверенностью предположить, что они важнее, они часто являются краями или быстрыми градиентами. Это разные контексты, но они относятся к одному и тому же.
Алгоритм вырезания шва использует определения энергии (использует величину градиента), чтобы найти наименее заметное в случае удаления. JPEG представляет локальный кластер пикселей относительно энергии первого. Алгоритм Снейк использует его, чтобы найти локальный контур предмета на изображении. Таким образом, существует множество разных определений, но все они относятся к типу привлекательности изображения. Является ли это суммой локальных пикселей с точки зрения квадрата абсолютной яркости или жестких битов, сжимаемых в формате JPEG, или границ при обнаружении Canny Edge, или величины градиента:
Важным моментом является то, что энергия находится там, где есть материал.
Энергия изображения в более широком смысле - это расстояния некоторого качества между пикселями некоторой местности.
Мы можем взять сумму цветовых расстояний LABdE2000 в правильно взвешенном двумерном гауссовом ядре. Здесь расстояния суммируются вместе, местность определяется гауссовым ядром, а качество - цветом, а расстояние - формулой LAB Delta от 2000 года (Ошибка: ранее заявленный E означал евклидово, но расстояние для стандартной дельты E - евклидово но формулы 94 и 00 не являются строго евклидовыми, а "Е" означает "Empfindung" (по-немецки "сенсация"). Мы также могли бы сложить локальное ядро 3x3 с локальной разницей в яркости или квадратом яркости и т.д. Нам нужно измерить локализованное изменение изображения.
В этом примере local определяется как двумерное ядро Гаусса, а цветовое расстояние - как алгоритм LabDE2000.
Если вы взяли изображение, переместили все пиксели и по какой-то причине отсортировали их по цвету. Вы бы уменьшили энергию изображения. Вы можете взять коллекцию из 50% черных пикселей и 50% белых пикселей и расположить их как случайный шум для максимальной энергии или поместить их как две стороны изображения для минимальной энергии. Аналогично, если бы у вас было 100% белых пикселей, энергия была бы равна 0 независимо от того, как вы их расположили.
Энергия - довольно свободный термин, используемый для описания любой пользовательской функции (в области изображения).
Мотивация использования термина "Энергия" заключается в том, что типичные задачи обнаружения/сегментации объекта ставятся как проблема минимизации энергии. Мы определяем энергию, которая будет захватывать желаемое решение и выполнять градиент-спуск, чтобы вычислить его наименьшее значение, в результате получим решение для сегментации изображения.
Если вы считаете, что (для естественных изображений, снятых камерами), свет является энергией, вы можете называть энергию значением пикселя на каком-то канале.
Однако, я думаю, что по энергии книги относятся к спектральной плотности. Из Википедии:
Энергетическая спектральная плотность описывает, как энергия (или дисперсия) сигнала или временного ряда распределяется с частотой
Возвращаясь к моей химии - энергия и энтропия тесно связаны. А энтропия и случайность также тесно связаны между собой. Таким образом, при обработке изображений энергия может быть похожа на случайность. Например, изображение простой стены имеет низкую энергию, а изображение города, взятого с вертолета, может иметь высокую энергию.
Изображение "энергия" должно быть обратно пропорционально энтропии Шеннона изображения. Но поскольку уже упомянутая энергия изображения является слабо связанным термином, вместо этого лучше использовать термин "сжимаемость". То есть - высокая "энергия" изображения должна соответствовать высокой сжимаемости изображения.
http://lcni.uoregon.edu/~mark/Stat_mech/thermodynamic_entropy_and_information.html
Энергия - это как "информация, присутствующая на изображении". Сжатие изображений вызывает потерю энергии. Я думаю, что-то вроде этого.
Энергия определяется на основе нормированной гистограммы изображения. Энергия показывает, как распределяются уровни серы. Когда количество уровней серого низкое, энергия высокая.
Алгоритм Змея - метод обработки изображений, используемый для определения контура объекта, змея - не что иное, как вектор (X, Y) точек с некоторыми ограничениями, конечная цель которого - окружить объект и описать его форму ( контур), а затем отслеживать или представлять объект по его форме.
Алгоритм имеет два вида энергий, внутренних и внешних.
Внутренняя энергия (энергия змеи) (IE) - это определяемая пользователем энергия, воздействующая на змею (внутренне), чтобы наложить ограничения на гладкость змеи без такой силы, форма змеи будет иметь точную форму объекта, это нежелательно, поскольку точную форму объекта очень трудно получить из-за условий освещения, качества изображения, шума и т.д.
Внешняя энергия (EE) возникает из данных (интенсивностей изображения), и это не что иное, как абсолютная разница интенсивностей в направлениях x и y (градиент интенсивности), умноженная на -1, которые суммируются с внутренней энергии, так как полная энергия должна быть минимизирована. поэтому полная энергия для всей точки змеи должна быть сведена к минимуму. В идеале это происходит, когда есть ребра, потому что градиент на краю или (EE) максимизируется, и поскольку он умножается на -1, полная энергия змея вокруг ближайшего объекта минимизирована, и, следовательно, алгоритм сходится к решению, которое, мы надеемся, является истинным контуром исследуемого объекта.
потому что этот алгоритм основан на EE, который не только высок по краям, но и высоко в шумных точках, иногда алгоритм змеи не сходится к оптимальному решению, поэтому он является приблизительным жадным алгоритмом.
Я нашел это в книге обработки изображений;
Энергия: S_N = sum (from b=0 to b=L-1) of abs(P(b))^2
P(b) = N(b) / M
где M представляет общее число пикселей в центре окна центра
около (j,k), а N(b) - количество пикселей амплитуды в одном окне.
Это может дать нам лучше понять, если мы увидим это уравнение с энтропией;
Энтропия: S_E = - sum (from b=0 to b=L-1) of P(b)log2{P(b)}
источник: стр. 538 ~ 539 Цифровая обработка изображений, написанная Уильямом К. Праттом (4-е издание)
Для моего текущего проекта визуализации, который создает диффузный источник света, я хотел бы рассматривать энергию как энергию света, или энергию излучения. Вопрос, который у меня был изначально: означает ли значение пикселя RGB "световая энергия"? Его можно было бы утверждать с использованием измерителя интенсивности света и создания последующих экранов с серыми значениями пикселей (n, n, n) для 0..255. Согласно форум matlabs, излучаемая энергия 1 пикселя в оттенках серого всегда пропорциональна его значению пикселя, но пиксель в пиксель будет немного изменяться.
Есть еще одно предположение относительно энергии: при выполнении трассировки прямых лучей я даю счетчик лучей на каждом ударе по выбранной выборке. Этот счетчик лучей или, предпочтительно, должен быть пропорционален энергии излучения, которая попадает в цель в этом положении. Чтобы сравнить его с фактическими фотографиями, мне пришлось бы нормализовать счетчик лучей до некоторого диапазона значений пикселей. (?) Я прилагаю пример ниже, источник энергии - диффузный излучатель света внутри темного цилиндра.
Энергия изображения рассчитывается через MATLAB с использованием:
image_energy = graycoprops(i1, {'energy'})