TensorFlow: Unpooling

Ответ 1

Я не думаю, что есть официальный слой для переохлаждения, но это разочаровывает, потому что вам нужно использовать изменение размера изображения (билинейная интерполяция или ближайший сосед), который похож на среднюю операцию переохлаждения, и это медленно замедляется. Посмотрите на tf api в разделе "image", и вы его найдете.

Tensorflow имеет свойство maxpooling_with_argmax, где вы получаете максимальный результат, а также карту активации, которая хороша, так как вы можете использовать ее на уровне переохлаждения, чтобы сохранить "потерянную" пространственную информацию, но кажется, что нет такой которая делает это. Я предполагаю, что они планируют добавить его... скоро.

Изменить: я нашел парня на обсуждении google неделю назад, который, похоже, реализовал что-то подобное, но я лично еще не пробовал его. https://github.com/ppwwyyxx/tensorpack/blob/master/tensorpack/models/pool.py#L66

Ответ 2

Здесь есть несколько реализаций тензорного потока pooling.py

А именно:

1) Операция unpool (источник), которая использует вывод tf.nn.max_pool_with_argmax. Хотя, пожалуйста, обратите внимание, что по состоянию на тензор потока 1.0 tf.nn.max_pool_with_argmax только для графического процессора

2) Операция сглаживания, которая имитирует инверсию макс-пула, заполняя позиции в не пулированной области нулями или копиями элемента max. По сравнению с тензорным пакетом он позволяет копировать элементы вместо нулей и поддерживает шаги, отличные от [2, 2].

Не перекомпилировать, обратно-дружественный.

Иллюстрация:

Ответ 3

Я искал операцию переполнения max и попытался ее реализовать. Я придумал какую-то взломанную реализацию для градиента, поскольку я боролся с CUDA.

Код здесь, вам нужно будет построить его из источника с поддержкой GPU. Ниже приведено демо-приложение. Никаких гарантий, хотя!

Также существует открытая проблема для этой операции.

import tensorflow as tf
import numpy as np

def max_pool(inp, k=2):
    return tf.nn.max_pool_with_argmax_and_mask(inp, ksize=[1, k, k, 1], strides=[1, k, k, 1], padding="SAME")

def max_unpool(inp, argmax, argmax_mask, k=2):
    return tf.nn.max_unpool(inp, argmax, argmax_mask, ksize=[1, k, k, 1], strides=[1, k, k, 1], padding="SAME")

def conv2d(inp, name):
    w = weights[name]
    b = biases[name]
    var = tf.nn.conv2d(inp, w, [1, 1, 1, 1], padding='SAME')
    var = tf.nn.bias_add(var, b)
    var = tf.nn.relu(var)
    return var

def conv2d_transpose(inp, name, dropout_prob):
    w = weights[name]
    b = biases[name]

    dims = inp.get_shape().dims[:3]
    dims.append(w.get_shape()[-2]) # adpot channels from weights (weight definition for deconv has switched input and output channel!)
    out_shape = tf.TensorShape(dims)

    var = tf.nn.conv2d_transpose(inp, w, out_shape, strides=[1, 1, 1, 1], padding="SAME")
    var = tf.nn.bias_add(var, b)
    if not dropout_prob is None:
        var = tf.nn.relu(var)
        var = tf.nn.dropout(var, dropout_prob)
    return var


weights = {
    "conv1":    tf.Variable(tf.random_normal([3, 3,  3, 16])),
    "conv2":    tf.Variable(tf.random_normal([3, 3, 16, 32])),
    "conv3":    tf.Variable(tf.random_normal([3, 3, 32, 32])),
    "deconv2":  tf.Variable(tf.random_normal([3, 3, 16, 32])),
    "deconv1":  tf.Variable(tf.random_normal([3, 3,  1, 16])) }

biases = {
    "conv1":    tf.Variable(tf.random_normal([16])),
    "conv2":    tf.Variable(tf.random_normal([32])),
    "conv3":    tf.Variable(tf.random_normal([32])),
    "deconv2":  tf.Variable(tf.random_normal([16])),
    "deconv1":  tf.Variable(tf.random_normal([ 1])) }


## Build Miniature CEDN
x = tf.placeholder(tf.float32, [12, 20, 20, 3])
y = tf.placeholder(tf.float32, [12, 20, 20, 1])
p = tf.placeholder(tf.float32)

conv1                                   = conv2d(x, "conv1")
maxp1, maxp1_argmax, maxp1_argmax_mask  = max_pool(conv1)

conv2                                   = conv2d(maxp1, "conv2")
maxp2, maxp2_argmax, maxp2_argmax_mask  = max_pool(conv2)

conv3                                   = conv2d(maxp2, "conv3")

maxup2                                  = max_unpool(conv3, maxp2_argmax, maxp2_argmax_mask)
deconv2                                 = conv2d_transpose(maxup2, "deconv2", p)

maxup1                                  = max_unpool(deconv2, maxp1_argmax, maxp1_argmax_mask)
deconv1                                 = conv2d_transpose(maxup1, "deconv1", None)


## Optimizing Stuff
loss        = tf.reduce_sum(tf.nn.sigmoid_cross_entropy_with_logits(deconv1, y))
optimizer   = tf.train.AdamOptimizer(learning_rate=1).minimize(loss)


## Test Data
np.random.seed(123)
batch_x = np.where(np.random.rand(12, 20, 20, 3) > 0.5, 1.0, -1.0)
batch_y = np.where(np.random.rand(12, 20, 20, 1) > 0.5, 1.0,  0.0)
prob    = 0.5


with tf.Session() as session:
    tf.set_random_seed(123)
    session.run(tf.initialize_all_variables())

    print "\n\n"
    for i in range(10):
        session.run(optimizer, feed_dict={x: batch_x, y: batch_y, p: prob})
        print "step", i + 1
        print "loss",  session.run(loss, feed_dict={x: batch_x, y: batch_y, p: 1.0}), "\n\n"

Изменить 29.11.17

Некоторое время назад я переориентировал его чистым способом против TensorFlow 1.0, операции прямого доступа также доступны в виде версии CPU. Вы можете найти в этой ветке, я рекомендую вам просмотреть последние несколько коммитов, если вы хотите его использовать.