Как получить очереди примеров TensorFlow в правильные партии для обучения?
У меня есть изображения и метки:
IMG_6642.JPG 1
IMG_6643.JPG 2
(не стесняйтесь предлагать другой формат ярлыков, я думаю, мне может понадобиться еще один плотный до редкого шага...)
Я прочитал довольно много учебников, но пока не все это вместе. Вот что я имею, с комментариями, указывающими шаги, требуемые от страницы TansorFlow Чтение данных.
- Список имен файлов (для простоты удалены удаленные шаги)
- Очередь имен файлов
- Читатель для формата файла
- Декодер для записи, считанной читателем.
- Пример очереди
И после очереди в очереди мне нужно получить эту очередь в партии для обучения; что где я застрял...
1. Список имен файлов
files = tf.train.match_filenames_once('*.JPG')
4. Очередь имен файлов
filename_queue = tf.train.string_input_producer(files, num_epochs=None, shuffle=True, seed=None, shared_name=None, name=None)
5. Читатель
reader = tf.TextLineReader()
key, value = reader.read(filename_queue)
6. Декодер
record_defaults = [[""], [1]]
col1, col2 = tf.decode_csv(value, record_defaults=record_defaults)
(Я не думаю, что мне нужен этот шаг ниже, потому что у меня уже есть мой ярлык в тензоре, но я все равно включаю его)
features = tf.pack([col2])
На странице документации есть пример для запуска одного изображения, а не для получения изображений и меток в партии:
for i in range(1200):
# Retrieve a single instance:
example, label = sess.run([features, col5])
Затем под ним находится раздел дозирования:
def read_my_file_format(filename_queue):
reader = tf.SomeReader()
key, record_string = reader.read(filename_queue)
example, label = tf.some_decoder(record_string)
processed_example = some_processing(example)
return processed_example, label
def input_pipeline(filenames, batch_size, num_epochs=None):
filename_queue = tf.train.string_input_producer(
filenames, num_epochs=num_epochs, shuffle=True)
example, label = read_my_file_format(filename_queue)
# min_after_dequeue defines how big a buffer we will randomly sample
# from -- bigger means better shuffling but slower start up and more
# memory used.
# capacity must be larger than min_after_dequeue and the amount larger
# determines the maximum we will prefetch. Recommendation:
# min_after_dequeue + (num_threads + a small safety margin) * batch_size
min_after_dequeue = 10000
capacity = min_after_dequeue + 3 * batch_size
example_batch, label_batch = tf.train.shuffle_batch(
[example, label], batch_size=batch_size, capacity=capacity,
min_after_dequeue=min_after_dequeue)
return example_batch, label_batch
Мой вопрос: как использовать приведенный выше примерный код с кодом, который у меня выше? Мне нужны партии для работы, и большинство учебных пособий уже поставляются с пакетами mnist.
with tf.Session() as sess:
sess.run(init)
# Training cycle
for epoch in range(training_epochs):
total_batch = int(mnist.train.num_examples/batch_size)
# Loop over all batches
for i in range(total_batch):
batch_xs, batch_ys = mnist.train.next_batch(batch_size)
