Учитывая простую задачу спуска мини-пакетного градиента на mnist в тензорном потоке (как в этом tutorial), как я могу получить градиенты для каждого примера в партии по отдельности.
tf.gradients()
, кажется, возвращает градиенты, усредненные по всем примерам в партии. Есть ли способ получить градиенты до агрегации?
Изменить: первый шаг к этому ответу - выяснить, в какой точке тензорный поток усредняет градиенты над примерами в партии. Я думал, что это произошло в _ AggregatedGrads, но это, похоже, не так. Любые идеи?