Недавно Google анонсировал Clould ML, https://cloud.google.com/ml/, и это очень полезно. Однако одно ограничение заключается в том, что вход/выход из программы Tensorflow должен поддерживать gs://.
Если мы используем все APS-анализаторы для чтения/записи, это должно быть ОК, так как эти API поддерживают gs://
.
Однако, если мы используем API-интерфейсы IO собственного файла, такие как open
, это не работает, потому что они не понимают gs://
Например:
with open(vocab_file, 'wb') as f:
cPickle.dump(self.words, f)
Этот код не будет работать в Google Cloud ML.
Тем не менее, изменение всех API-интерфейсов основных файлов я в API-интерфейсах tensorflow или API-интерфейсах Google Python очень утомительно. Есть ли простой способ сделать это? Любые обертки для поддержки систем хранения Google, gs://
поверх собственного файла IO?
Как предложено здесь Масленичная разреженная матрица в качестве входных данных?, возможно, мы можем использовать file_io.read_file_to_string('gs://...')
, но все же это требует значительного модификации кода.