Оптимизация графа на поддерживаемом тензорном потоке, созданном с использованием tf.Estimator

Контекст:

У меня есть простой классификатор, основанный на tf.estimator.DNNClassifier, который принимает текстовые и выходные вероятности над тэгами намерений. Я могу обучить экспорт модели в обслуживаемый, а также обслуживать сервисы, используя функцию тензорного потока. Проблема в том, что этот сервисный файл слишком большой (около 1 ГБ), поэтому я хотел попробовать несколько преобразований графа тензорного потока, чтобы попытаться уменьшить размер файлов, которые будут обслуживаться.

Проблема:

Я понимаю, как взять saved_model.pb и использовать freeze_model.py для создания нового .pb файла, который можно использовать для вызова преобразований. Результат этих преобразований (файл .pb также) не является обслуживающим и не может использоваться с использованием функции tensorflow.

Как разработчик может перейти от:

saved model -> graph transforms -> back to a servable

Там есть документация, которая предполагает, что это, безусловно, возможно, но отнюдь не интуитивно понятно из документов о том, как это сделать.

Что я пробовал:

import tensorflow as tf

from tensorflow.saved_model import simple_save
from tensorflow.saved_model import signature_constants
from tensorflow.saved_model import tag_constants
from tensorflow.tools.graph_transforms import TransformGraph


with tf.Session(graph=tf.Graph()) as sess_meta:
    meta_graph_def = tf.saved_model.loader.load(
        sess_meta,
        [tag_constants.SERVING],
        "/model/path")

    graph_def = meta_graph_def.graph_def

    other_graph_def = TransformGraph(
        graph_def,
        ["Placeholder"],
        ["dnn/head/predictions/probabilities"],
        ["quantize_weights"])


    with tf.Graph().as_default():
        graph = tf.get_default_graph()
        tf.import_graph_def(other_graph_def)
        in_tensor = graph.get_tensor_by_name(
            "import/Placeholder:0")
        out_tensor = graph.get_tensor_by_name(
            "import/dnn/head/predictions/probabilities:0")

        inputs = {"inputs": in_tensor}
        outputs = {"outputs": out_tensor}

        simple_save(sess_meta, "./new", inputs, outputs)

Моя идея состояла в том, чтобы загрузить обслуживаемый, извлечь graph_def из meta_graph_def, преобразовать graph_def, а затем попытаться воссоздать обслуживаемый. Это, по-видимому, неправильный подход.

Есть ли способ успешно выполнить преобразования (чтобы уменьшить размер файла при выводе) на графике из экспортируемого обслуживаемого, а затем воссоздать обслуживаемый с преобразованным графом?

Благодарю.

Обновление (2018-08-28):

Найдено contrib.meta_graph_transform(), который выглядит многообещающим.

Обновление (2018-12-03):

Связанная проблема github, которую я открыл, кажется, решена в подробном сообщении в блоге, которое указано в конце билета.

from tensorflow.python.tools import freeze_graph output_graph_filename = os.path.join(saved_model_dir, output_filename) initializer_nodes = '' freeze_graph.freeze_graph(input_saved_model_dir=saved_model_dir, output_graph=output_graph_filename, saved_model_tags = tag_constants.SERVING, output_node_names=output_node_names,initializer_nodes=initializer_nodes, input_graph=None, input_saver=False, input_binary=False, input_checkpoint=None, restore_op_name=None, filename_tensor_name=None, clear_devices=False, input_meta_graph=False)

from tensorflow.tools.graph_transforms import TransformGraph def get_graph_def_from_file(graph_filepath): with ops.Graph().as_default(): with tf.gfile.GFile(graph_filepath, 'rb') as f: graph_def = tf.GraphDef() graph_def.ParseFromString(f.read()) return graph_def def optimize_graph(model_dir, graph_filename, transforms, output_node): input_names = [] output_names = [output_node] if graph_filename is None: graph_def = get_graph_def_from_saved_model(model_dir) else: graph_def = get_graph_def_from_file(os.path.join(model_dir, graph_filename)) optimized_graph_def = TransformGraph(graph_def, input_names, output_names, transforms) tf.train.write_graph(optimized_graph_def, logdir=model_dir, as_text=False, name='optimized_model.pb') print('Graph optimized!')

transforms = ['remove_nodes(op=Identity)', 'merge_duplicate_nodes', 'strip_unused_nodes','fold_constants(ignore_errors=true)', 'fold_batch_norms'] optimize_graph(saved_model_dir, "frozen_model.pb" , transforms, 'head/predictions/class_ids')

def convert_graph_def_to_saved_model(export_dir, graph_filepath): if tf.gfile.Exists(export_dir): tf.gfile.DeleteRecursively(export_dir) graph_def = get_graph_def_from_file(graph_filepath) with tf.Session(graph=tf.Graph()) as session: tf.import_graph_def(graph_def, name='') tf.saved_model.simple_save( session, export_dir, inputs={ node.name: session.graph.get_tensor_by_name( '{}:0'.format(node.name)) for node in graph_def.node if node.op=='Placeholder'}, outputs={'class_ids': session.graph.get_tensor_by_name( 'head/predictions/class_ids:0')} ) print('Optimized graph converted to SavedModel!')

optimized_export_dir = os.path.join(export_dir, 'optimized') optimized_filepath = os.path.join(saved_model_dir, 'optimized_model.pb') convert_graph_def_to_saved_model(optimized_export_dir, optimized_filepath)

Ответ 1