Я хочу развернуть простую модель TensorFlow и запустить ее в службе REST, например Flask. Не нашел хорошего примера на github или здесь.
Я не готов использовать TF-обслуживание, как было предложено в других сообщениях, это идеальное решение для Google, но оно переполняет мои задачи с помощью gRPC, bazel, С++-кодирования, protobuf...
Существуют разные способы сделать это. Чисто, использование тензорного потока не очень гибко, но относительно просто. Недостатком этого подхода является то, что вам нужно перестроить график и инициализировать переменные в коде, где вы восстанавливаете модель. Существует способ, показанный в tensorflow skflow/contrib learn, который более изящный, однако на данный момент это не работает, и документация устарела.
Я приведу короткий пример вместе на github здесь, в котором показано, как вы бы назвали параметры GET или POST для флеш-модели, развернутой в стиле REST.
Основной код затем находится в функции, которая использует словарь на основе данных POST/GET:
@app.route('/model', methods=['GET', 'POST'])
@parse_postget
def apply_model(d):
tf.reset_default_graph()
with tf.Session() as session:
n = 1
x = tf.placeholder(tf.float32, [n], name='x')
y = tf.placeholder(tf.float32, [n], name='y')
m = tf.Variable([1.0], name='m')
b = tf.Variable([1.0], name='b')
y = tf.add(tf.mul(m, x), b) # fit y_i = m * x_i + b
y_act = tf.placeholder(tf.float32, [n], name='y_')
error = tf.sqrt((y - y_act) * (y - y_act))
train_step = tf.train.AdamOptimizer(0.05).minimize(error)
feed_dict = {x: np.array([float(d['x_in'])]), y_act: np.array([float(d['y_star'])])}
saver = tf.train.Saver()
saver.restore(session, 'linear.chk')
y_i, _, _ = session.run([y, m, b], feed_dict)
return jsonify(output=float(y_i))
Этот проект github показывает рабочий пример восстановления контрольной точки модели и использования Flask.
@app.route('/api/mnist', methods=['POST'])
def mnist():
input = ((255 - np.array(request.json, dtype=np.uint8)) / 255.0).reshape(1, 784)
output1 = simple(input)
output2 = convolutional(input)
return jsonify(results=[output1, output2])
Демо-версия кажется довольно быстрой.
Мне не нравится ставить много кода с обработкой данных/моделей в файле с флягой. Обычно я использую класс модели tf и т.д. Отдельно. то есть это может быть примерно так:
# model init, loading data
cifar10_recognizer = Cifar10_Recognizer()
cifar10_recognizer.load('data/c10_model.ckpt')
@app.route('/tf/api/v1/SomePath', methods=['GET', 'POST'])
def upload():
X = []
if request.method == 'POST':
if 'photo' in request.files:
# place for uploading process workaround, obtaining input for tf
X = generate_X_c10(f)
if len(X) != 0:
# designing desired result here
answer = np.squeeze(cifar10_recognizer.predict(X))
top3 = (-answer).argsort()[:3]
res = ([cifar10_labels[i] for i in top3], [answer[i] for i in top3])
# you can simply print this to console
# return 'Prediction answer: {}'.format(res)
# or generate some html with result
return fk.render_template('demos/c10_show_result.html',
name=file,
result=res)
if request.method == 'GET':
# in html I have simple form to upload img file
return fk.render_template('demos/c10_classifier.html')
cifar10_recognizer.predict(X) - простая функция func, которая запускает операцию прогнозирования в сеансе tf:
def predict(self, image):
logits = self.sess.run(self.model, feed_dict={self.input: image})
return logits
p.s. сохранение/восстановление модели из файла - чрезвычайно длительный процесс, постарайтесь избежать этого при обслуживании сообщений/получения запросов