Каков правильный способ использования TensorFlow для предсказаний в реальном времени в приложении с высоким трафиком.
В идеале, у меня будет сервер/кластер, работающий с тензорным потоком, прослушивающий порты, где я могу подключаться с серверов приложений и получать прогнозы, похожие на то, как используются базы данных. Обучение должно выполняться заданиями cron, которые загружают данные обучения через сеть на один и тот же сервер/кластер.
Как фактически используется тензорный поток в производстве? Должен ли я создать установку, в которой python работает как сервер, и использовать сценарии python для получения прогнозов? Я все еще новичок в этом, но я чувствую, что для этого script потребуется открыть сеансы и т.д., Который не масштабируется. (Я говорю о 100 секундах предсказаний/сек).
Любой указатель на соответствующую информацию будет высоко оценен. Я не мог найти.
