Я собираюсь использовать kafka в очень дорожной обстановке более миллиарда запросов в день. Каждый запрос свяжет кластер kafka для отправки сообщения. Таким образом, с каждым соединением происходит так много соединений. Это может вызвать такие проблемы, как тайм-ауты сокетов. производитель делает все непостоянные соединения. Таким образом, в этом случае могут возникать проблемы с тайм-аутом сокета или проблемами с исчерпанием портов.
Большинство экосистем в php, поэтому я должен использовать php-библиотеку для kafka. Теперь, как эффективно использовать производителя kafka для смягчения этого конфликта соединений?
Я подумал о процессе демона, который может быть отправлен сообщениям, и затем он отправит эти сообщения в пакетном режиме в кластер kafka. Плюс сторона заключается в том, что может быть ограниченное количество соединений. Нижняя сторона - это то, что время ожидания такой службы будет препятствовать приложению. Также я должен использовать некоторое промежуточное хранилище для хранения сообщений.
Теперь я знаю, что существует множество приложений/сайтов с чрезвычайно высоким объемом, использующих kafka для прямого потока сообщений. Может ли кто-нибудь из вас узнать, как решить эти проблемы? Могут ли постоянные соединения помочь в этом случае? Является ли использование php-библиотеки kafka-продюсером в такой среде с большим объемом, это плохая идея?
