Kafka: Очереди сейчас и в будущем Kafka поддерживает режим publish-subscribe, когда каждый клиент получает все сообщения топика. Однако, чаще требуется, чтобы клиенты потребляли уникальные подмножества сообщений. Это возможно благодаря consumer groups: в группе каждый потребитель получает набор партиций, из которых может потреблять данные. Тем не менее, данный подход имеет ограничения. Поэтому появился KIP-932, направленный на добавление новых возможностей очередей в Kafka. KIP-932 предлагает концепцию Shared Groups, позволяя кооперативное потребление сообщений из топика с произвольным числом потребителей. В отличие от consumer groups, назначение партиций (partition assignment) не эксклюзивное, что снимает ограничения по числу участников в consumer group. Для тех, кто использует Kafka в продакшене, новые функции предложат значительные улучшения в производительности и гибкости. В статье Adam Warsky подробно рассматриваются текущие характеристики и ограничения consumer groups, новые возможности по KIP-932 и как их можно реализовать с помощью паттерна KMQ. https://softwaremill.com/kafka-queues-now-and-in-the-future/