Apache Kafka: что это такое и как установить на VPS — инструкция для новичка
Apache Kafka — платформа для передачи потоков событий между сервисами: заказы, логи, клики и платежи попадают в неё, а другие приложения читают их в своём темпе. В этой инструкции из блога HostingFAQ вы разберётесь, как устроен apache kafka, какой сервер для него нужен и как за 8 шагов запустить брокер на VPS и отправить первое сообщение.

Коротко
- Kafka 4.x работает без ZooKeeper, в режиме KRaft; для брокера нужна Java 17 или новее.
- Брокер слушает порт 9092, контроллер KRaft — порт 9093.
- Для теста хватит VPS с 2 vCPU, 4 ГБ RAM и 20 ГБ SSD.
- Сообщения по умолчанию хранятся 7 дней (168 часов), даже если их уже прочитали.
- Установка по инструкции занимает 8 шагов и около 15–20 минут.
- Для рабочей системы обычно берут минимум 3 брокера и фактор репликации 3.
- Размер одного сообщения по умолчанию ограничен примерно 1 МБ.
Apache Kafka: что это такое простыми словами
Apache Kafka — это распределённый журнал событий. Это не очередь, из которой сообщение пропадает после прочтения, и не база данных для сложных запросов. Представьте общий журнал: одни приложения дописывают в его конец новые записи, а другие читают его со своего места и в своём темпе.
Kafka создали в компании LinkedIn, затем передали в Apache Software Foundation, а исходный код открыт. Сейчас актуальна ветка Kafka 4.x. Ей не нужен ZooKeeper: кластером управляет встроенный режим KRaft (Kafka Raft). Для брокера требуется Java 17 или новее.
Записи в журнале не удаляются после прочтения. По умолчанию Kafka хранит их 168 часов (7 дней), поэтому новый сервис может прочитать всю историю с самого начала.
Чтобы не путаться дальше, запомните четыре основных термина:
- Событие — запись о факте: заказ создан, платёж прошёл, пользователь нажал кнопку. По умолчанию размер одного события ограничен примерно 1 МБ.
- Брокер — сервер Kafka, который принимает события, хранит их на диске и отдаёт клиентам. По умолчанию он слушает порт
9092. - Продюсер (producer) — приложение, которое пишет события в журнал.
- Консьюмер (consumer) — приложение, которое читает события и запоминает, до какой записи дошло.
Как работает Kafka: топики, партиции и брокеры
Сервер Kafka называется брокером. Он принимает сообщения от отправителей (producers), записывает их на диск и отдаёт читателям (consumers). Сообщения складываются в топики — именованные потоки, например orders для заказов. Клиенты подключаются к брокеру по порту 9092.
Каждый топик делится на партиции — упорядоченные журналы записей. Возьмём топик orders с 3 партициями: заказы распределяются между ними, а внутри одной партиции порядок сообщений сохраняется. У каждой записи есть номер — смещение (offset). Читатель запоминает, до какого смещения дошёл, и продолжает с этого места.
Прочитанное сообщение не удаляется. Kafka по умолчанию хранит данные 168 часов (7 дней) независимо от чтения, поэтому новый сервис может перечитать историю. Группа потребителей делит партиции между участниками: три приложения в одной группе читают по одной из 3 партиций. Кластером управляет встроенный KRaft (Kafka Raft), ZooKeeper в Kafka 4.x не нужен, а контроллер KRaft слушает порт 9093.
Запомните пять терминов, на которых строится вся работа с Kafka:
- Брокер — сервер, который хранит и отдаёт сообщения.
- Топик — именованный поток, например
orders. - Партиция — часть топика; 3 партиции позволяют читать параллельно.
- Offset — номер сообщения внутри партиции.
- Репликация — копии партиции на других брокерах; в рабочей среде обычно
replication-factor3, на одном узле — 1.

Для чего нужна Apache Kafka: примеры использования
Kafka нужна там, где одни сервисы постоянно создают события, а другие обрабатывают их в своём темпе. Сервис-отправитель записывает событие в топик и не ждёт ответа получателей. Если потребитель упал, сообщения остаются в Kafka: по умолчанию они хранятся 168 часов (7 дней), и после перезапуска приложение дочитает пропущенное.
Для владельца VPS (виртуального сервера) это даёт развязку сервисов. Сайт, обработчик заказов и отчёты не зависят друг от друга, поэтому вы можете остановить один из них на обновление, а остальные продолжат работу.
Вот четыре типичных сценария:
- Сбор логов: приложения с нескольких серверов пишут логи в один топик, а отдельная система читает их и складывает в поиск.
- Поток событий интернет-магазина: заказы, оплаты и клики попадают в топик
orders, а склад, почта и антифрод читают его независимо. - Связь микросервисов: сервисы обмениваются событиями через Kafka и не вызывают друг друга напрямую.
- Аналитика в реальном времени: счётчики продаж и нагрузки обновляются через считаные секунды после события.
Kafka хранит данные ограниченное время, а одно сообщение по умолчанию не больше 1 МБ. Поэтому долгий архив и крупные файлы переносите в объектное хранилище S3 (Simple Storage Service), а в Kafka передавайте только ссылку. Устройство хранилища объясняет материал: разберитесь, что такое S3.
Какой сервер нужен для Apache Kafka
Для Kafka диск и сеть важнее процессора. Брокер постоянно пишет сообщения на диск и отдаёт их клиентам по сети, поэтому медленный накопитель или узкий канал становятся проблемой раньше, чем закончатся ядра. Точные цифры зависят от нагрузки: числа сообщений в секунду, их размера и срока хранения.
Память нужна не только Java. Куча JVM (виртуальной машины Java) по умолчанию занимает около 1 ГБ, а остальную оперативную память (RAM) система использует как файловый кэш, и он ускоряет чтение. Для брокера Kafka 4.x нужна Java 17 или новее. Сообщения хранятся 7 дней (168 часов), поэтому объём диска считайте с запасом.
Ориентиры по ресурсам, где vCPU означает виртуальные ядра процессора, собраны в таблице:
| Сценарий | vCPU | RAM | Диск | Брокеров |
|---|---|---|---|---|
| Тест | 2 | 4 ГБ | 20 ГБ SSD | 1 |
| Небольшой рабочий проект | 4 | 8 ГБ | 100 ГБ SSD | 3 |
| Нагруженный | от 8 | от 16 ГБ | NVMe | 3 и больше |
Для первого запуска хватит тестового VPS (виртуального сервера). Как подобрать тариф, читайте в разборе вопросов о VPS, а о том, на что смотреть при заказе, — в материале про аренду виртуального сервера.
Как установить Apache Kafka на VPS: пошаговая инструкция
Установка занимает 8 шагов и около 15–20 минут. Для теста хватит VPS с 2 vCPU, 4 ГБ RAM и 20 ГБ SSD под управлением Ubuntu. Если сервера ещё нет, выберите VPS для Kafka по этим параметрам.
Kafka 4.x работает без ZooKeeper: кластером управляет встроенный KRaft. Для брокера нужна Java 17 или новее. Брокер слушает порт 9092, контроллер KRaft — порт 9093.
Если команды в терминале пока непривычны, сначала прочитайте как работать с Linux на сервере. Выполните шаги по порядку:
- Подключитесь к серверу по SSH (Secure Shell) командой
ssh user@IP-адрес, затем обновите пакеты:sudo apt update && sudo apt upgrade -y. - Установите Java 17:
sudo apt install -y openjdk-17-jre-headless. Проверьте результат командойjava -version: в ответе должна быть версия 17. - Скачайте архив Kafka 4.x с официального сайта проекта (раздел Downloads) и распакуйте его в
/opt/kafka:sudo tar -xzf kafka_*.tgz -C /opt/kafka --strip-components=1. Затем перейдите в каталог:cd /opt/kafka. - Сгенерируйте идентификатор кластера:
bin/kafka-storage.sh random-uuid. Скопируйте полученный UUID. - Отформатируйте хранилище:
bin/kafka-storage.sh format -t <UUID> -c config/server.properties. - Запустите брокер в фоне:
bin/kafka-server-start.sh -daemon config/server.properties. Через 10–15 секунд проверьте порт командойss -tlnp | grep 9092. - Создайте топик:
bin/kafka-topics.sh --create --topic orders --partitions 3 --replication-factor 1 --bootstrap-server localhost:9092. Фактор репликации 1 подходит только для одного узла. - Отправьте сообщение:
bin/kafka-console-producer.sh --topic orders --bootstrap-server localhost:9092, введите строку и нажмите Enter. Затем в другом окне прочитайте её:bin/kafka-console-consumer.sh --topic orders --from-beginning --bootstrap-server localhost:9092.
Если сообщение появилось в консоли консьюмера, брокер работает. Для доступа с других серверов позже понадобятся advertised.listeners и порт 9092, открытый только для доверенных IP.

Частые ошибки при установке и запуске Kafka
На первом запуске Kafka чаще всего ломается одно из пяти мест: брокер не стартует, хранилище не отформатировано, внешний клиент не подключается, топик не создаётся из-за репликации или заканчивается место на диске. Все пять ошибок исправляются за несколько минут. Ниже у каждой указаны причина и решение.
Брокер не стартует: мало памяти или старая Java
Kafka 4.x требует Java 17 или новее. Кроме того, куча JVM (Java Virtual Machine) по умолчанию занимает около 1 ГБ, и на VPS с 512 МБ RAM процесс завершается сразу. Проверьте версию командой java -version, при необходимости установите Java 17. Для теста берите сервер минимум с 4 ГБ RAM.
Ошибка про неотформатированное хранилище
Брокер в режиме KRaft не запустится, пока вы не отформатируете каталог данных. Создайте идентификатор командой kafka-storage.sh random-uuid, затем выполните kafka-storage.sh format -t <UUID> -c config/server.properties. После этого повторите kafka-server-start.sh -daemon config/server.properties.
Клиент снаружи не подключается
Причина обычно одна из двух: в advertised.listeners остался localhost или порт 9092 закрыт файрволом. Впишите в config/server.properties внешний адрес сервера, перезапустите брокер и откройте порт 9092 только для доверенных IP.
Replication-factor больше числа брокеров
При создании топика Kafka выдаёт ошибку, если фактор репликации превышает число живых брокеров. На одном узле ставьте 1: kafka-topics.sh --create --topic orders --partitions 3 --replication-factor 1 --bootstrap-server localhost:9092. Значение 3 нужно только при трёх брокерах и более.
Диск заполнился
Kafka хранит сообщения 168 часов (7 дней), даже если их уже прочитали. На диске в 20 ГБ это быстро становится проблемой. Уменьшите срок, например до 24 часов, параметром log.retention.hours в config/server.properties или увеличьте диск.
Большинство сбоев связано с памятью, пропущенным шагом форматирования и сетевыми настройками. Проверьте их по порядку, и брокер заработает.
Kafka или RabbitMQ и обычная база данных: что выбрать
Apache Kafka, RabbitMQ и реляционная база данных (БД) хранят данные, но решают разные задачи. Kafka ведёт журнал событий, RabbitMQ раздаёт сообщения из очереди, БД хранит таблицы.
Главное отличие — что происходит с сообщением после чтения. В RabbitMQ оно обычно исчезает после подтверждения. В Kafka оно остаётся на 168 часов (7 дней) по умолчанию, и новый сервис может прочитать его с начала.
Сравните три варианта по основным критериям:
| Критерий | Kafka | RabbitMQ | Реляционная БД |
|---|---|---|---|
| Модель | журнал событий | очередь сообщений | таблицы |
| Хранение после чтения | да, 168 часов по умолчанию | обычно нет | да |
| Повторное чтение | да | ограниченно | да |
| Сложность запуска | выше | ниже | низкая |
| Типичная задача | поток заказов, логов, кликов | фоновые задачи, письма | учёт, поиск, отчёты |
Выбирайте по задаче, а не по популярности:
- Нужно передать задачу одному исполнителю и забыть о ней — берите RabbitMQ.
- Несколько сервисов читают одни и те же события или перечитывают их — берите Kafka.
- Данные нужно искать, обновлять и связывать между собой — берите БД.
- Поток небольшой, например сотни заказов в день, — обычно хватит БД без отдельного брокера.

Когда Apache Kafka не подходит
Kafka — мощный инструмент, но не универсальный. Для одного небольшого сайта с парой сотен заказов в день она избыточна: брокер с кучей JVM (Java Virtual Machine) около 1 ГБ потребляет ресурсы, а пользы вы почти не получите.
Для надёжной работы нужны минимум 3 брокера с replication-factor 3, а ещё мониторинг: нагрузка на диск, отставание потребителей, свободное место. Один брокер, как в нашем примере с localhost:9092, годится для обучения, но не переживёт отказ сервера. Kafka также не заменяет базу данных: сообщения хранятся по умолчанию 168 часов (7 дней), а искать в них записи по условиям нельзя. Если задачи приходят редко, например 10–50 в час, платформа не окупит сложность.
Выбирайте проще, когда нагрузка небольшая. Вот что подойдёт вместо Kafka:
- простая очередь, например RabbitMQ, если нужно раздать задачи нескольким исполнителям;
- таблица задач в обычной базе данных, если события редкие и важна простота;
- Redis со списками или потоками, если нужна скорость и небольшой объём данных.
Kafka подходит командам, которым нужно пропускать тысячи событий в секунду, хранить их несколько дней и читать несколькими независимыми сервисами. Когда вы упрётесь в одиночный узел, следующим шагом станет запуск в Kubernetes: подробности в материале о настройке кластера Kubernetes. А если сначала нужен сервер под тест, выберите подходящий VPS с 2 vCPU и 4 ГБ RAM.
Частые вопросы
Что такое Apache Kafka простыми словами?
Для чего используют Kafka?
Kafka — это база данных или очередь сообщений?
Нужен ли ZooKeeper для Kafka?
Какая Java нужна для Apache Kafka?
Какой порт использует Kafka?
Сколько ресурсов нужно Kafka на VPS?
Как проверить, что Kafka работает?
Сколько хранятся сообщения в Kafka?
Почему клиент не подключается к Kafka снаружи?
Проверьте себя
- На сервере установлена Java 17 или новее, команда java -version отвечает.
- Хранилище отформатировано командой kafka-storage.sh format до первого запуска.
- Брокер запущен и слушает порт 9092.
- Топик orders создан, у него 3 партиции и replication-factor 1.
- Тестовое сообщение дошло от продюсера до консьюмера.
- Порты 9092 и 9093 открыты только для доверенных адресов.
- Свободного места на диске хватает на 7 дней хранения сообщений.
На сайте есть партнёрские ссылки: если вы оформите заказ по ним, мы получим вознаграждение от провайдера. Это не влияет на цену для вас и на место в рейтинге.