Docker Compose와 Kafka로 토픽 생성하기

아파치 카프카(Apache Kafka)는 대규모 메시지 스트리밍 플랫폼으로, 분산 시스템에서 데이터 파이프라인과 스트리밍 애플리케이션을 구축하는 데 널리 사용됩니다. 이번 포스트에서는 Docker Compose 환경에서 Kafka 토픽을 생성하는 과정을 상세히 살펴보겠습니다.

시작하기 전에 다음 도구들이 설치되어 있어야 합니다:
- Docker
- Docker Compose

 

Kafka 컨테이너 접속하기
먼저 Kafka 컨테이너의 쉘에 접속합니다:

docker-compose exec kafka /bin/bash

이 명령어는 실행 중인 Kafka 컨테이너의 내부 쉘로 진입하게 해줍니다.

 

토픽 생성하기
토픽을 생성하려면 다음 명령어를 사용합니다:

kafka-topics --create --topic chat-room-1 \
  --bootstrap-server localhost:9092 \
  --replication-factor 1 \
  --partitions 3

이 명령어의 각 부분을 살펴보겠습니다:

--create: 새로운 토픽을 생성합니다.
--topic chat-room-1: 토픽의 이름을 지정합니다.
--bootstrap-server localhost:9092: Kafka 브로커의 주소를 지정합니다.
--replication-factor 1: 토픽의 복제 팩터를 설정합니다. 여기서는 1로 지정했습니다.
--partitions 3: 토픽의 파티션 수를 3개로 설정합니다.

토픽 확인하기
생성된 토픽 목록을 확인하려면 다음 명령어를 사용합니다:

kafka-topics --list --bootstrap-server localhost:9092

이 명령어는 현재 존재하는 모든 토픽을 나열합니다.

 

주의사항 및 팁
토픽 이름은 소문자, 하이픈, 숫자로 구성하는 것이 좋습니다.
파티션 수와 복제 팩터는 시스템 요구사항에 맞게 조정해야 합니다.
3 실제 운영 환경에서는 보통 복제 팩터를 3 이상으로 설정합니다.