[PYTHON] Kafka 연동 완전 가이드 : 실전 중심 데이터 스트리밍

[PYTHON] Kafka

 

실시간 데이터 처리의 핵심 기술로 떠오른 Apache Kafka는 대규모 분산 메시징 시스템으로, 다양한 애플리케이션 간의 신속하고 안정적인 데이터 스트리밍을 가능하게 합니다. Python 개발자라면 Kafka를 통해 센서 데이터, 로그, 거래 정보 등을 효율적으로 처리할 수 있습니다. 본 글에서는 Python으로 Kafka를 연동하는 전반적인 방법과 주의사항, 그리고 실무에서 바로 활용 가능한 고급 패턴까지 소개합니다.

1. Kafka란 무엇인가?

Apache Kafka는 대용량 실시간 데이터 스트리밍을 처리하기 위해 개발된 분산 메시징 플랫폼입니다. Kafka는 로그 수집, 이벤트 분석, 실시간 모니터링, ETL 처리 등에 폭넓게 활용됩니다.

Kafka의 주요 특징

• 고성능 분산 처리 구조
• 내결함성(Fault Tolerance) 지원
• 확장 가능한 클러스터
• 실시간 데이터 스트리밍

2. Python-Kafka 연동을 위한 준비

Kafka는 Java로 작성되어 있지만, Python에서도 confluent-kafka 또는 kafka-python 라이브러리를 통해 연동 가능합니다. 본 가이드에서는 kafka-python 라이브러리를 사용합니다.

pip install kafka-python

Kafka 서버는 Docker로 간편하게 설치할 수 있습니다.

version: '2'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181

  kafka:
    image: confluentinc/cp-kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
    

3. Kafka 프로듀서(Producer) 예제

Kafka로 메시지를 보내는 Python 코드입니다.

from kafka import KafkaProducer
import json

producer = KafkaProducer(
    bootstrap_servers='localhost:9092',
    value_serializer=lambda v: json.dumps(v).encode('utf-8')
)

data = {"sensor": "temp1", "value": 26.3}
producer.send('sensor-topic', value=data)
producer.flush()
    

4. Kafka 컨슈머(Consumer) 예제

Kafka에서 메시지를 읽어들이는 코드입니다.

from kafka import KafkaConsumer
import json

consumer = KafkaConsumer(
    'sensor-topic',
    bootstrap_servers='localhost:9092',
    auto_offset_reset='earliest',
    enable_auto_commit=True,
    value_deserializer=lambda x: json.loads(x.decode('utf-8'))
)

for message in consumer:
    print("받은 메시지:", message.value)
    

5. 프로듀서와 컨슈머 요약 비교

항목	프로듀서 (Producer)	컨슈머 (Consumer)
기능	Kafka에 메시지를 보냄	Kafka에서 메시지를 읽음
주요 메서드	send(), flush()	for-loop 반복
직렬화	value_serializer	value_deserializer
옵션	bootstrap_servers	auto_offset_reset 등

6. 실무 적용 팁

6.1 토픽 다루기

Kafka의 메시지는 토픽이라는 단위로 구분됩니다. 토픽은 논리적 데이터 채널로, 사용 목적에 따라 구분합니다. 예를 들어 user-login-topic, order-event 등이 있을 수 있습니다.

6.2 멀티 프로듀서/컨슈머 처리

Kafka는 여러 개의 프로듀서나 컨슈머가 동시에 접근해도 안정적으로 작동합니다. 컨슈머 그룹을 통해 로드밸런싱이 가능합니다.

6.3 에러 처리 전략

• 오류 발생 시 try-except로 예외 로깅
• 프로듀서 재시도 로직 삽입
• 컨슈머는 특정 파티션만 재시도 가능

7. 고급 기능

• Kafka Streams: 실시간 데이터 처리
• Avro Schema: 메시지 포맷 표준화
• Kafka Connect: 외부 시스템 연동 (MySQL, Elasticsearch 등)
• Exactly-once 처리: 데이터 중복 방지

8. 사용 시 주의사항

• Kafka 클러스터 구성 시 최소 3개의 브로커 권장
• 메시지 크기 제한 확인 필요 (기본 1MB)
• 컨슈머는 오프셋 관리 전략 필요

9. 관련 자료 출처

• Kafka 공식 홈페이지
• kafka-python 공식 문서
• Real Python Kafka 튜토리얼
• Confluent Kafka 플랫폼

10. 마무리

Python에서 Kafka를 연동하면 실시간 데이터 처리가 가능해지며, IoT, 거래 시스템, 사용자 활동 로그 분석 등 다양한 분야에 활용할 수 있습니다. Kafka의 구조를 이해하고 Python 라이브러리와 잘 결합한다면, 빠르고 유연한 데이터 파이프라인을 구축할 수 있습니다.

© 2025 Python Kafka Integration Guide. All rights reserved.