현대 데이터 엔지니어링 환경에서 가장 큰 화두는 '한정된 자원으로 얼마나 많은 데이터를 처리할 수 있는가'입니다. 특히 파이썬(Python)은 머신러닝, AI, 빅데이터 분석에서 표준으로 자리 잡았지만, 자칫 잘못 설계된 데이터 로딩 방식은 MemoryError를 유발하며 전체 시스템을 마비시키곤 합니다. 본 포스팅에서는 단순한 리스트 활용을 넘어, 파이썬의 정수인 Generators와 itertools 모듈을 결합하여 메모리 점유율을 0에 가깝게 유지하면서 수 기가바이트(GB) 이상의 데이터를 스트리밍 처리하는 실무 최적화 기법을 심층적으로 다룹니다. 이 내용은 단순 이론이 아닌, 실제 엔터프라이즈 환경에서 ETL(Extract, Transform, Load) 파이프라인을 설계할 때 즉시 적용 가능한 지침입니다.
1. 왜 '리스트'가 아닌 '제너레이터'인가? (메모리 아키텍처의 이해)
일반적인 파이썬 리스트는 모든 요소를 RAM에 한꺼번에 적재합니다. 1GB의 로그 파일을 readlines()로 읽어 들이면 순식간에 1GB 이상의 메모리가 점유됩니다. 반면 제너레이터(Generator)는 지연 평가(Lazy Evaluation) 방식을 취합니다. 즉, 데이터가 필요한 시점에만 계산하여 반환하고 즉시 폐기합니다.
대용량 데이터 처리 방식의 핵심 차이점
| 항목 | 일반 리스트 (Eager Evaluation) | 제너레이터 (Lazy Evaluation) |
|---|---|---|
| 메모리 사용량 | 데이터 크기에 비례하여 증가 | 데이터 크기와 무관하게 일정함 |
| 초기 응답 속도 | 모든 데이터 로드 후 시작 (느림) | 첫 번째 데이터 생성 즉시 시작 (빠름) |
| 무한 데이터 처리 | 불가능 (시스템 다운) | 가능 (스트리밍 데이터에 최적) |
| 주요 키워드 | return, [] |
yield, () |
2. 실무 적용을 위한 최적화 기법 (Sample Examples)
개발자가 현업에서 바로 복사하여 성능 개선에 활용할 수 있는 7가지 핵심 사례를 소개합니다.
Example 1: 수십 GB 로그 파일의 한 줄씩 읽기 (기본 스트리밍)
가장 기초적이지만 가장 강력한 방법입니다. 전체 파일을 메모리에 올리지 않고 한 줄씩 yield 합니다.
def stream_large_file(file_path):
with open(file_path, 'r', encoding='utf-8') as file:
for line in file:
yield line.strip()
# 적용 예시
for row in stream_large_file("huge_access_log.txt"):
if "ERROR" in row:
print(f"Detected log: {row}")
Example 2: itertools.islice를 활용한 데이터 페이징 및 샘플링
수백만 개의 데이터 중 특정 구간만 추출할 때, 전체를 슬라이싱(data[:100])하면 메모리 낭비가 심합니다. islice는 이를 방지합니다.
import itertools
def get_data_range(generator, start, stop):
# 슬라이싱 시점에 데이터를 메모리에 올리지 않고 인덱스 위치까지 스킵함
return itertools.islice(generator, start, stop)
data_stream = (x for x in range(1000000000)) # 가상의 거대 데이터
sample = get_data_range(data_stream, 5000, 5010)
print(list(sample))
Example 3: itertools.chain을 이용한 다중 파일 병합 스트리밍
여러 개의 대용량 파일을 하나의 연속된 스트림으로 처리해야 할 때 사용합니다.
import itertools
def combine_logs(files):
generators = [stream_large_file(f) for f in files]
# 여러 제너레이터를 연결하여 하나의 연속된 이터레이터로 변환
return itertools.chain(*generators)
log_files = ["log_part1.txt", "log_part2.txt", "log_part3.txt"]
for entry in combine_logs(log_files):
process_data(entry)
Example 4: itertools.groupby를 활용한 실시간 데이터 그룹화
스트리밍되는 데이터를 메모리에 쌓지 않고 특정 키값별로 그룹화하여 처리합니다. 단, 데이터가 키값으로 정렬되어 있어야 합니다.
import itertools
# 가공된 데이터 스트림 (예: 날짜별 로그)
data = [
{'date': '2023-10-01', 'event': 'login'},
{'date': '2023-10-01', 'event': 'upload'},
{'date': '2023-10-02', 'event': 'error'},
]
# date 기준으로 그룹화
for key, group in itertools.groupby(data, lambda x: x['date']):
print(f"Date: {key}")
for item in group:
print(f" - {item['event']}")
Example 5: Generator Pipeline (파이프라인 아키텍처)
데이터 정제, 필터링, 변환 과정을 체인 형태로 연결하여 가독성과 성능을 동시에 잡는 기법입니다.
def raw_data_gen():
for i in range(1000): yield f"user_{i}, {i*10}"
def parse_gen(source):
for item in source:
name, val = item.split(",")
yield {"name": name, "value": int(val)}
def filter_gen(source):
for item in source:
if item["value"] > 500:
yield item
# 파이프라인 조립
pipeline = filter_gen(parse_gen(raw_data_gen()))
for result in pipeline:
print(result)
Example 6: itertools.batched를 이용한 대용량 벌크 삽입(Bulk Insert)
Python 3.12에 추가된 itertools.batched는 데이터를 일정 크기로 묶어줍니다. DB 저장 시 I/O 횟수를 획기적으로 줄여줍니다.
import itertools
def bulk_db_insert(source_stream, batch_size=1000):
# Python 3.12+ 에서 사용 가능
for batch in itertools.batched(source_stream, batch_size):
# batch는 튜플 형태의 데이터 묶음
db.execute_many("INSERT INTO table VALUES (...)", batch)
# 3.12 미만 버전용 대체 구현
def legacy_batched(iterable, n):
it = iter(iterable)
while True:
batch = tuple(itertools.islice(it, n))
if not batch:
break
yield batch
Example 7: itertools.tee를 활용한 스트림 복제 및 다중 처리
하나의 스트림을 두 개 이상의 독립적인 스트림으로 분리하여 각기 다른 로직으로 검증해야 할 때 유용합니다.
import itertools
source = (x for x in range(100))
# 스트림을 두 개로 복제
stream1, stream2 = itertools.tee(source, 2)
# 각 스트림은 독립적으로 소비됨
avg_val = sum(stream1) / 100
max_val = max(stream2)
print(f"Average: {avg_val}, Max: {max_val}")
3. 대용량 처리 시 주의사항 및 해결 방법
제너레이터와 itertools를 사용할 때 흔히 저지르는 실수는 "한 번 소비된 이터레이터는 재사용할 수 없다"는 점을 망각하는 것입니다. 이를 해결하기 위해서는 itertools.tee를 사용하거나, 이터레이터를 생성하는 '팩토리 함수'를 전달하는 설계가 필요합니다. 또한, itertools.cycle과 같이 무한 루프를 생성하는 함수를 사용할 때는 반드시 탈출 조건이나 islice를 통한 제한을 걸어주어야 시스템 리소스 고갈을 막을 수 있습니다.
4. 결론: 파이썬 시니어 개발자로 가는 길
데이터의 양이 많아질수록 알고리즘의 복잡도보다 '데이터 흐름의 제어 능력'이 더 중요해집니다. itertools와 Generators를 능숙하게 다룬다는 것은 단순히 코드를 짧게 쓰는 것이 아니라, 인프라 비용을 절감하고 서비스의 안정성을 극대화할 수 있는 능력을 갖췄음을 의미합니다. 오늘 소개한 7가지 패턴을 실무 ETL 작업이나 로그 분석 툴에 적용해 보시기 바랍니다. 작은 코드 변화가 시스템 전체의 퍼포먼스를 결정짓는 핵심 포인트가 될 것입니다.
참고 문헌 및 출처
- Python Documentation: itertools — Functions creating iterators for efficient looping
- Python Enhancement Proposals (PEP 255): Simple Generators
- Real Python: Introduction to Python Generators
- High Performance Python (Micha Gorelick, Ian Ozsvald)
