[PYTHON] Lazy Evaluation을 활용한 대용량 데이터 처리 및 메모리 부족 문제 해결 방법 3가지

 

Lazy Evaluation (지연 평가) 활용

 

 

데이터 분석이나 웹 개발을 하다 보면 수백만 건의 레코드를 처리해야 할 상황이 생깁니다. 이때 모든 데이터를 한꺼번에 리스트(List)에 담아 메모리에 올리려고 시도하면, 시스템은 이내 MemoryError를 뱉으며 멈춰버리고 맙니다. 파이썬 개발자에게 있어 Lazy Evaluation(지연 평가)은 이러한 자원 한계를 극복하고 효율성을 극대화할 수 있는 가장 우아한 해결책입니다. 오늘 이 가이드에서는 필요한 시점에만 값을 계산하는 지연 평가의 핵심 원리와, 이를 실무 코드에 적용하여 메모리 점유율을 획기적으로 낮추는 구체적인 방법들을 다룹니다.

---

1. 지연 평가(Lazy Evaluation)와 즉시 평가(Eager Evaluation)의 차이

우리가 흔히 사용하는 리스트 컴프리헨션(List Comprehension)은 즉시 평가 방식입니다. 코드가 실행되는 즉시 모든 결과값을 메모리에 할당합니다. 반면, 지연 평가는 이터레이터(Iterator)나 제너레이터(Generator)를 통해 실제 값이 필요할 때까지 계산을 미룹니다.

비교 항목	즉시 평가 (Eager Evaluation)	지연 평가 (Lazy Evaluation)
메모리 사용량	데이터 양에 비례하여 급증 (High)	상수 수준 유지 (Low/Constant)
초기 응답 속도	전체 계산 완료 후 반환 (Slow)	첫 번째 값 즉시 반환 (Fast)
데이터 처리 한계	RAM 용량 내로 제한됨	무한한 데이터 스트림 처리 가능
주요 도구	List, Dict, Tuple	Generator, map, filter, itertools

---

2. 파이썬에서 지연 평가를 구현하는 3가지 핵심 기법

① 제너레이터(Generator) 활용하기

yield 키워드를 사용하는 제너레이터 함수는 지연 평가의 가장 기본적인 형태입니다. 함수가 실행 상태를 유지한 채 값을 하나씩 '양보'하므로 메모리 효율이 압도적입니다.

② 제너레이터 표현식(Generator Expression)

리스트 컴프리헨션의 대괄호 []를 소괄호 ()로 바꾸는 것만으로도 즉시 메모리 점유율을 줄일 수 있습니다. 수 기가바이트(GB)의 텍스트 파일을 한 줄씩 읽어 처리할 때 필수적입니다.

③ itertools 모듈의 고차 함수

파이썬 내장 라이브러리인 itertools는 지연 평가를 기반으로 하는 다양한 반복 도구를 제공합니다. 예를 들어 islice는 거대한 데이터셋에서 특정 범위만 메모리 낭비 없이 추출할 수 있게 해줍니다.

---

3. Sample Example: 메모리 효율 극대화 실전 코드

아래 코드는 1,000만 개의 숫자를 생성하여 가공할 때 리스트와 제너레이터의 메모리 사용 차이를 명확히 보여줍니다.

import sys

# [방법 1] 즉시 평가 (Eager Evaluation) - 리스트 사용
eager_list = [i ** 2 for i in range(10000000)]
print(f"리스트 메모리 크기: {sys.getsizeof(eager_list) / (1024 * 1024):.2f} MB")

# [방법 2] 지연 평가 (Lazy Evaluation) - 제너레이터 표현식 사용
lazy_gen = (i ** 2 for i in range(10000000))
print(f"제너레이터 메모리 크기: {sys.getsizeof(lazy_gen)} Bytes")

# 실제 사용 시점 (Next를 호출할 때만 계산 발생)
print(f"첫 번째 결과값: {next(lazy_gen)}")

결과를 보면 알 수 있듯이, 리스트는 수백 MB의 메모리를 차지하는 반면 제너레이터는 데이터 양과 상관없이 단 몇십 바이트만 사용합니다.

---

4. 지연 평가 도입 시 주의해야 할 해결 과제

모든 기술에는 트레이드오프가 존재합니다. 지연 평가를 사용할 때 주의할 점은 데이터의 휘발성입니다.

• 재사용 불가: 제너레이터는 한 번 끝까지 순회하면 소모(Exhausted)되어 다시 사용할 수 없습니다. 다시 쓰려면 새로 생성해야 합니다.
• 인덱싱 불가: gen[5]와 같은 직접적인 인덱스 접근이 불가능하므로 필요한 경우 enumerate나 itertools.islice를 활용해야 합니다.
• 디버깅의 복잡성: 값이 실제로 계산되는 시점이 늦기 때문에 에러가 발생했을 때 추적이 다소 까다로울 수 있습니다.

---

5. 결론: 언제 지연 평가를 선택해야 하는가?

단순히 작은 규모의 데이터를 정렬하거나 빈번하게 재참조해야 한다면 즉시 평가(리스트)가 직관적이고 빠를 수 있습니다. 하지만 대용량 파일 읽기, 네트워크 스트림 처리, 무한 수열 생성과 같은 작업에서는 지연 평가가 선택이 아닌 필수입니다. 코드 한 줄의 괄호를 바꾸는 것만으로도 서버의 자원 비용을 수십 배 아낄 수 있다는 점을 기억하세요.

---

※ 참고 문헌 (Sources)

• Python Wiki. "Generators." wiki.python.org
• Real Python. "How to Use Generators and yield in Python." realpython.com
• David Beazley. "Generator Tricks for Systems Programmers." dabeaz.com