[PYTHON] 데이터 스트림 최적화 방법 : 이터레이터(Iterator) 직접 구현과 2가지 핵심 프로토콜 차이 및 해결

이터레이터 (Iterator)

 

파이썬 프로그래밍에서 반복문(for-in)은 공기와 같이 자연스러운 존재입니다. 하지만 우리가 무심코 사용하는 리스트, 튜플, 딕셔너리가 내부적으로 어떻게 순회 가능한 상태를 유지하는지 깊이 있게 이해하는 개발자는 많지 않습니다. 본 가이드에서는 파이썬의 핵심 메커니즘인 이터레이션 프로토콜을 분석하고, 사용자가 정의한 클래스를 이터레이터로 직접 구현하는 방법과 성능 문제를 해결하는 전략을 2026년 최신 개발 트렌드에 맞춰 상세히 설명합니다.

---

1. 이터레이터(Iterator)와 이터러블(Iterable)의 정의

이터레이터를 직접 구현하기 위해서는 먼저 두 가지 개념의 명확한 차이를 이해해야 합니다. 많은 개발자가 이 두 용어를 혼용하지만, 파이썬 객체 모델에서는 엄격히 구분됩니다.

• 이터러블(Iterable): __iter__() 메서드를 구현하여 이터레이터를 반환할 수 있는 객체 (예: list, str, range).
• 이터레이터(Iterator): __next__() 메서드를 구현하여 데이터의 다음 요소를 반환하고, 더 이상 요소가 없을 때 StopIteration 예외를 발생시키는 객체.

---

2. 이터러블과 이터레이터의 3가지 핵심 차이점 비교

객체 지향 프로그래밍 관점에서 두 개념의 인터페이스 규격을 비교하면 다음과 같습니다.

구분 항목	이터러블 (Iterable)	이터레이터 (Iterator)
필수 메서드	__iter__()	__iter__() 및 __next__()
상태 유지	데이터의 집합체 (상태 저장 안 함)	현재 가리키는 위치 정보를 저장 (상태 유지)
반복 가능 횟수	여러 번 반복 가능 (새 이터레이터 생성)	단 한 번만 순회 가능 (소비성 객체)
대표적인 예시	List, Set, Tuple	Enumerate, Zip, Map 객체

---

3. 이터레이터를 직접 구현해야 하는 이유와 해결책

기존 리스트를 쓰면 되는데 왜 굳이 복잡하게 클래스를 만들까요? 가장 큰 이유는 메모리 효율성입니다. 수십억 개의 데이터를 미리 생성해 리스트에 담는 대신, 필요한 시점에만 계산하여 반환하는 커스텀 이터레이터를 구현하면 메모리 부족 현상을 완벽히 해결할 수 있습니다.

[Sample Example] 커스텀 숫자 범위 이터레이터 구현

아래 코드는 파이썬의 range() 함수와 유사하게 작동하는 이터레이터를 클래스로 직접 구현한 사례입니다.

class CustomRange:
    """사용자 정의 숫자 범위 이터레이터 클래스"""
    def __init__(self, start, end):
        self.current = start
        self.end = end

    def __iter__(self):
        # 이터레이터 프로토콜에 따라 자신을 반환
        return self

    def __next__(self):
        # 현재 값이 종료 지점보다 크거나 같으면 중단
        if self.current >= self.end:
            raise StopIteration
        
        # 현재 값을 저장하고 포인터를 이동
        value = self.current
        self.current += 1
        return value

# 실전 사용
my_numbers = CustomRange(1, 4)

print(next(my_numbers)) # 1 출력
print(next(my_numbers)) # 2 출력

for n in my_numbers:
    print(f"반복문 출력: {n}") # 3 출력 후 종료
    

---

4. 고급 이터레이터 설계 전략: 무한 시퀀스(Infinite Sequence)

직접 구현한 이터레이터의 강력한 장점 중 하나는 무한한 데이터 스트림을 정의할 수 있다는 것입니다. 리스트로는 구현이 불가능한 '끝이 없는 데이터'를 yield나 __next__를 통해 안전하게 처리할 수 있습니다.

전문가 팁: 이터레이터를 직접 구현할 때는 반드시 __iter__가 self를 반환하도록 설계하십시오. 그래야 해당 객체가 이터레이터인 동시에 이터러블한 속성을 모두 갖추게 되어 for 루프에서 안전하게 동작합니다.

---

5. 결론 및 요약

파이썬에서 이터레이터를 직접 구현하는 것은 단순한 문법 공부를 넘어, 시스템 자원을 효율적으로 관리하는 최적화 방법의 핵심입니다. __iter__와 __next__라는 두 개의 마법 메서드(Magic Methods)를 적절히 활용하면, 대규모 데이터 처리 아키텍처에서 발생할 수 있는 메모리 누수 및 속도 저하 문제를 근본적으로 해결할 수 있습니다.

---

내용의 출처 및 참고 문헌

• Python Software Foundation. "The Python Standard Library - Iterator Types". docs.python.org.
• Luciano Ramalho. "Fluent Python: Clear, Concise, and Effective Programming". O'Reilly Media.
• Brett Slatkin. "Effective Python: 90 Specific Ways to Write Better Python". Pearson Education.