[PYTHON] mmap을 활용하여 테라바이트급 데이터셋을 초고속 인덱싱하는 7가지 방법

Memory-mapped file (mmap)

 

데이터 사이언스와 엔지니어링의 영역이 테라바이트(TB) 단위를 넘어 페타바이트로 향해가면서, 전통적인 '메모리에 데이터 올리기(Loading into RAM)' 방식은 한계에 봉착했습니다. 64GB 혹은 128GB 수준의 일반적인 서버 RAM으로는 1TB 이상의 데이터셋을 처리할 수 없기 때문입니다. 이때 해결사로 등장하는 것이 바로 파이썬의 Memory-mapped file(mmap)입니다. 본 가이드에서는 운영체제의 가상 메모리 메커니즘을 직접 활용하여, 실제 RAM 용량보다 훨씬 큰 데이터를 마치 메모리에 있는 것처럼 다루고 인덱싱하는 전문적인 설계 패턴과 최적화 기법을 다룹니다.

---

1. mmap 기반 인덱싱의 핵심 원리와 차이점

mmap은 파일 내용을 프로세스의 가상 주소 공간에 매핑합니다. 운영체제는 필요할 때만 파일의 특정 블록을 RAM으로 읽어오고(Page In), 메모리가 부족하면 가장 오래된 블록을 비웁니다(Page Out). 이를 통해 개발자는 복잡한 read/write 스트림 관리 없이 대규모 데이터를 인덱싱할 수 있습니다.

비교 항목	Standard File I/O (open/read)	Memory-mapped I/O (mmap)
데이터 접근 방식	커널 버퍼에서 유저 버퍼로 복사 발생	커널과 유저 공간이 메모리를 공유 (Zero-copy)
메모리 사용	데이터 크기만큼 RAM 점유	필요한 페이지만 RAM 점유 (가상 메모리 활용)
임의 접근(Random Access)	seek() 호출 오버헤드 존재	배열 인덱싱처럼 즉시 접근 가능
프로세스 공유	복잡한 동기화 필요	여러 프로세스가 동일 메모리 영역 공유 가능

---

2. 테라바이트 인덱싱을 위한 실무 구현 패턴 (Example 7)

실제 1TB 이상의 바이너리 로그나 정렬된 데이터셋을 다룰 때 성능을 극대화할 수 있는 7가지 예제 코드입니다.

Example 1: 기본 mmap 객체 생성 및 대용량 파일 매핑

가장 기초가 되는 읽기 전용 매핑 방법입니다. access=mmap.ACCESS_READ를 통해 안정성을 확보합니다.

import mmap
import os

def create_mmap_reader(file_path):
    with open(file_path, "rb") as f:
        # 파일 전체를 매핑해도 실제 RAM은 사용량만큼만 소비됨
        mm = mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ)
        return mm

# 1TB 파일이 있다고 가정
# mm = create_mmap_reader("massive_dataset.bin")
# data = mm[10**12:10**12+100] # 테라바이트 지점 데이터 즉시 조회
    

Example 2: 이진 탐색(Binary Search)을 활용한 오프셋 인덱싱

정렬된 고정 길이 레코드에서 특정 키를 찾는 가장 빠른 방법입니다.

def binary_search_mmap(mm, target_id, record_size):
    low = 0
    high = (mm.size() // record_size) - 1
    
    while low <= high:
        mid = (low + high) // 2
        mm.seek(mid * record_size)
        current_id = int.from_bytes(mm.read(8), "little") # 첫 8바이트가 ID라고 가정
        
        if current_id < target_id:
            low = mid + 1
        elif current_id > target_id:
            high = mid - 1
        else:
            return mid # 찾은 레코드의 인덱스 반환
    return -1
    

Example 3: 대규모 구조체(Struct) 배열 인덱싱 해결

struct 모듈과 결합하여 바이너리 데이터를 파이썬 객체로 빠르게 변환합니다.

import struct

# 레코드 구조: ID(Q:8), Value(d:8), Timestamp(Q:8) = 24 bytes
record_format = "QdQ"
record_size = struct.calcsize(record_format)

def get_record(mm, index):
    offset = index * record_size
    data = mm[offset:offset + record_size]
    return struct.unpack(record_format, data)
    

Example 4: 멀티 프로세싱 환경에서의 데이터 공유 인덱싱

mmap은 fork 시 자식 프로세스와 메모리 주소를 공유하므로 별도의 IPC 없이 데이터를 인덱싱할 수 있습니다.

from multiprocessing import Process

def search_worker(mm, start_idx, end_idx, target):
    # 각 프로세스는 동일한 mm 객체의 다른 영역을 탐색
    content = mm[start_idx:end_idx]
    if target in content:
        print(f"Found in range {start_idx}-{end_idx}")

# 메인 프로세스에서 mm 생성 후 여러 Process에 인자로 전달 가능
    

Example 5: madvise(POSIX)를 통한 성능 최적화 방법

운영체제에 접근 패턴(순차 vs 무작위)을 힌트로 주어 페이지 폴트를 줄입니다.

# Unix 전용 (Windows는 별도 API 필요)
def optimize_mmap(mm):
    # 무작위 접근(Random Access)이 많을 것임을 운영체제에 알림
    mm.madvise(mmap.MADV_RANDOM)
    # 순차 인덱싱의 경우 MADV_SEQUENTIAL 사용

Example 6: 대규모 가변 길이 텍스트 파일 인덱싱 (Line Indexer)

줄 단위 텍스트 파일의 시작 위치를 mmap으로 스캔하여 인덱스 테이블을 생성합니다.

def build_line_index(mm):
    index = []
    offset = 0
    while True:
        pos = mm.find(b'\n', offset)
        if pos == -1: break
        index.append(offset)
        offset = pos + 1
    return index # 줄 시작 오프셋 리스트

Example 7: NumPy와 mmap 결합을 통한 수치 데이터 인덱싱

NumPy의 memmap 기능을 활용하면 테라바이트급 배열을 일반 배열처럼 슬라이싱할 수 있습니다.

import numpy as np

# 기존 거대 바이너리 파일을 NumPy 배열로 매핑
def map_numpy_array(file_path, shape, dtype='float32'):
    # 실제 메모리 로드 없이 배열 인터페이스 연결
    large_arr = np.memmap(file_path, dtype=dtype, mode='r', shape=shape)
    return large_arr

# 사용: arr[500000000] 처럼 접근 시 그 부분만 메모리로 로드됨

---

3. 전문가의 조언: TB 데이터셋 관리 시 주의사항

mmap이 만능은 아닙니다. 32비트 시스템에서는 주소 공간의 한계로 대용량 파일을 매핑할 수 없으므로 반드시 64비트 환경을 사용해야 합니다. 또한, 파일이 수정될 가능성이 있는 경우 ACCESS_COPY 모드를 사용하여 원본 훼손을 방지하거나, 쓰기 작업 시 flush()를 호출하여 OS 캐시와 디스크 간의 동기화를 관리해야 합니다. 가장 중요한 성능 비결은 데이터의 정렬입니다. 인덱싱 효율은 결국 mmap 내부의 이진 탐색 효율에 수렴하기 때문입니다.

---

4. 참고 문헌 및 기술 출처

• Python Software Foundation. "mmap — Memory-mapped file support." docs.python.org.
• Linux Programmer's Manual. "mmap(2) - map files or devices into memory." man7.org.
• NumPy Documentation. "numpy.memmap: Memory-mapped file array." numpy.org.
• "High Performance Python" by Micha Gorelick - Optimization of Memory-mapped files.