[PYTHON] 내부 동작의 핵심 : __pycache__와 .pyc 파일 직렬화 구조를 파헤치는 3가지 방법

__pycache__와 .pyc 파일 직렬화 구조

 

 

파이썬 개발을 하다 보면 프로젝트 디렉토리 내에 자동으로 생성되는 __pycache__ 폴더와 그 내부의 .pyc 파일을 마주하게 됩니다. 단순히 "컴파일된 파일" 정도로 치부하기엔, 이 파일들은 파이썬의 실행 속도 최적화와 런타임 구조의 정수를 담고 있습니다. 본 가이드에서는 일반적인 입문서에서 다루지 않는 .pyc 파일의 내부 바이너리 직렬화 구조와 바이트코드의 생성 원리를 심층 분석합니다.

---

1. __pycache__의 존재 이유와 작동 원리

파이썬은 인터프리터 언어이지만, 실행 효율을 높이기 위해 소스 코드(.py)를 기계가 읽기 쉬운 바이트코드(Bytecode)로 변환하는 과정을 거칩니다. 이때 변환된 데이터를 매번 다시 생성하지 않도록 저장해두는 공간이 바로 __pycache__입니다.

컴파일러와 인터프리터의 가교

파이썬 인터프리터(CPython)는 소스 코드를 실행하기 전 파싱 과정을 거쳐 AST(Abstract Syntax Tree)를 만들고, 이를 다시 바이트코드로 컴파일합니다. .pyc 파일은 이 결과물을 디스크에 직렬화하여 저장한 결과물입니다.

---

2. .pyc 파일의 4단계 직렬화 구조 분석

.pyc 파일은 단순한 텍스트 파일이 아닌 바이너리 포맷입니다. Python 3.7 이상을 기준으로 이 구조는 크게 4개 영역으로 나뉩니다. 각 영역의 차이와 역할을 표로 정리하였습니다.

[.pyc 헤더 구조 상세 비교]

오프셋 (Byte)	필드 명칭	역할 및 데이터 타입	주요 특징
0 - 3	Magic Number	4-byte Integer	파이썬 버전별 고유 식별자 (실행 환경 호환성 체크)
4 - 7	Bit Field	32-bit Flags	Hash-based 여부 및 체크섬 유효성 확인 (PEP 552)
8 - 11	Timestamp / Hash	uint32 / 64-bit Hash	소스 파일의 수정 시간 혹은 내용의 해시값 저장
12 - 15	Size Field	uint32	원본 소스 코드의 파일 크기 (검증용)
16 - 끝	Marshalled Code Object	Binary Data	실제 실행될 바이트코드 및 상수, 변수 정보

---

3. Marshal 모듈을 통한 데이터 직렬화의 실체

파이썬 내부에서 .pyc 파일을 생성할 때 사용하는 모듈은 pickle이 아닌 marshal입니다. marshal은 파이썬 객체를 바이너리로 직렬화하는 데 특화되어 있으며, .pyc 파일의 본체인 code object를 생성합니다.

• 속도 중심: pickle보다 유연성은 떨어지지만 속도가 매우 빠릅니다.
• 버전 종속성: 파이썬 버전 간의 호환성을 보장하지 않으므로 .pyc 파일은 해당 버전에 종속됩니다.
• 구성 요소: co_code(바이트코드), co_consts(상수 리스트), co_names(전역 변수 이름) 등을 포함합니다.

---

4. [Sample Example] .pyc 파일 헤더 직접 읽기 해결 방법

파이썬 스크립트를 통해 실제 .pyc 파일의 매직 넘버와 타임스탬프를 추출하는 예제 코드를 소개합니다. 이를 통해 내부 구조를 직접 확인할 수 있습니다.

import struct
import time
import os

def analyze_pyc(file_path):
    with open(file_path, 'rb') as f:
        # 1. 매직 넘버 읽기 (4바이트)
        magic = f.read(4)
        
        # 2. 비트 필드 읽기 (4바이트)
        bit_field = f.read(4)
        
        # 3. 수정 시간 읽기 (4바이트)
        mod_time = struct.unpack('<I', f.read(4))[0]
        readable_time = time.ctime(mod_time)
        
        # 4. 소스 크기 읽기 (4바이트)
        file_size = struct.unpack('<I', f.read(4))[0]

        print(f"--- {os.path.basename(file_path)} 분석 결과 ---")
        print(f"Magic Number: {magic.hex()}")
        print(f"Modification Date: {readable_time}")
        print(f"Source File Size: {file_size} bytes")

# 사용 예시: __pycache__ 내의 실제 파일 경로를 입력하세요.
# analyze_pyc('./__pycache__/example.cpython-310.pyc')

---

5. 바이트코드의 가시화: dis 모듈 활용

직렬화된 .pyc 데이터가 실제로 어떤 명령어를 담고 있는지 확인하려면 dis 모듈을 사용해야 합니다. 이는 바이너리 형태의 co_code를 사람이 읽을 수 있는 니모닉(Mnemonic)으로 변환해줍니다.

전문가 팁: 성능 최적화를 위해 루프 내부의 동작을 분석할 때, .pyc에 저장된 바이트코드 단위를 분석하면 어떤 연산에서 병목이 발생하는지 정확히 파악할 수 있습니다.

---

6. 결론: 효율적인 관리를 위한 해결책

프로젝트 배포 시 __pycache__ 폴더를 포함해야 할까요? 정답은 "아니오"입니다. .pyc 파일은 환경에 종속적이며 소스 코드가 있다면 언제든 재생성 가능하기 때문입니다. .gitignore에 반드시 추가하여 관리하는 것이 올바른 방법입니다.

---

내용 출처 및 참고 문헌

1. Python Software Foundation - "The marshal module in Python 3"
2. PEP 552 -- Deterministic pycs (Deterministic Compilation)
3. CPython Source Code: /Python/marshal.c 및 /Lib/importlib/_bootstrap_external.py
4. Internal Structure of Python Code Objects - Real Python Deep Dive