728x90 memory_management4 [PYTHON] 객체 복사의 2가지 메커니즘 : copy와 deepcopy의 내부 순회 방식 차이 해결 파이썬에서 가변 객체(Mutable Objects)를 다룰 때 가장 흔하게 발생하는 실수 중 하나는 '참조 복사'와 '실제 복사'를 혼동하는 것입니다. 단순히 리스트나 딕셔너리를 복사했다고 생각했지만, 원본 데이터를 수정했을 때 복사본까지 함께 변경되는 당혹스러운 경험을 해보셨을 것입니다. 본 가이드에서는 파이썬의 copy 모듈이 내부적으로 객체를 어떻게 트리 구조로 탐색하고 복제하는지, 그 기술적 깊이를 분석하여 데이터 무결성을 지키는 방법을 제시합니다.1. 객체 복사의 근본적 이유와 메모리 참조파이썬의 모든 것은 객체입니다. 변수는 객체를 담는 그릇이 아니라 객체의 메모리 주소를 가리키는 '포인터'에 가깝습니다. 따라서 b = a와 같은 할당문은 객체를 복사하는 것이 아니라 주소값만 전달합니다. 이를.. 2026. 3. 3. [PYTHON] 메모리 측정의 함정 2가지 : sys.getsizeof()와 실제 점유율 차이 해결 방법 파이썬 애플리케이션을 운영하다 보면 sys.getsizeof()로 측정한 객체 크기의 총합보다 실제 프로세스가 점유하고 있는 RSS(Resident Set Size) 메모리가 훨씬 큰 경우를 자주 목격하게 됩니다. 개발자는 "왜 데이터 크기는 100MB인데 프로세스는 500MB를 쓰고 있을까?"라는 의문에 빠지기 쉽습니다. 본 가이드에서는 파이썬의 메모리 관리 아키텍처를 심층 분석하여 측정값과 실제 점유율 사이의 차이가 발생하는 근본 원인을 밝히고, 이를 정확하게 측정하는 방법을 제시합니다.1. sys.getsizeof()의 한계와 측정 방식의 이해sys.getsizeof()는 파이썬 객체 자체의 크기(바이트 단위)를 반환하는 함수입니다. 하지만 이 함수는 '얕은 측정(Shallow measurement.. 2026. 2. 28. [PYTHON] 기가바이트급 대용량 데이터 처리 해결 : mmap 활용 방법과 일반 I/O의 3가지 차이 데이터 사이언스와 백엔드 엔지니어링 분야에서 기가바이트(GB) 혹은 테라바이트(TB) 단위의 파일을 다루는 것은 일상적인 과제가 되었습니다. 하지만 파이썬의 일반적인 read()나 readlines() 방식을 사용하여 큰 데이터를 메모리에 올리려 하면 곧바로 MemoryError를 마주하게 됩니다. 이를 우아하게 극복할 수 있는 치밀한 방법이 바로 메모리 맵 파일(Memory-mapped File, mmap)입니다. 본 글에서는 OS 레벨의 메모리 관리 기법을 파이썬에 녹여내어 성능을 극대화하는 전략을 분석합니다.1. mmap이란 무엇인가? (개념과 원리)mmap은 디스크에 있는 파일의 내용을 프로세스의 가상 메모리 주소 공간에 직접 매핑하는 기술입니다. 파일을 마치 메모리에 올라와 있는 거대한 '바이트.. 2026. 2. 28. [PYTHON] 메모리 효율 극대화의 핵심 3단계 : pymalloc의 Small Object Allocator 작동 원리 해결 방법 파이썬은 고수준 언어로서 개발자에게 편리함을 제공하지만, 내부적으로는 매우 복잡하고 정교한 메모리 관리 시스템을 가동하고 있습니다. 특히 수많은 작은 객체(Small Objects)를 빈번하게 생성하고 소멸시키는 파이썬의 특성상, 매번 OS에 시스템 콜(malloc)을 요청하는 것은 심각한 성능 저하를 야기합니다. 이를 해결하기 위해 도입된 것이 바로 pymalloc이라 불리는 전용 메모리 할당기입니다. 본 글에서는 파이썬의 성능을 결정짓는 핵심 메커니즘인 Small Object Allocator의 구조와 방법을 심도 있게 분석합니다.1. 왜 파이썬은 전용 할당기(pymalloc)를 사용하는가?일반적인 C 라이브러리의 malloc은 범용적인 목적으로 설계되어 다양한 크기의 메모리 요청을 처리합니다. 하지.. 2026. 2. 28. 이전 1 다음 728x90
