728x90 indexing2 [PYTHON] mmap을 활용하여 테라바이트급 데이터셋을 초고속 인덱싱하는 7가지 방법 데이터 사이언스와 엔지니어링의 영역이 테라바이트(TB) 단위를 넘어 페타바이트로 향해가면서, 전통적인 '메모리에 데이터 올리기(Loading into RAM)' 방식은 한계에 봉착했습니다. 64GB 혹은 128GB 수준의 일반적인 서버 RAM으로는 1TB 이상의 데이터셋을 처리할 수 없기 때문입니다. 이때 해결사로 등장하는 것이 바로 파이썬의 Memory-mapped file(mmap)입니다. 본 가이드에서는 운영체제의 가상 메모리 메커니즘을 직접 활용하여, 실제 RAM 용량보다 훨씬 큰 데이터를 마치 메모리에 있는 것처럼 다루고 인덱싱하는 전문적인 설계 패턴과 최적화 기법을 다룹니다.1. mmap 기반 인덱싱의 핵심 원리와 차이점mmap은 파일 내용을 프로세스의 가상 주소 공간에 매핑합니다. 운영체제는.. 2026. 4. 22. [PYTHON] Pandas iloc와 loc의 3가지 결정적 차이와 데이터 추출 오류 해결 방법 7가지 파이썬 데이터 분석의 필수 라이브러리인 Pandas(판다스)를 사용할 때, 개발자를 가장 당혹스럽게 만드는 지점은 바로 데이터 선택(Indexing)입니다. 특히 loc와 iloc는 비슷해 보이지만, 작동 원리와 인덱스 참조 방식에서 근본적인 차이를 보입니다. 이를 혼동하면 의도치 않은 데이터 손실이나 'KeyError' 같은 치명적인 런타임 오류를 마주하게 됩니다. 본 포스팅에서는 2026년 실무 표준에 입각하여 loc와 iloc의 내부 작동 메커니즘을 해부하고, 데이터 전처리 과정에서 발생하는 인덱싱 오류를 완벽하게 제어하는 7가지 실전 해결 사례를 제시합니다. 이 글을 통해 데이터의 '위치'와 '이름'을 다루는 전문가의 시각을 갖추게 될 것입니다.1. loc vs iloc: 명칭 기반과 위치 기반의.. 2026. 3. 31. 이전 1 다음 728x90
