728x90 data_shuffling1 [PYTHON] 대규모 데이터 셔플링 시 메모리 부족을 해결하는 np.memmap 활용 방법 7가지 파이썬을 활용한 데이터 사이언스와 머신러닝 워크플로우에서 가장 흔히 마주치는 벽은 바로 '메모리 부족(OutOfMemory, OOM)'입니다. 특히 수백 GB에 달하는 데이터셋을 학습시키기 전, 데이터의 편향을 제거하기 위해 수행하는 '셔플링(Shuffling)' 단계는 모든 데이터를 RAM에 올려야 한다는 고정관념 때문에 시스템 전체를 멈추게 하기도 합니다. 본 포스팅에서는 일반적인 np.random.shuffle의 한계를 뛰어넘어, 디스크를 RAM처럼 활용하는 Memory Mapping(np.memmap) 기술을 통해 저사양 환경에서도 대규모 데이터를 효율적으로 처리하는 전문적인 해결 방법을 제시합니다.1. 왜 일반적인 셔플링은 대용량 데이터에서 실패하는가?일반적으로 사용하는 numpy.array는 .. 2026. 4. 19. 이전 1 다음 728x90
