728x90 ETL_Process1 [PYTHON] AI 데이터 저장 시 Parquet가 CSV보다 유리한 7가지 이유와 성능 차이 해결 방법 데이터 엔지니어링과 머신러닝 워크플로우에서 가장 흔히 마주하는 병목 현상은 의외로 모델의 연산 속도가 아닌 '데이터 I/O(입출력)'입니다. 수십 기가바이트(GB)에 달하는 텍스트 기반 CSV 파일을 파이썬으로 로드하다가 RAM 부족(OOM)을 겪거나, 단순한 필터링 작업에 수 분을 허비하는 경험은 누구나 한 번쯤 겪어보았을 것입니다. 본 포스팅에서는 단순한 텍스트 저장 방식인 CSV의 한계를 넘어서, AI와 빅데이터 환경에서 표준으로 자리 잡은 Apache Parquet(파케이) 파일 형식이 왜 필수적인지 분석합니다. 컬럼 지향 저장소의 메커니즘을 이해하고, 파이썬(Pandas, PyArrow)을 활용해 데이터 파이프라인의 효율을 10배 이상 높이는 7가지 실무 해결 방법을 제시합니다.1. CSV와 P.. 2026. 4. 19. 이전 1 다음 728x90