본문 바로가기
728x90

데이터품질3

[PYTHON] Human-in-the-loop : 인공지능과 전문가의 3단계 협업 프로세스 설계 방법 및 해결 차이 인공지능(AI) 기술이 비약적으로 발전함에 따라 모델의 자율성에 대한 기대치가 높아지고 있습니다. 그러나 의료 진단, 법률 해석, 자율주행 보안 등 '고위험(High-stakes)' 의사결정이 필요한 분야에서 AI의 단독 결정은 여전히 신뢰성 문제를 안고 있습니다. 이때 등장하는 개념이 바로 Human-in-the-loop (HITL)입니다. HITL은 기계의 효율성과 인간의 전문적 판단력을 결합하여 시스템의 무결성을 확보하는 지능형 루프 설계 방법입니다. 본 포스팅에서는 파이썬(Python)을 활용하여 AI 모델의 불확실성을 감지하고, 전문가의 개입 시점을 최적화하는 HITL 아키텍처 설계 방법과 기존 완전 자동화 방식과의 3가지 결정적 차이를 심도 있게 다룹니다.1. Human-in-the-loop(.. 2026. 4. 21.
[PYTHON] 데이터 품질 사고를 방지하는 Great Expectations 도입 방법 5단계와 해결 전략 현대 데이터 엔지니어링 환경에서 데이터는 '현대의 원유'라고 불리지만, 정제되지 않은 원유가 엔진을 망가뜨리듯 '오염된 데이터'는 분석 모델과 비즈니스 의사결정에 치명적인 오류를 범하게 합니다. 단순히 코드가 에러 없이 돌아간다고 해서 데이터가 안전한 것은 아닙니다. 데이터의 분포가 틀어지거나, 필수 값이 누락되거나, 스키마가 예고 없이 변경되는 '데이터 드리프트(Data Drift)' 현상은 소리 없이 시스템을 파괴합니다. 이러한 문제를 근본적으로 해결하기 위해 전 세계 데이터 팀이 표준처럼 사용하는 라이브러리가 바로 Great Expectations (GX)입니다. 본 가이드에서는 파이썬 환경에서 Great Expectations를 도입하여 데이터 유효성 검사를 자동화하고, 데이터 파이프라인의 신뢰성.. 2026. 3. 21.
[ORACLE] DBA_CONSTRAINTS 완벽 해설 : 데이터 무결성 관리와 제약 조건 최적화의 핵심 데이터베이스에서 “데이터 무결성(Data Integrity)”은 시스템 신뢰성과 정확성을 유지하기 위한 핵심 요소입니다. Oracle Database는 이러한 무결성을 보장하기 위해 다양한 제약 조건(Constraints)을 제공합니다. 그 중심에서 모든 제약 조건의 상태, 유형, 연관 객체 정보를 한눈에 확인할 수 있는 뷰가 바로 DBA_CONSTRAINTS입니다. 이 뷰는 데이터 모델 관리, 데이터 검증, 성능 조정 등 모든 DBA 활동의 기반이 되는 필수 메타데이터 소스입니다. 본 글에서는 DBA_CONSTRAINTS의 구조, 주요 컬럼 설명, 제약 조건 유형별 특징, 그리고 실무에서 이를 어떻게 분석하고 최적화할 수 있는지를 체계적으로 다룹니다.1. DBA_CONSTRAINTS란?DBA_CONST.. 2025. 10. 13.
728x90