[PYTHON] Feature Store Feast 라이브러리 연동 방법 1가지와 기존 모델 성능 해결을 위한 7가지 전략

Feature Store Feast

 

 

머신러닝(ML) 모델을 상용 환경으로 배포할 때 가장 고질적인 문제는 '학습-서빙 편향(Training-Serving Skew)'입니다. 학습할 때 사용한 데이터 전처리 로직이 실시간 추론 시점의 로직과 미세하게 달라지면 모델의 성능은 급격히 하락합니다. 이를 근본적으로 해결하기 위한 아키텍처가 바로 Feature Store이며, 파이썬 생태계에서 가장 강력한 오픈소스 대안이 바로 Feast(Feature Store for Machine Learning)입니다. 본 포스팅에서는 Feast를 도입하여 데이터 파이프라인을 중앙화하고, 기존 ML 모델과 어떻게 유기적으로 연동하여 관리 오버헤드를 줄일 수 있는지 실무 개발 관점에서 7가지 핵심 해결책을 제시합니다.

---

1. Feature Store의 필요성과 Feast의 역할

피처 스토어는 모델에 필요한 특성(Feature)들을 저장, 관리, 서빙하는 중앙 저장소입니다. Feast는 다음과 같은 세 가지 핵심 문제를 해결합니다.

• 중복 피처 계산 방지: 팀 내에서 동일한 피처를 각자 계산하는 낭비를 줄입니다.
• 시점 정확도(Point-in-time Correctness): 과거 특정 시점의 피처 값을 정확히 조회하여 학습 데이터 누수를 방지합니다.
• 일관된 인터페이스: Offline(학습)과 Online(추론) 환경에서 동일한 피처 정의를 공유합니다.

---

2. Feast 아키텍처: Offline vs Online Storage 차이 비교

Feast를 성공적으로 운영하기 위해서는 두 저장소의 차이를 이해하고 최적의 엔진을 선택하는 것이 중요합니다.

구분	Offline Store (학습용)	Online Store (추론용)
주요 목적	대량의 과거 데이터를 기반으로 학습용 데이터셋 생성	낮은 레이턴시로 최신 피처 값을 실시간 서빙
지원 엔진	Parquet, BigQuery, Snowflake, Redshift	Redis, DynamoDB, PostgreSQL
데이터 형식	이력 데이터(Point-in-time join 지원)	Key-Value 기반 최신 값(Latest value)
주요 속도	처리량(Throughput) 중심	응답 시간(Latency) 중심

---

3. Feast 연동을 위한 7가지 실무 Sample Example

실제 로컬 프로젝트나 기업용 파이프라인에서 즉시 사용 가능한 Python 예제 코드입니다.

Example 1: 피처 정의(Feature Definition) 선언적 작성

데이터 소스와 피처 뷰를 정의하여 중앙 관리의 기반을 마련합니다.

from datetime import timedelta
from feast import Entity, FeatureView, Field, FileSource
from feast.types import Float32, Int64

# 데이터 소스 정의 (Parquet 파일 예시)
driver_stats_source = FileSource(
    path="data/driver_stats.parquet",
    timestamp_field="event_timestamp",
)

# 엔티티 정의 (Key 값)
driver = Entity(name="driver", join_keys=["driver_id"])

# 피처 뷰 정의
driver_stats_view = FeatureView(
    name="driver_stats",
    entities=[driver],
    ttl=timedelta(days=1),
    schema=[
        Field(name="conv_rate", dtype=Float32),
        Field(name="acc_rate", dtype=Float32),
    ],
    source=driver_stats_source,
)
    

Example 2: 학습 데이터셋 생성을 위한 Point-in-time Join

과거 시점의 정확한 피처 값을 가져와서 학습용 데이터프레임을 생성하는 방법입니다.

from feast import FeatureStore
import pandas as pd

store = FeatureStore(repo_path=".")

# 학습 타겟 데이터 (언제 어떤 엔티티가 이벤트가 발생했는지)
entity_df = pd.DataFrame({
    "driver_id": [1001, 1002, 1003],
    "event_timestamp": [pd.Timestamp.now()] * 3,
    "label": [1, 0, 1]
})

# 피처 스토어에서 과거 시점 피처를 결합
training_df = store.get_historical_features(
    entity_df=entity_df,
    features=[
        "driver_stats:conv_rate",
        "driver_stats:acc_rate",
    ],
).to_df()

print(training_df.head())
    

Example 3: Online Store로 피처 구체화(Materialization)

오프라인 데이터를 실시간 조회가 가능하도록 온라인 저장소(예: Redis)로 전송합니다.

from datetime import datetime
from feast import FeatureStore

store = FeatureStore(repo_path=".")

# 지정된 기간의 데이터를 온라인 저장소로 로드
store.materialize(
    start_date=datetime(2026, 1, 1),
    end_date=datetime.now()
)
print("Materialization complete!")
    

Example 4: 추론 시점의 실시간 피처 조회(Online Inference)

모델 서빙 서버(FastAPI/Flask 등)에서 짧은 지연시간으로 피처를 조회합니다.

from feast import FeatureStore

store = FeatureStore(repo_path=".")

feature_vector = store.get_online_features(
    features=[
        "driver_stats:conv_rate",
        "driver_stats:acc_rate",
    ],
    entity_rows=[{"driver_id": 1001}]
).to_dict()

# 모델 입력으로 사용
# model.predict([feature_vector['conv_rate'], feature_vector['acc_rate']])
print(feature_vector)
    

Example 5: On-demand Feature View를 활용한 실시간 연산

저장된 피처와 입력받은 값을 조합하여 런타임에 새로운 피처를 생성합니다.

from feast import on_demand_feature_view
import pandas as pd

@on_demand_feature_view(
    sources=[driver_stats_view],
    schema=[Field(name="normalized_conv_rate", dtype=Float32)]
)
def transformed_stats(inputs: pd.DataFrame) -> pd.DataFrame:
    df = pd.DataFrame()
    df["normalized_conv_rate"] = inputs["conv_rate"] * 0.1
    return df
    

Example 6: Feast와 Scikit-learn 모델 연동 파이프라인

피처 조회부터 예측까지 하나의 워크플로우로 통합합니다.

def predict_with_feast(driver_id):
    store = FeatureStore(repo_path=".")
    
    # 1. 온라인 피처 조회
    resp = store.get_online_features(
        features=["driver_stats:conv_rate"],
        entity_rows=[{"driver_id": driver_id}]
    ).to_dict()
    
    # 2. 로드된 모델로 예측
    # prediction = model.predict([[resp['conv_rate'][0]]])
    return resp
    

Example 7: Feature Service를 통한 버전 관리

특정 모델 버전에 필요한 피처들을 논리적으로 그룹화하여 관리합니다.

from feast import FeatureService

driver_activity_v1 = FeatureService(
    name="driver_activity_v1",
    features=[driver_stats_view]
)

# 서빙 시 서비스 이름을 사용하여 일괄 조회 가능
# store.get_online_features(features=driver_activity_v1, ...)
    

---

4. 성능 해결 방안: 대규모 트래픽에서의 Feast 최적화

단일 머신을 넘어 프로덕션 환경에서 발생할 수 있는 병목 현상을 해결하는 전략입니다.

1. Caching 전략: Redis Online Store의 캐시 히트율을 높이기 위해 TTL(Time To Live)을 비즈니스 주기에 맞게 최적화하십시오.
2. Batch Materialization 최적화: 수천만 건의 데이터를 구체화할 때는 Spark 엔진을 도입하여 분산 처리를 수행해야 합니다.
3. Provider 확장: 로컬 파일 시스템이 아닌 AWS S3/GCS를 레지스트리로 사용하여 여러 작업자가 동일한 피처 정의를 공유하게 하십시오.

---

5. 결론: Python 기반 MLOps의 완성

Feast 라이브러리를 도입하는 것은 단순히 저장소를 하나 더 두는 것이 아니라, 데이터 소스와 모델 간의 강결합을 해소하는 전략적 선택입니다. 이를 통해 데이터 엔지니어는 인프라에 집중하고, 데이터 사이언티스트는 피처 설계에만 집중할 수 있는 진정한 협업 환경을 구축할 수 있습니다. 오늘 공유한 7가지 예제를 바탕으로 여러분의 ML 파이프라인을 한 단계 더 발전시켜 보시기 바랍니다.

---

참고 문헌 및 출처:

• Feast Official Documentation 
• "Machine Learning Design Patterns" by Valliappa Lakshmanan (O'Reilly)
• Tecton.ai Technical Blog: "The Anatomy of a Feature Store"
• Go-jek Engineering: "Feast - Bridging the Gap Between Data and Models"