ETL (Extract Transform Load)

• **ETL(Extract, Transform, Load)**는 데이터를 소스에서 추출 → 가공 → 목적지에 적재하는 3단계 처리 과정
• 흩어진 원본을 분석 가능한 형태로 정제해 데이터 웨어하우스/마트에 채워 넣는 작업
• Airflow는 이 ETL 과정을 코드(Python)로 정의하고 주기적으로 자동 실행하는 오케스트레이션 도구

해당 개념이 필요한 이유

• 운영 DB 원본은 분석에 바로 쓰기 어렵다(중첩 구조, 정규화, 코드값 등) → 가공 단계가 필요
• 분석 숫자를 매번 손으로 만들면 정의가 흔들린다 → ETL로 고정·자동화하면 같은 로직이 매일 반복된다
• 데이터 마트의 “1개의 정제된 테이블”은 결국 ETL 잡의 산출물이다

3단계가 하는 일

• Extract(추출): 관계형 DB·MongoDB·파일·API·웹 등 하나 이상의 소스에서 데이터 수집, 기대한 도메인 값인지 검증
• Transform(가공): 컬럼 선택/필터, 코드값 변환(1→M), 파생 컬럼 계산, 여러 소스 조인, 중복 제거, 집계(roll-up/summary)
• Load(적재): 최종 목적지(웨어하우스/마트)에 저장. 기존을 덮어쓰거나(overwrite) 이력을 누적(append)

ETL vs ELT

• ETL: 외부에서 가공한 뒤 적재 (전통적 방식)
• ELT: 일단 적재하고 DW 안에서 SQL로 가공 — Redshift·Snowflake·BigQuery 같은 클라우드 DW에서 선호
• 핵심 차이는 “가공을 어디서 하느냐”이고, 강력한 분석 DW가 있으면 ELT가 유리한 경우가 많다

Airflow로 ETL 구현하기

• DAG(Directed Acyclic Graph): 워크플로 전체를 노드(task)와 의존성(edge)으로 그린 흐름도. “무엇을, 어떤 순서로”를 정의
• Task: DAG 안의 개별 작업 단위
• Operator: 그 작업을 어떻게 할지 (Python 실행, SQL 쿼리, 외부 트리거 등)
• Scheduler: 정해진 주기(매시간/매일)나 이벤트로 실행을 관리
• 설정을 XML이 아닌 “코드로(configuration as code)” 작성 → 워크플로 하나가 Python 파일 하나에 담긴다

# 매일 1번, 원본 이벤트를 집계해 마트 테이블을 갱신하는 DAG (개념 예시)
with DAG("daily_conversion_mart", schedule="@daily") as dag:
    extract = PythonOperator(task_id="extract", python_callable=pull_raw_events)
    transform = PythonOperator(task_id="transform", python_callable=aggregate_by_day)
    load = PostgresOperator(task_id="load", sql="INSERT INTO mart_daily_conversion ...")
 
    extract >> transform >> load   # 의존성: 추출 → 가공 → 적재

데이터 마트 맥락에서의 역할

• 공공데이터·운영 DB(소스) → Airflow가 ETL을 스케줄링 → Redshift의 마트 테이블 → Redash 대시보드
• 즉 Airflow는 데이터 마트를 “항상 최신 상태로 유지해 주는 엔진” 역할이다

참고 문서

• https://en.wikipedia.org/wiki/Extract,_transform,_load
• https://en.wikipedia.org/wiki/Apache_Airflow