ETL, ELT

Extract-Transform-Load

data --> [extract] --> [transform] --> [load] --> DB

 

Extract-Load-Transform

data --> [Extract & Load] --> DB --> [Transform] --> table

 

 

데이터 파이프라인의 기본형

기존 방식의 data warehouse 구축

 

data source --> [ETL] --> data warehouse --> [ETL] --> data mart

 

• data mart에 대해 query를 수행하여 시각화
• data source
  • log등의 원시 데이터
  • log 등을 저장하는 file server가 data source가 됨
• data warehouse
  • 장기 보존용으로 정리한 table
• data mart
  • 분석용으로 일부를 추출한 table