Airflow로 만들어보는 데이터 파이프라인 Bootcamp

인프런에 만든 Airflow 강의에 있는 코드를 모아놓은 Repository입니다.

강의 대상

• 데이터 엔지니어로 일하고 싶은 사람
  • 혹은 데이터 관련 직군으로 일하는 사람: 데이터 분석가, 데이터 과학자, 취준생, …
• 주니어 데이터 엔지니어로 이미 일하고 있는 사람
• 데이터 직군은 아니지만 데이터를 처리하고 적재해야하는 일을 하는 사람
  • 특히 LLM이나 AI 관련 엔지니어로 일하는 사람

선수 지식

이 강의를 따라오라면 다음과 같은 선수 지식이 필요합니다.

• 초급 파이썬
• 초급 SQL

실습 환경

• 일부 실습은 Google Colab 상에서 진행합니다.
• Docker Container 상에서 Airflow를 실행합니다.
• Data Warehouse로는 Snowflake를 사용합니다 (무료 체험 버전)

강의 내용

아래와 같은 내용을 다루는 강의입니다.

• 데이터 팀의 미션
• 데이터 엔지니어의 역할
• 데이터 파이프라인 작성과 모범 사례
• Airflow DAG 기본
• 다양한 Airflow DAG 작성
• Airflow 증분 업데이트 이해
• Airflow 기능 심화학습