우리가 오해하고 있는 Airflow Airflow가 뭔가요? 그거? ETL하는 스케줄러 ＇Airflow가 뭔가요?＇라는 질문에 ＇워크플로우를 오케스트레이션하는 플랫폼입니다.＇라는 대답이 때때로 충분하지 않을 때가 있습니다. 그럴 때마다 ＇ETL할 때 쓰는 스케줄러입니다.＇라고, 틀린 말은 아니지만 다소 범위를 좁혀 설명하곤 했습니다. 그때마다 ＇하, 이걸 이렇게밖에 설명 못 하나＇ 싶어 마음이 좀 죄송스러웠는데 아마 우리에게 익숙한 Airflow가 이런 그림이라 그랬던 것 같습니다. Schedule → Dag → Task → Data Warehouse 정해진 시간이 되면 Dag가 뜨고, Task가 순서대로 실행되고, 결국 데이터가 웨어하우스에 적재됩니다. 크론을 ...