All Stories

Airflow Kubernetes Exector로 실행하기

Airflow를 다른 Executor를 활용해서 구성해보고 실행해보려고 합니다.

Airflow 동작 원리(Executor)

Componenets Webserver : Flask Server Scheduler : Daemon Metastore : database where metadata are stored Executor : class defining How your tasks should be executed Worker : process/subprocess executing task...

Foreign key - Restrict/Cascade/..

Delete/Update 시 옵션

Index 알고 쓰자

BTree 기준

Prometheus+Grafana로 인스턴스 모니터링

안녕하세요. 그동안 감기와 차세대 업무로 인하여, 블로그 작성을 간만에 해봅니다.

Spark RDD

Spark는 흔히 Map-Reduce를 Memory에 올리는 장점으로 Hadoop → Spark로 변화해왔다.