All Stories

Airflow Catchup

Airflow Catchup

Catchup True : Start_date부터 현재시점까지의 모든 스케줄링을 모두 실행 False : Start_date가 아닌 현재 기준으로부터 모든 스케줄링 실행 이 때, 모든 Task가 동시에 실행될 수 있으니, 주의 필요

Kimuksung Kimuksung
07 Nov 2023
Redshift S3 데이터 업로드

Redshift S3 데이터 업로드

Redshift Copy 명령어를 통해 S3 파일 정보 업로드하기

Kimuksung Kimuksung
06 Nov 2023
Docker Container 외부와 연결하기(네트워크)

Docker Container 외부와 연결하기(네트워크)

중간에 과제 혹은 코딩테스트를 진행하면서 글을 많이 쓰지 못하였다. 과제를 거치며, 이 부분은 어떻게 하는지 궁금하여 글을 씁니다. Docker를 구성하는 과정에서 내부 컨테이너끼리는 통신하는 글을 엄청 많으나, 외부에서 서비스를 접속하는...

Kimuksung Kimuksung
06 Nov 2023
Airflow Start_date

Airflow Start_date

Kimuksung Kimuksung
24 Oct 2023
Airflow Scheduling

Airflow Scheduling

Airflow N 배치인 경우 N전 기준으로 돈다고 이해하면 된다.

Kimuksung Kimuksung
24 Oct 2023
Airflow Operator

Airflow Operator

Airflow에서는 하나의 Workflow를 DAG로 구성한다.

Kimuksung Kimuksung
23 Oct 2023