All Stories

kubernetes Airflow 구성하기2 with. docker spark image

오늘은 Airflow에 원하는 Library를 Requirement로 Image화 시켜 적용 시키는 과정을 공유드리려고 합니다. 생각보다 구성하는데 오래 걸렸습니다. ㅠㅠ ( 야근과 에러의 연속으로 인하여 )

kubernetes Airflow 구성하기1 with. kind,helm

Kubernetes Cluster = docker에 1master-3worker로 구성

kubernetes Job

Job 일회성으로 실행되는 서비스 특정 동작을 수행 뒤 종료 Pod는 Completed가 최종 상태

kubernetes Secret

앞에서 경험한 configmap을 통하여 환경변수를 동기화 시켜 사용이 가능하다.