All Stories

kubernetes Airflow 구성하기2 with. docker spark image

kubernetes Airflow 구성하기2 with. docker spark image

오늘은 Airflow에 원하는 Library를 Requirement로 Image화 시켜 적용 시키는 과정을 공유드리려고 합니다. 생각보다 구성하는데 오래 걸렸습니다. ㅠㅠ ( 야근과 에러의 연속으로 인하여 )

Kimuksung Kimuksung
28 Aug 2023
redshift 권한 부여

redshift 권한 부여

Kimuksung Kimuksung
24 Aug 2023
kubernetes Airflow 구성하기1 with. kind,helm

kubernetes Airflow 구성하기1 with. kind,helm

Kubernetes Cluster = docker에 1master-3worker로 구성

Kimuksung Kimuksung
24 Jul 2023
kubernetes Job

kubernetes Job

Job 일회성으로 실행되는 서비스 특정 동작을 수행 뒤 종료 Pod는 Completed가 최종 상태

Kimuksung Kimuksung
20 Jul 2023
kubernetes Secret

kubernetes Secret

앞에서 경험한 configmap을 통하여 환경변수를 동기화 시켜 사용이 가능하다.

Kimuksung Kimuksung
19 Jul 2023
kubernetes Namespace

kubernetes Namespace

Namespace 컨테이너를 논리적인 영역으로 나누는 역할 Database의 Schema와 같은 개념 CPU, Resource 할당을 제한 할 수 있다.

Kimuksung Kimuksung
17 Jul 2023