Blog
About
Github
Kimuksung
Jr Data Engineer
All Stories
Airflow Kubernetes Exector로 실행하기
Airflow를 다른 Executor를 활용해서 구성해보고 실행해보려고 합니다.
Airflow 동작 원리(Executor)
Componenets Webserver : Flask Server Scheduler : Daemon Metastore : database where metadata are stored Executor : class defining How your tasks should be executed Worker : process/subprocess executing task...
Foreign key - Restrict/Cascade/..
Delete/Update 시 옵션
Index 알고 쓰자
BTree 기준
Prometheus+Grafana로 인스턴스 모니터링
안녕하세요. 그동안 감기와 차세대 업무로 인하여, 블로그 작성을 간만에 해봅니다.
Spark RDD
Spark는 흔히 Map-Reduce를 Memory에 올리는 장점으로 Hadoop → Spark로 변화해왔다.
« Prev
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
Next »
Explore
→
Spark (14)
dataengineer (1)
AWS (14)
IAM (1)
Network (3)
Airflow (25)
Linux (3)
Code (1)
OS (1)
Python (29)
S3 (1)
Redshift (4)
Mongodb (1)
AwS (1)
SSH (2)
Mssql (1)
Streamlit (1)
Distributed System (3)
Nosql (1)
File (1)
EC2 (5)
Datagrip (1)
Jenkins (3)
CI/CD (1)
Docker (5)
RDS (5)
Hadoop (6)
K8S (16)
sql (34)
redshift (1)
hadoop (5)
Pytest (1)
MultiProcessing (2)
PEP8 (1)
python_leetcode (6)
Kafka (4)
Ec2 (1)
Cluster (2)
Tableau (1)
RDBMS (1)
CloudWatch (1)
Programmers (6)
Cache (1)
Redis (1)
Prometheus (1)
Grafana (1)
Mysql (1)
Index (1)
Kubernetes (1)
Data_Governance (1)
DataLake (3)
Iceberg (3)