All Stories

Spark-Aws RDS 연결하기

Spark-Aws RDS 연결하기

AWS RDS Mysql과 Spark를 연결하는 과정에서 많은 애로사항을 겪었고 이를 간략하게 정리하여 봅니다.

Kimuksung Kimuksung
17 Jun 2023
Spark Cluster 구성하기

Spark Cluster 구성하기

Docker를 활용하여 Local에 구성하며 테스트하려는 목적에 따라 구성하였습니다.

Kimuksung Kimuksung
16 Jun 2023
RDS Data Dev환경으로 옮기기

RDS Data Dev환경으로 옮기기

Production Data와 Dev Data의 Sync를 종종 맞추어 개발하고 싶다고 하여 개발한 과정입니다.

Kimuksung Kimuksung
15 Jun 2023
Python Config 파일 설정하기

Python Config 파일 설정하기

상황에 따라 Config 파일을 별도로 만들어두어 관리하는 것이 편리하다.

Kimuksung Kimuksung
15 Jun 2023
AWS EC2 Script 자동화

AWS EC2 Script 자동화

EC2 Instance를 구성하면서 매번 처음부터 세팅하고 번거로움을 줄이기 위하여 사용

Kimuksung Kimuksung
14 Jun 2023
Docker Command

Docker Command

docker ps vs docker ps -a docker ps = 현재 실행 중인 컨테이너 목록 docker ps -a = 현재 실행 중인 컨테이너 + 멈춘 컨테이너

Kimuksung Kimuksung
13 Jun 2023