Kimuksung
Jr Data Engineer
All Stories
Python에서 병렬처리를 하기 위함
쏘카와 AWS Glue에서도 점점 Python Ray 병렬처리 용도로 많이 하여 어떤것인지 궁금하여 조사해보았습니다.
파이썬 멀티 프로세싱 동작 원리와 어떤 상황에서 사용하는 것인지 적합한지를 직접 확인해보려고 합니다.
오늘은 SSH 연결 방식을 바꾸어 보려고 합니다.
Hadoop 클러스터를 EC2를 활용하여 구성 중에 있습니다.
EC2를 활용하여 Hadoop Cluster를 구성 과정을 보여드리려고 합니다.