Kimuksung
Kimuksung 안녕하세요. 분산처리에 관심이 많은 생각하는 주니어 Data Enginner입니다.

1. Spark 설치 with Docker

1. Spark 설치 with Docker

Docker

Spark 설치하여 Zeppelin 실행까지

Spark설치

  • Docker 설치 및 기본 개념을 안다고 가정
  • 아래와 같이 image를 가져와 실행 시켜 준다. 
    1
2
3
4
5
6
7
8
9
10
11
12
13
14

      # image pull
  $ docker pull docker.io/rheor108/spark_the_definitive_guide_practice
  $ docker pull rheor108/spark_the_definitive_guide_practice
    
  # docker run
  $ docker run --name my-spark-container -p 8080:8080 -p 4040:4040 -v /Users/wclub/spark/Spark-The-Definitive-Guide:/zeppelin/data rheor108/spark_the_definitive_guide_practice
    
  # zeppelin ui
  $ http://localhost:8080
  # job manager
  $ http://localhost:4040
    
  # local 접속
  $ docker exec -it brave_galileo /bin/bash

결과 https://ifh.cc/g/41k3or.png

메모리 설정 및 값 확인

  • /zeppelin/conf 파일 -> zeppelin-env.sh 
    1
2
3
4
5
6
7
8
9
10
11
12
13
14

      # 
  $ apt-get update
  $ apt-get install vim

  $ cd /zeppelin/conf
  $ vi zeppelin-env.sh

  > export ZEPPELIN_MEM ( Default -Xms1024m -Xmx1024m -XX:MaxPermSize=512m )
  > export ZEPPELIN_INTP_MEM ( Default -Xms1024m -Xmx1024m -XX:MaxPermSize=512m )
  export ZEPPELIN_MEM="-Xms4096m -Xmx4096m"
  export ZEPPELIN_INTP_MEM="-Xms4096m -Xmx4096m"

  $ cd ..
  $ bin/zeppelin-daemon.sh restart

유저 로그인 설정

  • /zeppelin/conf 파일 -> shiro.ini.template
  • users 정보 확인 
    1
2

    $ cd /zeppelin/conf
$ cat shiro.ini.template

참조

  • https://hub.docker.com/r/rheor108/spark_the_definitive_guide_practice
  • https://oingdaddy.tistory.com/92