All Stories

가상 로그 데이터 실시간 처리 구성하기 With. Kafka, Spark, Hadoop

가상 로그 데이터 실시간 처리 구성하기 With. Kafka, Spark, Hadoop

가상 로그 데이터를 Streaming 처리해보기라는 목표를 가지고 지금까지 어떻게 구성했는지를 소개드리려고 합니다.

Kimuksung Kimuksung
14 Oct 2023
로그 데이터 전처리 및 Kafka Produce 처리하기

로그 데이터 전처리 및 Kafka Produce 처리하기

앞에서는 가상의 로그 데이터를 발생시켰습니다.

Kimuksung Kimuksung
13 Oct 2023
가상 로그 데이터 생성하기

가상 로그 데이터 생성하기

로그 데이터 전체적으로 구성하기 위해서는 로그 데이터가 필요합니다.

Kimuksung Kimuksung
13 Oct 2023
Kafka 데이터 실시간 스트리밍하기 with HDFS

Kafka 데이터 실시간 스트리밍하기 with HDFS

지금까지, 로그 데이터 구성하기를 진행하는 과정에 있어 Kafka, HDFS, Spark 클러스터를 구성하였습니다.

Kimuksung Kimuksung
12 Oct 2023
Spark - Hadoop 연결하기

Spark - Hadoop 연결하기

Pyspark로 연결 시도 시 datanode에 값이 없다고 한다.

Kimuksung Kimuksung
10 Oct 2023
Spark - Kafka 연동하기

Spark - Kafka 연동하기

Aws Instance로 Kafka클러스터를 구성한 뒤, Docker 위에 Spark를 구성하여 Hadoop으로 전송하려고 합니다.

Kimuksung Kimuksung
08 Oct 2023