All Stories

Apache Iceberg Timestamp(TimeZone) 문제 해결기 – KST와 UTC

Athena 기반 환경에서 Apache Iceberg를 사용할 때, Timezone과 관련된 Timestamp 값이 의도와 다르게 처리되는 문제가 발생했습니다.

Iceberg Architecture

안녕하세요

Iceberg 도입 배경

최근 빠르게 증가하는 데이터와 다변화된 데이터 소스에 따라 기존 S3 + Parquet 기반 DataLake의 구조만으로는 운영 효율성, 데이터 신뢰성에 한계가 있었습니다. 이글에서는 Apache Iceberg를 도입하게 된 배경과, 기존 환경에서 마주친...

Spark Memory 동작 원리와 AWS EMR Serverless에 적용기

Spark Memory 구조에 대해 알아보겠습니다.

SSOT, 그 이상과 환상 사이 – 고통 속에 배운 교훈

SSOT 이상과 환상 그리고 지금까지 겪어온 경험을 이야기를 해볼까합니다.