안녕하세요
오늘은 데이터 엔지니어 직무 소개해드리려고 합니다.
1. 데이터 엔지니어링 팀의 기본적인 임무는 다른 팀을 위한 “지원” 입니다.
데이터 적재의 자동화, 속도와 확장 가능성을 고려한 운영, 그리고 개발과 상황에 맞는 인프라 구축이라 생각합니다.
2. 서비스의 다양한 데이터를 한 곳으로 모아두는 작업
3. 데이터 플랫폼 구축 데이터 가공 및 제공
- 데이터 자체에 집중하는 직무
- 자사 내부 raw data, 외부 데이터 수집
- 데이터 내부 Process 진행 및 관리
- 조직 내 다른 구성원이 데이터를 잘 활용,관리하도록
- 마케팅,분석가,ML 필요한 데이터를 분석할 수 있도록 시스템 관리(인프라 구축)
- 인사이트에 필요한 대시보드를 구성
업무
- 서비스의 다양한 곳에서 발생하는 정형,비정형 데이터 수집
- 배치/실시간 파이프라인 구축 및 운영
- OLAP(데이터 레이크/데이터 웨어하우스)를 통해 메인 서버 부하 분산 및 데이터 분석을 위한 데이터 마트 운영
- 대용량의 데이터 가공을 통해 실제 서비스 혹은 분석에 사용 될 수 있는 데이터 마트 구축
- 데이터 기반 서비스 제공 및 서빙 담당