[Week8 데이터웨어하우스] TIL 31일차 - 데이터팀, 데이터레이크과 데이터웨어하우스

Ⅰ. 데이터 웨어하우스

1. 데이터 팀의 목표

신뢰할 수 있는 데이터를 바탕으로 부가가치를 생성(본업을 더 잘할 수 있게 하는 간접매출) 한다.

두가지 측면으로 나누어서 설명할 수 있다.

 

1) 고품질 데이터를 기분으로 의사 결정자에게 도움을 준다.(Data science)

데이터를 고려한 결정	데이터 기반 결정
데이터를 고려하되, 데이터와 방향성이 달라도 의견을 고수한다.	데이터의 방향성대로 결정한다.

 

데이터 기반 결정은 어떤 일을 최적화하는데 필요하다면,

새로운 결정을 하기 위해서는 데이터를 고려한 결정이 더 올바른 방향이다. 결국 데이터는 과거의 산물이기 때문에 현재상황과 미래상황에 100% 적용하기는 힘들기 때문이다. 

 

사용

데이터 기반 지표 정의, 대시보드와 리포트 생성

 

 

2) 고품질 데이터를 기반으로 하는 사용자 경험 개선 혹은 프로세스 최적화(Product Science)

사용

알고리즘을 통해 사용자의 서비스 경험을 개선(개인화를 바탕으로 추천과 검색), 공정과정의 오류 최적화

보통의 회사에서 1번 과정이 인정을 받아야 2번으로 발전할 수 있다. 

 

2. 데이터 팀의 발전 단계

프로덕션 데이터베이스OLTP

→ 데이터 인프라 구축(데이터분석용 데이터웨어하우스 OLAP, 외부에서 데이터 추출해서 적재 ETL)

→ 데이터 분석(지표 정의, 시각화)

→ 데이터 과학 적용(사용자 경험 개선)

보통 데이터과학을 적용하기 전에 데이터 인프라 구축과 데이터 분석가의 기반을 갖춰 놓는 것이 중요한데,

데이터 과학을 먼저 적용하면 실제로 도움이 되는지 성과측정이 어렵기 때문이다.

 

1) 데이터 인프라 구축

데이터가 많이 쌓이면 데이터 인프라 구축 단계는(DataLake → 처리(Spark) → ETL → 데이터 웨어하우스) 순서가 된다.

 

데이터 웨어하우스

규모가 큰 데이터베이스

클라우드 : AWS Redshift, Google BigQuery

Snowflake

오픈소스 : Hadoop(Hive, Presto), Spark

보통 AWS Redshift를 사용하 되, 더 큰 데이터에 대해서는 BigQuery, Snowflake를 사용

 

ETL(Extract, Transform, Load)

클라우드 : AWS, Google Cloud

오픈소스 : Airflow(가장 보편적으로 사용)

SAAS : FiveTran, Stitch Data

 

2) 데이터 분석

지표정의

보통 중요 지표를 시간의 흐름과 함께 보여주는 것이 일반적이다.

3A(Accessible - 자동적으로 업데이트, Actionable - 증감의 의미가 분명, Auditable - 지표 정의에 대해 쉽게 확인)

ex) 매출액, 월간/주간 Active Users

 

시각화 도구

Google Cloud Looker

Salesforce Tableau

MS PowerBI

Apache Superchat

 

3) 데이터 과학(인공지능> 머신러닝> 딥러닝)

머신러닝이랑 프로그래밍 없이 배움이 가능한 알고리즘(데이터로부터 패턴을 찾아 학습)으로

데이터의 품질과 크기가 중요하다(데이터 왜곡이 발생 가능하다)

 

3. 데이터 팀의 구성원

데이터 엔지니어(데이터 인프라 구축)
데이터 분석가(데이터를 기반으로 지표를 만들고 시각화)

데이터 과학자(과거 데이터를 기반으로 미래를 예측하는 머신러닝 모델을 만들어 고객의 서비스 경험을 개선)

그 외) ML엔지니어, MLOps, 프라이버시 엔지니어, 데이터 디스커버리(주기적인 테이블과 대시보드 클린업 ex. 아문센, 데이터허브, 셀렉트스타)

 

데이터 엔지니어 취업을 위해 알아야 할 기술은 다음과 같다.

SQL

프로그래밍 언어(Python, Scala, Java)

데이터웨어하우스(Redshift, Snowflake, BigQuery), ETL(Airflow)

대용량 데이터 처리(Spark, Hadoop YARN)

+alpha

컨테이너 기술(Doker/쿠버네티스)

클라우드 컴퓨팅(AWS, GCP, Azure)

기타 지식(머신러닝, A/B 테스트, 통계)

 

로드맵

GitHub - datastacktv/data-engineer-roadmap: Roadmap to becoming a data engineer in 2021

 

데이터 분석가가 취업을 위해 알아야 할 기술은 다음과 같다.

SQL

프로그래밍 언어(Python, Scala, Java)

대시보드(Looker, Tableu, PowerBI, Superchat)

데이터모델링

통계지식(A/B/테스트 등)

비즈니스 도메인에 관한 지식

좋은 지표를 정의하는 능력

 

4. 데이터레이크와 데이터 웨어하우스, ETL과 ELT

Redshift는 고정비용 옵션이며, 조금 더 작은 규모의 데이터를 저장한다.

BigQuery, snowflake는 가변비용 옵션이며 큰 규모의 데이터에 적합하다.

 

	ETL		ELT
로그    →		데이터레이크    →		데이터웨어하우스
양이 많고 주로 비구조화 데이터로 구성		구조화 데이터+비구조화 데이터 보통 클라우드 스토리지에 저장(ex. AWS S3)		구조화 데이터(SQL로 처리 가능)

 

ETL(Extract, Transform, Load)

바깥의 다양한 데이터소스(프로덕션 DB [mysql, postgres], 이메일 마케팅 데이터[Mailchimp, Hubspot, SendGrid], 크레딧카드 매출 데이터[Stripe], 서포트 티켓 데이터[Kustomer], 서포트 콜 데이터[ChannelTalk, RingCentral, Talkdesk], 세일즈 데이터[Salesforce], 사용자 이벤트 로그[Amplitude, MixPanel, 웹 서버로드] 등)에서 데이터레이크, 데이터 웨어하우스에 데이터를 가져오는 것이다

주로 Airflow 사용

ex) 로그 → 데이터레이크, 로그 → 데이터웨어하우스

ELT(Extract, Load, Transform)

데이터레이크, 데이터웨어하우스 내부 데이터를 조작해서 새로운 데이터를 만든다

보통 데이터분석가가 많이 수행한다

Transform 과정에서 DBT 사용

데이터레이크 → 데이터레이크, 데이터레이크 → 데이터웨어하우스, 데이터웨어하우스 → 데이터웨어하우스

보통 해당 과정에서 빅데이터 처리 기술을 사용한다

ex) 일별 매출 현황

 

5. Airflow(ETL, ELT 스케줄러)

다수의 ETL이 존재하는 경우 이를 스케줄링해 주고 의존관계를 정의

특정 ETL이 실패할 경우 이에 관한 에러메시지+재실행(Backfill)

구성) 스케줄러, 웹서버, 워커

지원) AWS, GoogleCloud, Azure

 

6. 빅데이터 처리 프레임워크

분산 환경 기반으로 1개 이상의 서버로 구성된다.

소수의 서버가 고장 나도 동작(Falut Tolerance) 해야 하므로 하나의 데이터블록을 여러 서버에 나누어 저장한다(기본은 3개 서버에 나누어 저장)

성능을 높이기 위해 Scale up, Scale out을 수행한다(Scale up : 서버 개수 확장에 용이, Scale up : 기존 서버의 사양 높이는 것에 용이)

요소) 제일 상위에 mastnode, 하위에 여러 slavenode로 구성

구성) 분산 파일 시스템(저장)과 분산 컴퓨팅 시스템으로 구성

 

대표적인 빅데이터 프로세싱 시스템

예전) Hadoop 기반의 MapReduce 위의 Hive/Presto(mapreduce에 SQL을 활용할 수 있게 하는 기술)

현재) Hadoop 기반의 Yarn 위에 MepReduce/Spark 등등

 

 

Ⅱ. 데이터 웨어하우스

Iceberg를 제외하고는 모두 SQL을 지원하는 빅데이터 기반 데이터베이스

 

1. AWS Redshift

PB 스케일 데이터 분산처리

Postgresql과 호환

고정+가변비용옵션

다양한 데이터 포맷(csv, json, avro, parquet) 지원

AWS 내의 다른 서비스들과 연동이 쉬움

주로 배치 데이터 중심이지만, 실시간 데이터 처리 지원

API를 통한 관리/제어 가능

 

2. Snowflake

클라우드 기반 데이터웨어하우스

SQL 기반으로 저장, 처리, 분석

고정+가변비용옵션

다양한 데이터 포맷(csv, json, avro, parquet) 지원

주로 배치 데이터 중심이지만, 실시간 데이터 처리 지원

API를 통한 관리/제어 가능

 

3. Google Cloud BigQuery

구글 클라우드의 데이터 웨어하우스 서비스

Big Query SQL로 처리(Nested fields, repeated fields 지원하여 복잡한 구조 처리 가능)

고정+가변비용옵션

다양한 데이터 포맷(csv, json, avro, parquet) 지원

Google 내의 다른 서비스들과 연동이 쉬움

주로 배치 데이터 중심이지만, 실시간 데이터 처리 지원

API를 통한 관리/제어 가능

 

4. Apache Hive

Facebook이 시작한 아파치 오픈소스 프로젝트

하둡 기반으로 동작하는 SQL 기반 서비스(1세대-Mapreduce 위에서 동작, 2세대-Yarn 위에서 Apache Tez를 이용하여 동작)

자바나 python으로 복잡한 데이터를 처리할 수 있음

다양한 데이터 포맷(csv, json, avro, parquet) 지원

빠른 처리 X 대규모 처리 O에 집중(배치 빅데이터 프로세싱 시스템-디스크 기반)

웹 UI, CLI 지원

현재는 spark에 밀리는 중

 

5. Apache Presto

하이브와 유사하지만, 빠른 응답속도에 집중(메모리 기반)

 

6. Apache Iceberg(스토리지)+Spark(컴퓨팅 엔진)

Apache Iceberg

Netflix가 시작한 프로젝트로 대용량 데이터를 다룰 수 있는 테이블 포맷

Java, Python API 지원

 

Spark

UC 버클리에서 시작된 오픈소스 프로젝트

빅데이터 처리 관련(배치처리-SQL, 실시간처리, 그래프처리, 머신러닝 기능)

분산 처리 시스템 지원(Hadoop의 Yarn, K8s, AWS EMR, Google Cloud Dataproc)

다양한 데이터 포맷(csv, json, avro, parquet) 지원

자바나 python, 스칼라, R 등을 지원

 

Ⅲ. 데이터 웨어하우스의 미래/트렌드

초기)

데이터웨어하우스+ETL

(데이터 규모가 점점 커진다)

발전)

데이터 레이크 도입(비구조화/큰 규모의 데이터를 경제적으로 보관) + 빅데이터 처리 프레임워크 도입(Spark)

(데이터 활용 증대)

성숙)

ELT 고도화(dbt 등의 analytics enginee 도입), MLOPS(머신러닝의 성능+배포+오류감지)