🐇꾸준히, 한걸음씩☘️

이번 시간에는 yaml파일을 사용하여 Docker에서 Kafka를 실행해 보자. Ⅰ. GCP에 Docker컨테이너로 Kafka 환경 구축하기 1. GCP VM 인스턴스 설정 이전의 airflow와 비슷한 과정이다. full-stack Kafka yaml파일을 실행할 것이기 때문에 컴퓨팅 자원이 많은 vm엔진을 선택하였다. c2-standard-4 Ubuntu-20.04 30GB 2. 서버에 Docker 설치 ① 시스템의 패키지 목록을 최신 상태로 업데이트 ② Docker를 다운로드하고 설치하기 위해 필요한 추가적인 패키지를 설치(apt-transport-https, ca-certificates, curl, software-properties-common) ③ Docker의 공식 GPG 키를 다운로드하여 ..

Ⅰ. Redshift, Gsheet 연동하기 1. GCP 기본설정 구글 클라우드에 로그인한다. https://console.cloud.google.com/welcome?project=programmers-devcourse-docker Google 클라우드 플랫폼 로그인 Google 클라우드 플랫폼으로 이동 accounts.google.com 프로젝트를 생성한다. API 및 서비스>사용자 인증 정보>사용자 인증 정보 만들기>서비스계정을 선택한다. 서비스 계정 이름 : Gsheet로 입력 이 서비스 계정에 프로젝트에 대한 액세스 권한 부여 : 편집자를 선택한다. 그다음 다시 API 및 서비스>사용자 인증 정보 페이지에서 앞서 만든 Gsheet 서비스계정의 이메일을 선택한다. 키>키추가>JSON 버튼을 눌러 ..

오늘은 앞서 작성했던 ETL코드를 airflow로 관리할 수 있도록 변경해 보자. 해당 실습에서는 AWS redshift를 사용한다. AWS S3의 csv 파일을 extract, transform, load 함수를 이용해 airflow에 적재하는 데이터 파이프라인을 만든다. Full refresh 방식을 사용한다. Ⅰ. 실습1 : csv 파일 이용한 데이터 파이프라인 만들기 1. 초기 코드 AWS S3의 파일을 load, transform, extract해서 AWS Redshift에 적재 import psycopg2 # 1. Redshift 연결 def get_Redshift_connection(): host = "redshift주소" redshift_user = "사용자이름" redshift_pass ..

Ⅰ. 용어 설멍 1. DAG란? Directed Acyclic Graph(방향이 있는 비순환 그래프)로 Airflow의 작업의 단위를 말한다. DAG는 여러 task로 구성되어 있는데, task의 실행방법, 실행순서, 재시도 횟수, 시간 초과 등의 정보를 담고 있다. 2. Task란? Workflow의 최소 실행 단위이다. 원칙적으로는 하나의 Operator을 가진다(단, 특별한 경우에 여러 Operator를 사용하고 싶다면, PythonOperator나 BranchPythonOperator를 사용하여 Python 함수를 정의하고, 해당 함수 내에서 여러 작업을 수행하도록 구현해야 한다.) 3. Operator란? Operator는 Airflow에서 어떤 작업을 수행할지를 정의하는 클래스이다. Task의..

Airflow를 사용하는 방법은 여러 가지 방법이 있다. Ⅰ. Airflow를 운영하는 방법 1. 직접 설치+운영 1) Docker 이미지로 Airflow 사용 (GCP) 2) 클라우드 서비스의 리눅스 서버에 직접 설치 (AWS) 2. 클라우드 서비스에 설치해서 사용 1) AWS MWAA 2) GCS(Google Cloud Storage) Clout compozer 3) MS Azure Azure Data factory의 Airflow DAG 이용 해당 글에서는 직접 설치+운영하는 방법을 실습해 본다. Ⅱ. Airflow 직접 설치하고 운영하기 실습 1. Docker 이미지로 Airflow 사용 컴퓨터에 직접 설치해도 되지만, 도커를 로컬 컴퓨터에 돌리면 컴퓨터가 너무 느려진다. 그래서 이왕이면 클라우드..

Ⅰ. 스노플레이크 알아보기 snowflake는 구성도가 유연하기 때문에, 큰 기업의 경우 하위의 구성을 갖는다 Organization 여러 Account 여러 Database 여러 Schema 제공하는 서비스 Data Marketplace : 데이터 마켓플레이스 제공 Data sharing : 다른 사람이 가진 데이터에 액세스 권한을 부여하고 접근(Don't move) 비용 옵션 Standard, Enterprise, Business, Virtual snowflake(보안이 중요한 경우 사용) On demand(필요할 때마다 할당) Capacity Storage(일정 양을 미리 할당) 실습 무료 버전을 사용할 경우, 이메일에 전송된 Dedicated Login url을 통해 로그인을 수행해야 한다. 1...

Ⅰ. 권한과 보안 사용자와 테이블은 유한하게 늘어날 수 있어 각각을 기준으로 접근권한을 지정하려면 무수히 많은 조합이 생긴다. 따라서, 그룹이나 역할별로 스키마 접근 권한을 부여한다. 1. 그룹별 접근 권한 부여 admin : 모든 스키마에 접근할 수 있는 관리자 그룹 pii_users : 개인정보를 읽을 수 있는 그룹 analytics_authors : 데이터웨어하우스의 데이터를 수정, 읽을 수 있는 그룹 analytics_users : 데이터웨어하우스의 데이터를 읽을 수 있는 그룹 - 모든 권한을 부여하는 경우(r/w) : All GRANT ALL ON SCHEMA 스키마명1 TO GROUP 그룹명1; GRANT ALL ON ALL TABLES IN SCHEMA 스키마명1 TO GROUP 그룹명1; ..

Ⅰ. Redshift의 특징 1. 고정 비용 옵션 160GB~2PB까지 가능 HDD대신 SSD를 사용하여 속도가 빠른 편(그래도 프로덕션 데이터베이스에 비해서는 속도가 느림) 컬럼기반 스토리지이기 때문에 컬럼별 압축이 가능하기 때문에, 압축률이 높고 성능이 좋은 편 벌크 업데이트 가능(레코드를 S3에 저장 후 COPY 옵션으로 일괄 적재) 데이터 공유 기능(AWS 특정 계정과 특정 데이터를 공유할 수 있다.) Snowflake도 가능 데이터 웨어하우스이기 때문에 primary key uniqueness를 보장하지 않음 Postgresql과 호환이 가능(JDBC/ODBC)으로 액세스 가능 2. 가변 비용 옵션(serverless)도 존재한다. 3. 비용 1) Dense Storage (HDD) 저장에 집중..

Ⅰ. 데이터 웨어하우스 1. 데이터 팀의 목표 신뢰할 수 있는 데이터를 바탕으로 부가가치를 생성(본업을 더 잘할 수 있게 하는 간접매출) 한다. 두가지 측면으로 나누어서 설명할 수 있다. 1) 고품질 데이터를 기분으로 의사 결정자에게 도움을 준다.(Data science) 데이터를 고려한 결정 데이터 기반 결정 데이터를 고려하되, 데이터와 방향성이 달라도 의견을 고수한다. 데이터의 방향성대로 결정한다. 데이터 기반 결정은 어떤 일을 최적화하는데 필요하다면, 새로운 결정을 하기 위해서는 데이터를 고려한 결정이 더 올바른 방향이다. 결국 데이터는 과거의 산물이기 때문에 현재상황과 미래상황에 100% 적용하기는 힘들기 때문이다. 사용 데이터 기반 지표 정의, 대시보드와 리포트 생성 2) 고품질 데이터를 기반으..

1) IAM(Identity and Access Management) AWS 리소스에 대한 액세스를 안전하게 제어할 수 있도록 도와주는 서비스 AWS 계정 내에서 사용자, 그룹, 역할 등을 관리하고, 이들에 대한 권한을 설정 기능 AWS 계정에 대한 공유, 세분화된 권한 최종 일관성, 대부분 무료사용 보안 강화 MFA(Multi-Factor Authentication) : 사용자가 자신의 신원을 확인할 때 여러 단계의 인증을 사용하는 메커니즘으로 비밀번호 외에 MFA디바이스에 표시되는 일회용 코드 입력 Identity Federation : 외부 신원 제공자(예: 기업 내의 인증 서비스 또는 소셜 미디어)를 사용하여 AWS 리소스에 대한 액세스를 허용 보장을 위한 자격 증명 정보 PCI DSS(Payme..