🐇꾸준히, 한걸음씩☘️

오늘은 앞서 작성했던 ETL코드를 airflow로 관리할 수 있도록 변경해 보자. 해당 실습에서는 AWS redshift를 사용한다. AWS S3의 csv 파일을 extract, transform, load 함수를 이용해 airflow에 적재하는 데이터 파이프라인을 만든다. Full refresh 방식을 사용한다. Ⅰ. 실습1 : csv 파일 이용한 데이터 파이프라인 만들기 1. 초기 코드 AWS S3의 파일을 load, transform, extract해서 AWS Redshift에 적재 import psycopg2 # 1. Redshift 연결 def get_Redshift_connection(): host = "redshift주소" redshift_user = "사용자이름" redshift_pass ..

Ⅰ. 용어 설멍 1. DAG란? Directed Acyclic Graph(방향이 있는 비순환 그래프)로 Airflow의 작업의 단위를 말한다. DAG는 여러 task로 구성되어 있는데, task의 실행방법, 실행순서, 재시도 횟수, 시간 초과 등의 정보를 담고 있다. 2. Task란? Workflow의 최소 실행 단위이다. 원칙적으로는 하나의 Operator을 가진다(단, 특별한 경우에 여러 Operator를 사용하고 싶다면, PythonOperator나 BranchPythonOperator를 사용하여 Python 함수를 정의하고, 해당 함수 내에서 여러 작업을 수행하도록 구현해야 한다.) 3. Operator란? Operator는 Airflow에서 어떤 작업을 수행할지를 정의하는 클래스이다. Task의..

Airflow를 사용하는 방법은 여러 가지 방법이 있다. Ⅰ. Airflow를 운영하는 방법 1. 직접 설치+운영 1) Docker 이미지로 Airflow 사용 (GCP) 2) 클라우드 서비스의 리눅스 서버에 직접 설치 (AWS) 2. 클라우드 서비스에 설치해서 사용 1) AWS MWAA 2) GCS(Google Cloud Storage) Clout compozer 3) MS Azure Azure Data factory의 Airflow DAG 이용 해당 글에서는 직접 설치+운영하는 방법을 실습해 본다. Ⅱ. Airflow 직접 설치하고 운영하기 실습 1. Docker 이미지로 Airflow 사용 컴퓨터에 직접 설치해도 되지만, 도커를 로컬 컴퓨터에 돌리면 컴퓨터가 너무 느려진다. 그래서 이왕이면 클라우드..

Ⅰ. 스노플레이크 알아보기 snowflake는 구성도가 유연하기 때문에, 큰 기업의 경우 하위의 구성을 갖는다 Organization 여러 Account 여러 Database 여러 Schema 제공하는 서비스 Data Marketplace : 데이터 마켓플레이스 제공 Data sharing : 다른 사람이 가진 데이터에 액세스 권한을 부여하고 접근(Don't move) 비용 옵션 Standard, Enterprise, Business, Virtual snowflake(보안이 중요한 경우 사용) On demand(필요할 때마다 할당) Capacity Storage(일정 양을 미리 할당) 실습 무료 버전을 사용할 경우, 이메일에 전송된 Dedicated Login url을 통해 로그인을 수행해야 한다. 1...

Ⅰ. 권한과 보안 사용자와 테이블은 유한하게 늘어날 수 있어 각각을 기준으로 접근권한을 지정하려면 무수히 많은 조합이 생긴다. 따라서, 그룹이나 역할별로 스키마 접근 권한을 부여한다. 1. 그룹별 접근 권한 부여 admin : 모든 스키마에 접근할 수 있는 관리자 그룹 pii_users : 개인정보를 읽을 수 있는 그룹 analytics_authors : 데이터웨어하우스의 데이터를 수정, 읽을 수 있는 그룹 analytics_users : 데이터웨어하우스의 데이터를 읽을 수 있는 그룹 - 모든 권한을 부여하는 경우(r/w) : All GRANT ALL ON SCHEMA 스키마명1 TO GROUP 그룹명1; GRANT ALL ON ALL TABLES IN SCHEMA 스키마명1 TO GROUP 그룹명1; ..

Ⅰ. Redshift의 특징 1. 고정 비용 옵션 160GB~2PB까지 가능 HDD대신 SSD를 사용하여 속도가 빠른 편(그래도 프로덕션 데이터베이스에 비해서는 속도가 느림) 컬럼기반 스토리지이기 때문에 컬럼별 압축이 가능하기 때문에, 압축률이 높고 성능이 좋은 편 벌크 업데이트 가능(레코드를 S3에 저장 후 COPY 옵션으로 일괄 적재) 데이터 공유 기능(AWS 특정 계정과 특정 데이터를 공유할 수 있다.) Snowflake도 가능 데이터 웨어하우스이기 때문에 primary key uniqueness를 보장하지 않음 Postgresql과 호환이 가능(JDBC/ODBC)으로 액세스 가능 2. 가변 비용 옵션(serverless)도 존재한다. 3. 비용 1) Dense Storage (HDD) 저장에 집중..

Ⅰ. 데이터 웨어하우스 1. 데이터 팀의 목표 신뢰할 수 있는 데이터를 바탕으로 부가가치를 생성(본업을 더 잘할 수 있게 하는 간접매출) 한다. 두가지 측면으로 나누어서 설명할 수 있다. 1) 고품질 데이터를 기분으로 의사 결정자에게 도움을 준다.(Data science) 데이터를 고려한 결정 데이터 기반 결정 데이터를 고려하되, 데이터와 방향성이 달라도 의견을 고수한다. 데이터의 방향성대로 결정한다. 데이터 기반 결정은 어떤 일을 최적화하는데 필요하다면, 새로운 결정을 하기 위해서는 데이터를 고려한 결정이 더 올바른 방향이다. 결국 데이터는 과거의 산물이기 때문에 현재상황과 미래상황에 100% 적용하기는 힘들기 때문이다. 사용 데이터 기반 지표 정의, 대시보드와 리포트 생성 2) 고품질 데이터를 기반으..

1. 의존관계 추가 build.gradle에 다음의 의존관계 추가한 뒤, 새로고침한다. implementation 'mysql:mysql-connector-java:8.0.23' 2. Database 연결 Intellij앱의 맨 오른쪽의 Database탭을 클릭하면 다음과 같은 창이 보인다. General 탭에서는 Host는 AWS RDS>데이터베이스>특정DB>엔트포인트 User : RDS 생성 시 설정한 username(default : admin) Password: RDS 생성 시 설정한 password + 만약 RDS가 private VPC에 연결되었다면 아래의 과정도 추가한다. SSH 탭에서 ...버튼을 클릭한다. Host에 연결할 Public VPN의 IP를 입력한다. authentication..

1) IAM(Identity and Access Management) AWS 리소스에 대한 액세스를 안전하게 제어할 수 있도록 도와주는 서비스 AWS 계정 내에서 사용자, 그룹, 역할 등을 관리하고, 이들에 대한 권한을 설정 기능 AWS 계정에 대한 공유, 세분화된 권한 최종 일관성, 대부분 무료사용 보안 강화 MFA(Multi-Factor Authentication) : 사용자가 자신의 신원을 확인할 때 여러 단계의 인증을 사용하는 메커니즘으로 비밀번호 외에 MFA디바이스에 표시되는 일회용 코드 입력 Identity Federation : 외부 신원 제공자(예: 기업 내의 인증 서비스 또는 소셜 미디어)를 사용하여 AWS 리소스에 대한 액세스를 허용 보장을 위한 자격 증명 정보 PCI DSS(Payme..

오늘도 어제에 이어서 AWS 클라우드 서비스에 대해 알아보자. 1) Amazon Route53 가용성, 확장성이 뛰어난 DNS(도메인 이름 시스템) 웹 서비스 도메인 등록, DNS 라우팅(도메인 → IP주소 연결), 상태확인을 실행할 수 있다. Public host zone(인터넷상에서 접근 가능), private host zone(VPC 내에서만 접근 가능)이 존재한다. 여기서 헷갈리는 게 IP주소와 도메인의 차이인데, IP주소(1111.1111.1111.1111)는 네트워크에서 각 기기를 식별하는 데 사용되는 고유한 주소로 컴퓨터, 서버, 네트워크 기기 등에 대한 식별을 위해 필요하다. DHCP(Dynamic Host Configuration Protocol)를 통해 자동으로 할당되거나, 정적으로 수..