[Week10 Airflow] TIL 42일차 Airflow 사용하기 및 초기 설정

Airflow를 사용하는 방법은 여러 가지 방법이 있다.

Ⅰ. Airflow를 운영하는 방법

1. 직접 설치+운영

1) Docker 이미지로 Airflow 사용 (GCP)
2) 클라우드 서비스의 리눅스 서버에 직접 설치 (AWS)

2. 클라우드 서비스에 설치해서 사용

1) AWS

MWAA

2) GCS(Google Cloud Storage)

Clout compozer

3) MS Azure

Azure Data factory의 Airflow DAG 이용
 
 
해당 글에서는 직접 설치+운영하는 방법을 실습해 본다.

Ⅱ. Airflow 직접 설치하고 운영하기 실습

1. Docker 이미지로 Airflow 사용

컴퓨터에 직접 설치해도 되지만, 도커를 로컬 컴퓨터에 돌리면 컴퓨터가 너무 느려진다.
그래서 이왕이면 클라우드 서비스의 서버에 Docker를 설치하고 Airflow를 도커 이미지로 다운로드하여 보자.
여기서는 GCS의 compute machine을 사용한다.
(AWS GCS 모두 익숙하게 다뤄보자)
 

1) VM 인스턴스 생성

서울 지역의 n1서버를 사용한다. 무료 크레딧을 이용할 것이다.
머신 유형의 Custom을 선택하고 다음과 같이 지정하였다.(vCPU : 4, Memory : 8 )

머신 구성

 
부팅 디스크는 Ubuntu-20.04를 사용한다.

부팅 디스크 설정

 
방화벽은 HTTP, HTTPS 트래픽을 모두 허용하였다.

방화벽 설정

 

2) 서버에 Docker 설치

vm 인스턴스 정보

 
방금 생성한 인스턴스에 SSH버튼을 누르면 브라우저에서 ssh를 통해 서버에 연결할 수 있다.
 
① 시스템의 패키지 목록을 최신 상태로 업데이트
② Docker를 다운로드하고 설치하기 위해 필요한 추가적인 패키지를 설치(apt-transport-https, ca-certificates, curl, software-properties-common)
③ Docker의 공식 GPG 키를 다운로드하여 APT 패키지 관리자에 추가
④ Docker 패키지를 제공하는 저장소를 시스템에 추가
⑤ 새로 추가된 Docker 저장소 정보를 포함하여 패키지 목록을 업데이트
⑥ 설치 가능한 Docker 버전의 목록을 표시 ⑦ 앞서 설정한 저장소를 통해 Docker Community Edition (CE)를 설치 + Docker 엔진 활성화

sudo apt update
sudo apt install apt-transport-https ca-certificates curl software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu bionic stable"
sudo apt update
apt-cache policy docker-ce
sudo apt install docker-ce

 

3) 서버에 Docker-compose 설치

① Docker compose 패키지 다운로드 (2 버전 이상을 다운로드하자. 1 버전은 오류가 많이 난다)
② 다운로드한 Docker Compose 바이너리 파일에 실행 권한을 부여
③ 현재 사용자를 Docker 그룹에 추가

sudo curl -L https://github.com/docker/compose/releases/download/v2.4.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
sudo usermod -aG docker $USER

 

4) uid, gid 환경변수로 설정

사용자 아이디, 그룹 아이디로 ( /etc/passwd, /etc/group) 파일에서 관련 정보들을 확인할 수 있고
현재 사용자에 대한 정보는 id -u 명령어로 그룹에 대한 정보는 id -g 명령어로 알 수 있다.

export AIRFLOW_UID=$(id -u)
export AIRFLOW_GID=$(id -g)

 
 

6) Docker image로 환경 구축하기

도커 이미지가 있는 깃허브 레포지토리 클론

git clone https://github.com/keeyong/airflow-setup.git

 

Apache Airflow의 Docker Compose 설정 파일을 다운로드

airflow-setup 폴더로 이동한 뒤, Docker compose 설정파일을 다운로드한다.

cd airflow-setup
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.5.1/docker-compose.yaml'

 
yaml 파일 수정
오류1

*** Log file does not exist: /opt/airflow/logs/~
*** Fetching from: http://:8793/log/dag_id=~
*** Failed to fetch log file from worker. Request URL is missing an 'http://' or 'https://' protocol.

 
docker에서 DAG를 실행시키면 위의 오류가 발생한다. 원인은 여러 가지가 있지만,
yaml파일 일부 변경 및 airflow-scheduler 컨테이너에서 로그 폴더의 권한을 부여하면 해결되는 문제이다.

 

- docker/airflow-setup/docker-compose.yaml 파일 일부 변경
다음의 환경변수에 설치할 모듈을 적는다.(실습에 사용되는 모든 모듈의 정보이다.) 해당 환경변수는 Python 패키지 관리자인 pip를 통해 추가적인 패키지 요구 사항을 지정하는 데 사용되며 자동으로 추가적인 패키지를 설치할 수 있다.

 _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:- yfinance pandas numpy oauth2client gspread pymysql}

 

 

오류 

Got permission denied while trying to connect to the Docker daemon socke

 

도커 이미지를 다운로드 받으면 위의 오류가 발생한다

원인은 여러가지가 있지만, Docker와 Docker Compose를 사용하는데 필요한 권한이 부여되지 않은 것일 수도 있다.

 

1. Docker 그룹에 사용자 추가:

sudo usermod -aG docker $USER

 

2. Docker 데몬 소켓 소유권 변경후 시스템 재시작

sudo chown :docker /var/run/docker.sock
sudo reboot

 

도커 이미지 다운로드 및 컨테이너 실행

도커 이미지를 다운로드한 뒤, 컨테이너 위에 실행시킨다.

docker-compose -f docker-compose.yaml pull
docker-compose -f docker-compose.yaml up -d

- -d옵션
detach모드로 실행하는 것으로 컨테이너가 백그라운드에서 실행되며 터미널과의 연결이 끊어진다.
컨테이너를 백그라운드에서 실행하고 터미널을 다른 명령에 사용할 수 있도록 하는 명령어 옵션이다.
 
- airflow-scheduler 컨테이너에서 로그 폴더의 권한을 부여
① airflow-scheduler의 CONTAINER ID 알아내기
docker ps
명령어를 사용하여 airflow-scheduler의 CONTAINER ID 정보를 획득한다.
② Root 사용자로 컨테이너 접속하기

docker exec -u root -it CONTAINER ID sh
③ 로그 폴더에 권한 부여하기
sudo chmod -R 777 /opt/airflow/logs
 

7) airflow 초기 설정하기

docker-scheduler에 로그인해서 airflow.cfg 파일의 두 가지 변수값을 변경한다.
docker exec -it CONTAINER ID sh
vim airflow.cfg
① [core] executor = LocalExecutor
② [database] sql_alchemy_conn = postgresql+psycopg2://airflow:airflow@localhost:5432/airflow
 

이후에 재시작한다

docker-compose restart

 

8) 웹 UI 로그인하기

GCP의 외부 ip주소를 고정

외부 ip주소> 외부 주소 예약에서 외부주소를 고정 ip주소로 변경한다.
 

방화벽 설정 변경

VPC네트워크 > 방화벽 규칙 > 방화벽 규칙 만들기 에서 8080 포트에 대한 접속을 허가한다.

방화벽 규칙 만들기

 

규칙내용

• 대상 : 네트워크의 모든 인스턴스
• 소스필터 : IPV4 범위
• 소스 IPV4 범위 : 0.0.0.0/0
• 프로토콜 및 포트 : tcp - 8080

 

고정 ip 주소 이용해 airflow UI 접속

다음은 고정 ip 주소를 이용해 airflow에 성공적으로 접속한 화면이다.

airflow web UI

 

참고)

Install Docker Engine on Ubuntu

 
 

2. AWS 리눅스 서버에 airflow 직접 설치하기

여기서는 AWS 클라우드 서비스를 이용한다.
 

1) EC2 서버 만들기

Application and OS Images (Amazon Machine Image)

Ubuntu-20.04 사용
 

인스턴스 유형

t3.small 선택
 

키 페어

window 10 이상부터는. pem파일을 지원한다.

ec2 key pair 설정

 

네트워크 설정

EC2 네트워크 설정

 

2) 접속하기

파일 권한 수정

파일 권한을 수정하지 않으면 다음과 같은 오류가 발생한다.
Permissions for 'airflow-dev.pem' are too open.
 
다음 글을 따라 권한을 수정하도록 한다.

윈도우 ssh 연결 에러(permissions ... too open등)

 

2)-1. [pem파일 속성]-[보안]-[고급]-[상속사용안함]-[이 개체에서 상속된 사용 권한을 모두 제거합니다]-[적용]-[확인]

 

2)-2. 또는 cmd에서 직접 '나'에게만 r, w권한을 부여한다.

[cmd]
cd pem파일이 있는 폴더
icacls 키이름.pem /inheritance:r /grant:r "%USERNAME%:RW"
 

3) EC2 서버에 airflow 설치

ssh -i "키이름.pem" ubuntu@퍼블릭 IPv4 DNS 주소
 
그 이후엔 다음 깃허브 튜토리얼을 따라가자
https://github.com/keeyong/airflow-setup/blob/main/docs/Airflow%202%20Installation.md

(간단히 설명을 하자면)

계정명	ubuntu	airflow	postgresql
	4) Ubuntu 최신 상태로 업데이트, python3 설치, python-openssel 업데이트 5) mysql관련 모듈 설치, airflow 설치, 기타 모듈 설치 6) 그룹 및 계정 생성(airflow) (user : airflow, password : airflow) 7) 메타데이터베이스(postgresql) 설치 10) Postgresql 재시작 16) 웹서버, 스케쥴러를 서비스로 등록→활성화→시작 (cmd에서 로그아웃해도 백그라운드에서 실행되어 airflow에 접속할 수 있도록)	11) 계정 전환 12) dags 폴더 생성 13) airflow 초기화(init) 14) 환경파일 localexecutor로 변경 기본 DB를 postgresql로 변경 15) airflow 재 설정(init) 17) Airflow 웹서버에 로그인 어카운트 생성 (role : Admin, username : admin, password : admin4321) 18) dag 파일 깃허브에서 클론 해서 우분투 서버-airflow 폴더에 저장 19) airflow 계정의 환경변수(AIRFLOW_HOME) 설정	8) 계정 전환 7) postgres에 airflow 사용자 생성 9) airflow Database 생

 

10) 번 과정

• "executor" : SequentialExecutor → LocalExecutor로 수정(sqlite를 기본 DB로 사용하는 경우에 SequentialExecutor을 사용할 수 있다.)
• "sql_alchemy_conn" : sqlite → postgres로 바꾼다

postgresql+psycopg2://새로운사용자:새로운비밀번호@새로운호스트:새로운포트/새로운데이터베이스이름

포트번호는 사용하는 DB 종류에 따라 달라진다(mysql : 3306, postgresql : 5432)

postgresql+psycogs2://airflow:airflow@localhost:5432/airflow
 
 
10) 번을 수행하면 다음과 같은 문구를 볼 수 있다.

 

13번 과정)

github 클론 후에 해당 레포지토리의 airflow-setup폴더/dags폴더/안의 모든 파일을 dags 폴더로 복사

git clone https://github.com/keeyong/airflow-setup.git
cp -r airflow-setup/dags/* dags

 
복사된 dag 파일을 확인해 보자.

 

14번 과정)

다음과 같이 airflow계정의 기본 홈 디렉터리가 설정된 것을 볼 수 있다.

 

20) 웹에서 EC2 서버에 접속

해당 인스턴스의 보안그룹에서 인바운드 규칙 추가로 포트를 연다(8080)
EC2인스턴스-보안-인바운드 규칙-보안그룹 클릭
해당 보안그룹을 선택하고 인바운드 규칙-인바운드 규칙 편집-규칙추가
다음의 포트를 추가한다.

 
이제 해당 https://EC2 DNS주소:8080에 성공적으로 접속할 수 있다.

airflow web 접속

 
확인해 보면 아까 깃허브에서 복사한 세 가지 dag 목록이다.(나머지는 airflow가 로딩해 주는 예제이다)

추가한 dag 목록

 
Dag에 접속해서 확인해 보면, task의 개수와 활성화를 시킬 수 있다.
2개의 task로 구성

dag의 task 목록

활성화 버튼

 
 
이번 시간엔 airflow를 직접 설치하고 운영하는 방법에 대해 배울 수 있었다.
강의 내용을 한 번에 이해하진 못했지만, 서버를 여러 번 지우고 다시 해 보니 숙지되었다.
또, airflow, docker, GCP, AWS 모두 익숙하지 않은 서비스라 지레 겁을 먹어 거부감이 있었고 실제로 여러 오류들로 오래 걸렸지만 잘 해냈다.