🐇꾸준히, 한걸음씩☘️

이번시간에는 클라우스 서비스와 AWS클라우드에 대해 알아보도록 하자. 0) 클라우스 서비스 컴퓨팅 IT 리소스를 인터넷을 통해 필요할 때, 제공하고 사용한 만큼 지불하는 서비스이다. 클라우드 플랫폼에는 세 가지 방식이 있는데(올해 정보처리기사 실기 시험 문제에 출제되기도 했다) 클라우드 플랫폼 유형 Own premises IAAS (Infrastructure as a Service) PAAS (Platform as a Service) SAAS (Software as a Service) 설명 자체 데이터 센터나 로컬 환경에서 서버, 스토리지, 네트워킹 등의 IT 인프라를 운영하고 유지보수 기본적인 인프라를 가상화된 형태로 제공 응용 프로그램을 개발하고 배포하기 위한 플랫폼을 제공 완전한 소프트웨어 애플리케..

이번시간에는 SQL의 JOIN 연산에 대해 알아보자. 0) JOIN 이란 두 개 이상의 테이블을 특정 조건에 맞춰서 merge 하는 것. 우선, 두 개의 테이블이라고 생각하고 왼쪽 테이블을 left, 오른쪽 테이블을 right이라고 한다. 1) 테이블의 관계 1:1 완전 1:1인 테이블이거나, 한 테이블이 다른 테이블의 부분 집합인 경우이다. 보통, join 연산 시 크게 문제가 발생하지 않는다. 1:다 join 연산시 기준을 잘 못 잡으면 문제가 발생한다. 다:다 가능하면 join 연산을 수행하지 않고 다:1, 1:1, 1:다 테이블로 변환해서 사용하도록 한다. ※ 어느 테이블을 기준으로 조인할지를 잘 설정해야 한다. ※ 2) 6가지 JOIN 연산 INNER JOIN LEFT, RIGHT 테이블의 교집..

이번시간에는 코랩에 데이터웨어하우스(Redshift)에 연결하고 데이터를 가공해 보자. 0) 데이터 스키마 정보(폴더) 📁 row data 📁 analytics 📁 adhoc ETL 과정에서 수집된 데이터 row data의 테이블을 조합해서 만든 새로운 테이블 1) 데이터 웨어하우스(Redshift) Colab에 연결하기 %load_ext sql %sql postgresql:/*redshift 서버 연결 주소*/ %%sql 원하는 sql 문장 위의 코드를 사용하면 아마존의 Redshift 데이터 웨어하우스에 연결하고, SQL 문장을 입력하여 원하는 작업을 수행할 수 있다. 2) 테이블을 (판다스) Dataframe 자료형으로 변환 result=%sql SELECT * FROM 인스턴스명.테이블명 df =..

이번주에는 Redshift를 구축하고 Colab환경에서 이를 사용해보는 실습을 진행한다. 우선, AWS사의 Redshift를 구축해보자. 0) Redshift란? Redshift는 클라우드 데이터 웨어하우스 서비스이다. (↔프로덕션 데이터베이스) 1.병렬 처리 아키텍처 사용 : 대량의 데이터에 대한 쿼리 성능을 향상시키며, 클러스터의 크기를 조정하여 확장성을 확보 2. 컬럼 기반 저장 : 필요한 컬럼만을 읽어오는데 효과적. 분석 쿼리에 적합하며, 데이터 압축 및 저장 공간을 최적화 3. SQL 호환성 : 기존 SQL 쿼리를 사용하여 데이터에 접근할 수 있음 1) Redshift 구축 1. 우선 내가 사용하려는 지역과 설정된 지역이 동일한지 확인한다. Seoul 2. Amazon redshift를 검색하고..

0) 데이터 그룹원의 역할 1. 데이터 엔지니어 데이터웨어하우스와 데이터를 적재하는 ETL/ELT 등의 프로세스를 담당 필요한 스킬 프로그래밍 언어(python, java) ETL/ELT 분산환경 Spark, Hadoop 데이터베이스 2. 데이터 분석가 : DB에서 데이터를 읽어서 데이터 분석을 수행(통계적 지식) 3. 데이터 과학자 : 효과적인 데이터모델을 찾고, 개발하고, 이를 활용하여 예측을 수행 1) 관계형 데이터베이스와 SQL 관계형 데이터베이스 구조화된 데이터를 저장하고 질의할 수 있도록 하는 저장 장치 1. 프로덕션 데이터 베이스 OLTP(Online Transaction Processing) 실시간 트랜잭션 처리 시스템으로 간단하고 반복적인 트랜잭션을 신속하게 처리하는데 특화되어 있다. (..

깃허브에 특정 레포지토리를 생성하고, 레포지토리 안에서 폴더를 관리하는데 프로젝트를 하다 보니 로컬 폴더를 통째로 비어있지 않은 깃허브 레포지토리에 올려야 하는 경우가 생겼다. 인터넷에 찾아보니 보통 빈 레포지토리에 (내 컴퓨터의)로컬폴더를 연동시키는 경우는 많은데 다른 파일/폴더가 있는 Github 레포지토리에 로컬 폴더를 올리는 방법은 찾기 어려워서 직접 글을 써 보기로 하였다. Git Bash를 이용한 업로드 git bash를 이용해야 하니 git이 로컬에 설치되었는지 우선 확인해보자. 1. 업로드를 원하는 폴더 상위 폴더에 [마우스오른쪽]-추가옵션표시-Open Git Bash here을 선택한다. 2. 깃을 초기화한다. git init 3. 로컬 저장소와 깃허브 레포지토리를 연결한다 git rem..

0) Seaborn 라이브러리 matplotlib을 기반으로 하는 시각화 라이브러리 다양한 그래프를 고수준에서 쉽게 그릴 수 있다. 1) 그래프의 종류 1. figure-level vs axes-level seaborn 함수는 matplotlib 라이브러리로 커스터마이징 하거나 자체 커스터마이징을 수행할 수 있다. 이를 구분하기 위해선 figure-level과 axes-level에 대한 이해가 필요하다. figure-level 해당 레벨의 함수는 seaborn 객체를 통해서 matplotlib과 상호작용 하기 때문에 FacetGrid(seaborn의 figure)을 이용해서 그래프 커스터마이징을 수행해야 한다. replot displot catplot lmplot axes-level 해당 레벨의 함수는 ..

0) Selenium 패키지 어제 말했듯, BeautifulSoup 패키지로는 동적으로 생성된 정보는 가져올 수 없었다. 동적 웹사이트는 비동기방식으로 작동하는데 랜더링이 완료되었을 때 데이터 로딩이 꼭 완료되는 것은 아니기 때문이다. 따라서 Selenium 패키지를 사용해서 우리가 원하는 정보를 가져오려 한다. Sellenium 패키지를 이용하면 파이썬으로 다음 두 가지 동작이 가능하다. 1. 자바스크립트가 동적으로 만든 데이터를 스크래핑 2. 사이트에 이벤트(마우스 클릭, 키보드 입력 등)를 주기 실습을 통해 다음 두 가지의 작업을 수행해 보자. 1) 원하는 정보 가져오기 오늘날의 웹 페이지는 웹크롤러나 다른 스크래핑 사용자들이 쉽게 정보를 가져가지 못하도록 클래스 이름을 랜덤 하게 생성한다. ex)..

1) BeautifulSoup 어제 request.get 함수를 이용해 웹 페이지로부터 데이터를 가져오는 작업을 수행했다. 그런데, 이런 식으로 데이터를 스크래핑하면 모든 데이터의 구분 없이 한 줄로 표시된다. 원하는 데이터를 간편하게 가져오기 위해 BeautifulSoup 패키지를 이용보자. BeautifulSoup 패키지란? html과 xml문서를 파싱 하는 패키지로 구문 분석 트리를 생성하기 때문에 간편하게 원하는 정보를 찾을 수 있다. html의 태그명, id, class 이름을 이용하여 원하는 데이터를 간편하게 찾을 수 있어 데이터 크롤링/스크래핑 시 많이 사용한다. 사용 1. 원하는 데이터가 어느 위치에, 어떤 태그로 감싸져 있는지 확인한다. 2. requests.get 메서드를 이용해 웹사이..

1) 인터넷과 웹 0. 용어정리 네트워크(Network) 두 개의 컴퓨터가 연결한 것 LAN(Local Area Network) 근거리 지역 네트워크(일정 거리의 컴퓨터들을 연결한 것) 인터넷(Internet) 범 지구적으로 네트워크를 연결한 것 웹(Web) : 인터넷에서 정보를 교환할 수 있는 환경, 시스템 그렇다면, 웹 상에서 정보를 어떻게 주고받을까? 1) 웹에서 정보 주고받기 0. 용어 정리 클라이언트 : 정보를 요청하는 컴퓨터 서버 : 정보를 제공하는 컴퓨터 1. 정보를 주고받는 방법 클라이언트는 서버에게 HTTP 요청(request)을 보낸다. 서버는 해당 요청에 대해 처리한다. 처리가 완료된 결과에 대해 서버는 클라이언트에게 HTTP 응답(response)을 보낸다. 2. 정보를 주고받기 위..