🐇꾸준히, 한걸음씩☘️

오늘도 어제에 이어서 AWS 클라우드 서비스에 대해 알아보자. 1) Amazon Route53 가용성, 확장성이 뛰어난 DNS(도메인 이름 시스템) 웹 서비스 도메인 등록, DNS 라우팅(도메인 → IP주소 연결), 상태확인을 실행할 수 있다. Public host zone(인터넷상에서 접근 가능), private host zone(VPC 내에서만 접근 가능)이 존재한다. 여기서 헷갈리는 게 IP주소와 도메인의 차이인데, IP주소(1111.1111.1111.1111)는 네트워크에서 각 기기를 식별하는 데 사용되는 고유한 주소로 컴퓨터, 서버, 네트워크 기기 등에 대한 식별을 위해 필요하다. DHCP(Dynamic Host Configuration Protocol)를 통해 자동으로 할당되거나, 정적으로 수..

이번시간에는 클라우스 서비스와 AWS클라우드에 대해 알아보도록 하자. 0) 클라우스 서비스 컴퓨팅 IT 리소스를 인터넷을 통해 필요할 때, 제공하고 사용한 만큼 지불하는 서비스이다. 클라우드 플랫폼에는 세 가지 방식이 있는데(올해 정보처리기사 실기 시험 문제에 출제되기도 했다) 클라우드 플랫폼 유형 Own premises IAAS (Infrastructure as a Service) PAAS (Platform as a Service) SAAS (Software as a Service) 설명 자체 데이터 센터나 로컬 환경에서 서버, 스토리지, 네트워킹 등의 IT 인프라를 운영하고 유지보수 기본적인 인프라를 가상화된 형태로 제공 응용 프로그램을 개발하고 배포하기 위한 플랫폼을 제공 완전한 소프트웨어 애플리케..

이번시간에는 코랩에 데이터웨어하우스(Redshift)에 연결하고 데이터를 가공해 보자. 0) 데이터 스키마 정보(폴더) 📁 row data 📁 analytics 📁 adhoc ETL 과정에서 수집된 데이터 row data의 테이블을 조합해서 만든 새로운 테이블 1) 데이터 웨어하우스(Redshift) Colab에 연결하기 %load_ext sql %sql postgresql:/*redshift 서버 연결 주소*/ %%sql 원하는 sql 문장 위의 코드를 사용하면 아마존의 Redshift 데이터 웨어하우스에 연결하고, SQL 문장을 입력하여 원하는 작업을 수행할 수 있다. 2) 테이블을 (판다스) Dataframe 자료형으로 변환 result=%sql SELECT * FROM 인스턴스명.테이블명 df =..

이번주에는 Redshift를 구축하고 Colab환경에서 이를 사용해보는 실습을 진행한다. 우선, AWS사의 Redshift를 구축해보자. 0) Redshift란? Redshift는 클라우드 데이터 웨어하우스 서비스이다. (↔프로덕션 데이터베이스) 1.병렬 처리 아키텍처 사용 : 대량의 데이터에 대한 쿼리 성능을 향상시키며, 클러스터의 크기를 조정하여 확장성을 확보 2. 컬럼 기반 저장 : 필요한 컬럼만을 읽어오는데 효과적. 분석 쿼리에 적합하며, 데이터 압축 및 저장 공간을 최적화 3. SQL 호환성 : 기존 SQL 쿼리를 사용하여 데이터에 접근할 수 있음 1) Redshift 구축 1. 우선 내가 사용하려는 지역과 설정된 지역이 동일한지 확인한다. Seoul 2. Amazon redshift를 검색하고..

0) 데이터 그룹원의 역할 1. 데이터 엔지니어 데이터웨어하우스와 데이터를 적재하는 ETL/ELT 등의 프로세스를 담당 필요한 스킬 프로그래밍 언어(python, java) ETL/ELT 분산환경 Spark, Hadoop 데이터베이스 2. 데이터 분석가 : DB에서 데이터를 읽어서 데이터 분석을 수행(통계적 지식) 3. 데이터 과학자 : 효과적인 데이터모델을 찾고, 개발하고, 이를 활용하여 예측을 수행 1) 관계형 데이터베이스와 SQL 관계형 데이터베이스 구조화된 데이터를 저장하고 질의할 수 있도록 하는 저장 장치 1. 프로덕션 데이터 베이스 OLTP(Online Transaction Processing) 실시간 트랜잭션 처리 시스템으로 간단하고 반복적인 트랜잭션을 신속하게 처리하는데 특화되어 있다. (..

0) Seaborn 라이브러리 matplotlib을 기반으로 하는 시각화 라이브러리 다양한 그래프를 고수준에서 쉽게 그릴 수 있다. 1) 그래프의 종류 1. figure-level vs axes-level seaborn 함수는 matplotlib 라이브러리로 커스터마이징 하거나 자체 커스터마이징을 수행할 수 있다. 이를 구분하기 위해선 figure-level과 axes-level에 대한 이해가 필요하다. figure-level 해당 레벨의 함수는 seaborn 객체를 통해서 matplotlib과 상호작용 하기 때문에 FacetGrid(seaborn의 figure)을 이용해서 그래프 커스터마이징을 수행해야 한다. replot displot catplot lmplot axes-level 해당 레벨의 함수는 ..

0) Selenium 패키지 어제 말했듯, BeautifulSoup 패키지로는 동적으로 생성된 정보는 가져올 수 없었다. 동적 웹사이트는 비동기방식으로 작동하는데 랜더링이 완료되었을 때 데이터 로딩이 꼭 완료되는 것은 아니기 때문이다. 따라서 Selenium 패키지를 사용해서 우리가 원하는 정보를 가져오려 한다. Sellenium 패키지를 이용하면 파이썬으로 다음 두 가지 동작이 가능하다. 1. 자바스크립트가 동적으로 만든 데이터를 스크래핑 2. 사이트에 이벤트(마우스 클릭, 키보드 입력 등)를 주기 실습을 통해 다음 두 가지의 작업을 수행해 보자. 1) 원하는 정보 가져오기 오늘날의 웹 페이지는 웹크롤러나 다른 스크래핑 사용자들이 쉽게 정보를 가져가지 못하도록 클래스 이름을 랜덤 하게 생성한다. ex)..

1) BeautifulSoup 어제 request.get 함수를 이용해 웹 페이지로부터 데이터를 가져오는 작업을 수행했다. 그런데, 이런 식으로 데이터를 스크래핑하면 모든 데이터의 구분 없이 한 줄로 표시된다. 원하는 데이터를 간편하게 가져오기 위해 BeautifulSoup 패키지를 이용보자. BeautifulSoup 패키지란? html과 xml문서를 파싱 하는 패키지로 구문 분석 트리를 생성하기 때문에 간편하게 원하는 정보를 찾을 수 있다. html의 태그명, id, class 이름을 이용하여 원하는 데이터를 간편하게 찾을 수 있어 데이터 크롤링/스크래핑 시 많이 사용한다. 사용 1. 원하는 데이터가 어느 위치에, 어떤 태그로 감싸져 있는지 확인한다. 2. requests.get 메서드를 이용해 웹사이..

1) 인터넷과 웹 0. 용어정리 네트워크(Network) 두 개의 컴퓨터가 연결한 것 LAN(Local Area Network) 근거리 지역 네트워크(일정 거리의 컴퓨터들을 연결한 것) 인터넷(Internet) 범 지구적으로 네트워크를 연결한 것 웹(Web) : 인터넷에서 정보를 교환할 수 있는 환경, 시스템 그렇다면, 웹 상에서 정보를 어떻게 주고받을까? 1) 웹에서 정보 주고받기 0. 용어 정리 클라이언트 : 정보를 요청하는 컴퓨터 서버 : 정보를 제공하는 컴퓨터 1. 정보를 주고받는 방법 클라이언트는 서버에게 HTTP 요청(request)을 보낸다. 서버는 해당 요청에 대해 처리한다. 처리가 완료된 결과에 대해 서버는 클라이언트에게 HTTP 응답(response)을 보낸다. 2. 정보를 주고받기 위..

1) 개요 Html이란? 웹 브라우저가 이해할 수 있는 언어 CSS이란? 문서를 예쁘게 꾸미는 언어 JS란? 문서에 “기능”을 만들어주는 언어 (ip 설정을 하면) 같은 와이파이 상에 있는 모든 기기(태블릿, 노트북, 데스크톱 등등)에서 해당 파일(.html)에 접속하여 확인할 수 있다. 2) Html 1. HTML 기본 문법 html은 태그로 구성되는데, 콘텐츠를 갖는 태그와 콘텐트를 갖지 않는 태그로 구분할 수 있다. 콘텐츠를 가지는 태그 : 콘텐츠 콘텐츠를 가지지 않는 태그 : 태그안에는 속성과 값을 지정할 수 있다. 주석은 다음과 같이 사용한다. 기본 구조는 다음과 같다 문서의 내용 2. 5. 콘텐츠 태그 제목 태그 ~ h1은 페이지 내에서 한 번만 사용해야 하고, 1~6번 태그를 순차적으로 사용..