[Week3 웹데이터 크롤 및 분석] TIL 7일차 - HTTP와 데이터 크롤링 기초(1)

1) 인터넷과 웹

0. 용어정리

네트워크(Network)

두 개의 컴퓨터가 연결한 것

LAN(Local Area Network)

근거리 지역 네트워크(일정 거리의 컴퓨터들을 연결한 것)

인터넷(Internet)

범 지구적으로 네트워크를 연결한 것

웹(Web)

: 인터넷에서 정보를 교환할 수 있는 환경, 시스템

 

그렇다면, 웹 상에서 정보를 어떻게 주고받을까?

 

 

1) 웹에서 정보 주고받기

0. 용어 정리

클라이언트 : 정보를 요청하는 컴퓨터

서버 : 정보를 제공하는 컴퓨터

 

1. 정보를 주고받는 방법

1. 클라이언트는 서버에게 HTTP 요청(request)을 보낸다.
2. 서버는 해당 요청에 대해 처리한다.
3. 처리가 완료된 결과에 대해 서버는 클라이언트에게 HTTP 응답(response)을 보낸다.

 

2. 정보를 주고받기 위한 규칙(HTTP)

HTTP(Hypter Text Transfer Protocol)

웹 상에서 정보를 주고받기 위한 약속, 규칙

정보를 요청할 때 보내는 HTTP 구조와 응답을 보낼 때 사용하는 HTTP 구조로 나누어서 살펴보자.

 

Request Message HTTP 구조 (클라이언트 → 서버)

해당 메시지 구조는 크게 시작라인 start line), 헤더들(Headers), 한 줄 띄어쓰기, 바디(Body)로 구성된다.

 

시작라인(Start Line)

[HTTP Method] [Request target] [HTTP version]

시작라인은 HTTP Method, Request target, HTTP 버전에 대한 정보를 포함한다.

• HTTP 메서드 : 서버가 수행해야 하는 행동을 지정한다.
  • GET : 존재하는 자원에 대한 요청
  • POST : 새로운 자원을 생성
  • PUT : 존재하는 자원에 대한 대체(덮어쓰기), 없으면 새로 생성
  • PATCH : 존재하는 자원에 대한 변경(일부 변경) 
  • DELETE : 존재하는 자원에 대한 삭제
  • HEAD : Body을 제외한 상태줄과 헤더 부분만 반환)
  • OPTIONS
  • TRACE
  • CONNECT
• 요청 타깃(Request target) : HTTP Request가 전송되는 목표 주소
• HTTP 버전(HTTP version)

헤더들(Headers)

: 요청에 대한 추가 정보를 담고 있는 부분이다.

(엔터)

바디(Body)

: 요청에 대한 데이터를 담고 있는 부분이다. 전송할 데이터가 없다면 해당 부분을 빈 상태로 전송하면 된다.

 

Response Message HTTP 구조

해당 메시지 구조는 크게 상태라인(status line), 헤더들(Headers), 한줄 띄어쓰기, 바디(Body)로 구성된다.

 

상태라인(Status Line)

[HTTP version] [Status Code] [Status Text] 

상태 라인은 HTTP 버전, 상태코드, 상태에 대한 정보를 포함한다.

• HTTP 버전(HTTP version)
• 상태코드(Status Code)
  • 1XX : 정보 응답
  • 2XX : 성공 응답
  • 3XX : 리다이렉션 메세지
  • 4XX : 클라이언트 에러 응답
  • 5XX : 서버 에러 응답
• 상태코드 설명(Status Text)

헤더들(Headers)

: 응답에 대한 추가 정보를 담고 있는 부분이다.

(엔터)

바디(Body)

: 응답에 대한 데이터를 담고 있는 부분이다. 전송할 데이터가 없다면 해당 부분을 빈 상태로 전송하면 된다.

 

 

2) 웹 브라우저와 랜더링

0. 용어 정리

웹 페이지 : 웹 사이트에 있는 하나의 페이지

웹 사이트 : 웹 페이지의 모음

웹 브라우저 : HTTP응답 요청을 보내고, 응답받은 HTML 코드를 랜더링 하는 역할

HTML(파일) → 웹 브라우저 → 웹 페이지

웹 브라우저의 렌더링 엔진은, 웹 문서를 로딩한 후 파싱을 진행한다.

 

1. 웹 브라우저의 랜더링

랜더링이란, 

웹사이트 코드를 사용자가 웹 사이트를 방문할 때 보게 되는 페이지로 바꾸는 절차이다.

 

1. 파싱 : 서버로부터 HTML, CSS, JavaScript 파일을 파싱(Parsing)한다. 파싱 과정을 통해 DOM(Document Object Model) 트리, CSSOM(CSS object Model) 트리가 생성된다.
2. 랜더 트리 생성 : DOM, CSSOM 트리를 바탕으로 실제 표현되는 요소들만 이용해 랜더트리를 생성한다.
3. 레이아웃 설정 : 각 노드들의 크기와 위치 관련한 정보들로 어느 위치, 어느 크기로 출력할지 계산한다.
4. 출력 : 계산된 레이아웃에 따라 요소들을 출력한다.

cf) 파싱이란? 일련의 문자열을 의미 있는 토큰(token)으로 분해하고, 이들로 이루어진 파스트리(parse tree)를 만드는 과정이다.

cf) DOM, CSSOM으로 파싱 하는 이유는 각 노드를 객체로 만들면, 더욱 쉽고 편리하게 관리할 수 있기 때문이다.

• 원하는 요소를 동적으로 변경할 수 있다. (특정 노드 추가 삭제 가능)

document.body.appendChild(노드이름)

• 원하는 요소를 쉽게 찾을 수 있다.

document.getElementbyTagName(태그이름)

 

 

3) 실습

1. request 라이브러리를 이용한 요청 전송

request 라이브러리를 이용해 요청을 보내보자.

해당 url에 data와 함께 GET, POST 요청을 보내는 코드이다. 

import requests
## GET 요청
res=requests.get(url, data)

## POST 요청
res=requests.post(url, data)

 

P : request 라이브러리를 이용해 body부분을 가져오면, 우리가 필요하지 않은 정보들도 너무 많이 보인다.

S : 파싱(2)-1번 참고)를 이용해 원하는 정보만 추출해 보자.

 

2. 각 사이트의 robots.txt 관련 정보 가져오기

웹 스크래핑 : 웹 페이지로부터 우리가 원하는 정보를 추출하는 것

웹 크롤링 : 크롤러(로봇)를 이용해서 여러 웹 페이지의 정보를 인덱싱(url별 어떤 정보가 있었다는 정보)하는 것

 

REP(Robot Exclusion Protocol) : 로봇의 무단 접근을 방지하기 위해 제한을 두게 하는 약속, 표준 권고안(강제는 아님)

웹 크롤러들은 해당 규칙을 지키면서 크롤링을 진행해야 한다.

1. 서버에 부하를 주지 않고
2. 데이터의 저작권을 지켜야 한다.

각 웹 페이지의 허용 정보는 robots.txt 파일에 있다.

보통 user-agent, Disallow, Allow 부분을 살펴보면 된다.

 

예시)

user-agent : *

Disallow : /

모든 유저에 대한 요청을 거부

 

user-agent : *

Allow :

모든 유저의 요청을 허용(크롤러 허용)

 

웹페이지의 허용 정보를 받아오는 코드이다.

import requests
res=requests.get(”url/robots.txt)
print(res.text)