[Week3 웹데이터 크롤 및 분석] TIL 10일차 - Seaborn 라이브러리를 통한 시각화

0) Seaborn 라이브러리

matplotlib을 기반으로 하는 시각화 라이브러리

다양한 그래프를 고수준에서 쉽게 그릴 수 있다.

 

1) 그래프의 종류

1. figure-level vs axes-level

seaborn 함수는 matplotlib 라이브러리로 커스터마이징 하거나 자체 커스터마이징을 수행할 수 있다.

이를 구분하기 위해선 figure-level과 axes-level에 대한 이해가 필요하다.

 

figure-level

해당 레벨의 함수는 seaborn 객체를 통해서 matplotlib과 상호작용 하기 때문에 FacetGrid(seaborn의 figure)을 이용해서 그래프 커스터마이징을 수행해야 한다.

• replot
• displot
• catplot
• lmplot

 

axes-level

해당 레벨의 함수는 matplotlib.pyplot.Axes 객체 위에 데이터를 표시하기 때문에 matplotlib 라이브러리의 함수로 커스터마이징을 할 수 있다.

• 이외의 나머지

 

2. seaborn 라이브로 표현할 수 있는 그래프 목록

Relational plots

• scatterplot : 여러 점으로 이루어진 산점도
• lineplot : 하나의 선으로 이루어진 꺾은선 그래프
• replot : figure-level 함수로 위의 두 함수를 표현할 수 있음
  • kind 속성을 지정하지 않으면 scatterplot 형태이다.
  • kind="line" 속성을 지정하면 lineplot 형태이다.

 

기본적인 사용법은 다음과 같다.

Visualizing statistical relationships — seaborn 0.13.0 documentation

Distribution plots

• hisplot : 히스토그램 형태
• kdeplot : 커널 밀도 함수 형태
• ecdfplot : 경험적 누적 분포 함수 형태
• rugplot : 실수 데이터의 분포를 선분으로 보는 형태
• displot : figure-level 함수로 위의 다섯 함수를 표현할 수 있음
  • 기본 함수는 histplot 임
  • kind="kde" 속성을 지정하면 kdeplot 형태이다.
  • kind="ecdf" 속성을 지정하면 ecdfplot 형태이다.
  • rug=True 속성을 지정하면 rugplot 형태이다.

 

기본적인 사용법은 다음과 같다.

Visualizing distributions of data — seaborn 0.13.0 documentation

Categorical plots

• stripplot : 카테고리 변수에 대한 y 분포
• swarmplot : stripplot의 겹치는 데이터를 간격을 조정하여 표현(시각적으로 알아보기 용이)
• boxplot : 박스플롯(수치적 자료를 표현하는 그래프)
• violinplot : 일변량, 연속형 데이터의 분포를 설명하기 위해 사용되는 그래프
• boxenplot : boxplot과 유사하지만, 분포의 형태를 더 자세하게 표현하는 그래프
• pointplot : 특정 점 사이의 표형을 직선으로 표현하는 그래프
• barplot : 막대그래프 형태
• counterplot : 히스토그램과 유사한 형태로 개수를 표현
• catplot : figure-level 함수로 위의 여덟 함수를 표현할 수 있음
  • plot 앞의 단어를 kind속성으로 지정하면 여덟 가지 함수가 모두 표현된다. catplot(kind="단어")

 

기본적인 사용법은 다음과 같다.

Visualizing categorical data — seaborn 0.13.0 documentation

Regression plots

• regplot : 데이터의 분포와 해당 데이터의 회귀 함수를 표현
• residplot : 회귀 함수의 잔차 그래프
• lmplot :  figure-level 함수로 위의 regplot을 표현할 수 있음

Matrix plots

• heapmap : 이미지 위에 열분포 형태의 그래프를 표현
• clustermap : 이미지 위에 군집화된 형태의 그래프를 표현

 

3. matplotlib 꾸미기 속성

matplotlib.pyplot을 이용하면 그래프에 다양한 요소를 변경/추가할 수 있다.

꾸미기 속성을 적용한 뒤에는 plt.show() 함수를 사용하여 꾸미기 속성이 보이도록 한다.

1. 제목 추가

• plt.title(제목)

2. 축에 설명 추가

• plt.xlabel(X축 라벨명)
• plt.ylabel(y축 라벨명)

3. 그래프 축의 시각화 하는 범위를 지정

• plt.xlim(시각화 시작 x값, 시각화 끝 x값)
• plt.ylim(시각화 시작 y값, 시각화 끝 y값)

4. 그래프의 크기

우선 크기를 지정하고 그래프를 그리기 때문에 figure을 지정하는 함수가 plot함수 앞에 위치해야 한다.

• plt.figure(figsize=(x축 사이즈, y축 사이즈)

 

 

2) 웹 스크래핑 후 시각화(BeautifulSoup, Seaborn, WordCloud)

1. 막대그래프 형태로 시각화

아래의 코드는 해시코드 사이트에 어느 종류의 질문이 많이 올라오는지에 대해 시각화하는 코드이다.

QnA | 프로그래머스 커뮤니티

과정

1. 태그(어느 종류의 질문)의 위치를 파악한다.(.html)

<ul class="question-tags">
    <li>
        <span>여기!</span>
    </li>
    <li>
        <span>여기!</span>
    </li>
    ....
</ul>

2. 각 페이지마다 BeautifulSoup를 이용해 웹 스크래핑을 진행한다.

3. 스크래핑 시 부하를 줄이기 위해 타이머를 이용한다.

4. 2번의 정보를 dictionary 형태로 저장한다.

5. Counter로 변환 : Counter를 사용해 가장 빈도가 높은 value들을 추출한다.

6. dictionary를 seaborn을 통해 시각화한다.

# 질문의 빈도를 체크하는 dict를 만든 후, 빈도를 시각화해 보자.
import time
## 4. 2번의 정보를 dictionary 형태로 저장
frequency={}
import requests
from bs4 import BeautifulSoup
for i in range(10):
    ## 2. 각 페이지마다 BeautifulSoup를 이용해 웹 스크래핑을 진행
    res=requests.get("https://hashcode.co.kr?page={}".format(i))
    soup=BeautifulSoup(res.text, "html.parser")

    ## 1. ul->li의 text만 추출
    ul_tags=soup.findAll("ul", "question-tags")
    for ul in ul_tags:
        li_tags=ul.find_all("li")
        for li in li_tags:
            tag=li.text.strip()
            frequency[tag]=frequency.get(tag, 0)+1
            
	## 3. 스크래핑시 부하를 줄이기 위해 타이머를 이용
    time.sleep(0.5)

## 5. Counter로 변환 : Counter를 사용해 가장 빈도가 높은 value들을 추출
from collections import Counter
counter=Counter(frequency)
counter.most_common(10)

## 6. dictionary를 seaborn을 통해 시각화
import seaborn as sns
import matplotlib.pyplot as plt
plt.figure(figsize=(20, 10))
plt.title("Frequency of question in Hashcode")
plt.xlabel("Tag")
plt.ylabel("Frequency")
x_list=[elem[0] for elem in counter.most_common(10)]
y_list=[elem[1] for elem in counter.most_common(10)]
sns.barplot(x=x_list, y=y_list)
plt.show()

결과

시각화 결과 python>c>java>c++>pandas... 카테고리 순으로 질문이 많이 된 것을 확인할 수 있다.

 

 

2. WordColud 형태로 시각화

WordCloud란?

자주 등장하는 텍스트를 중요도나 인기도를 고려해 시각적으로 표현한 것으로

자주 등장하는 단어일수록 크고 두껍게 표시된다.

wordCloud 라이브러리를 활용한다.

워드 클라우드 예시

 

자연어처리에서 많이 쓰이는데, 한 문장에서 단어를 추출하여 자연어분석을 진행한 뒤 시각화한다.

아래의 코드는 해시코드 사이트의 제목을 스크래핑 한 뒤, 어느 단어가 많이 나오는지에 대해 시각화하는 코드이다.

 

과정

1. 태그(어느 종류의 질문)의 위치를 파악한다.(.html)

<ul class="question-tags">
    <li>
    	<div>...</div>
        <div>...</div>
        <div class=question>
            <div class="top">
                <h4>제목여기있다.</h4>
            </div>	
        </div>
    </li>
    <li>
    	<div>...</div>
        <div>...</div>
        <div class=question>
        	<div class="top">
                <h4>제목여기있다.</h4>
            </div>	
        </div>
    </li>
</ul>

2. 각 페이지마다 BeautifulSoup를 이용해 웹 스크래핑을 진행한다.

3. 스크래핑 시 부하를 줄이기 위해 타이머를 이용한다.

4. 제목들을 list 형태로 저장한다.

5. list의 문장들에서 단어를 추출하여 제목들의 단어목록을 얻는다.

6. Counter로 변환 : 단어목록을 Counter로 변환한다.

7. dictionary를 wordcloud을 통해 시각화한다.

# 질문 리스트의 제목에서 단어를 추출하여 시각화하기

import time
import requests
from bs4 import BeautifulSoup
## 4. 제목들을 list 형태로 저장한다.
title=[]
## 2. 각 페이지마다 BeautifulSoup를 이용해 웹 스크래핑을 진행한다.
for i in range(6):
    res=requests.get("https://hashcode.co.kr?page={}".format(i), {"User-Agent":user_agent})
    soup=BeautifulSoup(res.text, "html.parser")
	## 1. li->data를 찾는다.
    parsed_datas=soup.find_all("li", "question-list-item")
    for data in parsed_datas:
        title.append(data.h4.text.strip())
    ## 3. 스크래핑 시 부하를 줄이기 위해 타이머를 이용한다.
    time.sleep(0.5)


##5. list의 문장들에서 단어를 추출하여 제목들의 단어목록을 얻는다.
# 문장에서 명사를 추출하는 형태소 분석 라이브러리
from konlpy.tag import Hannanum
# Hannanum 객체를 생성(형태소 분석 객체)한 후, .nouns()를 통해 명사를 추출합니다.
words=[]
hannanum = Hannanum()
for t in title:
    nouns = hannanum.nouns(t)
    words+=nouns


## 6. Counter로 변환 : 단어목록을 Counter로 변환한다.
from collections import Counter
counter=Counter(words)

## 7. dictionary를 wordCloud를 이용해 시각화한다.
import matplotlib.pyplot as plt
from wordcloud import WordCloud
# WordCloud를 이용해 텍스트 구름을 만들어봅시다.
wordcloud=WordCloud(font_path="C:\Windows\Fonts\malgun.ttf", 
                    background_color="white", width=2000, height=2000)
img=wordcloud.generate_from_frequencies(counter)
plt.imshow(img)

결과

 

시각화 결과 파이썬, 질문, 문제, 오류, 코드 등의 키워드 등이 자주 빈출된 것을 확인 할 수 있다.