[파이썬 기본 데이터 타입] csv, 웹(web), xml, json

* 이 글은 네이버 부스트 코스의 인공지능(AI) 기초 다지기 강의를 수강하며 정리한 글입니다.

머신러닝에서 제일 많이 사용되는 csv에 대해 자세히 알아보자

 

1) csv (Comma Separate Value)

- 쉼표(,)로 구분한 텍스트 파일

- 엑셀 양식의 데이터를 프로그램에 쓰기 위한 데이터 형식

- 파일로도 데이터를 처리할 수 있지만, csv 모듈을 이용해 csv 객체로 처리 가능

import csv
reader=csv.reader(f, delimeter=',', quotechar='"', quoting=csv.QUOTE_ALL)

• delimeter : 글자를 나누는 기준 (기본 : ,)
• lineterminator : 줄바꿈 기준 (기본 : \r\n)
• quotechar : 문자열을 둘러싸는 신호 문자 (기본 : " )
• quoting : 데이터를 나누는 기준이 QUOTECHAR에 의해 둘러쌓인 레벨. 전부 혹은 일부(기본 : QUOTE_MINIMAL)

사실 해당 모듈보다는 pandas를 주로 활용하기 때문에 굳이? 알 필요는 없을것 같다.

 

2) web(World Wide Web)

- 인터넷 공간

- 송수신을 위한 HTTP 프로토콜 사용

- 데이터를 표시하기 위해 HTML 형식을 사용

- 요청 -> 처리 -> 응답 -> 렌더링 의 과정으로 구현

 

cf ) HTML (Hyper Text Markup Language)

• 웹 상의 정보를 구조적으로 표현
• Tag를 사용하여 요소를 표시(트리 모양의 포함 관계를 가짐)
• 페이지 생성 규칙이 있기 때문에 다양한 분석이 가능
• string, Regex, beautifulsoup 등으로 처리

cf) 정규식(regular expression) : 복잡한 문자열 패턴을 정의하는 문자 표현 공식

정규 표현식은 필요시 구글링해서 사용하기

 

예제) 정규표현식의 패턴을 가진 문자목록을 특정 페이지 주소에서 찾아보자.

import re
import urllib.request

url="페이지 주소"
html=urllib.request.urlopen(url)
html_contents=str(html.read().decode("디코드종류"))
#re.findall을 이용해 정규표현식의 패턴을 가진 모든것을 찾음
id_results=re.findall(r"(정규표현식)", html_contents)

 

3) xml (eXtensible Markup Language)

<태그>데이터</태그>

- 데이터의 구조와 의미를 TAG(MarkUp)을 사용하여 표시(HTML과 비슷)

- 트리구조

- 주로 beautifulsoup으로 파싱

 

사용방법

# 모듈호출
from bs4 import BeautifulSoup
# 객체생성
soup=BeautifulSoup(xml, "lxml")
# 태그 탐색
soup.find_all("태그이름")

 

예제) 파일.xml에 태그이름을 가진 모든 요소를 추출하여라. 

from bs4 import BeautifulSoup

with open("파일.xml", "r", encoding="utf-8") as books_file:
    books_xml=books_file.read() # File을 string으로 읽어오기
    
soup=BeautifulSoup(books_xml, "lxml")

for book_info in soup.find_all("태그이름"):
	print(book_info)
    print(book_info.get_text())

 

4) json (JavaScript Object Notation)

{"parent_tag":["child_tag":데이터]}

- Javascript의 데이터 객체 표현 방식

- 간결하고 데이터 용량이 적고 코드로의 전환이 쉬움

- json 모듈을 사용하여 파싱

 

사용방법

• 읽기(Read)

# 모듈 호출
import json
with open("파일.json", "r", encoding="utf-8") as f:
    contents=f.read()
    # 객체 생성 -> dict 타입으로 반환
    json_data=json.loads(contents)
    # 태그 데이터 탐색
    print(json_data["태그명"])

• 쓰기(Write)

# 모듈 호출
import json
# 저장할 데이터
dict_data={'Name':'Zara', 'Age':7, 'Class':'First'}
# 파일에 작성
with open("파일.json", "w") as f:
    json.dump(dict_data, f)