[인공지능 딥러닝] 0. 딥러닝 기초 지식(1)

* 이 글은 네이버 부스트 코스의 딥러닝 기초 다지기 강의를 수강하며 정리한 글입니다.

 

 

오늘은 인공지능의 하위 항목인 딥러닝의 정의와 구성요소에 대해 알아보자.

 

0. 인공지능, 머신러닝, 딥러닝의 정의

인공지능, 머신러닝, 딥러닝의 정의는 다음과 같다.

 

인공지능 : 사람의 지능을 모방하는 것

머신러닝 : 데이터를 이용한 학습으로 사람의 지능을 모방하는 것

딥러닝 : 인공 신경망(Neural network) 구조를 활용한 데이터를 이용한 학습으로 사람의 지능을 모방하는 것

 

인공지능, 머신러닝, 딥러닝은 여러 가지 방법으로 포함 관계를 나타낼 수 있다.

 

- 집한 연산으로 표현 

인공지능 $\supset$ 머신러닝 $\supset$ 딥러닝

 

- 벤 다이어 그램으로 표현

인공지능, 머신러닝, 딥러닝의 포함관계

 

인공지능, 머신러닝, 딥러닝 중 이번 강의에서 주요하게 다루는 딥러닝에 대해 더 자세히 살펴보자.

 

 

1. 딥러닝의 구성 요소

딥러닝의 구성요소는 크게 네가지이다.

① 모델에 활용할 데이터(Data)

② 데이터를 어떻게 원하는 방향으로 변환할지 결정하는 모델(Model)

③ 모델의 성능을 측정하는 손실함수(Loss function)

④ 손실 함수를 최소화하기 위한 파라미터를 찾고 적용하는 알고리즘(Algorithm)

 

구성요소들에 대해 더 자세히 알아보자.

 

- 데이터 (Data)

어떤 데이터를 사용하는지는 풀고자 하는 문제에 의해 좌우되는데, 대표적인 문제들은 다음과 같다.

 

① 분류 (Classification)

: 분류는 이미지 $\rightarrow$ 라벨로 변환하는 문제이다.

 

분류문제 : Input(사진)을 Output([고양이] 라벨)로 변환

 

② 이미지 픽셀별 분류 (Sementic Segmentation)

: 이미지 각 픽셀 $\rightarrow$ 해당하는 클래스로 변환하는 문제이다. 

 

픽셀별 분류문제 : Input(사진의 각각의 픽셀)을 Output(해당하는 클래스 [멍, 냥, -] )로 변환

 

③ 객체 검출 (Object Detection)

: 이미지 안의 객체를 인식하는 것으로 각 객체들의 boundary box를 찾고 해당하는 클래스로 변환하는 문제이다.

 

객제 검출 문제 : Input(사진)에서 객체를 인식(boundary box로 경계표시)하고 Output(객체를 [고양이, 강아지] 라벨)로 변환

 

④ 포즈 추정 (Pose Estimation)

: 이미지 안의 사람 $\rightarrow$ 신체 관절의 정보를 알아내는 것이다.

 

포즈 추정 문제 : Input(사람 사진)에서 Output(각 신체 관절의 좌표[위치와 방향])를 추정

 

⑤ 시각적 질의응답 (Visual QnA)

이미지와 질문이 주어졌을 때 $\rightarrow$ 질문에 대한 답을 찾는 문제이다.

 

시각적 질의응답 문제 : Input(사진과 질문)이 주어지면 Output(답변)을 반환

 

- 모델 (Model)

이미지/텍스트 등의 데이터가 주어졌을 때, 해당 데이터를 원하는 의도대로 바꾸어 주는 것을 말한다.

대표적인 모델로는 Alexnet, GoogLeNet, ResNet, DenseNet, Lstm, Deep Auto Encoders, GAN 등이 있다.

같은 데이터를 사용해도 모델에 따라 정확도가 달라지므로, 데이터와 모델의 특성을 고려하여 선택하여야 한다.

 

 

- 손실 함수 (Loss function)

데이터, 모델이 주어졌을 때 모델을 어떻게 학습시킬지 방향성을 잡아주는 함수이다.

목표의 proxy(근사치)라고도 불리는데, 손실함수가 감소가 반드시 문제의 목표(분류, 회귀 등)의 Error이 줄어드는 것은 아니기 때문이다. 따라서 목표를 잘 근사하는 학습방향을 가진 손실함수를 적용하는 것이 중요하다.

 

딥러닝의 관점) 손실함수를 최소화한다는 것은

$\rightarrow$ 뉴럴 네트워크의 각 layer 별로 최적의 (weight, bias) 값을 찾는 것인데

$\rightarrow$ 이는 뉴럴 네트워크의 각 layer 별로 (weight, bias)의 파라미터를 어떻게 업데이트해 나갈지에 대한 문제이다.

 

각 문제별 대표적으로 사용되는 손실함수

• 회귀문제- MSE(Mean Squared Error)

$$ MSE = \frac{1}{N}\sum_{i=1}^{N}\sum_{d=1}^{D}(y_{i}^{(d)}-\hat{y_{i}}^{(d)})^{2} $$

• 분류문제 - CE(Cross Entropy)

$$ CE = -\frac{1}{N}\sum_{i=1}^{N}\sum_{d=1}^{D}y_{i}^{(d)}\log{\hat{y_{i}}^{(d)}} $$

• 확률문제 - MLE(Maximum Likelihood Estimation)

$$ MLE = \frac{1}{N}\sum_{i=1}^{N}\sum_{d=1}^{D}\log{N}(y_{i}^{(d)};\hat{y_{i}}^{(d)}, 1) $$

 

- 알고리즘 (Algorithm)

데이터, 모델, 손실함수가 주어졌을 때 Neural Network를 어떻게 줄일지에 대한 것이다.

앞선 내용에서는 SGD(first-order-method 방식을 이용해 neural network의 파라미터를 손실 함수에 대해 1차 미분)을 이용하여 최적의 파라미터를 적용하여 모델 최적화를 수행하였지만 여러 문제점들로 인해 최근에는 다른 변형을 사용한다.

 

모델 성능을 높이기 위해서

학습 데이터를 이용한 모델 최적화(Optimization) + 비학습 데이터를 위한 오류 추가(regularizer)를 혼합해서 사용하는데, 적용할 수 있는 방법들은 다음과 같다.

 

학습 데이터 이용한 모델 최적화 방법 (Optimization)	비학습 데이터를 위한 오류 추가 방법 (Regularizer)
SGD	Dropout
Momentum	Early stopping
NAG	K-Fold Cross validation
Adagrad	Weight decay
Adadelta	Batch Normalization
RMSprop	MixUp
	Ensemble
	Bayesian Optimization