[인공지능 기초수학] 0. 벡터와 행렬

* 이 글은 네이버 부스트 코스의 인공지능(AI) 기초 다지기 강의를 수강하며 정리한 글입니다.

 

오늘은 벡터와 행렬에 대해 알아보자.

 

1. 벡터란?

• 숫자를 원소로 가지는 리스트 또는 배열을 의미한다.

[1, 2, 3]
np.array([1, 2, 3]) #shape : (3, )

• 공간에서의 한 점을 의미한다.
  
  • 행벡터 $ \begin{bmatrix}1 & 2 & 3 \end{bmatrix}$
  • 열벡터 $\begin{bmatrix}1\\2\\3 \end{bmatrix}$

 

• 원점으로부터 상대적 위치를 의미한다. (길이+방향)

벡터의 좌표상에서의 표현

 

- 특징

 

차원이 같으면 덧셈, 뺄셈, 곱셈을 계산할 수 있다.

 

- 주요 연산

 

① 성분곱(Hadamard product)

 

 $X=\begin{bmatrix}x_1\\x_2\end{bmatrix}$, $Y=\begin{bmatrix}y_1\\y_2\end{bmatrix}$ 일 때, $X \odot Y=\begin{bmatrix}x_1y_1\\x_2y_2\end{bmatrix}$

 

② 원점에서부터의 거리(Vector Norm)

 

$X = \begin{bmatrix}a & b &c\end{bmatrix}$ 일 때,

• L-1 norm

: 각 성분의 변화량의 절댓값의 합

$$ L1-norm =  \| X \| _1= \sum_{i=1}^3  | x_i|=|a|+|b|+|c| $$

• L-2 norm : 피타고라스 정리를 이용한 유클리드 거리

$$ L2-norm =  \| X \| _2=  \sqrt{\sum_{i=1}^3  | x_i|^2}= \sqrt{|a|^2+|b|^2+|c|^2 }  $$

 

③ 두 벡터 사이의 거리 (L1-norm, L2-norm 방식으로 구할 수 있음)

벡터의 뺄셈을 이용하여 계산한다.

$$ \| y-x \|= \| x-y \| $$

 

④ 두 벡터 사이의 각도 (L2-norm 방식으로 구할 수 있음)

$$ cos \theta = \frac{\| x\|_2^2+\| y\|_2^2 -\| x-y\|_2^2}{2\| x\|_2^2\| y\|_2^2} = \frac{2<x, y>}{2\| x\|_2^2\| y\|_2^2} =\frac{<x, y>}{\| x\|_2^2\| y\|_2^2} $$
numpy 모듈을 활용하면
$$ cos \theta = \frac{np.inner(x, y)}{np.linalg.norm(x)*np.linalg.norm(y)} $$
$$∴ \theta = arccos(cos \theta)$$

 

2. 행렬이란?

• 벡터를 원소로 가지는 2차원 배열을 의미한다.

[1, 2, 3]
np.array([1, 2, 3]) #shape : (3, )

• 공간에서의 여러개의 점들을 의미한다. (벡터 각각이 하나의 점)

 

행렬의 표현

- 주요 연산

 

① 성분곱 ($ X\bigodot Y $)

: 위치가 같은 요소의 곱

조건) 행렬의 크기가 같아야 한다.

 

성분곱의 원리

② 행렬 곱 ($ XY $)

: 행렬에서 사용하는 별도의 규칙

: 벡터 공간에서 사용되는 연산자로, 행렬 곱을 통해 벡터를 다른 차원의 공간으로 보낼 수 있다.

• 구현 1. 행렬 곱셈

조건) X(n*k) Y(k*m) : 앞 행렬의 열의 길이와 뒷 행렬의 행의 길이가 같아야 한다. 

 

행렬곱 구현 1

• 구현 2. 행렬 내적

: 수학의 내적과는 다른 의미로, $ XY^T $ 연산과 동일

조건) X(n*k) Y(m*k) : 앞 행렬의 열의 길이와 뒷 행렬의 열의 길이가 같아야 한다. 

 

행렬곱 구현 2

- 종류

 

① 전치행렬 ($ A^{T} $)

: 행렬의 행과 열을 바꾸는 행렬

행렬 A의 원소 $x_{ij}$에 대하여

$$ x_{ij}=x_{ji} $$

 

② 역행렬 ($ A^{-1} $)

: 행렬의 연산을 되돌리는 행렬

조건1) 행과 열의 갯수가 같아야 한다. m차원 -> m차원

조건 2) 행렬식이 0이 아니어야 한다.

$$ AA^{-1} = A^{-1}A = I $$

 

구현

np.linalg.inv(A)

 

③ 유사 역행렬 ($ A^{+} $), 무어펠로즈의 역행렬

: 행과 열의 갯수가 달라도 연산 되돌리기가 가능한 행렬. m차원 -> n차원

• 행의 개수 > 열의 개수 $ A^{+} = ( A^{T} A )^{-1} A^{T} $
• 행의 개수 < 열의 개수 $ A^{+} = A^{T} ( A^{T} A )^{-1} $

 

구현

np.linalg.pinv(A)

 

 

행렬의 활용 : np.linalg.pinv (유사 역행렬 이용)

• 연립방정식

연립방정식의 coef(계수들의 모음)를 A, 값을 b 행렬이라고 하자.

$ Ax = b $ ⇒ $ x = A^{+}b $

n : 식의 갯수 m : unique한 x($x_{1}, x_{2} ...$)의 갯수 라고 하면,

i) $n\leqslant m$ => $A^{T}(AA^{T})^{-1}b $

ii) $ n>m$ => $(A^{T}A)^{-1}A^{T}b $

 

• 선형회귀분석

선형회귀분석은 여러 점들이 주어진 상황에서 점들을 대표하는 선을 찾는 과정이다.

$ Xb = y $ ⇒ $ b = X^{+}y $

n : 식의 갯수 m : unique한 b의 갯수 라고 하면,

i) $n\leqslant m$ => $X^{T}(XX^{T})^{-1}y $

ii) $n>m$ => $(X^{T}X)^{-1}X^{T}y $