4강 Exploding and Vanishing Gradient of Recurrent Neural Networks

Eigenvectors: Av parallel to v

Av=λv

A: 주어진 행렬, v: 고유 행렬, λ: 고유 값

고유 벡터란 행렬의 변환에서 방향이 변하지 않는 벡터를 의미한다. 즉, 행렬A가 어떤 벡터 v를 변환시킬 때, v의 방향은 변하지 않고 크기만 일정한 배율로 변하는 경우, 그 벡터 v를 A의 고유 벡터라고 한다.

이 때, 변환 전의 v와 A가 곱해져서 변환된 v의 크기는 다를 수 있으며, 특정 상수를 곱한만큼의 차이가 존재할 뿐이다. 여기서 크기를 나타내는 특정 상수는 람다(λ)로 표현되었으며 λ가 고유값(Eigenvalue)이다.

x=[1,1]일 때, x의 변환은 다음과 같다.

수많은 벡터들 가운데 어떤 벡터들은 A에 곱해도 그 방향이 변하지 않거나 원래 자기 자신과 평행한 벡터들이 있다. 이러한 벡터들이 행렬 A의 고유벡터이다.

일반적으로 n x n 크기의 행렬은 n개의 고유벡터를 갖는다.

행렬 A의 고유벡터

고유벡터 A에 의한 변환 결과

고유값과 고유벡터와 A를 통한 선형변환의 비교

고유값 분해를 이용한 대각화(eigen composition)