4.1 Eigenvectors and Eigenvalues

---

 이 글은 Edwith로 부터 제공되는 주재걸 교수님의 "인공지능을 위한 선형대수" 강의를 듣고 요약하였으며, 개인 공부를 위해 부족한 부분을 위해 필요한 개념들을 추가하여 작성하였습니다.

---

 고유값 분해는 이미 널리 알려지고 다양한 분야에서 쓰이고 있는 주성분분석(PCA: Principal Component Analysis) 등의 주요 머신러닝 알고리즘에서 중요하게 쓰이는 개념입니다. 이번 절에서는 고유값 분해를 배우기 위한 첫 단계인 고유벡터와 고유값의 개념에 대해 배워보도록 하겠습니다.

 이번 절(4.1)에서는 "Eigenvectors(고유벡터)", "Eigenvalues(고유값)"의 정의 및 개념을 알아보고, 예제를 직접 풀어면서 이해를 돕고자 합니다.

 

Eigenvectors and Eigenvalues

---

 정의를 알아보기 전에 간단한 예제를 통해 "고유값 및 고유벡터"가 어떤 성질인지 직관적으로 확인해보자.

[그림 1] vector space가 2인 공간에서의 선형변환

 u vector 와 v vector가 있을 때, 각각의 Vector를 A Matrix로 Linear Transformation 시켜보자. 그 결과는 Au의 결과는 u의 scalar 곱으로 성립을 못하며, Av의 결과는 v의 scalar(2) 곱으로 성립한다. 어떤 벡터를 선형변환하였을때 ⓑ처럼 Av = 2v가 성립되는 경우 scalar 2를 Eigenvalue라고 하며, v vector를 Eigenvector라고 부른다.

Eigenvector 및 Eigenvalue의 정의

[그림 2] Eigenvector 및 Eigenvalue의 정의

 

Example 1. Are u and v eigenvectors of A ?

 정의를 이용하면 u vector는 식을 만족하기 때문에 Eigenvalue는 -4, Eigenvector는 [6, -5] 임을 구할 수 있다. 하지만, v vector는 식을 만족하지 못하기 때문에 Eigenvalue와 Eigenvector를 구할 수 없다.

Example 2. Show that 7 is an eigenvalue of A, and find the corresponding eigenvector.

[그림 2] Eigenvector 구하기

Transformation Perspective

---

앞서 배운 선형변환으로 𝑇(x) = 𝐴x 관점으로 고려해보자. 

 만약 x vector가 Eigenvector 라면, 𝑇(x) = 𝐴x = 𝜆𝐱 를 만족할 것이다. 이때 x vector를 선형변환한 결과(𝑇(x) = 𝐴x)는 원래의 x vector와 같은 방향을 가지지만, vector의 크기는 𝜆만큼 상수배한 값(𝜆𝐱)이다. 

위 예제를 다시 가져왔다. ⓑ 과정을 보면 기하학적으로 확인할 수 있다.

[그림 1] vector space가 2인 공간에서의 선형변환

Computational Advantage

---

[그림 3] Computational Advantage

 

최근 컴퓨터 사양이 매우 좋아졌기 때문에 위의 계산은 큰 차이가 없을것 같습니다.

 

 

 

 

Eigenvectors and Eigenvalues

---

[그림 4] equation of 𝐴𝐱 = 𝜆𝐱

 nontrivial solution 이유 : x eigenvector는 정의에 의해 nonzero vector이기 때문에, 위의 방정식을 만족하기 위해서는 (A - 𝜆I) Matrix의 Column들은 각각 linearly dependent하여야 한다.  

 

 

Summary

---

• Eigenvector

• Eigenvalue

• Eigenspace (4.2 절)