3.3 Orthogonal Projection Ⅰ& II

---

이 글은 Edwith로 부터 제공되는 주재걸 교수님의 "인공지능을 위한 선형대수" 강의를 듣고 요약하였으며, 개인 공부를 위해 부족한 부분을 위해 필요한 개념들을 추가하여 작성하였습니다.

---

 Orthogonal Projection 관점에서 Least Squares Problem을 접근해보자. 이를 위해 선형대수에서 중요한 개념인 Orthogonal Projection을 아래의 주요 개념들과 함께 이해해보자.

 

• Orthogonality

• Orthonormality

• Orthogonal Basis (직교 기저)

• Orthonormal Basis (정규 직교 기저)

• Orthogonal Projection

 이번 절(3.3)에서는 "Orthogonal", "Orthonormal" , "Orthogonal Basic", "Orthogonal Projection"의 정의 및 개념을 알아보고, 예제를 직접 풀어면서 이해를 돕고자 한다. 

 

 

Orthogonal Projection Perspective

---

 지난 3.3절에서 최소제곱법이라는 도구를 이용하여 정사영시켜 해를 구하는 과정으로부터 정규방정식을 도출했었다.

 

[그림 1] Orthogonal Projection (b vector)

 

 

Orthogonal and Orthonormal Sets

---

[그림 2] orthogonal sets 정의 및 Example

 

Orthogonal Sets은 어떤 쌍을 잡아도 서로 내적(Inner Product)을 하면 0(서로 수직)이 되는 성질을 가진다.

 

 

[그림 3] Othonormal sets 정의 및 Example

 

Orthonormal Sets의 정의는 Orhogonal Sets의 성질에 모든 Vector의 크기가 1인 성질을 추가한 것이다.

 

 

 

Q_1 : Orthogonal Sets 또는 Orthonormal Sets의 각각 Sets 들은 서로 Linearly Independent 인가? Dependent 인가? 

 

당연히 Independent일 것이다. (Orthogonal Set 성질 이용)

 

 

Orthogonal and Orthonormal Basis

---

[그림 4] Orthgonal Basis 정의

 특정 공간(W) 내 basis는 서로 Linearly Independent의 성질을 가지지만, basis끼리 수직은 아니다. Orthogonal basis는 basis끼리 수직이 되도록 해줘야 한다. 이렇게 만들어주는 과정을 Gram-Schmidt Process라고 한다.

 

 

 

Orthogonal Projection 𝐲^ of 𝐲 onto Line

---

[그림 5] Line으로 Orthogonal Projection 설명

[그림 6] y Vector 를 Line에 정사영 시킨 y^ Vector를 구하는 Example 

 

 

Orthogonal Projection 𝐲^ of 𝐲 onto Plane

---

Line 뿐만 아니라 2차원 (Plane)에도 정사영(Projection)시킬 수 있다.

 

[그림 7] Plane 으로 Orthogonal Projection 설명 I

[그림 8] Plane 으로 Orthogonal Projection 설명 II

 

 

Transformation: Orthogonal Projection

---

[그림 9] Linear Transformaion관점에서 본 Orthogonal Projection

 벡터 연산에서 허용되는 "교환법칙"과 "결합법칙"을 활용하여(Trick) 정사영하는 것을 Linear Transformaion(Matrix) 관점으로도 볼 수 있다.

 

 

Orthogonal Projection Perspective

---

[그림 10] Orthonormal column을 Projection

[그림 11] 데이터 관점에서 성질이 서로 비슷한 경우 Lasso & Lidge로 해결 가능