4.2 Null Space and Orthogonal Complement

이 글은 Edwith로 부터 제공되는 주재걸 교수님의 "인공지능을 위한 선형대수" 강의를 듣고 요약하였으며, 개인 공부를 위해 부족한 부분을 위해 필요한 개념들을 추가하여 작성하였습니다.

이번 시간에서는 고유값과 고유벡터의 개념과 이를 구하는 과정을 벡터 공간과 결부시켜 더 깊히 이해하기 위해 새로운 벡터 공간의 개념을 배워보도록 하겠습니다.

이번 절(4.2)에서는 "Null Space(영공간)", "Orthogonal Complement(직교여공간)"의 정의 및 개념을 알아보고, 예제를 직접 풀어면서 이해를 돕고자 합니다.

Eigenspace의 정의

The eigenspace consists of the zero vector and all the eigenvectors corresponding to 𝜆, satisfying the above equation.

Example 1. λ = 2, find a basis for the corresponding eigenspace.

Null Space

𝐴𝐱 = 𝟎 을 만족하는 𝐴 집합을 Nul 𝐴 라고 한다.

내적 관점에서는 '0'을 만족하는 x, y를 구하는 것이나, 서로 직교한다면 내적이 '0'이 되는 개념을 활용한다면, 매트릭스 𝐴 의 각각의 row 벡터(a1, a2, a3)과 직교하는 [x, y] 벡터의 좌표를 구하는 것과 동일하다.

Orthogonal 관점에서의 Null Space

영공간에 대한 이해를 위해 각도에 대한 개념을 추가로 덧붙인다. 각도가 선형 종속(linearly dependent)이라면 평면 안에 들어온다는 뜻이다. Projection 하면 평면과 벡터의 각도는 '0'이 된다. 1도만 있어도 선형 독립(linearly independent)하게 된다. 직교(orthogonal) 하다는 것은 이 각도가 90도가 된다. 따라서, 선형 독립이 직교하지 않을 수 있지만 직교한 벡터는 항상 선형 독립이다.

Fundamental Subspaces Given by 𝐴

위에 설명했던 Matrix 𝐴로 설명을 하면, Colum space가 있는 전체 집합은 3차원이다. Row space는 row들이 span 하는 subspace를 의미하며, 기본적으로 2차원에 포함된다.

선형 독립하는 벡터를 Gram Schmidt를 통해서 각도가 1도라도 삐져나온다면, prjection을 하여 수직은 벡터를 찾을 수 있다.

즉, 선형 독립(linearly independent)하는 벡터를 찾을 수 있다면 Gram Schmidt를 하여 직교하는 벡터를 찾을 수있다.

Rank Theorem

Row A 벡터 [1, 2, 3]과 선형 독립인 벡터를 직교하는 벡터들의 집합은 평면을 이루므로, Row space가 선이라면, Null space는 평면이 된다. 따라서 Nul A 또는 base 벡터는 2차원이 된다.

N개의 차원에서 찾을 수 있는 base 벡터는 N가 되듯, 3차원의 벡터가 있을 때 row space의 base 벡터가 1이라는 말은 Null space를 2개(3-1)까지 찾을 수 있다. 따라서, 3 = dim Row A + dim Nul A 으로 직관적으로 이해할 수 있으며, rank-nullity theorem이라고 한다.