[선형대수학] Ch 6.4 - The Projection Theorem

https://twlab.tistory.com/34

[Linear Algebra] Lecture 15-(2) 투영행렬(Projection matrix)과 부분 공간(subspaces)

 

위의 블로그 글도 같이 참고하면 좋을 것 같다.

Projection을 하는 이유는 다른 공간 또는 벡터를 또 다른 공간 또는 벡터에 투영(수직 관계)하여 차원을 줄이거나, 원하는 방향으로 크기를 조정하기 위해 사용된다. 

보통 투영을 수직 관계가 되게끔 하는 이유는, 거리가 최소로 되게 하기 위해서이다. 가장 좋은 근사값을 얻을 수 있기 때문에 그런 것이다. 이를 Projection Theorem이라고 하며, 다음과 같다.

pf) 

1.을 증명하기 위해서는 2.을 먼저 증명해야 한다. 2.에서 \(\omega\)가 벡터 v에서 공간 S로 투영한 best approximation이라고 가정했다. S 위의 한 벡터를 \(y\)라고 하자. \(y=\omega + tz\)로 표현 가능하다. (\(t \in R \quad z \in S\)) tz는 addition과 scalar multiplication을 만족하면서 S에 y는 속할 수 있다. \(v\)와 \(y\)를 뺀 벡터의 norm은 다음 식을 따른다.

 

최소 거리를 확보하려면, 이를 만족해야 한다. \(t^{2}||z||^{2}-2t<v-\omega, z> \geq 0 \quad for \quad all \quad z \in S, t \in R\) 해야 한다. 이 식을 \(\phi(t)\) 라고 하면, t=0에서 0이고, 이 함수는 0 이상의 값을 가진다. 이를 고려하면, t=0에서의 미분계수가 0이 나온다면, t=0에서 아래로 볼록하는 왼쪽 위 조건을 만족한다. 일단 \(\phi(t)\)를 미분하면 다음을 만족한다.

또한 여기서 t=0이면, -2<v-w, z> 값이 나온다. 저 부등식이 성립하려면, <v-w,z>=0 이어야 한다. 이로써 projection의 정의인 best approximation을 만족한다. 

3. 을 증명해보자. \({u_1, \cdots u_n}\)을 S의 basis라고 하자. \(\omega = \sum_{j=1}^{n} x_ju_j\)라고 하자. 2.에서 <v-w, z> =0 인 것을 이용하면, 

\(G = \sum_{j=1}^{n} <u_j, u_i> \)이라고 하고, 이를 Gram matrix라고 부른다. 이를 통해 x는 Gx = b (\(b = <v, u_i>\)을 만족하는 x 해이다. 

 

Gram matrix를 이용한 예시를 보자.

위에서 설명한 것을 그대로 예제에 적용한 것이다. 

---

Overdetermined linear systems

Ax = y인 linear system에서, A가 full rank가 아닌, free variable이 있는 상태가 될 때, 명확한 해를 구하기 어렵다. 이때 이용하는 것이 projection와 Least-squares이다. Ax-y의 L2-norm 크기를 줄이면서 approximation(근사값)을 얻으면서, 최대한 x를 근사하게나마 구하고자 하는 것이 목적이다. \(A^{T} A\)으로 내적으로 A를 근사값으로 구하면서 진행한다. 즉, 다음 이론으로 정리할 수 있다. 

이를 Normal equation이라고 부른다. \(A^{T}A\)는 nonsingular, determinant가 0이 아니며, 6.25는 unique solution을 갖게 된다. singular일 때는 이 과정을 계속 반복해서 근사값, least-squares solution을 계속 진행한다. 이때, 여러 번 y를 측정하여 다음과 같이 나타낼 수 있다. 

이를 통해 Ac=y는 다음과 같이 나타난다.

예시를 보자.

 

이렇게 근사값을 구하면서, overdetermined linear system에 대해서도 근사해를 구할 수 있다.