11.5 Orthogonal Functions & 11.6 Orthogonal Series. Generalized Fourier Series

 

Orthogonal Functions과 이에 대한 Series를 공부할 것이다.
Orthogonal 하다는 의미는 두 함수의 내적이 0이라는 의미이다. 이를 선형대수쪽으로 생각해보면, linearly independent한 관계가 되는 것이다. 이걸 왜 배우는지 생각해보면, 한 함수를 이루는 벡터들의 basis가 무엇으로 이루어졌는지 알기 위해 이 orthogonality가 이용될 수 있다.

\(  \mathbf{y} = c_1 \mathbf{u_1} + c_2 \mathbf{u_2} + \cdots + c_n \mathbf{u_n} \)에서 이 특성들이 서로 직교하면 서로 독립인 linearly independent 관계이다.  \(  \mathbf{y} \)은 각 term이 독립 특성이기에 분리 가능하며, Fourier Series 같은 단원이 중요한 이유는 외부 신호를 Fourier를 이용해 분리 및 활용할 수 있기에 그런 것이다. 이 내용은 선형대수학에서 더 자세히 알 수 있다. 본론으로 들어가보자.
 
Orthogonal Functions은 함수들끼리 내적이 0이라는 의미로, functions \(y_1(x), y_2(x), \cdots\)이 \(a \leq x \leq b\)의 정의역에서 정의되고, orthogonal 하다고 하자. 또한, Weight function \(r(x)\) > 0이고, n ≠ m 일때, 
\[ (y_m, y_n) = \int_{a}^{b} r(x)y_m(x)y_n(x) dx = 0 \] 
여기서 ( , ) 꼴은 내적을 의미하고, weight function은 인공지능 분야에서 우리가 흔히 아는 가중치와 같은 의미이다. 
이 식에서 \( (y_m, y_n) \)은 Standard Notation을 의미한다.
n=m 일때, \( ||y_m||\) 즉, Norm 이라고 하는데, 쉽게 크기라고 생각하면 된다. 
\[ ||y_m|| = \sqrt{ (y_m, y_m) } = \sqrt{\int_{a}^{b} r(x)y_m^2(x) dx}\]
이에 대해 Kronecker symbol을 사용해 값을 간단하게 나타내기도 한다. 
 \[ (y_m, y_n) = \int_{a}^{b} r(x)y_m(x)y_n(x) dx = \begin{cases} 0 & \text{if } n \neq m \\ 1 & \text{if } n = m \end{cases} \]
번외로 Orthonormal Functions이 있는데, 이는 두 벡터(함수)가 직교를 만족하면서 동시에 둘의 크기가 1인 것을 뜻한다. 

예를 들어 설명해보자면, 함수 \(y_m(x) = sinmx, m= 1,2, \cdots \)이고,  정의역 \(-\pi \leq x \leq \pi \)에서 

 \[ (y_m, y_n) = \int_{-\pi}^{\pi}sinmxsinnxdx =  \frac{1}{2} \int_{-\pi}^{\pi} \cos(m-n)x \, dx - \frac{1}{2} \int_{-\pi}^{\pi} \cos(m+n)x \, dx = 0 \]

\[ ||y_m||^{2} = (y_m, y_m) = \int_{-\pi}^{\pi} sin^{2}mxdx = \pi \] 

각 sinx, sin2x.. term을 norm \(||y_m|| =\sqrt {\pi} \)으로 나누면, orthonormal set 들이 된다. 이는 마치 (1,1) 벡터의 크기는 \(\sqrt{2}\)이니, 1로 만들어주기 위해  \(\sqrt{2}\)로 나누는 것과 같은 의미이다.

 

이제 이를 Orthogonal Series로 나타내자. Orthogonal한 관계를 가진 함수들 \(y_0, y_1, y_2, \cdots\)이고, \(a \leq x \leq b \) 정의역에서 weight function \(r(x)\)을 가진다고 했을 때, f(x)를 이 함수들의 결합으로 나타낸다고 했을 때, 

\[ f(x) = \sum_{m=0}^{\infty} a_my_m(x) = a_0y_0(x) + a_1y_1(x) + \cdots \]

이를 orthogonal series, orthogonal expansion, generalized Fourier Series라고 불린다.

이런 f(x)와 y를 내적했을 때,

\begin{align*}
(f, y_n) &= \int_{a}^{b} rfy_n dx \\
&= \int_{a}^{b} r\left(\sum_{m=0}^{\infty} a_my_m\right)y_n dx \\
&= \sum_{m=0}^{\infty} a_m \int_{a}^{b} ry_my_n dx \\
&= \sum_{m=0}^{\infty} a_m(y_m, y_n)
\end{align*}

 \( (y_n, y_n) \) 일 때만을 제외하고 orthogonality 성질에 의해 나머지 내적은 0이 되므로 

\[(f, y_n) = a_n||y_n||^{2} \]

가 된다. coefficient는 \[a_m = \frac{(f, y_m)} {||y_m||^{2}} = \frac {1}{||y_m||^{2}} \int_{a}^{b} r(x)f(x)y_m(x)dx \]

이는 우리가 11.1에서 정의한 \(a_n\)을 일반화한 식인 것이다. 

Orthogonality of Bessel Functions과 같이 어려운 개념 및 활용 부분은 내용이 어려운 관계로..나중에 따로 정리하는 걸로 한다.