[선형대수] Least Square (최소자승)

211125 작성

Least Square

provides the approximiation of the solution for the over-determined system

 

 

: arg 계속 바꿔주는 인자 (파라미터 매개변수)
: vector Ax 는 column space Col A 안에 있다
: Col A에서 b와 가장 가까운 포인트

 

normal equation

if C =   A(T)A  is invertible (=singular)

: A 가 square matrix 이면
A, A(T)A, AA(T)   모두 invertible or singular

Another Derivation of Normal Equation

symmetric matrix 경우
- 항상 diagonoalizable 임
- eigen value 는 real number
- eigen vector 들은 모두 orthogonal 임

 

A(T)A 는 항상 symmetric matrix
: 최소한 positive semi-definite, 만일 -인 eigen value 없을 시 positive definite

- symmetric matrix 가 positive definite 경우 eigen value 들은 모두 양수
=> 즉 invertible
- symmetric matrix 가 positive semi=definite 경우, eigen value 모두 0