최소제곱법

다중회귀모형에서 최소제곱법은 다음의 함수를 최소화시켜주는 \(\beta\)의 추정량\(\hat{\beta}\)을 선택하는 것을 말한다. 

 

\(Q(\beta) = (y-X\beta)^T(y-X\beta)\)이다.

 

정규방정식은 이것을 베타에 대해 편미분한 결과를 영벡터로 놓고 정리한 것이다.

\(X'X\beta = X'y\)

따라서 \(X^TX\)의 역행렬이 존재하면

\(\beta = (X^TX)^{-1}X^Ty\) 인데 이것이 바로 베타의 최소제곱추정량이다.

 

최소제곱추정량을 이용해 다음값들을 구할수있다.

 

1) 적합값벡터 \(\hat{y}\ = X\hat{\beta} = X(X^T)^{-1}X^Ty = Hy\)

2) 잔차벡터 \(e = y - \hat{y} = (1-H)y\)

 

*H 는 hat matrix이다 : \(X(X^TX)^{-1}X^T\)

특징은 다음과 같다. (1) 대칭행렬이다. : 전치해도 같다. (2)멱등행렬이다. : 제곱해도 같다.

 

3) 잔차제곱합 SSE \(SSE = (y - X\hat{\beta})^T(y - X\hat{\beta}) = y^T(I-H)y\)

 

4) \(\sigma^2 = SSE / (n-p')\)

 

* p'는 일반적으로 회귀계수 수 = 설명변수 개수 +1

 

5) 분산-공분산행렬