닫힌 형식 솔루션

closed-form solution = Analytic Solution

이미 확립된 해법을 이용하여 해석적으로 정확한 해를 구하는 방법.

라그랑주의 ‘해석적’에 대한 제안에 따르면, 모든 함수를 무한번 미분가능하고, 멱급수로 전개 가능하다고 가정하였따. 이러한 특징을 갖는 함수를 오늘날 해석함수라고 부른다.

만일, 어떤 미분방적식의 솔루션이 해석적이라고 한다면,

그 미분방적식을 만족하는 ‘구체적인 함수’를 제시할 수 있어야한다.

이 때의 솔루션을 닫힌 형태의 솔루션이라고 한다.

닫힌 형태란 삼각함수, 지수함수, 합성함수 등의 초등함수 또는 잘 알려진 함수로 표현할 수 있다는 의미를 갖는, 비형식적 용어이다.

[정보통신기술용어해설] 해석학

선형회귀의 맥락에서 닫힌 형식 솔루션은 주어진 입력 데이터와 출력 데이터 사의 최적의 직선을 찾는 가중치 벡터를 계산하는데 사용한다.

최소제곱법(Ordinary Least Squares, OLS)

선형 회귀에서 닫힌 형식 솔루션을 구하는 방법 중 하나.

OLS는 예측된 값 $\hat{y} = Xw$와 실제 값 y 사이의 차이(잔차)를 최소화하는 가중치 벡터 $w$를 찾는 방법.

잔차를 최소화하기 위해 잔차 제곱합을 사용한다.

손실함수 L(w)은 아래와 같이 정의된다.

$$ L(w) = ||y-Xw||^2 = (y - Xw)^T(y - Xw) $$