논문 제목: Sill, Joseph, et al. “Feature-weighted linear stacking.” arXiv preprint arXiv:0911.0460 (2009)
Stacking은 앙상블 기법 중 하나로 second-level learning algorithm에 여러 weak model들의 prediction을 input으로 넣는 기법을 말한다. 이러한 meta-feature들을 이용함으로써 앙상블 기법의 성능을 올렸지만, 기존의 stacking 기법들은 nonlinear 방식을 사용하여 많은 tuning과 학습시간을 필요로 했다. 본 논문에서는 linear한 stacking 방식인 Feature-Weighted Linear Stacking (FWLS)를 제안한다. 기본적으로 FWLS는 모델 예측 값들을 선형적으로 결합하여 meta-feature의 선형 함수로 만든다. 이는 기존의 linear regression이 meta – features를 잘 못 뽑던 단점이 있었는데, 이를 해결한다. 요약하자면, model들을 meta-feature들의 linear function으로 나타낸다. 가장 먼저 blended prediction function b(x)를 구한다. B(x)는 아래와 같은 식으로 주어지는데, 이는 각각의 모델에서 나온 prediction 값들의 가중합으로 이해할 수 있다. 각각의 모델은 SVD, K-NN, RBM 등으로 다양하다.
이를 FWLS optimization을 통해 최적화한다. 식은 아래와 같다.
y(x)는 datapoint x에 대한 target prediction을 의미한다. Fg는 meta-feature function의 prediction을 의미한다. 결론적으로 다음과 같은 식을 이용하여 linear regression과 parametrized coefficient을 이용하여 meta-feature을 적절히 뽑아 정확도를 향상시켰다.
