ESL: Ch 10. Boosting and Additive Trees

2019-02-19

Contents
10.1 Boosting Methods
10.2 Boosting Fits an Additive Model
10.3 Forward Stagewise Additive Modeling
10.4 Exponential Loss and AdaBoost
10.5 Why Exponential Loss?
10.6 Loss Functions and Robustness
10.7 “Off-the-Shelf” Procedures for Data Mining
10.8 Example: Spam Data
10.9 Boosting Trees
10.10 Numerical Optimization via Gradient Boosting
10.11 Right-Sized Trees for Boosting
10.12 Regularization
10.13 Interpretation
10.14 Illustrations

Read More

Reproducing Kernel Hilbert Space & Representer Theorem

2019-02-15

Reproducing kernel Hilbert space는 함수를 어떤 집합 내의 객체로 바라봄으로써, 모형의 학습을 함수 추정의 문제로 바라보는 다른 시각을 제시해준다. 이 포스트는 Reproducing kernel Hilbert space의 기본적인 개념들에 대해 소개하는 것을 목표로 한다. 아래에서 언급한 대부분의 정의는 Wikipedia의 정의를 사용하였다.

Read More