통계학 혹은 머신러닝에서, 모형의 학습은 목적함수를 최소화(혹은 최대화)하여 모형의 parameter의 최적 값을 찾음으로써 이루어진다. Lagrangian method는 제약 하 최적화 문제를 해결하는 가장 대표적인 방법 중 하나이다. 이 포스트에서는 Lagrange dual problem에 대한 이해, 그리고 그 과정에서 필요한 최적화 이론의 몇 가지 개념들을 함께 소개하고자 한다. 또한 포스트의 후반부에서는 Karush-Kuhn-Tucker 조건에 대해 소개한다. strong duality가 보장이 되었을 때, Karush-Kuhn-Tucker 조건은 어떤 벡터들이 최적화 문제의 primal solution과 dual solution이 되는 것과 필요충분 관계의 조건이 된다는 점에서 매우 의미가 있는 조건이다.

Contents
1. Introduction
2. Theoretical Background of Bootstrap Method
3. R Example
4. Application

Contents
1. EM Algorithm as Maximization-Maximization Procedure
1.1. Deriving a Lower Bound of Log-likelihood
1.2. E-step: Maximizing the Lower Bound with respect to $\tilde P$
1.3. M-step: Maximizing the Lower Bound with respect to $\theta’$
1.4. Why Does EM Algorithm Work?
2. EM Algorithm and KL Divergence

Contents
9.1 Generalized Additive Models
9.2 Tree-Based Methods
9.3 PRIM: Bump Hunting
9.4 MARS: Multivariate Adaptive Regression Splines
9.5 Hierarchical Mixtures of Experts
9.6 Missing Data
9.7 Computational Considerations

Contents
Gaussian Mixture Model with 2 Mixture Components
Gaussian Mixture Model: General Case