이 포스트는 non-conjugate prior 하에서 Dirichlet process mixture model의 posterior sampling을 수행하는 알고리즘들을 소개한다. 다음 두 논문의 내용의 일부를 정리한 것이다.

• Neal, Markov Chain Sampling Methods for Dirichlet Process Mixture Models, 2000.
• Escobar & West, Bayesian Density Estimation and Inference Using Mixtures, 1995.

  0. Setting

이 포스트에서는 Bayes 정리의 증명을 목표로, 그를 위해 필요한 regular conditional distribution 개념을 소개한 후, Bayes 정리의 증명과정을 소개한다.

이 포스트는 “Griffiths, Steyvers - Finding scientific topics, 2004”의 내용을 발췌독 및 정리한 것이다. 이 paper는 collapsed Gibbs sampler를 이용해 LDA의 inference를 보다 효과적으로 수행하는 방법을 제시한다.

이 포스트는 “Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent dirichlet allocation. Journal of machine Learning research”를 공부하고, 요약 정리한 것이다.

5.1 Exchangeable Partitions