当前位置：网站首页>Chapter 14 主题模型

Chapter 14 主题模型

2022-08-07 15:01:00 【桑之未落0208】

1 LDA模型

1.1 LDA的应用方向

信息提取和搜索（语义分析）；文档分类、聚类、文章摘要、社区挖掘；基于内容的图像聚类、目标识别（以及其他计算机视觉应用）；生物信息数据的应用

1.2 LDA出现的原因

前文提到的“朴素贝叶斯”可以胜任许多文本分类问题，但是无法解决一词多义（花：花朵和花费）和多词一义（陛下：天子和皇上）的问题·。因此可以通过增加“主题”的方式，一定程度上解决这些问题。

针对一词多义的情况：在主题模型中一个词可能被映射到多个主题中。

针对多词一义的情况：在主题模型中多个同意思的词可能被映射到某个主题的概率很高。

2 Beta分布-Dirichlet分布

2.1 Beta分布介绍

Beta分布的概率密度为： $f(x)=\left\{\begin{matrix} \frac{1}{B(\alpha ,\beta )x^{\alpha -1}(1-x)^{\beta -1}},x\in [0,1]\\ 0,others \end{matrix}\right.$ ，其中系数B为： $B(\alpha ,\beta )=\int_{0}^{1}x^{\alpha -1}(1-x)^{\beta -1}dx=\frac{\Gamma (\alpha )\Gamma (\beta )}{\Gamma (\alpha +\beta )}$

PS: $\Gamma$ 函数的介绍

$\Gamma$ 函数是阶乘在实数上的推广: $\Gamma (x)=\int_{0}^{+\infty }t^{x-1}e^{-t}dt=(x-1)!$

由此： $\Gamma(x)=(x-1)\Gamma (x-1)\Rightarrow \frac{\Gamma (x)}{\Gamma (x-1)}=x-1$

2.2 Beta分布的期望

$E(x)=\int_{0}^{1}x\cdot \frac{1}{B(\alpha ,\beta )}x^{\alpha -1}(1-x)^{\beta -1}dx= \frac{1}{B(\alpha ,\beta )}\int_{0}^{1}x^{(\alpha+1)-1 }(1-x)^{\beta -1}dx=\frac{B(\alpha +1,\beta )}{B(\alpha ,\beta )}=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}/\frac{\Gamma (\alpha +\beta +1)}{\Gamma (\alpha +1)\Gamma (\beta )}=\frac{\alpha }{\alpha +\beta }$

2.3 共轭先验分布相关介绍

由于x为给定样本， P(x) 有时被称为“证据”，仅仅是归一化因子，如果不关心 $P(\theta |x)$ 的具体值，只考察 $\theta$ 取何值时后验概率 $P(\theta |x)$ 最大，所以省去分母：

$P(\theta |x)=\frac{P(x |\theta )P(\theta )}{P(x)}\propto P(x |\theta )P(\theta )$

在贝叶斯概率理论中，如果后验概率 $P(\theta |x)$ 和先验概率 $P(\theta )$ 满足同样的分布律（即两者概率相等），那么先验分布和后验分布叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。

二项分布和先验问题：投掷一个非均匀硬币，可以使用参数为 $\theta$ 的伯努利模型， $\theta$ 为硬币正面的概率，那么结果x的分布形式为： $P(x|\theta )=C_{n}^{k}\cdot \theta ^{k}\cdot (1-\theta )^{n-k}$ ；两点分布/二项分布的共轭先验是Beta分布，它具有两个参数 $\alpha,\beta$ ，其分布形式为 $P(\theta |\alpha ,\beta )=\left\{\begin{matrix} \frac{1}{B(\alpha ,\beta )}\theta ^{\alpha -1}(1-\theta )^{\beta -1},\theta \in [0,1]\\ 0,others \end{matrix}\right.$
先验概率和后验概率的关系：

先验概率—— $P(x|\theta )=C_{n}^{k}\cdot \theta ^{k}\cdot (1-\theta )^{n-k}$

Beta分布—— $P(\theta |\alpha ,\beta )=\frac{1}{B(\alpha ,\beta )}\theta ^{\alpha -1}(1-\theta )^{\beta -1}$

后验概率—— $P(\theta |x)=\frac{P(x|\theta )\cdot P(\theta )}{P(x)} \propto P(x|\theta )\cdot P(\theta )=(C_{n}^{k}\theta ^{k}(1-\theta )^{n-k})\cdot(\frac{1}{B(\alpha ,\beta )}\theta ^{\alpha -1}(1-\theta )^{\beta -1})=\frac{C_{n}^{k}}{B(\alpha ,\beta )}\theta ^{(k+\alpha )-1}(1-\theta )^{(n-k+\beta )-1}\propto \frac{1}{B(k+\alpha ,n-k+\beta )}\theta ^{(k+\alpha )-1}(1-\theta )^{(n-k+\beta )-1}$

后验概率是参数为 $(K+\alpha,n-k+\beta )$ 的Beta分布，即：伯努利分布/二项分布的共轭先验是Beta分布。

分析：参数 $\alpha ,\beta$ 是决定参数 $\theta$ 的参数，即超参数；我们可以看到参数 $\theta$ 的指数是由 $\alpha ,\beta ,k,n-k$ 共同决定的；这个指数在投硬币实验中的实践意义——投币过程中，正面朝上的次数， $\alpha$ 和 $\beta$ 先验的给出了在没有任何实验前提下，硬币朝上的概率分配，因此 $\alpha$ 和 $\beta$ 可被称为“伪计数”。

2.4 共轭先验的直接推广

从Beta分布推广至Dirichlet分布：

$f(\overrightarrow{p}|\overrightarrow{\alpha })=\left\{\begin{matrix} \frac{1}{\Delta (\overrightarrow{\alpha })}\prod_{k=1}^{K}P_{k}^{\alpha _{k}-1},P_{k}\in [0,1]\\ 0,others \end{matrix}\right.$

简记为： $Dir(\overrightarrow{p}|\overrightarrow{\alpha })=\frac{1}{\Delta (\overrightarrow{\alpha })}\prod_{k=1}^{K}P_{k}^{\alpha _{k}-1}$ ，其中： $\Delta (\overrightarrow{\alpha })=\frac{\prod_{k=1}^{K}\Gamma (\alpha _{k})}{\Gamma (\sum_{k=1}^{K}\alpha _{k})}$