作业7关于pdf和采样的理解

对蒙特卡洛采样有一定的疑惑，下面将介绍一些蒙特卡洛采样的概念。

对于随机变量X，我们有函数f(x)和其概率密度函数p(x)，我们想要估计函数f(x)积分的值,通常来说我们想要知道蒙特卡洛采样结果$g(x)=\frac{1}{n}*\sum_{1}^{n}{\frac{f(x)}{p(x)}}$。

需要注意的是，蒙特卡洛方法要求对于任何f(x)存在的地方p(x)>0。

我们简单证明其期望相等

其中$E[\frac{f(x)}{p(x)}]=\int{\frac{f(x)}{p(x)}*p(x)}=\int{f(x)}$

我们通过上述方法就可以简单求到该函数的积分的期望。

实质上我们蒙特卡洛采样，是对任意概率分布为p(x)的函数f(x)，采样其期望，即采样$\int{p(x)*f(x)}$，如果我们在这里直接按照x的分布采样，我们直接取到不同的f(x)求平均即可，求得期望E[f(x)]。

下面有一个问题，我们如何对任意一个随机变量X关于他的概率分布p(x)，进行抽样？

简单说明一下，假设我们有[0,1]之间的均匀分布u，有函数T(u)=x，其cdf，$P(x) = Pr(X \le x) = Pr(T(u)\le x)=Pr(u \le T^{-1}(x))$，由于u是均匀分布$Pr(u<T^{-1}(x)) = T^{-1}(x)$，因此我们有$T(x) = P^{-1}(x)$，即我们对PDF函数的逆函数按[0,1]的均匀分布进行采样即可。

通过上面的推理，我们可以看出，我们的积分函数和抽样的变量可以没有关系，求期望时，我们将p(x)*f(x)当做我们的目标积分函数g(x)，然后取任意一个满足需求的随机变量u，有概率p(u)，都可以完成对该部分积分的计算。这也提出了重要性采样的概念。

具体如下图所示：

我们主要关注，选取的随机变量x关于概率q(x)时，该期望的方差是多少，方差越小，效果也就越好。简单来说，我们选取的概率密度函数q(x)越接近于g(x)的形状，那么其采样效果越好。

【进行方差分析】