Importance Sampling

在计算期望的时候,需要一个概率分布 \(p(x)\):

\[ \mathbb{E}_p[f(x)] = \int_x f(x)p(x) dx \]

但是任意分布 \(p(x)\) 通常难以从随机数发生器来生成,此时需要借助一个更加容易获得的辅助分布 \(q(x)\) 来解决问题:

\[ \mathbb{E}_p[f(x)] = \int_x f(x)p(x) dx \\ = \int_x f(x)\frac{p(x)q(x)}{q(x)} dx \\ = \int_x \left [f(x)\frac{p(x)}{q(x)} \right ] q(x) dx \]

其中,\(\frac{p(x)}{q(x)}\) 为重要性权重。这样就可以通过分布 \(q(x)\) 进行采样了。