2011年1月8日星期六

马尔科夫链蒙特卡洛(一)

马尔科夫链蒙特卡洛(一)

传统的马尔科夫链研究,是给定转移规则,关注平稳分布,而马尔科夫链蒙特卡洛研究中,我们知道想要的平稳分布,任务是构造有效的转移规则,使得它的平稳分布就是想要的那个。

为目标平稳分布。Matropolis-Hastings算法的一般框架是:寻找一个函数T(x, y)满足T(x,y)>0当且仅当T(y,x)>0,

1)​给定当前第t步的状态x[t],依照分布T(x[t], y)随机采y

2)​下一步状态x[t+1]以概率r(x[t],y)等于y(接受,转移),以剩余的概率等于x[t](拒绝,留下)

其中,里面的分子是某个对称函数。

则第t步从状态x转移到y的概率

由分子的对称性得到


这说明上述算法的得到的转移轨迹是可逆的,或者说具备微观平衡的性质,下面证明,这个马尔科夫链以为​不变分布。

也就是说,如果这一时刻的状态分布是,那么下一时刻的状态分布还是

由经典马尔科夫链理论,既然它是非周期正常返的,而且以为不变分布,那么它必然收敛与,即成为平稳分布。​

于是我们得到了采样方法:从某一步开始(即预热后),状态序列x[n].x[n+1],...就是我们需要的样本序列。​

通常取

特别地,当T(x,y)也是对称函数时,它进一步退化成

如果你还记得重要性采样,是不是觉得这个接受概率的式子很​眼熟?

目标分布不好算,但是两个状态的概率之比好算,就交给接受概率好了。这是蒙特卡洛的基本初衷:好算就算,不好算就狂试。


注意MCMC得到的样本的​两个弱点:

1、​方差大

2、不独立





2 条评论:

.: Underground :. 说...

请教楼主, 为什么MCMC之后得到的样本方差大而且不独立呢.? 谢谢你的文章..

.: Underground :. 说...

问题补充, 麻烦楼主可以继续说明一下Gibbs Sampling吗.? 因为小弟觉得很难理解.. 谢谢了..