自从发现马尔科夫链之后，马尔可夫便开始进行深度挖掘。

    一个系统的某些因素在转移中，第n次结果只受第n-1的结果影响，只与当前所处状态有关，与其他无关。在马尔科夫分析中，引入状态转移这个概念。所谓状态是指客观事物可能出现或存在的状态；状态转移是指客观事物由一种状态转移到另一种状态的概率。

    马尔可夫认为自己可以对一个系统进行预测，自己可以当一个完美的算命先生。

    就是使用马尔可夫转移矩阵法。

    假定某大学有1万学生，每人每月用1支牙膏，并且只使用“中华”牙膏与“黑妹”牙膏两者之一。根据本月（12月）调查，有3000人使用a牙膏，7000人使用b牙膏。又据调查，使用a牙膏的3000人中，有60％的人下月将继续使用a牙膏，40％的人将改用b牙膏；使用b牙膏的7000人中，有70％的人下月将继续使用b牙膏，30％的人将改用a牙膏。

    现用\拟用a牙膏b牙膏

    a牙膏60％40％

    b牙膏30％70％

    根据这个表，马尔可夫用矩阵表示。

    b=[60%40%]

    [30%70%]

    称为转移概率矩阵。可以看出，转移概率矩阵的一个特点是其各行元素之和为1。在本例中，其经济意义是：现在使用某种牙膏的人中，将来使用各种品牌牙膏的人数百分比之和为1。

    有了转移矩阵，可以预测下一个月（1月）的使用各种牙膏的人数。

    （3000，7000）[60%40%]=（3900，6100）

    [30%70%]

    如果转移概率矩阵不变，继续可以预测2月份情况

    （3900，6100）[60%40%]=（4170，5830）

    [30%70%]

    二月份使用牙膏数也知道了。

    而且从中可以看出其中2个月的变化，就是这个矩阵的二次方。

    辛钦对马尔可夫说：“你发现的第n次结果只受第n-1的结果影响，只与当前所处状态有关，与其他无关。这个会有很大作用吗？感觉n-1以前的全部作废了？”

    马尔可夫说：“你的脑子还是没转过来吧。n-1与n-2有关联，n-2与n-3有关联啊！”

    辛钦说：“我们不是要研究n的状态吗？前面的我们还要管他干嘛？”

    马尔可夫说：“很多系统，在时间演变过程中，我们只是取到其中几个时间点的一些碎片。我们要把整个系统的演化过程推演出来，之后分成很多段时间点，把从上到下的每个转移矩阵推敲出来，然后对系统前后的变化进行推敲。”

    辛钦摇摇头说：“概率转移矩阵又不是恒定的？你这样做的意义？”

    马尔可夫说：“不一样，所以可以把每个状态的概率矩阵都写出来，然后观察其中的变化。”

    辛钦说：“试图寻找稳定的，或者即使是不稳定的，也是可预测的那种？”

    辛钦说：“是的。”

    后来结合蒙特卡洛，马尔科夫又发现了马尔可夫链蒙特卡洛方法(markovchainmontecarlo)，简称mcmc，产生于19世纪50年代早期，是在贝叶斯理论框架下，通过计算机进行模拟的蒙特卡洛方法(montecarlo)。该方法将马尔科夫(markov)过程引入到montecarlo模拟中，实现抽样分布随模拟的进行而改变的动态模拟，弥补了传统的蒙特卡罗积分只能静态模拟的缺陷。mcmc是一种简单有效的计算方法，在很多领域到广泛的应用，如统计物、贝叶斯(bayes)问题、计算机问题等。