最大熵模型总结

最大熵模型总结

最大熵模型总结

声明：引用请注明出处/

摘要

本文对最大熵模型进行了系统性的学习和总结，从不同的角度来解读熵的概念以及最大熵的内涵。对最大熵的具体应用进行了梳理，并介绍了与最大熵相关的一些概念，最后通过一个简单的demo来对最大熵模型进行直观的认识和感悟。

引言

熵，忘了第一次接触是在物理课上还是在化学课上，总之是描述系统的无序性或者混乱状态，跟热力学第二定律的宏观方向性有关：在不加外力的情况下，总是往混乱状态改变；跟化学反应的方向性有关，总是往能量降低的方向改变。印象中，熵总是与能量与混乱状态联系在一起。最近读吴军的《数学之美》最大熵一章节，对于这个最大熵模型有了重新的认识，同时由于在近期的学术论文研究中需要借助最大熵进行决策，因此才促成此次对最大熵模型的总结。

统计建模方法是用来modeling随机过程行为的。在构造模型时，通常供我们使用的是随机过程的采样，也就是训练数据。这些样本所具有的知识（较少），事实上，不能完整地反映整个随机过程的状态。建模的目的，就是将这些不完整的知识转化成简洁但准确的模型。我们可以用这个模型去预测随机过程未来的行为。

在统计建模这个领域，指数模型被证明是非常好用的。因此，自世纪之交以来，它成为每个统计物理学家们手中不可或缺的工具。最大熵模型是百花齐放的指数模型的一种，它表示的这类分布有着有趣的数学和哲学性质。尽管最大熵的概念可以追溯到远古时代，但直到近年来计算机速度提升之