NLP入门｜《统计学习方法》学习（七）｜最大熵模型

导读

mark一下学习最大熵模型这一部分时注意到的一些知识点～
声明：以下截图来自书本以及b站课程（up主：简博士）。

一、最大熵原理

最大熵原理认为，在所有可能的概率模型中，熵最大的模型是是最好的模型。

二、最大熵模型 1、模型介绍

其中Ep是真实分布，而有～的是经验分布。

2、拉格朗日乘子法

同时，可以将有约束的最优原始问题转化为无约束的对偶问题进行求解，需要满足的条件是：

3、最大熵模型的学习

接着需要对每一个P(y|x)求偏导数，并令其等于0进行求解。

未完待续

本寒假对于《统计学习方法》一书的学习就到此暂时告一段落啦，后续会缓慢更新进行补充～
下面准备开一个新坑——吴恩达的机器学习系列课程！