9月 2018每月档案

最大熵原理是在1957 年由E.T.Jaynes 提出的，其主要思想是，在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布。因为在这种情况下，符合已知知识的概率分布可能不止一个。我们知道，熵定义的实际上是一个随机变量的不确定性，熵最大的时候，说明随机变量最不确定。

        在《逻辑回归算法》一问中，我们介绍了逻辑回归算法的原理，这一篇文章，我们将通过逻辑回归算法的原理，动手用python实现一遍，以加深对逻辑回归算法的理解。同时跟scikit-learn的逻辑回归工具进行效果对比。

逻辑回归是机器学习中的一种分类模型，在现实中应用非常广泛。在这篇文章中，我们主要关注逻辑回归算法的模型、参数求解和公式推导，其中涉及到代价函数、最大似然估计、梯度下降等关键知识。同时讨论逻辑回归在多分类问题中的应用，以及过拟合问题的优化。

线性回归算法是机器学习里面最基础、最简单的算法，但是它在实际应用中非常广泛。在接下来的内容，我们将通过一个房价预测问题来引入探讨线性回归算法的数学原理、代价函数、梯度下降算法等。并在分析完原理之后，用python完全实现一遍，并和scikit-learn的机器学习库对比实际的预测效果。