机器学习中的超参数

链接：https://www.quora.com/What-are-hyperparameters-in-machine-learning

在机器学习或者深度学习中，会遇到名词：超参数（hyperparameters）。超参数是用来区别通过数据训练获得的参数。在机器学校中，通过训练数据集获得的模型（Model）的实质是数学表达式，该表达式有不同的参数，这些参数是通过训练过程中来确定的。机器学习的关键：用模型来拟合数据。实现完美拟合的关键是进行模型的训练（Training）。超参数则是一种无法直接通过训练来确定参数取值的一种参数。这种参数从更高的一个层次来对模型进行描述。比如描述模型的复杂性或者学习的快速性。通常在进行模型训练之前，超参数的值是确定的。

理解超参数的定义后，那么在实际的模型训练中该如何确定超参数呢？详细的超参数的确定的方法不在此列出，这里给出简单的思路：通过设置不同的超参数，然后进行模型的训练，最后进行模型的测试，测试结果最好的那组超参数作为最终的结果。

常见的超参数：1.一棵树的叶子数或者深度；2. 矩阵分解中潜在因素的数量；3.模型训练时使用的学习率（learning rate）；4.深度神经网络中隐藏层的数量；5.k均值聚类中聚类的数目。