k近邻算法中k值得选择

k值得选择会对k近邻的结果产生重大的影响 
如果选择较小的K值，就相当于用较小的邻域中的训练实例进行预测，“学习”的近似误差会减小，只有输入实例较近的训练实例才会对预测结果起作用。但缺点是“学习”的估计误差会增大，预测结果会对近邻实例点非常敏感。如果邻近的实例点恰巧是噪声，预测就会出错。换句话说，k值得减小就意味着整体模型非常复杂，容易发生过拟合 
如果选择较大的k值，就相当于用较大邻域中的训练实例进行预测，其实有点是减少学习的估计误差，但缺点是学习的近似误差会增大。这时与输入实例较远的训练实例也会起预测作用，使预测发生错误，k值得增大就意味着整体的模型变得简单 
如果K=N，那么无论输入实例是什么，都将简单的预测它属于训练实例中最多达到类。这时，模型过于简单，完全忽略训练中的大量有用信息，是不可取的 
在应用中，k值一般取一个比较小的数值，通常采用交叉验证法来选择最优k值