机器学习校招笔记1:bootstrap

Bootstrap又称自助法，一种有放回的抽样方法，是用小样本估计总体值的一种非参数方法。

Bootstraping: 名字来自成语“pull up by your own bootstraps”，意思是依靠你自己的资源，称为自助法，它是一种有放回的抽样方法，它是非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法。其核心思想和基本步骤如下：

• 采用重抽样技术从原始样本中抽取一定数量（自己给定）的样本，此过程允许重复抽样。
• 根据抽出的样本计算给定的统计量T。
• 重复上述N次（一般大于1000），得到N个统计量T。
• 计算上述N个统计量T的样本方差，得到统计量的方差。
  应该说Bootstrap是现代统计学较为流行的一种统计方法，在小样本时效果很好。通过方差的估计可以构造置信区间等，其运用范围得到进一步延伸。 i
  Jackknife： 和上面要介绍的Bootstrap功能类似，只是有一点细节不一样，即每次从样本中抽样时候只是去除几个样本（而不是抽样），就像小刀一样割去一部分。