机器学习–使用numpy随机打散训练数据

>本文由Friskit: http://friskit.me/2014/10/22/shuffle-train-data-in-numpy/[1]修改而来。

机器学习中，如果训练数据之间相关性很大（例如：连续的语音分帧），会造成泛化能力很差。通常需要打散训练数据。

如果训练数据data的输入data_x和输出data_y未分开，可以考虑使用np.random.shuffle(data)，shuffle函数直接在data上进行随机打散。

代码块：

pythonimport numpydata_x = numpy.random.random((5,3))data_y = numpy.random.randint(0,2,size=[5,1])data = numpy.hstack((data_x, data_y))print(data)numpy.random.shuffle(data)print(data)

如果训练数据data的输入data_x和输出data_y分来，则使用numpy.random.permutation(data_x.shape[0])，permutation函数返回和data_x等长的打散的索引。

代码块：

pythonimport numpydata_x = numpy.random.random((5,3))data_y = numpy.random.randint(0,2,size=[5,1])print(numpy.hstack((data_x, data_y)))indices = numpy.random.permutation(data_x.shape[0])# indices = numpy.random.permutation(len(data_x))rand_data_x = data_x[indices]rand_data_y = data_y[indices]print(numpy.hstack((rand_data_x, rand_data_y)))

---