fit_transform的一点小姿势

来源:互联网 发布:安祖赛弗的数据1 编辑:程序博客网 时间:2024/05/16 09:45

  • 回顾fit_transform和transform的区别——
  • 二者的功能都是对数据进行某种统一处理(比如标准化~N(0,1),将数据缩放(映射)到某个固定区间,归一化,正则化等)
  • fit_transform(partData)对部分数据先拟合fit,找到该part的整体指标,如均值、方差、最大值最小值等等(根据具体转换的目的),然后对该partData进行转换transform,从而实现数据的标准化、归一化等等。。
  • 根据对之前部分fit的整体指标,对剩余的数据(restData)使用同样的均值、方差、最大最小值等指标进行转换transform(restData),从而保证part、rest处理方式相同。
  • 必须先用fit_transform(partData),之后再transform(restData)
  • 如果直接transform(partData),程序会报错
  • 如果fit_transfrom(partData)后,使用fit_transform(restData)而不用transform(restData),虽然也能归一化,但是两个结果不是在同一个“标准”下的,具有明显差异。
然后,本人在实际使用fit_transform时,发现:
ValueError: Expected 2D array, got 1D array instead:
array=[ 0.6670329  -2.31319475 -1.86019874 ..., -0.32550257 -0.52007306
 -0.3958264 ].
Reshape your data either using array.reshape(-1, 1) if your data has a single feature or array.reshape(1, -1) if it contains a single sample.

提示需要reshape。

fit_transform(dataset3_preds.label)变为,fit_transform(dataset3_preds.label.reshape(-1,1)) 即可

至于reshape(-1,1)的作用,可参考http://www.cnblogs.com/iamxyq/p/6683147.html
原创粉丝点击