python数据保存加载(numpy)

来源:互联网 发布:python运维脚本优势 编辑:程序博客网 时间:2024/06/05 20:11

1、numpy数据存储及加载

转载自:http://www.cnblogs.com/dmir/p/5009075.html
作者:奋斗的珞珞
NumPy提供了多种存取数组内容的文件操作函数。保存数组数据的文件可以是二进制格式或者文本格式。二进制格式的文件又分为NumPy专用的格式化二进制类型和无格式类型。

1.1 tofile()和fromfile()

  • tofile()将数组中的数据以二进制存入文件,输出的数组并不保存数组形状和元素类型等信息。
  • fromfile() 函数读入数据时,需要用户明确指定元素类型,并对数组形状进行适当的需改。

这里写图片描述

从上面的例子可以看出,在读入数据时:需要正确设置dtype参数,并修改数组的shape属性才能得到和原始数据一致的结果。无论数据的排列顺序是C语言格式还是Fortran语言格式,tofile()都统一使用C语言格式输出。此外如果指定了sep参数,则fromfile()和tofile()将以文本格式对数组进行输入输出。sep参数指定的是文本数据中数值的分隔符

1.2save()和load()

  • NumPy专用的二进制格式保存数据,它们会自动处理元素类型和形状等信息
  • 如果想将多个数组保存到一个文件中,可以使用savez()
  • savez()的第一个参数是文件名,其后的参数都是需要保存的数组,也可以使用关键字参数为数组起名
  • 非关键字参数传递的数组会自动起名为arr_0、arr_1、…。
  • savez()输出的是一个扩展名为npz的压缩文件,其中每个文件都是一个save()保存的npy文件,文件名和数组名相同
  • load()自动识别npz文件,并且返回一个类似于字典的对象,可以通过数组名作为键获取数组的内容
  • 这里写图片描述

    可以看出,以上调用风格跟matlab调用很相似(*.mat)

In [19]: b=np.arange(0,1,0.1)In [20]: bOut[20]: array([ 0. ,  0.1,  0.2,  0.3,  0.4,  0.5,  0.6,  0.7,  0.8,  0.9])In [21]: c=np.sin(b)In [22]: np.savez('out.npz',a,b,sin_array=c)In [23]: r=np.load('out.npz')In [24]: r['arr_0']Out[24]: ##输出aarray([[0, 1, 2],       [3, 4, 5]])In [25]: r['b']  ##直接用名称调用,会出错----------------------------------------------------------KeyError: 'b is not a file in the archive'In [26]: r['sin_array']  ######### 利用别名,可以成功调用Out[26]:array([ 0.        ,  0.09983342,  0.19866933,  0.29552021,  0.38941834,        0.47942554,  0.56464247,  0.64421769,  0.71735609,  0.78332691])

1.3 savetxt()和loadtxt()

  • 只能处理 1维和2维数组
  • 可以用于CSV格式文本文件
array([[  0. ,   0.5,   1. ,   1.5,   2. ,   2.5],       [  3. ,   3.5,   4. ,   4.5,   5. ,   5.5],       [  6. ,   6.5,   7. ,   7.5,   8. ,   8.5],       [  9. ,   9.5,  10. ,  10.5,  11. ,  11.5]])InIn [31]: np.savetxt('a.txt',a) #缺省按'%.18e'格式保存数值,以空格分隔

这里写图片描述

上述为保存的文件数据格式。

In [34]: np.savetxt('a.txt',a,fmt='%d',delimiter=',')In [35]: b=loadtxt('a.txt',delimiter=',')In [36]: b=np.loadtxt('a.txt',delimiter=',')In [37]: bOut[37]:array([[  0.,   0.,   1.,   1.,   2.,   2.],       [  3.,   3.,   4.,   4.,   5.,   5.],       [  6.,   6.,   7.,   7.,   8.,   8.],       [  9.,   9.,  10.,  10.,  11.,  11.]])In [38]: b.dtypeOut[38]: dtype('float64')   ### 导入的数据格式依然是float形式

使用matlab可直接加载txt数据

 load('a.txt') 或 [a1,a2,a3,a4]=textread('test1.txt','%s%s%s%s','headerlines',4)说明:%s可以是其他形式,跟读入的数据类型有关,比如这里也可以用%n,%f等。这里%s的个数和[a1,a2,a3,a4]对应