python数据分析（数据检索、加工与存储）

1、利用numpy和pandas对CSV文件进行写操作。

a)：numpy的savetxt()函数是与loadtxt()相对应的一个函数，它能以诸如CSV之类的区隔型文件格式保存数组。

代码：

import numpy as npnp.random.seed(42)a=np.random.randn(3,4)  #生成3行4列0到1之间的随机数组a[2][2]=np.nanprint anp.savetxt('np.csv',a,fmt='%.2f',delimiter=',',header="#1,#2,#3,#4")  #保存到文件CSV格式

运行结果：

[[ 0.49671415 -0.1382643   0.64768854  1.52302986] [-0.23415337 -0.23413696  1.57921282  0.76743473] [-0.46947439  0.54256004         nan -0.46572975]]

b)：利用随机数组来创建pandas DataFrame。利用pandas的to_csv()方法可以为CSV文件生成DataFrame。

代码：

df=pd.DataFrame(a)print dfdf.to_csv('pd.csv',float_format='%.2f',na_rep="NAN!")

运行结果：

          0         1         2         30  0.496714 -0.138264  0.647689  1.5230301 -0.234153 -0.234137  1.579213  0.7674352 -0.469474  0.542560       NaN -0.465730

2、numpy.npy与pandas DataFrame

a)：大部分情况下，用CSV格式存储文件时一个不错的主意，因为大部分程序设计语言都能处理这种格式，所以交流起来非常方便。然而，这种格式有一个缺陷，就是存储效率不是很高，原因是CSV及其他纯文本格式中含大量空白符。
代码：

import numpy as npimport pandas as dpfrom tempfile import NamedTemporaryFile  #临时文件，不能被其他程序使用，用完销毁from os.path import getsizeimport picklenp.random.seed(42)a=np.random.randn(365,4)temf=NamedTemporaryFile()np.savetxt(temf,a,delimiter=',')print "Size CSV file:",getsize(temf.name)temf=NamedTemporaryFile()np.save(temf,a)temf.seek(0)loaded=np.load(temf)print "Shape:",loaded.shapeprint "Size .npy file",getsize(temf.name)

运行结果：

Size CSV file: 36864Shape: (365L, 4L)Size .npy file 11760