Numpy知识总结

什么是Numpy

Numpy是Python的一个科学计算的库，主要提供矩阵运算的功能，而矩阵运算在机器学习领域应用非常广泛,Numpy一般与Scrapy、matplotlib一起使用。
虽然python中的list已经提供了类似于矩阵的表示形式，不过numpy为我们提供了更多的函数。

安装导入了Numpy

（通用做法import numpy as np 简单输入）

>>> import numpy as np>>> print np.version.version1.6.2

Numpy组成

Numpy基础部分中，有两个主要内容，如下：
任意维数的数组对象（ndarray，n-dimensional array object）
通用函数对象（ufunc，universal function object）

多维数组

Numpy中的数组

Numpy中，最重要的数据结构是：多维数组的类型（numpy.ndarray）
ndarray由两部分组成：
1,实际所持有的数据；
2,描述这些数据的元数据（metadata）

与Python原生支持的List类型不同，数组的所有元素必须同样的类型。
数组（即矩阵）的维度被称为axis，维数称为 rank
ndarray 的重要属性包括:
ndarray.ndim：数组的维数，也称为rank
ndarray.shape：数组各维的大小，对一个n行m列的矩阵来说， shape 为 (n,m)
ndarray.size：元素的总数。
ndarray.dtype：每个元素的类型，可以是numpy.int32, numpy.int16, and numpy.float64等
ndarray.itemsize：每个元素占用的字节数。
ndarray.data：指向数据内存。

ndarray常用方法示例

使用numpy.array方法

以list或tuple变量为参数产生一维数组：

>>> print np.array([1,2,3,4])[1 2 3 4]>>> print np.array((1.2,2,3,4))[ 1.2  2.   3.   4. ]>>> print type(np.array((1.2,2,3,4)))<type 'numpy.ndarray'>

以list或tuple变量为元素产生二维数组或者多维数组：

>>> x = np.array(((1,2,3),(4,5,6)))>>> xarray([[1, 2, 3],       [4, 5, 6]])>>> y = np.array([[1,2,3],[4,5,6]])>>> yarray([[1, 2, 3],       [4, 5, 6]])index 和slicing ：第一数值类似数组横坐标，第二个为纵坐标>>> x[1,2]6>>> y=x[:,1]     #取第二列>>> yarray([2, 5])涉及改变相关问题，我们改变上面y是否会改变x？这是特别需要关注的！>>> y[0] = 10>>> yarray([10,  5])>>> xarray([[ 1, 10,  3],     [ 4,  5,  6]])

通过上面可以发现改变y会改变x ，因而我们可以推断，y和x指向是同一块内存空间值，系统没有为y 新开辟空间把x值赋值过去。

使用numpy.arange方法

>>> print np.arange(15)[ 0  1  2  3  4  5  6  7  8  9  10  11  12  13  14]>>> print type(np.arange(15))<type 'numpy.ndarray'>>>> print np.arange(15).reshape(3,5)[[ 0  1  2  3  4] [ 5  6  7  8  9] [10 11 12 13 14]]>>> print type(np.arange(15).reshape(3,5))<type 'numpy.ndarray'>

使用numpy.linspace方法

例如，在从1到10中产生20个数：

>>> print np.linspace(1,10,20)[  1.           1.47368421   1.94736842   2.42105263   2.89473684   3.36842105   3.84210526   4.31578947   4.78947368   5.26315789   5.73684211   6.21052632   6.68421053   7.15789474   7.63157895   8.10526316   8.57894737   9.05263158   9.52631579  10.        ]

使用numpy.zeros，numpy.ones，numpy.eye等方法可以构造特定的矩阵
构造“0”矩阵：

>>> print np.zeros((3,4))[[ 0.  0.  0.  0.] [ 0.  0.  0.  0.] [ 0.  0.  0.  0.]]

构造“1”矩阵

>>> print np.ones((3,4))[[ 1.  1.  1.  1.] [ 1.  1.  1.  1.] [ 1.  1.  1.  1.]]

构造单位矩阵

>>> print np.eye(3)[[ 1.  0.  0.] [ 0.  1.  0.] [ 0.  0.  1.]]

获取数组的属性：

>>> a = np.zeros((2,2,2))>>> print a.ndim   #数组的维数3>>> print a.shape  #数组每一维的大小(2, 2, 2)>>> print a.size   #数组的元素数8>>> print a.dtype  #元素类型float64>>> print a.itemsize  #每个元素所占的字节数8

数组的基本运算

数组的算术运算是按元素逐个运算。数组运算后将创建包含运算结果的新数组。
与其他矩阵语言不同，NumPy中的乘法运算符*按元素逐个计算，矩阵乘法可以使用dot函数或创建矩阵对象实现（后续介绍）

数组的加减运算

>>> a= np.array([20,30,40,50])>>> b= np.arange( 4)>>> barray([0, 1, 2, 3])>>> c= a-b>>> carray([20, 29, 38, 47])

将运算结果更新原数组，不创建新数组

>>> a= np.ones((2,3), dtype=int)>>> b= np.random.random((2,3))   ##生成2*3矩阵，元素为[0,1)范围的随机数>>> a*= 3>>> aarray([[3, 3, 3],    　　 [3, 3, 3]])>>> b+= a   #a转换为浮点类型相加>>> barray([[ 3.69092703, 3.8324276, 3.0114541],    　　　 [ 3.18679111, 3.3039349, 3.37600289]])>>> a+= b   # b转换为整数类型报错TypeError: Cannot cast ufunc add output from dtype('float64') to dtype('int32') with casting rule 'same_kind'

当数组中存储的是不同类型的元素时，数组将使用占用更多位（bit）的数据类型作为其本身的数据类型，也就是偏向更精确的数据类型(这种行为叫做upcast)。

>>> a= np.ones(3, dtype=np.int32)>>> b= np.linspace(0,np.pi,3)>>> b.dtype.name'float64'>>> c= a+b>>> carray([ 1., 2.57079633, 4.14159265])>>>  'float64'

数组乘法运算

>>> b**2array([0, 1, 4, 9])>>> 10*np.sin(a)array([ 9.12945251,-9.88031624, 7.4511316, -2.62374854])>>> a<35array([True, True, False, False], dtype=bool)

数组内部运算

许多非数组运算，如计算数组所有元素之和，都作为ndarray类的方法来实现，使用时需要用ndarray类的实例来调用这些方法。
二维数组：

>>> np.sum([[0, 1], [0, 5]])6>>> np.sum([[0, 1], [0, 5]], axis=0) #行叠加array([0, 6])>>> np.sum([[0, 1], [0, 5]], axis=1) #列叠加array([1, 5])>>> b= np.arange(12).reshape(3,4)>>> barray([[ 0, 1, 2, 3],           [ 4, 5, 6, 7],           [ 8, 9, 10, 11]])>>> b.sum(axis=0)    # 计算每一列的和array([12, 15, 18, 21])>>> b.min(axis=1)    # 获取每一行的最小值array([0, 4, 8])>>> b.cumsum(axis=1)   # 计算每一行的累积和array([[ 0, 1, 3, 6],           [ 4, 9, 15, 22],           [ 8, 17, 27, 38]])

三维数组：

>>> xarray([[[ 0,  1,  2],   [ 3,  4,  5],   [ 6,  7,  8]],  [[ 9, 10, 11],   [12, 13, 14],   [15, 16, 17]],  [[18, 19, 20],   [21, 22, 23],   [24, 25, 26]]])>>> x.sum(axis=1) #每一维列的和array([[ 9, 12, 15],  [36, 39, 42],  [63, 66, 69]])>>> x.sum(axis=2) #每一维行的和array([[ 3, 12, 21],  [30, 39, 48],  [57, 66, 75]])

求元素最值

>>> a= np.random.random((2,3))>>> aarray([[ 0.65806048, 0.58216761, 0.59986935],[ 0.6004008, 0.41965453, 0.71487337]])>>> a.sum()　  3.5750261436902333>>> a.min()     0.41965453489104032>>> a.max()     0.71487337095581649

数组的索引、切片

和列表和其它Python序列一样，一维数组可以进行索引、切片和迭代操作。

>>> a= np.arange(10)** 3   #记住，操作符是对数组中逐元素处理的！>>> aarray([0, 1, 8, 27, 64, 125, 216, 343, 512, 729])>>> a[2]8>>> a[2:5]array([ 8, 27, 64])>>> a[:6:2]= -1000 # 等同于a[0:6:2]= -1000，从开始到第6个位置，每隔一个元素将其赋值为-1000>>> aarray([-1000, 1,-1000, 27,-1000, 125, 216, 343, 512, 729])>>> a[: :-1] # 反转aarray([ 729, 512, 343, 216, 125,-1000, 27,-1000, 1,-1000])>>>for i in a:...    print i**(1/3.)#3后有个小点，每一个数开三方，负数不能开方...nan 1.0 nan 3.0 nan 5.0 6.0 7.0 8.0 9.0

多维数组可以每个轴有一个索引。这些索引由一个逗号分割的元组给出。

>>>def f(x,y):...    return 10*x+y...>>> b= np.fromfunction(f,(5,4),dtype=int)  #fromfunction是一个函数>>> barray([[ 0, 1, 2, 3],           [10, 11, 12, 13],           [20, 21, 22, 23],           [30, 31, 32, 33],           [40, 41, 42, 43]])>>> b[2,3]#第2行，第3列，从0开始计算23>>> b[0:5, 1] # 每行的第1个元素，从0开始数数array([ 1, 11, 21, 31, 41])>>> b[: ,1] # 与前面的效果相同array([ 1, 11, 21, 31, 41])>>> b[1:3,: ] # 第1行和第2行所有的元素，从0行计算array([[10, 11, 12, 13],           [20, 21, 22, 23]])

当少于提供的索引数目少于轴数时，已给出的数值按秩的顺序复制，缺失的索引则默认为是整个切片：

>>> b[-1] # 最后一行，等同于b[-1,:]，-1是第一个轴，而缺失的认为是：，相当于整个切片。

array([40, 41, 42, 43])
b[i]中括号中的表达式被当作i和一系列:，来代表剩下的轴。NumPy也允许你使用“点”像b[i,…]。
点(…)代表许多产生一个完整的索引元组必要的分号。如果x是秩为5的数组(即它有5个轴)，那么:　　
x[1,2,…] 等同于 x[1,2,:,:,:],
x[…,3] 等同于 x[:,:,:,:,3]
x[4,…,5,:] 等同 x[4,:,:,5,:]　

>>> c= array( [ [[ 0, 1, 2], #三维数组（两个2维数组叠加而成）...[ 10, 12, 13]],......[[100,101,102],...[110,112,113]]] )>>> c.shape (2, 2, 3)>>> c[1,...] #等同于c[1,:,:]或c[1]array([[100, 101, 102],           [110, 112, 113]])>>> c[...,2] #等同于c[:,:,2]array([[ 2, 13],           [102, 113]])

矩阵的遍历

>>>for row in b:...    print row...[0 1 2 3][10 11 12 13][20 21 22 23][30 31 32 33][40 41 42 43]

如果想对数组中每个元素都进行处理，可以使用flat属性，该属性是一个数组元素迭代器：

>>>for element in b.flat:...    print element,...0 1 2 3 10 11 12 13 20 21 22 23 30 31 32 33 40 41 42 43

合并数组

使用numpy下的vstack（垂直方向）和hstack（水平方向）函数：

>>> a = np.ones((2,2))>>> b = np.eye(2)>>> print np.vstack((a,b))[[ 1.  1.] [ 1.  1.] [ 1.  0.] [ 0.  1.]]>>> print np.hstack((a,b))[[ 1.  1.  1.  0.] [ 1.  1.  0.  1.]]看一下这两个函数有没有涉及到浅拷贝这种问题：>>> c = np.hstack((a,b))>>> print c[[ 1.  1.  1.  0.] [ 1.  1.  0.  1.]]>>> a[1,1] = 5>>> b[1,1] = 5>>> print c[[ 1.  1.  1.  0.] [ 1.  1.  0.  1.]]

通过上面可以知道，这里进行是深拷贝，而不是引用指向同一位置的浅拷贝。

深度拷贝

数组对象自带了浅拷贝和深拷贝的方法，但是一般用深拷贝多一些：

>>> a = np.ones((2,2))>>> b = a>>> b is aTrue>>> c = a.copy()  #深拷贝>>> c is aFalse

矩阵转置运算

>>> a = np.array([[1,0],[2,3]])>>> print a[[1 0] [2 3]]>>> print a.transpose()[[1 2] [0 3]]

数组的形状操作

reshape更改数组的形状

数组的形状取决于其每个轴上的元素个数：

>>> a= np.floor(10*np.random.random((3,4)))>>> aarray([[ 7., 5., 9., 3.],           [ 7., 2., 7., 8.],           [ 6., 8., 3., 2.]])>>> a.shape(3, 4)

可以用多种方式修改数组的形状：

>>> a.ravel() # 平坦化数组array([ 7., 5., 9., 3., 7., 2., 7., 8., 6., 8., 3., 2.])>>> a.shape= (6, 2)>>> a.transpose()array([[ 7., 9., 7., 7., 6., 3.],           [ 5., 3., 2., 8., 8., 2.]])

由ravel()展平的数组元素的顺序通常是“C风格”的，就是以行为基准，最右边的索引变化得最快，所以元素a[0,0]之后是a[0,1]。如果数组改变成其它形状(reshape)，数组仍然是“C风格”的。NumPy通常创建一个以这个顺序保存数据的数组，所以ravel()通常不需要创建起调用数组的副本。但如果数组是通过切片其它数组或有不同寻常的选项时，就可能需要创建其副本。还可以通过一些可选参数函数让reshape()和ravel()构建FORTRAN风格的数组，即最左边的索引变化最快。

resize更改数组形状

reshape函数改变调用数组的形状并返回该数组，而resize函数改变调用数组自身。

>>> aarray([[ 7., 5.],           [ 9., 3.],           [ 7., 2.],           [ 7., 8.],           [ 6., 8.],           [ 3., 2.]])>>> a.resize((2,6))>>> aarray([[ 7., 5., 9., 3., 7., 2.],           [ 7., 8., 6., 8., 3., 2.]])#如果调用reshape，则会返回一个新矩阵>>> a.reshape((2,6))array([[ 7., 5., 9., 3., 7., 2.],           [ 7., 8., 6., 8., 3., 2.]])