Pytorch学习笔记

强烈推荐学习网站：https://sherlockliao.github.io/2017/05/01/logistic_regression/
10分钟学会Pytorch（1~10）都应该学会。

几个重要函数：

1. torch.utils.data.DataLoader：
   首先DataLoader是导入图片的操作，里面有一些参数，比如batch_size和shuffle等，默认load进去的图片类型是PIL.Image.open的类型，如果你不知道PIL，简单来说就是一种读取图片的库。

2. torchvision.transforms：
   torchvision.transforms里面的操作是对导入的图片做处理，比如可以随机取(50, 50)这样的窗框大小，或者随机翻转，或者去中间的(50, 50)的窗框大小部分等等，但是里面必须要用的是transforms.ToTensor()，这可以将PIL的图片类型转换成tensor，这样pytorch才可以对其做处理。

3. torchvision.datasets
   torchvision.datasets里面有很多数据类型，里面有官网处理好的数据，比如我们要使用的MNIST数据集，可以通过torchvision.datasets.MNIST()来得到，还有一个常使用的是torchvision.datasets.ImageFolder()，这个可以让我们按文件夹来取图片，和keras里面的flow_from_directory()类似，具体的可以去看看官方文档的介绍。
4. nn.Sequential() 这个表示将一个有序的模块写在一起，也就相当于将神经网络的层按顺序放在一起，这样可以方便结构显示

5. nn.Conv2d() 这个是卷积层，里面常用的参数有四个，in_channels, out_channels, kernel_size, stride, padding
   <1> in_channels表示的是输入卷积层的图片厚度
   <2> out_channels表示的是要输出的厚度
   <3> kernel_size表示的是卷积核的大小，可以用一个数字表示长宽相等的卷积核，比如kernel_size=3，也可以用不同的数字表示长宽不同的卷积核，比如kernel_size=(3, 2)
   <4> stride表示卷积核滑动的步长
   <5> padding表示的是在图片周围填充0的多少，padding=0表示不填充，padding=1四周都填充1维

6. torch.nn.ReLU()
   这个表示使用ReLU激活函数，里面有一个参数inplace，默认设置为False，表示新创建一个对象对其修改，也可以设置为True，表示直接对这个对象进行修改

7. torch.nn.MaxPool2d()
   这个是最大池化层，当然也有平均池化层，里面的参数有kernel_size, stride, padding
   <1> kernel_size表示池化的窗口大小，和卷积层里面的kernel_size是一样的.
   <2> stride也和卷积层里面一样，需要自己设置滑动步长.
   <3> padding也和卷积层里面的参数是一样的，默认是0
   模型需要传入的参数是输入的图片维数以及输出的种类数
8. nn.LSTM()
   LSTM函数有如下几个参数：
   <1> input_size 表示的是输入的数据维数
   <2> hidden_size 表示的是输出维数
   <3> num_layers 表示堆叠几层的LSTM，默认是1
   <4> bias True 或者 False，决定是否使用bias
   <5> batch_first True 或者 False，因为nn.lstm()接受的数据输入是(序列长度，batch，输入维数)，这和我们cnn输入的方式不太一致，所以使用batch_first，我们可以将输入变成(batch，序列长度，输入维数)
   <5> dropout 表示除了最后一层之外都引入一个dropout
   <6> bidirectional 表示双向LSTM，也就是序列从左往右算一次，从右往左又算一次，这样就可以两倍的输出

定义模型的框架：

class Logstic_Regression(nn.Module):    def __init__(self, in_dim, n_class):        super(Logstic_Regression, self).__init__()        self.logstic = nn.Linear(in_dim, n_class)    def forward(self, x):        out = self.logstic(x)        return outmodel = Logstic_Regression(28*28, 10)  # 图片大小是28x28

TrainLoader设计：
参考网址：https://zhuanlan.zhihu.com/p/28200166

# Normal batch generator#   x and y are list or arrayclass Arrayloader(Dataset):    def __init__(self, x, y):        self.x = x; self.y = y    def __len__(self):        return len(self.y)    def __getitem__(self, idx):        idx_x = torch.from_numpy(np.array(self.x[idx]))        idx_y = torch.from_numpy(np.array([self.y[idx]]))        return idx_x, idx_y# 注idx_x 类如形式：[[1,2,3,],[1,2,3],......]# idx_y类如形式：[[0],[1],[0],[1],......]train_set = Arrayloader(X_train, y_train) # 合并X和y        train_loader = DataLoader(train_set, batch_size = 128, shuffle=True, num_workers=4)

模型训练设计：

for epoch in range(num_epoches):    print('epoch {}'.format(epoch+1))    print('*'*10)    running_loss = 0.0    running_acc = 0.0    for i, data in enumerate(train_loader, 1):        img, label = data        img = img.view(img.size(0), -1)  # 将图片展开成 28x28        if use_gpu:            img = Variable(img).cuda()            label = Variable(label).cuda()        else:            img = Variable(img)            label = Variable(label)        # 向前传播        out = model(img)        loss = criterion(out, label)        running_loss += loss.data[0] * label.size(0)        _, pred = torch.max(out, 1)        num_correct = (pred == label).sum()        running_acc += num_correct.data[0]        # 向后传播        optimizer.zero_grad() # 对所有的参数的梯度缓冲区进行归零        loss.backward()        optimizer.step()

注：我们如果将模型放到了gpu上，相应的我们的Variable也要放到gpu上。

函数名 作用 torh.cuda.is_available() 判断是否可以在GPU上跑 nn.Sequential() 将一个有序的模块写在一起 nn.Conv2d() 是卷积层

模型篇

三层BP

class Neuralnetwork(nn.Module):    def __init__(self, in_dim, n_hidden_1, n_hidden_2, out_dim):        super(Neuralnetwork, self).__init__()        self.layer1 = nn.Linear(in_dim, n_hidden_1)        self.layer2 = nn.Linear(n_hidden_1, n_hidden_2)        self.layer3 = nn.Linear(n_hidden_2, out_dim)    def forward(self, x):        x = self.layer1(x)        x = self.layer2(x)        x = self.layer3(x)        return xmodel = Neuralnetwork(28*28, 300, 100, 10)if torch.cuda.is_available():    model = model.cuda()criterion = nn.CrossEntropyLoss()optimizer = optim.SGD(model.parameters(), lr=learning_rate)

基本卷积网络：

# 定义 Convolution Network 模型class Cnn(nn.Module):    def __init__(self, in_dim, n_class):        super(Cnn, self).__init__()        self.conv = nn.Sequential(            nn.Conv2d(in_dim, 6, 3, stride=1, padding=1),            nn.ReLU(True),            nn.MaxPool2d(2, 2),            nn.Conv2d(6, 16, 5, stride=1, padding=0),            nn.ReLU(True),            nn.MaxPool2d(2, 2),        )        self.fc = nn.Sequential(            nn.Linear(400, 120),            nn.Linear(120, 84),            nn.Linear(84, n_class)        )    def forward(self, x):        out = self.conv(x)        out = out.view(out.size(0), -1)        out = self.fc(out)        return outmodel = Cnn(1, 10)  # 图片大小是28x28use_gpu = torch.cuda.is_available()  # 判断是否有GPU加速if use_gpu:    model = model.cuda()# 定义loss和optimizercriterion = nn.CrossEntropyLoss()optimizer = optim.SGD(model.parameters(), lr=learning_rate)

LSTM模型：

class Rnn(nn.Module):    def __init__(self, in_dim, hidden_dim, n_layer, n_class):        super(Rnn, self).__init__()        self.n_layer = n_layer        self.hidden_dim = hidden_dim        self.lstm = nn.LSTM(in_dim, hidden_dim, n_layer, batch_first=True)        self.classifier = nn.Linear(hidden_dim, n_class)    def forward(self, x):        # h0 = Variable(torch.zeros(self.n_layer, x.size(1),        #   self.hidden_dim)).cuda()        # c0 = Variable(torch.zeros(self.n_layer, x.size(1),        #   self.hidden_dim)).cuda()        out, _ = self.lstm(x)        out = out[:, -1, :]        out = self.classifier(out)        return out