使用Pytorch训练分类器详解(附python演练)
【前言】:你已经了解了如何定义神经网络,计算loss值和网络里权重的更新。现在你也许会想数据怎么样?
目录:
一.数据
二.训练一个图像分类器
- 使用torchvision加载并且归一化CIFAR10的训练和测试数据集
- 定义一个卷积神经网络
- 定义一个损失函数
- 在训练样本数据上训练网络
- 在测试样本数据上测试网络
三.在GPU上训练
四.在多个GPU上训练
五.还可以学哪些?
一、 数据
通常来说,当你处理图像,文本,语音或者视频数据时,你可以使用标准python包将数据加载成numpy数组格式,然后将这个数组转换成torch.*Tensor
对于图像,可以用Pillow,OpenCV
对于语音,可以用scipy,librosa
对于文本,可以直接用Python或Cython基础数据加载模块,或者用NLTK和SpaCy
特别是对于视觉,我们已经创建了一个叫做totchvision的包,该包含有支持加载类似Imagenet,CIFAR10,MNIST等公共数据集的数据加载模块torchvision.datasets和支持加载图像数据数据转换模块torch.utils.data.DataLoader。
这提供了极大的便利,并且避免了编写“样板代码”。
对于本教程,我们将使用CIFAR10数据集,它包含十个类别:‘airplane’, ‘automobile’, ‘bird’, ‘cat’, ‘deer’, ‘dog’, ‘frog’, ‘horse’, ‘ship’, ‘truck’。CIFAR-10中的图像尺寸为33232,也就是RGB的3层颜色通道,每层通道内的尺寸为32*32。
二、 训练一个图像分类器
我们将按次序的做如下几步:
- 使用torchvision加载并且归一化CIFAR10的训练和测试数据集
- 定义一个卷积神经网络
- 定义一个损失函数
- 在训练样本数据上训练网络
- 在测试样本数据上测试网络
- 加载并归一化CIFAR10
使用torchvision,用它来加载CIFAR10数据非常简单
import torch import torchvision import torchvision.transformsastransforms
torchvision数据集的输出是范围在[0,1]之间的PILImage,我们将他们转换成归一化范围为[-1,1]之间的张量Tensors。
transform = transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]) trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True,transform=transform) trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=2) testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform) testloader = torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False, num_workers=2) classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck')
输出:
Downloading https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz to ./data/cifar-10-python.tar.gz Files already downloaded and verified
让我们来展示其中的一些训练图片。
import matplotlib.pyplot as plt import numpy as np # 图像显示函数 defimshow(img): img = img /2+0.5 # 非标准的(unnormalized) npimg = img.numpy() plt.imshow(np.transpose(npimg, (1, 2, 0))) plt.show() # 得到一些随机图像 dataiter =iter(trainloader)images, labels = dataiter.next() # 显示图像 imshow(torchvision.utils.make_grid(images)) # 打印类标 print(' '.join('%5s'% classes[labels[j]] for j inrange(4)))
输出:
cat car dog cat
- 定义一个卷积神经网络
在这之前先 从神经网络章节 复制神经网络,并修改它为3通道的图片(在此之前它被定义为1通道)
import torch.nn as nn import torch.nn.functional as F classNet(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(3, 6, 5) self.pool = nn.MaxPool2d(2, 2) self.conv2 = nn.Conv2d(6, 16, 5) self.fc1 = nn.Linear(16*5*5, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) defforward(self, x): x =self.pool(F.relu(self.conv1(x))) x =self.pool(F.relu(self.conv2(x))) x = x.view(-1, 16*5*5) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x =self.fc3(x) return x net = Net()
- 定义一个损失函数和优化器
让我们使用分类交叉熵Cross-Entropy 作损失函数,动量SGD做优化器。
import torch.optim as optim criterion = nn.CrossEntropyLoss()optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)
- 训练网络
这里事情开始变得有趣,我们只需要在数据迭代器上循环传给网络和优化器输入就可以。
for epoch inrange(2): # 多次循环遍历数据集 running_loss =0.0 for i, data inenumerate(trainloader, 0): # 获取输入 inputs, labels = data # 参数梯度置零 optimizer.zero_grad() # 前向+ 反向 + 优化 outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() # 输出统计 running_loss += loss.item() if i %2000==1999: # 每2000 mini-batchs输出一次 print('[%d, %5d] loss: %.3f'% (epoch +1, i +1, running_loss /2000)) running_loss =0.0 print('Finished Training')
输出:
[1, 2000] loss: 2.211 [1, 4000] loss: 1.837 [1, 6000] loss: 1.659 [1, 8000] loss: 1.570 [1, 10000] loss: 1.521 [1, 12000] loss: 1.451 [2, 2000] loss: 1.411 [2, 4000] loss: 1.393 [2, 6000] loss: 1.348 [2, 8000] loss: 1.340 [2, 10000] loss: 1.363 [2, 12000] loss: 1.320 Finished Training
- 在测试集上测试网络
我们已经通过训练数据集对网络进行了2次训练,但是我们需要检查网络是否已经学到了东西。
我们将用神经网络的输出作为预测的类标来检查网络的预测性能,用样本的真实类标来校对。如果预测是正确的,我们将样本添加到正确预测的列表里。
好的,第一步,让我们从测试集中显示一张图像来熟悉它。
dataiter =iter(testloader)images, labels = dataiter.next() # 打印图片 imshow(torchvision.utils.make_grid(images)) print('GroundTruth: ', ' '.join('%5s'% classes[labels[j]] for j inrange(4)))
输出:
GroundTruth: cat ship ship plane
现在让我们看看神经网络认为这些样本应该预测成什么:
outputs = net(images)
输出是预测与十个类的近似程度,与某一个类的近似程度越高,网络就越认为图像是属于这一类别。所以让我们打印其中最相似类别类标:
_, predicted = torch.max(outputs, 1) print('Predicted: ', ' '.join('%5s'% classes[predicted[j]] for j inrange(4)))
输出:
Predicted: cat car car ship
结果看起开非常好,让我们看看网络在整个数据集上的表现。
correct =0total =0with torch.no_grad(): for data in testloader: images, labels = data outputs = net(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Accuracy of the network on the 10000 test images: %d %%'% ( 100* correct / total))
输出:
Accuracy of the network on the 10000 test images: 53 %
这看起来比随机预测要好,随机预测的准确率为10%(随机预测出为10类中的哪一类)。看来网络学到了东西。
class_correct =list(0.for i inrange(10))class_total =list(0.for i inrange(10))with torch.no_grad(): for data in testloader: images, labels = data outputs = net(images) _, predicted = torch.max(outputs, 1) c = (predicted == labels).squeeze() for i inrange(4): label = labels[i] class_correct[label] += c[i].item() class_total[label] +=1 for i inrange(10): print('Accuracy of %5s : %2d %%'% ( classes[i], 100* class_correct[i] / class_total[i]))
输出:
Accuracy of plane : 52 % Accuracy of car : 73 % Accuracy of bird : 34 % Accuracy of cat : 54 % Accuracy of deer : 48 % Accuracy of dog : 26 % Accuracy of frog : 68 % Accuracy of horse : 51 % Accuracy of ship : 63 % Accuracy of truck : 60 %
所以接下来呢?我们怎么在GPU上跑这些神经网络?
三、 在GPU上训练
就像你怎么把一个张量转移到GPU上一样,你要将神经网络转到GPU上。
如果CUDA可以用,让我们首先定义下我们的设备为第一个可见的cuda设备。
device = torch.device("cuda:0"if torch.cuda.is_available() else"cpu") # 假设在一台CUDA机器上运行,那么这里将输出一个CUDA设备号: print(device)
输出:
cuda:0
本节剩余部分都会假定设备就是台CUDA设备。接着这些方法会递归地遍历所有模块,并将它们的参数和缓冲器转换为CUDA张量。
net.to(device)
记住你也必须在每一个步骤向GPU发送输入和目标:
inputs, labels = inputs.to(device), labels.to(device)
为什么没有注意到与CPU相比巨大的加速?因为你的网络非常小。
练习:尝试增加你的网络宽度(首个nn.Conv2d参数设定为2,第二个nn.Conv2d参数设定为1--它们需要有相同的个数),看看会得到怎么的速度提升。
目标:
深度理解了PyTorch的张量和神经网络
训练了一个小的神经网络来分类图像
原文发布时间为:2018-12-27
本文作者: 荔枝boy
本文来自云栖社区合作伙伴“ 磐创AI”,了解相关信息可以关注“xunixs”微信公众号
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Tensorflow如何导出与使用预测图
tf.train.Saver API说明保存于恢复变量,对定义好完成训练或者完成部分训练的计算图所有OP操作的中间变量进行保存,保存为检查点文件(checkpoint file),检查点文件通过restore方法完成恢复,实现从变量到张量值(tensor value)得映射加载,可以进行调用或者继续训练。同时Saver支持全局步长参数,通过对不同的step自动保存为检查点 saver.save(sess, 'my-model', global_step=0) ==> filename: 'my-model-0' ... saver.save(sess, 'my-model', global_step=1000) ==> filename: 'my-model-1000' 上述代码表示分别在step=0与step=1000的时候保存检查点。 Saver在保存检查点的时候默认保存计算图的全部变量,但是可以通过var_list来决定保存多少个变量到检查点文件中去。对保存的检查点进行恢复可以调用如下的方法: restore( sess, save_path ) 从检查点恢复变量并映...
- 下一篇
SVN Hooks的介绍及使用
阅读此篇文章你可以: 对SVN Hooks有一定的了解 获取两个最常用的SVN Hooks案例 SVN hooks介绍Hooks 钩子,主要实现的功能就是在特定事件发生之前或者之后自动执行事先定义好的脚本代码来实现某些功能,类似于JS中的监听事件、MySQL中的触发器、Django中的signals信号等 大多数开发语言都可以用来编写hooks脚本,常用的如windows下的bat、vb,linux下的shell、python等 SVN中的hooks按照所在位置可以分为两类,客户端hooks和服务端hooks,日常使用中服务端hooks使用更广,我们也以服务端hooks介绍为主 SVN服务端hooks主要有以下9种: pre-lock:文件加锁前执行,不常用 post-lock:文件加锁后执行,通常用来发送锁定事件通知,需要传递两个参数给hooks脚本,按照顺序依次为:1.版本库路径,2.锁定路径的认证用户名 per-unlock:文件解锁前执行,不常用 post-unlock:文件解锁后执行,通常用来发送解锁事件通知,需要传递两个参数给hooks脚本,按照顺序依次为:1.版本库路径,...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Hadoop3单机部署,实现最简伪集群