教你如何使用PyTorch解决多分类问题-低调大师

教你如何使用PyTorch解决多分类问题

2023-11-22 507

本文分享自华为云社区《使用PyTorch解决多分类问题：构建、训练和评估深度学习模型》，作者：小馒头学Python。

引言

当处理多分类问题时，PyTorch是一种非常有用的深度学习框架。在这篇博客中，我们将讨论如何使用PyTorch来解决多分类问题。我们将介绍多分类问题的基本概念，构建一个简单的多分类神经网络模型，并演示如何准备数据、训练模型和评估结果。

什么是多分类问题？

多分类问题是一种机器学习任务，其中目标是将输入数据分为多个不同的类别或标签。与二分类问题不同，多分类问题涉及到三个或更多类别的分类任务。例如，图像分类问题可以将图像分为不同的类别，如猫、狗、鸟等。

处理步骤

准备数据：

收集和准备数据集，确保每个样本都有相应的标签，以指明其所属类别。

划分数据集为训练集、验证集和测试集，以便进行模型训练、调优和性能评估。

数据预处理：
对数据进行预处理，例如归一化、标准化、缺失值处理或数据增强，以确保模型训练的稳定性和性能。
选择模型架构：
选择适当的深度学习模型架构，通常包括卷积神经网络（CNN）、循环神经网络（RNN）、Transformer等，具体取决于问题的性质。
定义损失函数：
为多分类问题选择适当的损失函数，通常是交叉熵损失（Cross-Entropy Loss）。
选择优化器：
选择合适的优化算法，如随机梯度下降（SGD）、Adam、RMSprop等，以训练模型并调整权重。
训练模型：
使用训练数据集来训练模型。在每个训练迭代中，通过前向传播和反向传播来更新模型参数，以减小损失函数的值。
评估模型：
使用验证集来评估模型性能。常见的性能指标包括准确性、精确度、召回率、F1分数等。
调优模型：
根据验证集的性能，对模型进行调优，可以尝试不同的超参数设置、模型架构变化或数据增强策略。
测试模型：
最终，在独立的测试数据集上评估模型的性能，以获得最终性能评估。
部署模型：
将训练好的模型部署到实际应用中，用于实时或批处理多分类任务。

多分类问题

之前我们讨论的问题都是二分类居多，对于二分类问题，我们若求得p(0)，南无p(1)=1-p(0)，还是比较容易的，但是本节我们将引入多分类，那么我们所求得就转化为p(i)(i=1,2,3,4…)，同时我们需要满足以上概率中每一个都大于0；且总和为1。

处理多分类问题，这里我们新引入了一个称为Softmax Layer

接下来我们一起讨论一下Softmax Layer层

首先我们计算指数计算e的zi次幂，原因很简单e的指数函数恒大于0；分母就是e的z1次幂+e的z2次幂+e的z3次幂…求和，这样所有的概率和就为1了。

下图形象的展示了Softmax，Exponent这里指指数，和上面我们说的一样，先求指数，这样有了分子，再将所有指数求和，最后一一divide，得到了每一个概率。

接下来我们一起来看看损失函数

如果使用numpy进行实现，根据刘二大人的代码，可以进行如下的实现

import numpy as np

y = np.array([1,0,0])

z = np.array([0.2,0.1,-0.1])

y_pred = np.exp(z)/np.exp(z).sum()

loss = (-y * np.log(y_pred)).sum()

print(loss)

运行结果如下

注意：神经网络的最后一层不需要激活

在pytorch中

import torch

y = torch.LongTensor([0]) # 长整型

z = torch.Tensor([[0.2, 0.1, -0.1]])

criterion = torch.nn.CrossEntropyLoss()

loss = criterion(z, y)

print(loss)

运行结果如下

下面根据一个例子进行演示

criterion = torch.nn.CrossEntropyLoss()

Y = torch.LongTensor([2,0,1])

Y_pred1 = torch.Tensor([[0.1, 0.2, 0.9],

[1.1, 0.1, 0.2],

[0.2, 2.1, 0.1]])

Y_pred2 = torch.Tensor([[0.8, 0.2, 0.3],

[0.2, 0.3, 0.5],

[0.2, 0.2, 0.5]])

l1 = criterion(Y_pred1, Y)

l2 = criterion(Y_pred2, Y)

print("Batch Loss1 = ", l1.data, "\nBatch Loss2=", l2.data)

运行结果如下

根据上面的代码可以看出第一个损失比第二个损失要小。原因很简单，想对于Y_pred1每一个预测的分类与Y是一致的，而Y_pred2则相差了一下，所以损失自然就大了些

MNIST dataset的实现

首先第一步还是导包

import torch

from torchvision import transforms

from torchvision import datasets

from torch.utils.data import DataLoader

import torch.nn.functional as F

import torch.optim as optim

之后是数据的准备

batch_size = 64

# transform可以将其转化为0-1，形状的转换从28×28转换为，1×28×28

transform = transforms.Compose([

transforms.ToTensor(),

transforms.Normalize((0.1307, ), (0.3081, )) # 均值mean和标准差std

])

train_dataset = datasets.MNIST(root='../dataset/mnist/',

train=True,

download=True,

transform=transform)

train_loader = DataLoader(train_dataset,

shuffle=True,

batch_size=batch_size)

test_dataset = datasets.MNIST(root='../dataset/mnist/',

train=False,

download=True,

transform=transform)

test_loader = DataLoader(test_dataset,

shuffle=False,

batch_size=batch_size)

接下来我们构建网络

class Net(torch.nn.Module):

def __init__(self):

super(Net, self).__init__()

self.l1 = torch.nn.Linear(784, 512)

self.l2 = torch.nn.Linear(512, 256)

self.l3 = torch.nn.Linear(256, 128)

self.l4 = torch.nn.Linear(128, 64)

self.l5 = torch.nn.Linear(64, 10)

def forward(self, x):

x = x.view(-1, 784)

x = F.relu(self.l1(x))

x = F.relu(self.l2(x))

x = F.relu(self.l3(x))

x = F.relu(self.l4(x))

return self.l5(x) # 注意最后一层不做激活

model = Net()

之后定义损失和优化器

criterion = torch.nn.CrossEntropyLoss()

optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5)

接下来就进行训练了

def train(epoch):

running_loss = 0.0

for batch_idx, data in enumerate(train_loader, 0):

inputs, target = data

optimizer.zero_grad()

# forward + backward + update

outputs = model(inputs)

loss = criterion(outputs, target)

loss.backward()

optimizer.step()

running_loss += loss.item()

if batch_idx % 300 == 299:

print('[%d, %5d] loss: %.3f' % (epoch + 1, batch_idx + 1, running_loss / 300))

running_loss = 0.0

def test():

correct = 0

total = 0

with torch.no_grad(): # 这里可以防止内嵌代码不会执行梯度

for data in test_loader:

images, labels = data

outputs = model(images)

_, predicted = torch.max(outputs.data, dim=1)

total += labels.size(0)

correct += (predicted == labels).sum().item()

print('Accuracy on test set: %d %%' % (100 * correct / total))

最后调用执行

if __name__ == '__main__':

for epoch in range(10):

train(epoch)

test()

NLLLoss 和 CrossEntropyLoss

NLLLoss 和 CrossEntropyLoss（也称为交叉熵损失）是深度学习中常用的两种损失函数，用于测量模型的输出与真实标签之间的差距，通常用于分类任务。它们有一些相似之处，但也有一些不同之处。

相同点：

用途：两者都用于分类任务，评估模型的输出和真实标签之间的差异，以便进行模型的训练和优化。

数学基础：NLLLoss 和 CrossEntropyLoss 本质上都是交叉熵损失的不同变种，它们都以信息论的概念为基础，衡量两个概率分布之间的相似度。

输入格式：它们通常期望模型的输出是一个概率分布，表示各个类别的预测概率，以及真实的标签。

不同点：

输入格式：NLLLoss 通常期望输入是对数概率（log probabilities），而 CrossEntropyLoss 通常期望输入是未经对数化的概率。在实际应用中，CrossEntropyLoss 通常与softmax操作结合使用，将原始模型输出转化为概率分布，而NLLLoss可以直接使用对数概率。

对数化：NLLLoss 要求将模型输出的概率经过对数化（取对数）以获得对数概率，然后与真实标签的离散概率分布进行比较。CrossEntropyLoss 通常在 softmax 操作之后直接使用未对数化的概率值与真实标签比较。

输出维度：NLLLoss 更通用，可以用于多种情况，包括多类别分类和序列生成等任务，因此需要更多的灵活性。CrossEntropyLoss 通常用于多类别分类任务。

总之，NLLLoss 和 CrossEntropyLoss 都用于分类任务，但它们在输入格式和使用上存在一些差异。通常，选择哪个损失函数取决于你的模型输出的格式以及任务的性质。如果你的模型输出已经是对数概率形式，通常使用NLLLoss，否则通常使用CrossEntropyLoss。

点击关注，第一时间了解华为云新鲜技术~

微信关注我们

原文链接：https://my.oschina.net/u/4526289/blog/10149844

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云 E-MapReduce 全面开启 Serverless 时代

作者：李钰 - 阿里云资深技术专家、EMR 负责人 EMR 2.0 平台阿里云正式发布云原生开源大数据平台EMR 2.0已历经一年时间，如今EMR 2.0全新平台在生产上已经全面落地，资源占比超过60%。EMR 2.0平台之所以在生产上这么快落地，源于其体验全面提升，更重要的一点是为客户实现了全面降本增效。 EMR 2.0 平台实现降本增效主要源于四个核心能力极致弹性 EMR 2.0平台提供极致弹性的能力，主要表现在两个方面。第一是支持抢占式实例，客户可以指定使用抢占式实例的优先级，单节点组最多选择10种不同规格，成本优化策略支持自动选取低价实例规格出价，当抢占式实例不足的时候，会给客户补充按量付费的实例，兼顾成本和业务效果。第二就是极速响应能力，单节点组内和多节点组间均支持并行扩容，支持缩容期间并行扩容，支持突发业务变化；并且在响应能力上也有大幅提升，扩容速度不随着节点的增加而增加，100节点扩容时间小于2分钟，弹性指标检测周期低于30秒，能够更好地响应负载变化；而且单次扩容规模能够达到1000个节点。智能诊断 EMR 2.0平台具备智能诊断能力，通过EMR Doctor的集...

2023-11-21

417

相信大家都认可一个观点：不论是 To B 还是 To C，用户是企业的核心资源，是互联网产品中最重要的价值之一。因此，深入挖掘用户价值成为现在大部分企业运营的关键。之前我们为大家介绍过如何利用 RFM 模型让企业聚焦于更有价值的用户，本文将为大家详细介绍用户生命周期模型 APMDR，以及「袋鼠云客户数据洞察平台」基于 APMDR 模型的落地实践。 APMDR 模型能够针对各类用户制定有效的运营策略提供科学依据，达到延长用户生命周期等目的，帮助企业进行业务生命周期的有效管理，真正实现数据赋能业务发展。什么是 APMDR 模型？用户的生命周期指的是用户从开始接触产品到离开产品的整个过程。用户的生命周期长短将直接影响产品与企业的营收，因此将用户生命周期科学地量化，在合适的时候做出合适的运营策略，从而延长用户的生命周期。如上图所示，一般用户的生命周期主要分为5个阶段：获取期、提升期、成熟期、衰退期。对于不同时期的客户，客户为企业带来的利润不同，对应的运营策略也有所不同。我们需要根据每个用户在不同阶段的特性进行用户的生命周期划分，再依据不同时期的用户定制不同的运营策略，这时候，就轮到 ...

2023-11-22

377

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。