Python深度學習pytorch實現(xiàn)圖像分類數(shù)據(jù)集
目前廣泛使用的圖像分類數(shù)據(jù)集之一是MNIST數(shù)據(jù)集。如今，MNIST數(shù)據(jù)集更像是一個健全的檢查，而不是一個基準。
為了提高難度，我們將在接下來的章節(jié)中討論在2017年發(fā)布的性質相似但相對復雜的Fashion-MNIST數(shù)據(jù)集。
import torch import torchvision from torch.utils import data from torchvision import transforms from d2l import torch as d2l d2l.use_svg_display()
讀取數(shù)據(jù)集
我們可以通過框架中的內置函數(shù)將Fashion-MNIST數(shù)據(jù)集下載并讀取到內存中。
# 通過ToTensor實例將圖像數(shù)據(jù)從PIL類型變換成32位浮點數(shù)格式 # 并除以255使得所有像素的數(shù)值均在0到1之間 trans = transforms.ToTensor() mnist_train = torchvision.datasets.FashionMNIST(root="../data", train=True, transform=trans, download=True) mnist_test = torchvisino.datasets.FashionMNIST(root="../data", train=False, transform=trans, download=True)
Fashion-MNIST由10個類別的圖像組成，每個類別由訓練集中的6000張圖像和測試集中的1000張圖像組成。
測試數(shù)據(jù)集（test dataset）不會用于訓練，只用于評估模型性能。訓練集和測試集分別包含60000和10000張圖像。
len(mnist_train), len(mnist_test)
(60000, 10000)
每個輸入圖像的高度和寬度均為28像素。數(shù)據(jù)集由灰度圖像組成，其通道數(shù)為1。
為了簡潔起見，本篇中，我們將高度h像素，寬度w像素圖像的形狀即為 h×w或 (h,w)。
mnist_train[0][0].shape
torch.size([1, 28, 28])
Fashion-MNIST中包含10個類別分別是
t-shirt（T恤）、trouser（褲⼦）、pullover（套衫）、dress（連⾐裙）、coat（外套）、
sandal（涼鞋）、shirt（襯衫）、sneaker（運動鞋）、bag（包）和ankle boot（短靴）
以下函數(shù)用于在數(shù)字標簽索引及其文本名稱之間進行轉換。
def get_fashion_mnist_labels(labels): """返回Fashion-MNIST數(shù)據(jù)集的本文標簽。""" text_labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat', 'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot'] return [text_labels[int(i)] for i in labels]
我們現(xiàn)在可以創(chuàng)建一個函數(shù)來可視化這些樣本。
def show_images(imgs, num_rows, num_cols, titles=None, scale=1.5): """Plot a list of images.""" figsize = (num_cols * scale, num_rows * scale) _, axes = d2l.plt.subplots(num_rows, num_cols, figsize=figsize) axes = axes.flatten() for i, (ax, img) in enumerate(zip(axes, imgs)): if torch.is_tensor(img): # 圖片張量 ax.imshow(img.numpy()) else: # PIL圖片 ax.imshow(img) ax.axes.get_xaxis().set_visible(False) ax.axes.get_yaxis().set_visible(False) if titles: ax.set_title(titles[i]) return axes
以下是訓練數(shù)據(jù)集中前幾個樣本的圖像及其相應的標簽（文本形式）。
X, y = next(iter(data.DataLoader(mnist_train, batch_size=18))) show_images(X.reshape(18, 28, 28), 2, 9, titles=get_fashion_mnist_labels(y))
讀取小批量
為了使我們在讀取訓練集和測試集時更容易，我們使用內置的數(shù)據(jù)迭代器，而不是從零開始創(chuàng)建一個?；仡櫼幌?，在每次迭代中，數(shù)據(jù)加載器每次都會讀取一小批量數(shù)據(jù)，大小為batch_size。我們在訓練數(shù)據(jù)迭代其中還隨機打亂了所有樣本
batch_size = 256 def get_dataloader_workers(): """使用4個進程來讀取數(shù)據(jù)。""" return 4 train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True, num_workers=get_dataloader_workers())
整合所有組件
現(xiàn)在我們定義load_data_fashion_mnist函數(shù)，用于獲取和讀取Fashion-MNIST數(shù)據(jù)集。它返回訓練集和驗證集的數(shù)據(jù)迭代器。此外，它還接受一個可選參數(shù)，用來將圖像大小調整為另一種形狀。
def load_data_fashion_mnist(batch_size, resize=None): """下載Fashion-MNIST數(shù)據(jù)集，然后將其加載到內存中。""" trans = [transforms.ToTensor()] if resize: trans.insert(0, transforms.Resize(resize)) trans = transforms.Compose(trans) mnist_train = torchvision.datasets.FashionMNIST(root="../data", train=True, transforms=trans, download=True) mnist_test = torchvision.datasets.FashionMNIST(root="../data", train=False, transforms=trans, download=True) return(data.DataLoader(mnist_train, batch_size, shuffle=True, num_workers=get_dataloader_workers()), data.DataLoader(mnist_test, batch_size, shuffle=False, num_workers=get_dataloader_workers()))
下面，我們通過指定resize參數(shù)來測試load_data_fashion_mnist函數(shù)的圖像大小調整功能。
train_iter, test_iter = load_data_fashion_mnist(32, resize=64) for X, y in train_iter: print(X.shape, X.dtype, y.shape, y.dtype) break
torch.Size([32, 1, 64, 64]) torch.float32 torch.Size([32]) torch.int64
以上就是Python深度學習pytorch實現(xiàn)圖像分類數(shù)據(jù)集的詳細內容，更多關于pytorch圖像分類數(shù)據(jù)集的資料請關注腳本之家其它相關文章！
相關文章
聊聊通過celery_one避免Celery定時任務重復執(zhí)行的問題
Celery Once 也是利用 Redis 加鎖來實現(xiàn), Celery Once 在 Task 類基礎上實現(xiàn)了 QueueOnce 類，該類提供了任務去重的功能，今天通過本文給大家介紹通過celery_one避免Celery定時任務重復執(zhí)行的問題，感興趣的朋友一起看看吧2021-10-10
這篇文章主要介紹了CentOS7下安裝python3.6.8的教程，本文給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2020-01-01
Python?隊列Queue和PriorityQueue解析
這篇文章主要介紹了Python?隊列Queue和PriorityQueue，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-09-09
這篇文章主要介紹了Python日志模塊logging簡介,本文講解了Logger、Handler、Formatter、日志配置管理、通過文件配置管理日志等內容,需要的朋友可以參考下2015-04-04
pytorch排查loss值出現(xiàn)nan的情況及解決
在實驗室訓練中,損失值出現(xiàn)nan是因條件篩選導致空列表,觸發(fā)torch.log()錯誤,通過包裹訓練代碼快速定位問題,最終解決方案是添加1e-7常量確保數(shù)值穩(wěn)定性,避免計算異常2025-09-09
本篇文章主要介紹了淺談Python中range和xrange的區(qū)別，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-12-12
這篇文章主要介紹了Python爬取網(wǎng)頁的所有內外鏈,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-04-04
這篇文章主要介紹了Python?匹配多行文本塊的正則表達式,該解決方案折衷了已知和未知模式的幾種方法，并解釋了匹配模式的工作原理，本文給大家介紹的非常詳細，需要的朋友可以參考下2023-06-06
python區(qū)塊鏈持久化和命令行接口實現(xiàn)簡版
這篇文章主要為大家介紹了python區(qū)塊鏈持久化和命令行接口實現(xiàn)簡版，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05
python GUI庫圖形界面開發(fā)之PyQt5切換按鈕控件QPushButton詳細使用方法與實例
這篇文章主要介紹了python GUI庫圖形界面開發(fā)之PyQt5切換按鈕控件QPushButton詳細使用方法與實例,需要的朋友可以參考下2020-02-02