使用Pytorch+PyG實(shí)現(xiàn)MLP的詳細(xì)過(guò)程
我的項(xiàng)目環(huán)境：
- 平臺(tái)：Windows10
- 語(yǔ)言環(huán)境：python3.7
- 編譯器：PyCharm
- PyTorch版本：1.11.0
- PyG版本：2.1.0
本文我們將使用Pytorch + Pytorch Geometric來(lái)簡(jiǎn)易實(shí)現(xiàn)一個(gè)MLP（感知機(jī)網(wǎng)絡(luò)），讓新手可以理解如何PyG來(lái)搭建一個(gè)簡(jiǎn)易的圖網(wǎng)絡(luò)實(shí)例demo。
一、導(dǎo)入相關(guān)庫(kù)
本項(xiàng)目我們需要結(jié)合兩個(gè)庫(kù)，一個(gè)是Pytorch，因?yàn)檫€需要按照torch的網(wǎng)絡(luò)搭建模型進(jìn)行書(shū)寫(xiě)，第二個(gè)是PyG，因?yàn)樵趖orch中并沒(méi)有關(guān)于圖網(wǎng)絡(luò)層的定義，所以需要torch_geometric這個(gè)庫(kù)來(lái)定義一些圖層。
import torch import torch.nn.functional as F import torch.nn as nn import torch_geometric.nn as pyg_nn from torch_geometric.datasets import Planetoid
二、加載Cora數(shù)據(jù)集
本文使用的數(shù)據(jù)集是比較經(jīng)典的Cora數(shù)據(jù)集，它是一個(gè)根據(jù)科學(xué)論文之間相互引用關(guān)系而構(gòu)建的Graph數(shù)據(jù)集合，論文分為7類，共2708篇。
- Genetic_Algorithms
- Neural_Networks
- Probabilistic_Methods
- Reinforcement_Learning
- Rule_Learning
- Theory
這個(gè)數(shù)據(jù)集是一個(gè)用于圖節(jié)點(diǎn)分類的任務(wù)，數(shù)據(jù)集中只有一張圖，這張圖中含有2708個(gè)節(jié)點(diǎn)，10556條邊，每個(gè)節(jié)點(diǎn)的特征維度為1433。
# 1.加載Cora數(shù)據(jù)集 dataset = Planetoid(root='./data/Cora', name='Cora')
三、定義MLP網(wǎng)絡(luò)
這里我們就不重點(diǎn)介紹MLP網(wǎng)絡(luò)了，相信大家能夠掌握基本原理，本文我們使用的是PyG定義網(wǎng)絡(luò)層，在PyG中已經(jīng)定義好了MLP這個(gè)層，該層采用的就是感知機(jī)機(jī)制。
對(duì)于MLP的常用參數(shù)：
- channel_list：樣本輸入層、中間層、輸出層維度的列表
- in_channels：每個(gè)樣本的輸入維度，就是每個(gè)節(jié)點(diǎn)的特征維度
- hidden_channels：?jiǎn)螌由窠?jīng)網(wǎng)絡(luò)中間的隱層大小
- out_channels：經(jīng)過(guò)MLP后映射成的新的維度，就是經(jīng)過(guò)MLP后每個(gè)節(jié)點(diǎn)的維度長(zhǎng)度
- num_layers：感知機(jī)層數(shù)
- dropout：每個(gè)隱藏層的丟棄率，如果存在多層可以使用列表傳入
- act：激活函數(shù)，默認(rèn)為relu
- bias：訓(xùn)練一個(gè)偏置b
對(duì)于本文實(shí)現(xiàn)的 pyg_nn.MLP([num_node_features, 32, 64, 128]) 的含義就是定義一個(gè)三層的感知機(jī)網(wǎng)絡(luò)，按照 PyTorch 實(shí)現(xiàn)等價(jià)于如下代碼：
lin_1 = nn.Linear(num_node_features, 32) lin_2 = nn.Linear(32, 64) lin_3 = nn.Linear(64, 128)
對(duì)于 PyG 中實(shí)現(xiàn)起來(lái)較為簡(jiǎn)單，以列表方式傳入所以隱層大小即可，第一個(gè)維度代表樣本的輸入特征維度，最后一個(gè)維度代表輸出的維度大小，中間維度代表隱層的大小，所以 len(channel_list) - 1 代表 MLP 的層數(shù)，這種方式是以傳入 channel_list 方式定義模型，還可以按照正常參數(shù)方式進(jìn)行傳遞定義，代碼如下：
pyg_nn.MLP(in_channels=16, hidden_channels=32, out_channels=128, num_layers=3)
網(wǎng)絡(luò)定義代碼如下：
# 2.定義MLP網(wǎng)絡(luò)
class MLP(nn.Module):
def __init__(self, num_node_features, num_classes):
super(MLP, self).__init__()
self.lin_1 = pyg_nn.MLP([num_node_features, 32, 64, 128])
self.lin_2 = pyg_nn.MLP([128, 64, 32, num_classes])
def forward(self, data):
x, edge_index = data.x, data.edge_index
x = self.lin_1(x, edge_index)
x = F.relu(x)
x = F.dropout(x, training=self.training)
x = self.lin_2(x, edge_index)
return F.log_softmax(x, dim=1)
上面網(wǎng)絡(luò)我們定義了兩個(gè)MLP層，第一層的參數(shù)的輸入維度就是初始每個(gè)節(jié)點(diǎn)的特征維度，輸出維度是128。
第二個(gè)層的輸入維度為128，輸出維度為分類個(gè)數(shù)，因?yàn)槲覀冃枰獙?duì)每個(gè)節(jié)點(diǎn)進(jìn)行分類，最終加上softmax操作。
四、定義模型
下面就是定義了一些模型需要的參數(shù)，像學(xué)習(xí)率、迭代次數(shù)這些超參數(shù)，然后是模型的定義以及優(yōu)化器及損失函數(shù)的定義，和pytorch定義網(wǎng)絡(luò)是一樣的。
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') # 設(shè)備
epochs = 10 # 學(xué)習(xí)輪數(shù)
lr = 0.003 # 學(xué)習(xí)率
num_node_features = dataset.num_node_features # 每個(gè)節(jié)點(diǎn)的特征數(shù)
num_classes = dataset.num_classes # 每個(gè)節(jié)點(diǎn)的類別數(shù)
data = dataset[0].to(device) # Cora的一張圖
# 3.定義模型
model = MLP(num_node_features, num_classes).to(device)
optimizer = torch.optim.Adam(model.parameters(), lr=lr) # 優(yōu)化器
loss_function = nn.NLLLoss() # 損失函數(shù)
五、模型訓(xùn)練
模型訓(xùn)練部分也是和pytorch定義網(wǎng)絡(luò)一樣，因?yàn)槎际切枰?jīng)過(guò)前向傳播、反向傳播這些過(guò)程，對(duì)于損失、精度這些指標(biāo)可以自己添加。
# 訓(xùn)練模式
model.train()
for epoch in range(epochs):
optimizer.zero_grad()
pred = model(data)
loss = loss_function(pred[data.train_mask], data.y[data.train_mask]) # 損失
correct_count_train = pred.argmax(axis=1)[data.train_mask].eq(data.y[data.train_mask]).sum().item() # epoch正確分類數(shù)目
acc_train = correct_count_train / data.train_mask.sum().item() # epoch訓(xùn)練精度
loss.backward()
optimizer.step()
if epoch % 20 == 0:
print("【EPOCH: 】%s" % str(epoch + 1))
print('訓(xùn)練損失為：{:.4f}'.format(loss.item()), '訓(xùn)練精度為：{:.4f}'.format(acc_train))
print('【Finished Training！】')
六、模型驗(yàn)證
下面就是模型驗(yàn)證階段，在訓(xùn)練時(shí)我們是只使用了訓(xùn)練集，測(cè)試的時(shí)候我們使用的是測(cè)試集，注意這和傳統(tǒng)網(wǎng)絡(luò)測(cè)試不太一樣，在圖像分類一些經(jīng)典任務(wù)中，我們是把數(shù)據(jù)集分成了兩份，分別是訓(xùn)練集、測(cè)試集，但是在Cora這個(gè)數(shù)據(jù)集中并沒(méi)有這樣，它區(qū)分訓(xùn)練集還是測(cè)試集使用的是掩碼機(jī)制，就是定義了一個(gè)和節(jié)點(diǎn)長(zhǎng)度相同緯度的數(shù)組，該數(shù)組的每個(gè)位置為T(mén)rue或者False，標(biāo)記著是否使用該節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行訓(xùn)練。
# 模型驗(yàn)證
model.eval()
pred = model(data)
# 訓(xùn)練集（使用了掩碼）
correct_count_train = pred.argmax(axis=1)[data.train_mask].eq(data.y[data.train_mask]).sum().item()
acc_train = correct_count_train / data.train_mask.sum().item()
loss_train = loss_function(pred[data.train_mask], data.y[data.train_mask]).item()
# 測(cè)試集
correct_count_test = pred.argmax(axis=1)[data.test_mask].eq(data.y[data.test_mask]).sum().item()
acc_test = correct_count_test / data.test_mask.sum().item()
loss_test = loss_function(pred[data.test_mask], data.y[data.test_mask]).item()
print('Train Accuracy: {:.4f}'.format(acc_train), 'Train Loss: {:.4f}'.format(loss_train))
print('Test Accuracy: {:.4f}'.format(acc_test), 'Test Loss: {:.4f}'.format(loss_test))
七、結(jié)果
【EPOCH: 】1
訓(xùn)練損失為：1.9856 訓(xùn)練精度為：0.1786
【EPOCH: 】21
訓(xùn)練損失為：1.5419 訓(xùn)練精度為：0.4643
【EPOCH: 】41
訓(xùn)練損失為：1.1653 訓(xùn)練精度為：0.6500
【EPOCH: 】61
訓(xùn)練損失為：0.8062 訓(xùn)練精度為：0.8071
【EPOCH: 】81
訓(xùn)練損失為：0.5322 訓(xùn)練精度為：0.9286
【EPOCH: 】101
訓(xùn)練損失為：0.3487 訓(xùn)練精度為：0.9714
【EPOCH: 】121
訓(xùn)練損失為：0.2132 訓(xùn)練精度為：0.9571
【EPOCH: 】141
訓(xùn)練損失為：0.1043 訓(xùn)練精度為：0.9929
【EPOCH: 】161
訓(xùn)練損失為：0.0601 訓(xùn)練精度為：1.0000
【EPOCH: 】181
訓(xùn)練損失為：0.0420 訓(xùn)練精度為：1.0000
【Finished Training！】>>>Train Accuracy: 1.0000 Train Loss: 0.0092
>>>Test Accuracy: 0.1800 Test Loss: 1.9587
| 訓(xùn)練集 | 測(cè)試集 | |
|---|---|---|
| Accuracy | 1.0000 | 0.1800 |
| Loss | 0.0092 | 1.9587 |
完整代碼
import torch
import torch.nn.functional as F
import torch.nn as nn
import torch_geometric.nn as pyg_nn
from torch_geometric.datasets import Planetoid
# 1.加載Cora數(shù)據(jù)集
dataset = Planetoid(root='./data/Cora', name='Cora')
# 2.定義MLP網(wǎng)絡(luò)
class MLP(nn.Module):
def __init__(self, num_node_features, num_classes):
super(MLP, self).__init__()
self.lin_1 = pyg_nn.MLP([num_node_features, 32, 64, 128])
self.lin_2 = pyg_nn.MLP([128, 64, 32, num_classes])
def forward(self, data):
x, edge_index = data.x, data.edge_index
x = self.lin_1(x, edge_index)
x = F.relu(x)
x = F.dropout(x, training=self.training)
x = self.lin_2(x, edge_index)
return F.log_softmax(x, dim=1)
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') # 設(shè)備
epochs = 200 # 學(xué)習(xí)輪數(shù)
lr = 0.0003 # 學(xué)習(xí)率
num_node_features = dataset.num_node_features # 每個(gè)節(jié)點(diǎn)的特征數(shù)
num_classes = dataset.num_classes # 每個(gè)節(jié)點(diǎn)的類別數(shù)
data = dataset[0].to(device) # Cora的一張圖
# 3.定義模型
model = MLP(num_node_features, num_classes).to(device)
optimizer = torch.optim.Adam(model.parameters(), lr=lr) # 優(yōu)化器
loss_function = nn.NLLLoss() # 損失函數(shù)
# 訓(xùn)練模式
model.train()
for epoch in range(epochs):
optimizer.zero_grad()
pred = model(data)
loss = loss_function(pred[data.train_mask], data.y[data.train_mask]) # 損失
correct_count_train = pred.argmax(axis=1)[data.train_mask].eq(data.y[data.train_mask]).sum().item() # epoch正確分類數(shù)目
acc_train = correct_count_train / data.train_mask.sum().item() # epoch訓(xùn)練精度
loss.backward()
optimizer.step()
if epoch % 20 == 0:
print("【EPOCH: 】%s" % str(epoch + 1))
print('訓(xùn)練損失為：{:.4f}'.format(loss.item()), '訓(xùn)練精度為：{:.4f}'.format(acc_train))
print('【Finished Training！】')
# 模型驗(yàn)證
model.eval()
pred = model(data)
# 訓(xùn)練集（使用了掩碼）
correct_count_train = pred.argmax(axis=1)[data.train_mask].eq(data.y[data.train_mask]).sum().item()
acc_train = correct_count_train / data.train_mask.sum().item()
loss_train = loss_function(pred[data.train_mask], data.y[data.train_mask]).item()
# 測(cè)試集
correct_count_test = pred.argmax(axis=1)[data.test_mask].eq(data.y[data.test_mask]).sum().item()
acc_test = correct_count_test / data.test_mask.sum().item()
loss_test = loss_function(pred[data.test_mask], data.y[data.test_mask]).item()
print('Train Accuracy: {:.4f}'.format(acc_train), 'Train Loss: {:.4f}'.format(loss_train))
print('Test Accuracy: {:.4f}'.format(acc_test), 'Test Loss: {:.4f}'.format(loss_test))
總結(jié)
到此這篇關(guān)于使用Pytorch+PyG實(shí)現(xiàn)MLP的文章就介紹到這了,更多相關(guān)Pytorch+PyG實(shí)現(xiàn)MLP內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
PyQt5超詳細(xì)入門(mén)級(jí)教程(推薦!)
PyQt5是Python編程語(yǔ)言的一個(gè)模塊,它提供了一種在Python中使用Qt庫(kù)的方式,下面這篇文章主要給大家介紹了關(guān)于PyQt5超詳細(xì)入門(mén)級(jí)教程的相關(guān)資料,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-09-09
這篇文章主要介紹了Python多線程URL性能優(yōu)化方法,本文將通過(guò)一個(gè)實(shí)際案例,詳細(xì)介紹如何使用ThreadPoolExecutor實(shí)現(xiàn)多線程URL處理,并加入時(shí)間統(tǒng)計(jì)功能進(jìn)行性能分析,需要的朋友可以參考下2025-04-04
這篇文章主要介紹了如何快速一次性卸載所有python包(第三方庫(kù))呢，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-10-10
這篇文章主要介紹了python入門(mén)之Scrapy?shell的使用，scrapy提供了一個(gè)shell。用來(lái)方便的測(cè)試規(guī)則，下面我們一起進(jìn)入文章學(xué)習(xí)該內(nèi)容吧，需要的小伙伴可以參考一下，希望對(duì)你有所幫助2022-02-02
flask是基于MTV的結(jié)構(gòu)，其中M指的就是模型，即數(shù)據(jù)模型，在項(xiàng)目中對(duì)應(yīng)的是數(shù)據(jù)庫(kù)，下面紀(jì)錄以mysql和orm方式連接數(shù)據(jù)庫(kù)的方法，對(duì)Python?Flask?模型介紹和配置方法感興趣的朋友跟隨小編一起看看吧2022-12-12
Python+Tkinter實(shí)現(xiàn)經(jīng)典井字棋小游戲
Tkinter是內(nèi)置到Python安裝包中的,只要安裝好Python之后就能import?Tkinter,而且IDLE也是用Tkinter編寫(xiě)而成的。本文將用Tkinter編寫(xiě)經(jīng)典的井字棋小游戲，需要的可以參考一下2022-03-03
這篇文章主要介紹了教你使用Python提取視頻中的美女圖片,使用?Python?寫(xiě)一個(gè)逐幀無(wú)損保存視頻畫(huà)面的小腳本，大概分為三個(gè)步驟，詳細(xì)過(guò)程跟隨小編一起看看吧2022-04-04
Python使用Dijkstra算法實(shí)現(xiàn)求解圖中最短路徑距離問(wèn)題詳解
這篇文章主要介紹了Python使用Dijkstra算法實(shí)現(xiàn)求解圖中最短路徑距離問(wèn)題,簡(jiǎn)單描述了Dijkstra算法的原理并結(jié)合具體實(shí)例形式分析了Python使用Dijkstra算法實(shí)現(xiàn)求解圖中最短路徑距離的相關(guān)步驟與操作技巧,需要的朋友可以參考下2018-05-05
python調(diào)用函數(shù)、類和文件操作簡(jiǎn)單實(shí)例總結(jié)
這篇文章主要介紹了python調(diào)用函數(shù)、類和文件操作,結(jié)合簡(jiǎn)單實(shí)例形式總結(jié)分析了Python調(diào)用函數(shù)、類和文件操作的各種常見(jiàn)操作技巧,需要的朋友可以參考下2019-11-11
selenium框架中driver.close()和driver.quit()關(guān)閉瀏覽器
這篇文章主要介紹了selenium框架中driver.close()和driver.quit()關(guān)閉瀏覽器，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12