基于PyTorch實(shí)現(xiàn)EdgeCNN的實(shí)戰(zhàn)教程
前言
大家好,我是阿光。
本專欄整理了《圖神經(jīng)網(wǎng)絡(luò)代碼實(shí)戰(zhàn)》,內(nèi)包含了不同圖神經(jīng)網(wǎng)絡(luò)的相關(guān)代碼實(shí)現(xiàn)(PyG以及自實(shí)現(xiàn)),理論與實(shí)踐相結(jié)合,如GCN、GAT、GraphSAGE等經(jīng)典圖網(wǎng)絡(luò),每一個(gè)代碼實(shí)例都附帶有完整的代碼。
正在更新中~ ?

?? 我的項(xiàng)目環(huán)境:
- 平臺(tái):Windows10
- 語言環(huán)境:python3.7
- 編譯器:PyCharm
- PyTorch版本:1.11.0
- PyG版本:2.1.0
?? 項(xiàng)目專欄:【圖神經(jīng)網(wǎng)絡(luò)代碼實(shí)戰(zhàn)目錄】
本文我們將使用PyTorch來簡(jiǎn)易實(shí)現(xiàn)一個(gè)EdgeCNN,不使用PyG庫,讓新手可以理解如何PyTorch來搭建一個(gè)簡(jiǎn)易的圖網(wǎng)絡(luò)實(shí)例demo。
一、導(dǎo)入相關(guān)庫
本項(xiàng)目是采用自己實(shí)現(xiàn)的EdgeCNN,并沒有使用 PyG 庫,原因是為了幫助新手朋友們能夠?qū)dgeConv的原理有個(gè)更深刻的理解,如果熟悉之后可以嘗試使用PyG庫直接調(diào)用 EdgeConv 這個(gè)圖層即可。
import torch import torch.nn as nn import torch.nn.functional as F from torch_geometric.utils import scatter from torch_geometric.datasets import Planetoid
二、加載Cora數(shù)據(jù)集
本文使用的數(shù)據(jù)集是比較經(jīng)典的Cora數(shù)據(jù)集,它是一個(gè)根據(jù)科學(xué)論文之間相互引用關(guān)系而構(gòu)建的Graph數(shù)據(jù)集合,論文分為7類,共2708篇。
- Genetic_Algorithms
- Neural_Networks
- Probabilistic_Methods
- Reinforcement_Learning
- Rule_Learning
- Theory
這個(gè)數(shù)據(jù)集是一個(gè)用于圖節(jié)點(diǎn)分類的任務(wù),數(shù)據(jù)集中只有一張圖,這張圖中含有2708個(gè)節(jié)點(diǎn),10556條邊,每個(gè)節(jié)點(diǎn)的特征維度為1433。
# 1.加載Cora數(shù)據(jù)集 dataset = Planetoid(root='./data/Cora', name='Cora')
三、定義EdgeCNN網(wǎng)絡(luò)
3.1 定義EdgeConv層
這里我們就不重點(diǎn)介紹EdgeCNN網(wǎng)絡(luò)了,相信大家能夠掌握基本原理,本文我們使用的是PyTorch定義網(wǎng)絡(luò)層。

對(duì)于EdgeConv的常用參數(shù):
- nn:進(jìn)行節(jié)點(diǎn)特征轉(zhuǎn)換使用的
MLP網(wǎng)絡(luò),需要自己定義傳入 - aggr:聚合鄰居節(jié)點(diǎn)特征時(shí)采用的方式,默認(rèn)為
max
我們?cè)趯?shí)現(xiàn)時(shí)也是考慮這幾個(gè)常見參數(shù)
對(duì)于EdgeConv的傳播公式為:

上式子中的 x i x_i xi? 代表中心節(jié)點(diǎn)特征信息, x j x_j xj? 代表鄰居節(jié)點(diǎn)的特征信息,對(duì)于 h θ h_{\theta} hθ? 代表每個(gè) EdgeConv 層的可學(xué)習(xí)參數(shù),也就是對(duì)應(yīng)傳入的MLP層中的可學(xué)習(xí)參數(shù)。
所以我們的任務(wù)無非就是獲取這幾個(gè)變量,然后進(jìn)行傳播計(jì)算即可
3.1.1 特征拼接
該環(huán)節(jié)實(shí)現(xiàn)的公式為: x i ∣ ∣ x j − x i x_i||x_j-x_i xi?∣∣xj?−xi?,對(duì)于這個(gè)公式來說,我們要獲得兩個(gè)變量,一個(gè)是中心節(jié)點(diǎn) x i x_i xi?(target)的特征信息,一個(gè)是鄰居節(jié)點(diǎn) x j x_j xj?(source)的特征信息。
對(duì)于這兩個(gè)變量的獲取很容易,利用 edge_index 就可以提取出來,edge_index 中保存的是每一條邊的一對(duì)起始節(jié)點(diǎn)與終止節(jié)點(diǎn),對(duì)于起始節(jié)點(diǎn)可以認(rèn)為就是 i,對(duì)于終止節(jié)點(diǎn)就可以認(rèn)為是 j,然后我們就會(huì)獲得兩個(gè)向量,分別為 row 和 col ,這兩個(gè)向量就是起始頂點(diǎn)和終止頂點(diǎn)的集合。
然后我們?cè)诟鶕?jù)索引進(jìn)行提取特征,利用 x_i = x[row] 和 x_j = x[col] 就可以將中心節(jié)點(diǎn)和終止節(jié)點(diǎn)對(duì)應(yīng)的特征獲取,維度為【E,feature_size】。
然后就可以按照公式實(shí)現(xiàn)做差然后與中心節(jié)點(diǎn)的特征進(jìn)行拼接,獲得拼接后的特征維度為原來的2倍。
row, col = edge_index # 獲取target、source節(jié)點(diǎn)索引 [E] x_i = x[row] # 獲取target節(jié)點(diǎn)信息,中心節(jié)點(diǎn) [E, feature_size] x_j = x[col] # 獲取source節(jié)點(diǎn)信息,鄰居節(jié)點(diǎn) [E, feature_size] x_cat = torch.cat([x_i, x_j - x_i], dim=1) # 拼接特征 [E, 2 * feature_size]
對(duì)于這里 x_i 和 x_j 以及起始節(jié)點(diǎn)的索引初學(xué)可能混淆,所以多多打印中間結(jié)果一步一步調(diào)試進(jìn)行理解。
3.1.2 max聚合
對(duì)于 EdgeConv 的默認(rèn)聚合方式為 max,其實(shí)還可以使用 mean 、sum 等排列不變函數(shù)進(jìn)行聚合。
對(duì)于聚合操作就是公式中求和符號(hào)那里,只不過框架給的公式是 sum ,對(duì)于聚合我們希望做的是將中心節(jié)點(diǎn)的鄰居特征按照指定的聚合方式進(jìn)行聚合。
我們可以利用 PyG 工具庫中提供的 scatter 函數(shù)進(jìn)行操作,該函數(shù)可以指定聚合方式以及聚合維度等參數(shù),使用方法就是需要傳入需要聚合的 Tensor ,此外還需要傳入一個(gè) index ,指明哪些向量為同一個(gè)鄰居的節(jié)點(diǎn),舉個(gè)例子,我們傳入的 index=[0,0,0,1,1] ,這就代表第一個(gè)、第二個(gè)、第三個(gè)為同一節(jié)點(diǎn)的鄰居,所以就會(huì)將待聚合的 Tensor 的第一個(gè)向量、第二個(gè)向量、第三個(gè)向量按照指定聚合方式進(jìn)行聚合。
這里說的有點(diǎn)抽象,自己嘗試一個(gè)簡(jiǎn)單示例就明白了。
out = scatter(src=x_cat, index=row, dim=0, reduce='max') # max聚合操作 [num_nodes, feature_size]
3.1.3 特征映射
在公式中有個(gè) h θ h_{\theta} hθ?,這個(gè)就代表 MLP 做特征映射做的,對(duì)于官方給的 EdgeConv 需要我們手動(dòng)傳入 MLP 模型,所以本項(xiàng)目自實(shí)現(xiàn)也是按照這種方式,MLP 的操作在 EdgeConv 中并沒有實(shí)現(xiàn),而是利用傳入的模型進(jìn)行操作。
這里注意一點(diǎn)就是定義的 MLP 模型的輸入維度應(yīng)該為原始維度的2倍,因?yàn)槲覀冊(cè)谶@之前進(jìn)行了特征拼接操作,所以特征維度進(jìn)行了加倍。
out = self.mlp(out) # 特征映射 [num_nodes, out_channels]
3.1.4 EdgeConv層
接下來就可以定義EdgeConv層了,該層實(shí)現(xiàn)了1個(gè)函數(shù),為 forward()
forward():這個(gè)函數(shù)定義模型的傳播過程,也就是上面公式的 x i ′ = ∑ j ∈ N ( i ) h θ ( x i ∣ ∣ x j − x i ) x_i'=\sum_{j\in N(i)}h_{\theta}(x_i||x_j-x_i) xi′?=∑j∈N(i)?hθ?(xi?∣∣xj?−xi?)
# 2.定義EdgeConv層
class EdgeConv(nn.Module):
def __init__(self, nn, aggr='max'):
super(EdgeConv, self).__init__()
self.mlp = nn # MLP網(wǎng)絡(luò)
def forward(self, x, edge_index):
row, col = edge_index # 獲取target、source節(jié)點(diǎn)索引 [E]
x_i = x[row] # 獲取target節(jié)點(diǎn)信息,中心節(jié)點(diǎn) [E, feature_size]
x_j = x[col] # 獲取source節(jié)點(diǎn)信息,鄰居節(jié)點(diǎn) [E, feature_size]
x_cat = torch.cat([x_i, x_j - x_i], dim=1) # 拼接特征 [E, 2 * feature_size]
out = scatter(src=x_cat, index=row, dim=0, reduce='max') # max聚合操作 [num_nodes, feature_size]
out = self.mlp(out) # 特征映射 [num_nodes, out_channels]
return out對(duì)于我們實(shí)現(xiàn)這個(gè)網(wǎng)絡(luò)的實(shí)現(xiàn)效率上來講比PyG框架內(nèi)置的 EdgeConv 層稍差一點(diǎn),因?yàn)槲覀兪前凑展絹硪徊揭徊嚼镁仃囉?jì)算得到,沒有對(duì)矩陣計(jì)算以及算法進(jìn)行優(yōu)化,不然初學(xué)者可能看不太懂,不利于理解EdgeConv公式的傳播過程,有能力的小伙伴可以看下官方源碼學(xué)習(xí)一下,框架內(nèi)是按照消息傳遞方式實(shí)現(xiàn)的。
3.2 定義EdgeCNN網(wǎng)絡(luò)
上面我們已經(jīng)實(shí)現(xiàn)好了 EdgeConv 的網(wǎng)絡(luò)層,之后就可以調(diào)用這個(gè)層來搭建 EdgeCNN 網(wǎng)絡(luò)。
# 3.定義EdgeConv網(wǎng)絡(luò)
class EdgeCNN(nn.Module):
def __init__(self, num_node_features, num_classes):
super(EdgeCNN, self).__init__()
self.conv1 = EdgeConv(nn=nn.Linear(2 * num_node_features, 16), aggr='max')
self.conv2 = EdgeConv(nn=nn.Linear(2 * 16, num_classes), aggr='max')
def forward(self, data):
x, edge_index = data.x, data.edge_index
x = self.conv1(x, edge_index)
x = F.relu(x)
x = F.dropout(x, training=self.training)
x = self.conv2(x, edge_index)
return F.log_softmax(x, dim=1)上面網(wǎng)絡(luò)我們定義了兩個(gè)EdgeConv層,第一層的參數(shù)的輸入維度就是初始每個(gè)節(jié)點(diǎn)的特征維度 * 2,輸出維度是16。
第二個(gè)層的輸入維度為16 * 2,輸出維度為分類個(gè)數(shù),因?yàn)槲覀冃枰獙?duì)每個(gè)節(jié)點(diǎn)進(jìn)行分類,最終加上softmax操作。
這里說明一下為什么要將輸入乘以2,原因是在使用MLP進(jìn)行特征轉(zhuǎn)換之前,會(huì)將中心節(jié)點(diǎn)的特征與中心節(jié)點(diǎn)和鄰居節(jié)點(diǎn)的差向量做拼接,所以得到的輸出維度為節(jié)點(diǎn)的特征維度 * 2。
四、定義模型
下面就是定義了一些模型需要的參數(shù),像學(xué)習(xí)率、迭代次數(shù)這些超參數(shù),然后是模型的定義以及優(yōu)化器及損失函數(shù)的定義,和pytorch定義網(wǎng)絡(luò)是一樣的。
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') # 設(shè)備
epochs = 10 # 學(xué)習(xí)輪數(shù)
lr = 0.003 # 學(xué)習(xí)率
num_node_features = dataset.num_node_features # 每個(gè)節(jié)點(diǎn)的特征數(shù)
num_classes = dataset.num_classes # 每個(gè)節(jié)點(diǎn)的類別數(shù)
data = dataset[0].to(device) # Cora的一張圖
# 3.定義模型
model = EdgeCNN(num_node_features, num_classes).to(device)
optimizer = torch.optim.Adam(model.parameters(), lr=lr) # 優(yōu)化器
loss_function = nn.NLLLoss() # 損失函數(shù)五、模型訓(xùn)練
模型訓(xùn)練部分也是和pytorch定義網(wǎng)絡(luò)一樣,因?yàn)槎际切枰?jīng)過前向傳播、反向傳播這些過程,對(duì)于損失、精度這些指標(biāo)可以自己添加。
# 訓(xùn)練模式
model.train()
for epoch in range(epochs):
optimizer.zero_grad()
pred = model(data)
loss = loss_function(pred[data.train_mask], data.y[data.train_mask]) # 損失
correct_count_train = pred.argmax(axis=1)[data.train_mask].eq(data.y[data.train_mask]).sum().item() # epoch正確分類數(shù)目
acc_train = correct_count_train / data.train_mask.sum().item() # epoch訓(xùn)練精度
loss.backward()
optimizer.step()
if epoch % 20 == 0:
print("【EPOCH: 】%s" % str(epoch + 1))
print('訓(xùn)練損失為:{:.4f}'.format(loss.item()), '訓(xùn)練精度為:{:.4f}'.format(acc_train))
print('【Finished Training!】')六、模型驗(yàn)證
下面就是模型驗(yàn)證階段,在訓(xùn)練時(shí)我們是只使用了訓(xùn)練集,測(cè)試的時(shí)候我們使用的是測(cè)試集,注意這和傳統(tǒng)網(wǎng)絡(luò)測(cè)試不太一樣,在圖像分類一些經(jīng)典任務(wù)中,我們是把數(shù)據(jù)集分成了兩份,分別是訓(xùn)練集、測(cè)試集,但是在Cora這個(gè)數(shù)據(jù)集中并沒有這樣,它區(qū)分訓(xùn)練集還是測(cè)試集使用的是掩碼機(jī)制,就是定義了一個(gè)和節(jié)點(diǎn)長(zhǎng)度相同緯度的數(shù)組,該數(shù)組的每個(gè)位置為True或者False,標(biāo)記著是否使用該節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行訓(xùn)練。
# 模型驗(yàn)證
model.eval()
pred = model(data)
# 訓(xùn)練集(使用了掩碼)
correct_count_train = pred.argmax(axis=1)[data.train_mask].eq(data.y[data.train_mask]).sum().item()
acc_train = correct_count_train / data.train_mask.sum().item()
loss_train = loss_function(pred[data.train_mask], data.y[data.train_mask]).item()
# 測(cè)試集
correct_count_test = pred.argmax(axis=1)[data.test_mask].eq(data.y[data.test_mask]).sum().item()
acc_test = correct_count_test / data.test_mask.sum().item()
loss_test = loss_function(pred[data.test_mask], data.y[data.test_mask]).item()
print('Train Accuracy: {:.4f}'.format(acc_train), 'Train Loss: {:.4f}'.format(loss_train))
print('Test Accuracy: {:.4f}'.format(acc_test), 'Test Loss: {:.4f}'.format(loss_test))七、結(jié)果
【EPOCH: 】1
訓(xùn)練損失為:1.9629 訓(xùn)練精度為:0.1214
【EPOCH: 】21
訓(xùn)練損失為:1.6709 訓(xùn)練精度為:0.5714
【EPOCH: 】41
訓(xùn)練損失為:1.3965 訓(xùn)練精度為:0.7571
【EPOCH: 】61
訓(xùn)練損失為:1.1095 訓(xùn)練精度為:0.8643
【EPOCH: 】81
訓(xùn)練損失為:0.9088 訓(xùn)練精度為:0.9286
【EPOCH: 】101
訓(xùn)練損失為:0.7454 訓(xùn)練精度為:0.9643
【EPOCH: 】121
訓(xùn)練損失為:0.5841 訓(xùn)練精度為:0.9643
【EPOCH: 】141
訓(xùn)練損失為:0.4985 訓(xùn)練精度為:0.9714
【EPOCH: 】161
訓(xùn)練損失為:0.3954 訓(xùn)練精度為:0.9714
【EPOCH: 】181
訓(xùn)練損失為:0.3339 訓(xùn)練精度為:0.9857
【Finished Training!】>>>Train Accuracy: 1.0000 Train Loss: 0.3133
>>>Test Accuracy: 0.4230 Test Loss: 1.6562
| 訓(xùn)練集 | 測(cè)試集 | |
|---|---|---|
| Accuracy | 1.0000 | 0.4230 |
| Loss | 0.3133 | 1.6562 |
完整代碼:
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch_geometric.utils import scatter
from torch_geometric.datasets import Planetoid
# 1.加載Cora數(shù)據(jù)集
dataset = Planetoid(root='./data/Cora', name='Cora')
# 2.定義EdgeConv層
class EdgeConv(nn.Module):
def __init__(self, nn, aggr='max'):
super(EdgeConv, self).__init__()
self.mlp = nn # MLP網(wǎng)絡(luò)
def forward(self, x, edge_index):
row, col = edge_index # 獲取target、source節(jié)點(diǎn)索引 [E]
x_i = x[row] # 獲取target節(jié)點(diǎn)信息,中心節(jié)點(diǎn) [E, feature_size]
x_j = x[col] # 獲取source節(jié)點(diǎn)信息,鄰居節(jié)點(diǎn) [E, feature_size]
x_cat = torch.cat([x_i, x_j - x_i], dim=1) # 拼接特征 [E, 2 * feature_size]
out = scatter(src=x_cat, index=row, dim=0, reduce='max') # max聚合操作 [num_nodes, feature_size]
out = self.mlp(out) # 特征映射 [num_nodes, out_channels]
return out
# 3.定義EdgeConv網(wǎng)絡(luò)
class EdgeCNN(nn.Module):
def __init__(self, num_node_features, num_classes):
super(EdgeCNN, self).__init__()
self.conv1 = EdgeConv(nn=nn.Linear(2 * num_node_features, 16), aggr='max')
self.conv2 = EdgeConv(nn=nn.Linear(2 * 16, num_classes), aggr='max')
def forward(self, data):
x, edge_index = data.x, data.edge_index
x = self.conv1(x, edge_index)
x = F.relu(x)
x = F.dropout(x, training=self.training)
x = self.conv2(x, edge_index)
return F.log_softmax(x, dim=1)
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') # 設(shè)備
epochs = 200 # 學(xué)習(xí)輪數(shù)
lr = 0.0003 # 學(xué)習(xí)率
num_node_features = dataset.num_node_features # 每個(gè)節(jié)點(diǎn)的特征數(shù)
num_classes = dataset.num_classes # 每個(gè)節(jié)點(diǎn)的類別數(shù)
data = dataset[0].to(device) # Cora的一張圖
# 4.定義模型
model = EdgeCNN(num_node_features, num_classes).to(device)
optimizer = torch.optim.Adam(model.parameters(), lr=lr) # 優(yōu)化器
loss_function = nn.NLLLoss() # 損失函數(shù)
# 訓(xùn)練模式
model.train()
for epoch in range(epochs):
optimizer.zero_grad()
pred = model(data)
loss = loss_function(pred[data.train_mask], data.y[data.train_mask]) # 損失
correct_count_train = pred.argmax(axis=1)[data.train_mask].eq(data.y[data.train_mask]).sum().item() # epoch正確分類數(shù)目
acc_train = correct_count_train / data.train_mask.sum().item() # epoch訓(xùn)練精度
loss.backward()
optimizer.step()
if epoch % 20 == 0:
print("【EPOCH: 】%s" % str(epoch + 1))
print('訓(xùn)練損失為:{:.4f}'.format(loss.item()), '訓(xùn)練精度為:{:.4f}'.format(acc_train))
print('【Finished Training!】')
# 模型驗(yàn)證
model.eval()
pred = model(data)
# 訓(xùn)練集(使用了掩碼)
correct_count_train = pred.argmax(axis=1)[data.train_mask].eq(data.y[data.train_mask]).sum().item()
acc_train = correct_count_train / data.train_mask.sum().item()
loss_train = loss_function(pred[data.train_mask], data.y[data.train_mask]).item()
# 測(cè)試集
correct_count_test = pred.argmax(axis=1)[data.test_mask].eq(data.y[data.test_mask]).sum().item()
acc_test = correct_count_test / data.test_mask.sum().item()
loss_test = loss_function(pred[data.test_mask], data.y[data.test_mask]).item()
print('Train Accuracy: {:.4f}'.format(acc_train), 'Train Loss: {:.4f}'.format(loss_train))
print('Test Accuracy: {:.4f}'.format(acc_test), 'Test Loss: {:.4f}'.format(loss_test))
到此這篇關(guān)于基于PyTorch實(shí)現(xiàn)EdgeCNN的文章就介紹到這了,更多相關(guān)PyTorch實(shí)現(xiàn)EdgeCNN內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python遠(yuǎn)程方法調(diào)用實(shí)現(xiàn)過程解析
這篇文章主要介紹了Python遠(yuǎn)程方法調(diào)用實(shí)現(xiàn)過程解析,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07
淺談pytorch中torch.max和F.softmax函數(shù)的維度解釋
這篇文章主要介紹了淺談pytorch中torch.max和F.softmax函數(shù)的維度解釋,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-06-06
Python實(shí)現(xiàn)微信好友的數(shù)據(jù)分析
這篇文章主要為大家詳細(xì)介紹了Python實(shí)現(xiàn)微信好友的數(shù)據(jù)分析,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2019-12-12
Python實(shí)現(xiàn)的KMeans聚類算法實(shí)例分析
這篇文章主要介紹了Python實(shí)現(xiàn)的KMeans聚類算法,結(jié)合實(shí)例形式較為詳細(xì)的分析了KMeans聚類算法概念、原理、定義及使用相關(guān)操作技巧,需要的朋友可以參考下2018-12-12
基于Python+Turtle實(shí)現(xiàn)繪制簡(jiǎn)易的大風(fēng)車
大風(fēng)車,吱呀吱呦呦地轉(zhuǎn),這里的風(fēng)景呀真好看!天好看,地好看……一首熟悉的歌曲,是否已經(jīng)把你拉回了童年?本文將用Turtle庫繪制簡(jiǎn)易的大風(fēng)車,需要的可以參考一下2022-06-06
python爬不同圖片分別保存在不同文件夾中的實(shí)現(xiàn)
這篇文章主要介紹了python爬不同圖片分別保存在不同文件夾中的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
python繪制規(guī)則網(wǎng)絡(luò)圖形實(shí)例
今天小編大家分享一篇python繪制規(guī)則網(wǎng)絡(luò)圖形實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-12-12

