Saya memiliki kode berikut:

import torch
import torch.nn as nn
import torch.nn.functional as F
from tqdm import tqdm
import matplotlib.pyplot as plt
import os
import keras
from random import choice
import sys
devicet = 'cuda' if torch.cuda.is_available() else 'cpu'
device = torch.device(devicet)
if devicet == 'cpu':
  print ('Using CPU')
else:
  print ('Using GPU')
cuda0 = torch.device('cuda:0')
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.step1 = nn.Linear(5, 25)
        self.step2 = nn.Linear(25, 50)
        self.step3 = nn.Linear(50, 100)
        self.step4 = nn.Linear(100, 100)
        self.step5 = nn.Linear(100, 10)
        self.step6 = nn.Linear(10, 1)
    def forward(self, x):
      x = F.relu(x)
      x = self.step1(x)
      x = F.relu(x)
      x = self.step2(x)
      x = F.relu(x)
      x = self.step3(x)
      x = F.relu(x)
      x = self.step4(x)
      x = F.relu(x)
      x = self.step5(x)
      x = F.relu(x)
      x = self.step6(x)
      x = F.relu(x)
      return (x)
net = Net()
x = torch.rand(10,5)
num = choice(range(10))
zero_tensor = torch.zeros(num, 1)
one_tensor = torch.ones(10-num, 1)
y = torch.cat((zero_tensor,one_tensor),0)
x.to(devicet)
y.to(devicet)
learning_rate = 1e-3
optimizer = torch.optim.Adam(net.parameters(), lr=learning_rate)
loss_fn = torch.nn.BCELoss()
acc_list = []
for i in tqdm(range(1000),desc='Training'):
    y_pred = net(x)
    loss = loss_fn(y_pred, y)
    loss.backward()
    optimizer.step()
    acc_list.append(abs(net(x).detach().numpy()[0]-y.detach().numpy()[0]))
    with torch.no_grad():
        for param in net.parameters():
            param -= learning_rate * param.grad
    optimizer.zero_grad()
print ('\nFinished training in {} epochs.'.format(len(acc_list)))
plt.plot(range(len(acc_list)),acc_list)
plt.show()
for i in range(10):
  print (str(net(x).detach().numpy()[i][0])+', '+str(y.detach().numpy()[i][0]))

Ketika saya menjalankan ini, secara konsisten hanya mencetak yang berikut:

Gambar

Mengapa tidak akan melakukan pelatihan apapun? Ini berfungsi jika saya menggunakan kerugian MSE (sebenarnya, itu hanya berfungsi kadang-kadang dengan kerugian MSE, kadang-kadang melakukan hal yang sama seperti pada gambar), hanya ketika saya menggunakan BCE itu berhenti bekerja sepenuhnya.

1
Cmark 18 Mei 2021, 17:38

1 menjawab

Jawaban Terbaik

Aktivasi lapisan terakhir

Anda hanya mengeluarkan nilai positif, itu harus antara 0 dan 1 sebagai permulaan, baris ini secara khusus:

x = F.relu(x)
return (x)

Gunakan torch.sigmoid dengan BCELoss atau lebih baik lagi, cukup keluarkan x dan gunakan torch.nn.BCEWithLogitsLoss yang menggunakan log secara langsung

Latihan

Anda menggunakan pengoptimal Adam dan melakukan SGD secara manual di sini:

with torch.no_grad():
    for param in net.parameters():
        param -= learning_rate * param.grad

Pada dasarnya Anda menerapkan langkah pengoptimalan dua kali yang mungkin terlalu banyak dan dapat menghancurkan bobot.

optimizer.step() sudah melakukan ini, tidak perlu keduanya!

Ketepatan

Bagian ini:

abs(net(x).detach().numpy()[0]-y.detach().numpy()[0])

Saya berasumsi Anda ingin menghitung akurasi, itu akan menjadi seperti ini (juga jangan mendorong data melalui jaringan dua kali melalui net(x), Anda sudah memiliki y_pred!):

# Assuming sigmoid activation
def accuracy(y_pred, y_true):
    # For logits use
    # predicted_labels = y_pred > 0.0
    predicted_labels = y_pred > 0.5
    return torch.mean((y_true == predicted_labels).float())
1
Szymon Maszke 18 Mei 2021, 17:08