我們知道，dropout一般都在訓(xùn)練的時(shí)候使用，那么測(cè)試的時(shí)候如何也開(kāi)啟dropout呢？
在pytorch中，網(wǎng)絡(luò)有train和eval兩種模式，在train模式下，dropout和batch normalization會(huì)生效，而val模式下，dropout不生效，bn固定參數(shù)。
想要在測(cè)試的時(shí)候使用dropout，可以把dropout單獨(dú)設(shè)為train模式，這里可以使用apply函數(shù)：
def apply_dropout(m):
if type(m) == nn.Dropout:
m.train()
下面是完整demo代碼：
# coding: utf-8
import torch
import torch.nn as nn
import numpy as np
class SimpleNet(nn.Module):
def __init__(self):
super(SimpleNet, self).__init__()
self.fc = nn.Linear(8, 8)
self.dropout = nn.Dropout(0.5)
def forward(self, x):
x = self.fc(x)
x = self.dropout(x)
return x
net = SimpleNet()
x = torch.FloatTensor([1]*8)
net.train()
y = net(x)
print('train mode result: ', y)
net.eval()
y = net(x)
print('eval mode result: ', y)
net.eval()
y = net(x)
print('eval2 mode result: ', y)
def apply_dropout(m):
if type(m) == nn.Dropout:
m.train()
net.eval()
net.apply(apply_dropout)
y = net(x)
print('apply eval result:', y)
運(yùn)行結(jié)果：
可以看到，在eval模式下，由于dropout未生效，每次跑的結(jié)果不同，利用apply函數(shù)，將Dropout單獨(dú)設(shè)為train模式，dropout就生效了。
補(bǔ)充：Pytorch之dropout避免過(guò)擬合測(cè)試
一.做數(shù)據(jù)
二.搭建神經(jīng)網(wǎng)絡(luò)
三.訓(xùn)練
四.對(duì)比測(cè)試結(jié)果
注意：測(cè)試過(guò)程中，一定要注意模式切換
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:- 淺談pytorch中的dropout的概率p
- PyTorch 實(shí)現(xiàn)L2正則化以及Dropout的操作
- Python深度學(xué)習(xí)pytorch神經(jīng)網(wǎng)絡(luò)Dropout應(yīng)用詳解解
