與優(yōu)化函數(shù)相關(guān)的部分在torch.optim模塊中,其中包含了大部分現(xiàn)在已有的流行的優(yōu)化方法。
如何使用Optimizer
要想使用optimizer,需要創(chuàng)建一個optimizer 對象,這個對象會保存當(dāng)前狀態(tài),并根據(jù)梯度更新參數(shù)。
怎樣構(gòu)造Optimizer
要構(gòu)造一個Optimizer,需要使用一個用來包含所有參數(shù)(Tensor形式)的iterable,把相關(guān)參數(shù)(如learning rate、weight decay等)裝進(jìn)去。
注意,如果想要使用.cuda()方法來將model移到GPU中,一定要確保這一步在構(gòu)造Optimizer之前。因?yàn)檎{(diào)用.cuda()之后,model里面的參數(shù)已經(jīng)不是之前的參數(shù)了。
示例代碼如下:
optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum = 0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)
常用參數(shù)
last_epoch代表上一次的epoch的值,初始值為-1。
單獨(dú)指定參數(shù)
也可以用一個dict的iterable指定參數(shù)。這里的每個dict都必須要params這個key,params包含它所屬的參數(shù)列表。除此之外的key必須它的Optimizer(如SGD)里面有的參數(shù)。
You can still pass options as keyword arguments. They will be used as defaults, in the groups that didn't override them. This is useful when you only want to vary a single option, while keeping all others consistent between parameter groups.
這在針對特定部分進(jìn)行操作時很有用。比如只希望給指定的幾個層單獨(dú)設(shè)置學(xué)習(xí)率:
optim.SGD([
{'params': model.base.parameters()},
{'params': model.classifier.parameters(), 'lr': 0.001}
],
lr = 0.01, momentum = 0.9)
在上面這段代碼中model.base將會使用默認(rèn)學(xué)習(xí)率0.01,而model.classifier的參數(shù)蔣歡使用0.001的學(xué)習(xí)率。
怎樣進(jìn)行單次優(yōu)化
所有optimizer都實(shí)現(xiàn)了step()方法,調(diào)用這個方法可以更新參數(shù),這個方法有以下兩種使用方法:
optimizer.step()
多數(shù)optimizer里都可以這么做,每次用backward()這類的方法計(jì)算出了梯度后,就可以調(diào)用一次這個方法來更新參數(shù)。
示例程序:
for input, target in dataset:
optimizer.zero_grad()
ouput = model(input)
loss = loss_fn(output, target)
loss.backward()
optimizer.step()
optimizer.step(closure)
有些優(yōu)化算法會多次重新計(jì)算函數(shù)(比如Conjugate Gradient、LBFGS),這樣的話你就要使用一個閉包(closure)來支持多次計(jì)算model的操作。
這個closure的運(yùn)行過程是,清除梯度,計(jì)算loss,返回loss。
(這個我不太理解,因?yàn)檫@些優(yōu)化算法不熟悉)
示例程序:
for input, target in dataset:
def closure():
optimizer.zero_grad()
output = model(input)
loss = loss_fn(output, target)
loss.backward()
return loss
optimizer.step(closure)
優(yōu)化算法
這里就不完整介紹documentation中的內(nèi)容了,只介紹基類。具體的算法的參數(shù)需要理解它們的原理才能明白,這個改天單獨(dú)來一篇文章介紹。
Optimizer
class torch.optim.Optimizer(params, defaults)
這是所有optimizer的基類。
注意,各參數(shù)的順序必須保證每次運(yùn)行都一致。有些數(shù)據(jù)結(jié)構(gòu)就不滿足這個條件,比如dictionary的iterator和set。
參數(shù)
params(iterable)
是torch.Tensor或者dict的iterable。這個參數(shù)指定了需要更新的Tensor。
defaults(dict)
是一個dict,它包含了默認(rèn)的的優(yōu)化選項(xiàng)。
方法
add_param_group(param_group)
這個方法的作用是增加一個參數(shù)組,在fine tuning一個預(yù)訓(xùn)練的網(wǎng)絡(luò)時有用。
load_state_dict(state_dict)
這個方法的作用是加載optimizer的狀態(tài)。
獲取一個optimizer的狀態(tài)(一個dict)。
zero_grad()
方法用于清空梯度。
step(closure)
用于進(jìn)行單次更新。
Adam
class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False)
補(bǔ)充:pytorch里面的Optimizer和optimizer.step()用法
當(dāng)我們想指定每一層的學(xué)習(xí)率時:
optim.SGD([
{'params': model.base.parameters()},
{'params': model.classifier.parameters(), 'lr': 1e-3}
], lr=1e-2, momentum=0.9)
這意味著model.base的參數(shù)將會使用1e-2的學(xué)習(xí)率,model.classifier的參數(shù)將會使用1e-3的學(xué)習(xí)率,并且0.9的momentum將會被用于所有的參數(shù)。
進(jìn)行單次優(yōu)化
所有的optimizer都實(shí)現(xiàn)了step()方法,這個方法會更新所有的參數(shù)。它能按兩種方式來使用:
這是大多數(shù)optimizer所支持的簡化版本。一旦梯度被如backward()之類的函數(shù)計(jì)算好后,我們就可以調(diào)用這個函數(shù)。
例子
for input, target in dataset:
optimizer.zero_grad()
output = model(input)
loss = loss_fn(output, target)
loss.backward()
optimizer.step()
optimizer.step(closure)
一些優(yōu)化算法例如Conjugate Gradient和LBFGS需要重復(fù)多次計(jì)算函數(shù),因此你需要傳入一個閉包去允許它們重新計(jì)算你的模型。
這個閉包應(yīng)當(dāng)清空梯度,計(jì)算損失,然后返回。
例子:
for input, target in dataset:
def closure():
optimizer.zero_grad()
output = model(input)
loss = loss_fn(output, target)
loss.backward()
return loss
optimizer.step(closure)
以上為個人經(jīng)驗(yàn),希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。
您可能感興趣的文章:- pytorch中Schedule與warmup_steps的用法說明
- PyTorch中model.zero_grad()和optimizer.zero_grad()用法
- PyTorch的Optimizer訓(xùn)練工具的實(shí)現(xiàn)
- 聊聊pytorch中Optimizer與optimizer.step()的用法