pytorch 兩個GPU同時訓練的解決方案

使用場景

我有兩個GPU卡。我希望我兩個GPU能并行運行兩個網絡模型。

代碼

錯誤代碼1：

#對于0號GPU
os.environ['CUDA_VISIBLE_DEVICES']='0,1'
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
#對于1號GPU
os.environ['CUDA_VISIBLE_DEVICES']='0,1'
device = torch.device("cuda:1" if torch.cuda.is_available() else "cpu")

0號GPU不報錯，1號GPU報錯。錯誤如下

RuntimeError: Expected tensor for argument #1 ‘input' to have the same device as tensor for argument #2 ‘weight'; but device 0 does not equal 1 (while checking arguments for cudnn_convolution)

錯誤代碼2：

#對于0號GPU
os.environ['CUDA_VISIBLE_DEVICES']='0'
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
#對于1號GPU
os.environ['CUDA_VISIBLE_DEVICES']='1'
device = torch.device("cuda:1" if torch.cuda.is_available() else "cpu")

0號GPU不報錯，1號GPU報錯。錯誤如下

CUDA: invalid device ordinal

正確代碼如下：

#對于0號GPU
os.environ['CUDA_VISIBLE_DEVICES']='0'
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
#對于1號GPU
os.environ['CUDA_VISIBLE_DEVICES']='1'
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

pytorch 多個gpu遇到的問題

目前所在學校的計算機系自己搭建了個GPU Farm，設備是GTX 1080 Ti的，看起來還算ok，但其實細究起來還挺雞肋的。但是總對于數(shù)據(jù)量巨大的項目，還是需要跑代碼吧，將就著用了。因為資源有限，分配到超過1個gpu需要排隊，所以從來沒嘗試過使用多個gpu。最近由于數(shù)據(jù)量變大，也急于取得進展，因此開始嘗試分配多個gpu。使用的過程中出現(xiàn)的問題，在此做個記錄。

首先，因為不同平臺的GPU Farm搭建的規(guī)則不一樣，如何分配到多個gpu在此就不做記錄了。不得不說，學校的GPU Farm資源少的可憐，分配到2個gpu常常要排隊半小時。

以下羅列遇到的問題。

torch.nn.DataParallel()

因為對pytorch的理解還不夠深，因此為了提高速度，從官網上注意到DataParallel，據(jù)說最簡單的方法是直接用

model = torch.nn.DataParallel(model)
model.cuda()

來實現(xiàn)，但是萬萬沒想到它給我?guī)淼臅r間浪費還真不是一星半點。

首先我分配到了2個gpu設備，之后在我的代碼中只添加了如上的命令，而后便收到了如下報錯

ValueError: only one element tensors can be converted to Python scalars

這個報錯直指我的 loss.item()，通過debug我發(fā)現(xiàn)它的tensor dimension的確變成了2個elements。在做了更多無效debug和上網查閱之后，我鬼使神差地調整回了1個gpu想看看效果會不會不一樣，然后居然順利運行了。

稍微思考一下，感覺倒是很合理。假設兩個gpu并行同時各自訓練一個batch，那么得到的loss自然應該是2個elements，淺顯地認為將其看做兩個batch訓練的loss結果就可以了。

目前手頭有比較急于出結果的數(shù)據(jù)集和項目，因此暫時沒有過多的時間去研究具體為什么會有這種情況的出現(xiàn)，不過這也證實了想要合理正確地運用多個gpu同時作業(yè)，顯然不是那么簡單地幾行代碼就能解決的。

以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。