主頁 > 知識庫 > pytorch之深度神經(jīng)網(wǎng)絡(luò)概念全面整理

pytorch之深度神經(jīng)網(wǎng)絡(luò)概念全面整理

熱門標(biāo)簽:企業(yè)微信地圖標(biāo)注 高德地圖標(biāo)注收入咋樣 地圖標(biāo)注多個 B52系統(tǒng)電梯外呼顯示E7 銀川電話機(jī)器人電話 怎么辦理400客服電話 沈陽防封電銷電話卡 萊蕪電信外呼系統(tǒng) 鶴壁手機(jī)自動外呼系統(tǒng)違法嗎

推薦閱讀 點擊標(biāo)題可跳轉(zhuǎn)

1、如何搭建pytorch環(huán)境的方法步驟

今天是第一篇文章,希望自己能堅持,加油。

深度神經(jīng)網(wǎng)絡(luò)就是用一組函數(shù)去逼近原函數(shù),訓(xùn)練的過程就是尋找參數(shù)的過程。

1、神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程如下:

  • 收集數(shù)據(jù),整理數(shù)據(jù)
  • 實現(xiàn)神經(jīng)網(wǎng)絡(luò)用于擬合目標(biāo)函數(shù)
  • 做一個真實值和目標(biāo)函數(shù)值直接估計誤差的損失函數(shù),一般選擇既定的損失函數(shù)
  • 用損失函數(shù)值前向輸入值求導(dǎo),
  • 再根據(jù)導(dǎo)數(shù)的反方向去更新網(wǎng)絡(luò)參數(shù)(x),目的是讓損失函數(shù)值最終為0.,最終生成模型

各層概念解釋

  • 輸入層:就是參數(shù)輸入
  • 輸出層:就是最后的輸出
  • 隱藏層(隱含層):除去其他兩層之外的層都可以叫隱藏層

模型是什么:

  • 模型包含兩部分,一部分是神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),一部分是各個參數(shù),最后訓(xùn)練的成果就是這個

2、基礎(chǔ)概念

2.1數(shù)學(xué)知識

2.1.1導(dǎo)數(shù)

導(dǎo)數(shù)在大學(xué)的時候還是學(xué)過的,雖然概念很簡單,但是過了這么多年幾乎也都忘了,連數(shù)學(xué)符號都不記得了,在復(fù)習(xí)之后才理解:就是表示數(shù)據(jù)變化的快慢,是變化率的概念,比如重力加速度,表示你自由落體之后每秒速度的增量。

數(shù)學(xué)公式是:

不重要,看不看的懂都行,因為在后面的學(xué)習(xí)中也不會讓你手動求導(dǎo),框架里都有現(xiàn)成的函數(shù)

2.1.2 梯度

梯度的本意是一個向量(矢量),表示某一函數(shù)在該點處的方向?qū)?shù)沿著該方向取得最大值,即函數(shù)在該點處沿著該方向(此梯度的方向)變化最快,變化率最大(為該梯度的模)

梯度:是一個矢量,其方向上的方向?qū)?shù)最大,其大小正好是此最大方向?qū)?shù)。

2.2前向傳播和反向傳播

前向傳播就是前向調(diào)用,正常的函數(shù)調(diào)用鏈而已,沒什么特別的,破概念搞得神神秘秘的

比如

def a(input):
    return y
 
def b(input):
    return y2
# 前向傳播
def forward(input):
    y = a(input)
    y2 = b(y)

反向傳播

反向傳播就是根據(jù)誤差和學(xué)習(xí)率,將參數(shù)權(quán)重進(jìn)行調(diào)整,具體的算法下次會專門寫一篇文章進(jìn)行解析。

3、數(shù)據(jù)預(yù)處理手段

3.1 歸一化  (normalization)

將數(shù)據(jù)放縮到0~1區(qū)間,利用公式(x-min)/(max-min)

3.2 標(biāo)準(zhǔn)化(Standardization)

數(shù)據(jù)的標(biāo)準(zhǔn)化是將數(shù)據(jù)按比例縮放,使之落入一個小的特定區(qū)間。將數(shù)據(jù)轉(zhuǎn)化為標(biāo)準(zhǔn)的正態(tài)分布,均值為0,方差為1

3.3 正則化

正則化的主要作用是防止過擬合,對模型添加正則化項可以限制模型的復(fù)雜度,使得模型在復(fù)雜度和性能達(dá)到平衡。

3.4 獨熱碼編碼(one hot)

one hot編碼是將類別變量轉(zhuǎn)換為機(jī)器學(xué)習(xí)算法易于使用的一種形式的過程。one-hot通常用于特征的轉(zhuǎn)換

比如:一周七天,第三天可以編碼為 [0,0,1,0,0,00]

注:我把英語都補(bǔ)在了后面,并不是為了裝逼,只是為了下次看到這個單詞的時候知道這個單詞在表示什么。

4、數(shù)據(jù)處理庫

numpy ,pandas, matplotlib 這三個是數(shù)據(jù)分析常用的庫,也是深度學(xué)習(xí)中常用的三個庫

4.1 numpy

numpy 是優(yōu)化版的python的列表,提高了運(yùn)行效率,也提供了很多便利的函數(shù),一般在使用的時候表示矩陣

numpy中的一個重要概念叫shape ,也就是表示維度

注:numpy 的api 我也使用不熟練,相信會在以后的學(xué)習(xí)過程中熟練的,使用的時候查一查,不用擔(dān)心。

4.2 pandas

Pandas 的主要數(shù)據(jù)結(jié)構(gòu)是 Series (一維數(shù)據(jù))與 DataFrame(二維數(shù)據(jù)).

[Series] 是一種類似于一維數(shù)組的對象,它由一組數(shù)據(jù)(各種Numpy數(shù)據(jù)類型)以及一組與之相關(guān)的數(shù)據(jù)標(biāo)簽(即索引)組成。

DataFrame 是一個表格型的數(shù)據(jù)結(jié)構(gòu),它含有一組有序的列,每列可以是不同的值類型(數(shù)值、字符串、布爾型值)。DataFrame 既有行索引也有列索引,它可以被看做由 Series 組成的字典(共同用一個索引)。

注:pandas 可以當(dāng)做Excel使用,里面的api 我也使用不熟練,不用擔(dān)心,可以掃下核心概念就好

4.3 matplotlib

Matplotlib 是畫圖用的,可以用來在學(xué)習(xí)的過程中對數(shù)據(jù)進(jìn)行可視化,我還沒有學(xué)習(xí)這個庫,只會照貓畫虎,所以放輕松,只是告訴你有這么個東西,不一定現(xiàn)在就要掌握

5、訓(xùn)練集、測試集,測試集

訓(xùn)練集:用來訓(xùn)練模型的數(shù)據(jù),用來學(xué)習(xí)的

驗證集:用來驗證模型的數(shù)據(jù),主要是看下模型的訓(xùn)練情況

測試集: 訓(xùn)練完成之后,驗證模型的數(shù)據(jù)

一般數(shù)據(jù)的比例為6:2:2

一個形象的比喻:

訓(xùn)練集----學(xué)生的課本;學(xué)生 根據(jù)課本里的內(nèi)容來掌握知識。

驗證集----作業(yè),通過作業(yè)可以知道 不同學(xué)生學(xué)習(xí)情況、進(jìn)步的速度快慢。

測試集----考試,考的題是平常都沒有見過,考察學(xué)生舉一反三的能力。

6、損失函數(shù)

損失函數(shù)用來評價模型的預(yù)測值和真實值不一樣的程度,損失函數(shù)越好,通常模型的性能越好。不同的模型用的損失函數(shù)一般也不一樣.

注:f(x) 表示預(yù)測值,Y 表示真實值,

這些只是常用的損失函數(shù),實現(xiàn)不同而已,在后面的開發(fā)理解各個函數(shù)就行了,API caller 不用理解具體的實現(xiàn),就像你知道快速排序的算法原理,但是沒必要自己去實現(xiàn),現(xiàn)成的實現(xiàn)拿來用不香嗎?

7、優(yōu)化器

優(yōu)化器就是在深度學(xué)習(xí)反向傳播過程中,指引損失函數(shù)(目標(biāo)函數(shù))的各個參數(shù)往正確的方向更新合適的大小,使得更新后的各個參數(shù)讓損失函數(shù)(目標(biāo)函數(shù))值不斷逼近全局最小。

常見的幾種優(yōu)化器

8、激活函數(shù)

激活函數(shù)就是對輸入進(jìn)行過濾,可以理解為一個過濾器

常見的非線性激活函數(shù)通常可以分為兩類,一種是輸入單個變量輸出單個變量,如sigmoid函數(shù),Relu函數(shù);還有一種是輸入多個變量輸出多個變量,如Softmax函數(shù),Maxout函數(shù)。

  • 對于二分類問題,在輸出層可以選擇 sigmoid 函數(shù)。
  • 對于多分類問題,在輸出層可以選擇 softmax 函數(shù)。
  • 由于梯度消失問題,盡量sigmoid函數(shù)和tanh的使用。
  • tanh函數(shù)由于以0為中心,通常性能會比sigmoid函數(shù)好。
  • ReLU函數(shù)是一個通用的函數(shù),一般在隱藏層都可以考慮使用。
  • 有時候要適當(dāng)對現(xiàn)有的激活函數(shù)稍作修改,以及考慮使用新發(fā)現(xiàn)的激活函數(shù)。

9、hello world

說了很多概念,搞個demo 看看,下面是一個最簡單的線性回歸的模型。

環(huán)境的安裝在文章的開頭。

import torch as t
import torch.nn as nn
import torch.optim as optim
import matplotlib.pyplot as plt
import numpy as np
 
# 學(xué)習(xí)率,也就是每次參數(shù)的移動的大小
lr = 0.01
# 訓(xùn)練數(shù)據(jù)集的次數(shù)
num_epochs = 100
# 輸入?yún)?shù)的個數(shù)
in_size = 1
#輸出參數(shù)的個數(shù)
out_size = 1
# x 數(shù)據(jù)集
x_train = np.array([[3.3], [4.4], [5.5], [6.71], [6.93], [4.168],
                    [9.779], [6.182], [7.59], [2.167], [7.042],
                    [10.791], [5.313], [7.997], [3.1]], dtype=np.float32)
# y 對應(yīng)的真實值
y_train = np.array([[1.7], [2.76], [2.09], [3.19], [1.694], [1.573],
                    [3.366], [2.596], [2.53], [1.221], [2.827],
                    [3.465], [1.65], [2.904], [1.3]], dtype=np.float32)
# 線性回歸網(wǎng)絡(luò)
class LinerRegression(nn.Module):
    def __init__(self, in_size, out_size):
        super(LinerRegression, self).__init__()
        self.fc1 = nn.Linear(in_size, out_size)
 
    def forward(self, x):
        y_hat = self.fc1(x)
        return y_hat
 
 
model = LinerRegression(in_size, out_size)
# 損失函數(shù)
lossFunc = nn.MSELoss()
# 優(yōu)化器
optimizer = optim.SGD(model.parameters(), lr=lr)
# 對數(shù)據(jù)集訓(xùn)練的循環(huán)次數(shù)
for epoch in range(num_epochs):
    x = t.from_numpy(x_train)
    y = t.from_numpy(y_train)
    y_hat = model(x)
    loss = lossFunc(y_hat, y)
    # 導(dǎo)數(shù)歸零
    optimizer.zero_grad()
    # 反向傳播,也就是修正參數(shù),將參數(shù)往正確的方向修改
    loss.backward()
    optimizer.step()
    print("[{}/{}] loss:{:.4f}".format(epoch+1, num_epochs, loss))
 
# 畫圖看下最終的模型擬合的怎么樣
y_pred = model(t.from_numpy(x_train)).detach().numpy()
plt.plot(x_train, y_train, 'ro', label='Original Data')
plt.plot(x_train, y_pred, 'b-', label='Fitted Line')
plt.legend()
plt.show()

上面是最簡單的一個線性回歸的神經(jīng)網(wǎng)絡(luò),沒有隱藏層,沒有激活函數(shù)。

運(yùn)行很快,因為參數(shù)很少,運(yùn)行的最終結(jié)果可以看下,最終達(dá)到了我們的結(jié)果,你可以試著調(diào)整一些參數(shù)

10、總結(jié)

今天寫了很多的概念,不需要全部掌握,先混個臉熟,先有個全局觀,慢慢的認(rèn)識即可,里面的公式很多,不需要看懂,be easy.

到此這篇關(guān)于pytorch之深度神經(jīng)網(wǎng)絡(luò)概念全面整理的文章就介紹到這了,更多相關(guān)pytorch神經(jīng)網(wǎng)絡(luò)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • Tensorflow實現(xiàn)AlexNet卷積神經(jīng)網(wǎng)絡(luò)及運(yùn)算時間評測
  • PyTorch實現(xiàn)AlexNet示例
  • PyTorch上實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)CNN的方法
  • pytorch實現(xiàn)CNN卷積神經(jīng)網(wǎng)絡(luò)
  • Python編程pytorch深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet詳解

標(biāo)簽:三亞 安慶 呼倫貝爾 湘西 烏魯木齊 銀川 呼倫貝爾 葫蘆島

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《pytorch之深度神經(jīng)網(wǎng)絡(luò)概念全面整理》,本文關(guān)鍵詞  pytorch,之,深度,神經(jīng)網(wǎng)絡(luò),;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《pytorch之深度神經(jīng)網(wǎng)絡(luò)概念全面整理》相關(guān)的同類信息!
  • 本頁收集關(guān)于pytorch之深度神經(jīng)網(wǎng)絡(luò)概念全面整理的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章