理解深度學(xué)習(xí)之深度學(xué)習(xí)簡介

機(jī)器學(xué)習(xí)

在吳恩達(dá)老師的課程中，有過對機(jī)器學(xué)習(xí)的定義：

ML：P T E>

P即performance，T即Task，E即Experience，機(jī)器學(xué)習(xí)是對一個Task，根據(jù)Experience，去提升Performance；

在機(jī)器學(xué)習(xí)中，神經(jīng)網(wǎng)絡(luò)的地位越來越重要，實踐發(fā)現(xiàn)，非線性的激活函數(shù)有助于神經(jīng)網(wǎng)絡(luò)擬合分布，效果明顯優(yōu)于線性分類器：

y=Wx+b

常用激活函數(shù)有ReLU，sigmoid，tanh；

sigmoid將值映射到(0,1)：

tanh會將輸入映射到(-1,1)區(qū)間：

#激活函數(shù)tanh
%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
def tanh(x):
    return (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))
X=np.linspace(-5,5,100)
plt.figure(figsize=(8,6))
ax=plt.gca()#get current axis:獲取當(dāng)前坐標(biāo)系
#將該坐標(biāo)系的右邊緣和上邊緣設(shè)為透明
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
#設(shè)置bottom是x軸
ax.xaxis.set_ticks_position('bottom')
ax.spines['bottom'].set_position(('data',0))
#設(shè)置left為y軸
ax.yaxis.set_ticks_position('left')
ax.spines['left'].set_position(('data',0))
ax.plot(X,tanh(X),color='blue',linewidth=1.0,linestyle="-")
plt.show()

開源框架

當(dāng)神經(jīng)網(wǎng)絡(luò)層數(shù)加深，可以加強(qiáng)捕捉分布的效果，可以簡單認(rèn)為深度學(xué)習(xí)指深層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)；

當(dāng)前有兩大主流的深度學(xué)習(xí)框架：Pytorch和Tensorflow；

Pytorch支持動態(tài)計算圖，使用起來更接近Python；

Tensorflow是靜態(tài)計算圖，使用起來就像一門新語言，據(jù)說簡單易用的keras已經(jīng)無人維護(hù)，合并到tensorflow；

一個深度學(xué)習(xí)項目的運(yùn)行流程一般是：

v

深度學(xué)習(xí)計算重復(fù)且體量巨大，所以需要將模型部署到GPU上，GPU的設(shè)計很適合加速深度學(xué)習(xí)計算，為了便于在GPU上開展深度學(xué)習(xí)實驗，人們開發(fā)了CUDA架構(gòu)，現(xiàn)在大部分DL模型都是基于CUDA加速的

關(guān)于CUDA

1.什么是CUDA？

CUDA(ComputeUnified Device Architecture)，是顯卡廠商N(yùn)VIDIA推出的運(yùn)算平臺。 CUDA是一種由NVIDIA推出的通用并行計算架構(gòu)，該架構(gòu)使GPU能夠解決復(fù)雜的計算問題。

2.什么是CUDNN？

NVIDIA cuDNN是用于深度神經(jīng)網(wǎng)絡(luò)的GPU加速庫。它強(qiáng)調(diào)性能、易用性和低內(nèi)存開銷。NVIDIA cuDNN可以集成到更高級別的機(jī)器學(xué)習(xí)框架中。

方向概覽

當(dāng)前計算機(jī)視覺的發(fā)展相對于自然語言處理更加成熟，NLP的訓(xùn)練比CV更耗費(fèi)資源，CV模型相對較??；

在CV方向：

1.圖像分類（ResNet，DenseNet）

1. 目標(biāo)檢測ObjectDetection
2. 風(fēng)格遷移StyleTransfer
3. CycleGAN：比如圖像中馬到斑馬，也可以從斑馬返回馬
4. ImageCaptioning：從圖像生成描述文本，一般用CNN獲得feature，再輸入RNN獲得文本

2.在NLP方向

1. 情感分析：分類影評數(shù)據(jù)
2. QuestionAnswering：一段問題->給出答案
3. Translation：可以用OpenNMT-py，OpenNMT-py是開源的seq->seq模型
4. ChatBot聊天機(jī)器人，基于QuestionAnswering，目前剛起步

另外還有強(qiáng)化學(xué)習(xí)Deep Reinforcement Learning，從簡單的打磚塊游戲到著名的阿爾法Go；

以及預(yù)訓(xùn)練語言模型：給一段話，讓機(jī)器繼續(xù)說下去，比如BERT，GPT2；

遷移學(xué)習(xí)

在CV中，NN的低層可以提取位置信息（邊，角等精細(xì)信息），高層提取抽象信息，所以低層的網(wǎng)絡(luò)可以反復(fù)使用，更改高層再訓(xùn)練以適用其他任務(wù)

到此這篇關(guān)于深度學(xué)習(xí)簡介的文章就結(jié)束了,以后還會不斷更新深度學(xué)習(xí)的文章，更多相關(guān)深度學(xué)習(xí)文章請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持腳本之家！