人工智能是在1956年達(dá)特茅斯會(huì)議上首先提出的。該會(huì)議確定了人工智能的目標(biāo)是“實(shí)現(xiàn)能夠像人類一樣利用知識(shí)去解決問題的機(jī)器”。雖然，這個(gè)夢(mèng)想很快被一系列未果的嘗試所擊碎，但卻開啟了人工智能漫長(zhǎng)而曲折的研究歷程。
人工智能的第一次高潮始于上世紀(jì)50年代。在算法方面，感知器數(shù)學(xué)模型被提出用于模擬人的神經(jīng)元反應(yīng)過程，并能夠使用梯度下降法從訓(xùn)練樣本中自動(dòng)學(xué)習(xí)，完成分類任務(wù)。另外，由于計(jì)算機(jī)應(yīng)用的發(fā)展，利用計(jì)算機(jī)實(shí)現(xiàn)邏輯推理的一些嘗試取得成功。理論與實(shí)踐效果帶來第一次神經(jīng)網(wǎng)絡(luò)的浪潮。然而，感知器模型的缺陷之后被發(fā)現(xiàn)，即它本質(zhì)上只能處理線性分類問題，就連最簡(jiǎn)單的異或題都無法正確分類。許多應(yīng)用難題并沒有隨著時(shí)間推移而被解決，神經(jīng)網(wǎng)絡(luò)的研究也陷入停滯。
人工智能的第二次高潮始于上世紀(jì)80年代。BP（Back Propagation）算法被提出，用于多層神經(jīng)網(wǎng)絡(luò)的參數(shù)計(jì)算，以解決非線性分類和學(xué)習(xí)的問題。另外，針對(duì)特定領(lǐng)域的專家系統(tǒng)也在商業(yè)上獲得成功應(yīng)用，人工智能迎來了又一輪高潮。然而，人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)一直缺少相應(yīng)的嚴(yán)格的數(shù)學(xué)理論支持，之后BP算法更被指出存在梯度消失問題，因此無法對(duì)前層進(jìn)行有效的學(xué)習(xí)。專家系統(tǒng)也暴露出應(yīng)用領(lǐng)域狹窄、知識(shí)獲取困難等問題。人工智能的研究進(jìn)入第二次低谷。
人工智能的第三次高潮始于2010年代。深度學(xué)習(xí)的出現(xiàn)引起了廣泛的關(guān)注，多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中的梯度消失問題被有效地抑制，網(wǎng)絡(luò)的深層結(jié)構(gòu)也能夠自動(dòng)提取并表征復(fù)雜的特征，避免傳統(tǒng)方法中通過人工提取特征的問題。深度學(xué)習(xí)被應(yīng)用到語(yǔ)音識(shí)別以及圖像識(shí)別中，取得了非常好的效果。人工智能在大數(shù)據(jù)時(shí)代進(jìn)入了第三次發(fā)展高潮。
?
