近日,小i機器人研究院團隊(Xiaoi Research)在由斯坦福大學(xué)發(fā)起的國際權(quán)威機器閱讀理解評測SQuAD1.1挑戰(zhàn)賽中,憑借最新研究成果—BERT+WWM+MT的單模型,以EM(精準(zhǔn)匹配率和F1(模糊匹配率)超越人類平均水平的優(yōu)異成績排名第三(截至7月30日),僅次于Google和Facebook,進一步驗證了小i機器人NLP相關(guān)模型算法的技術(shù)可行性和全球先進性。
關(guān)于SQuAD1.1
SQuAD被譽為自然語言處理領(lǐng)域金字塔尖的比賽,旨在促進智能搜索引擎的發(fā)展。國際機器閱讀理解評測SQuAD自2016年發(fā)布以來,便受到了業(yè)界的廣泛關(guān)注,共吸引了包括谷歌、微軟亞洲研究院、IBM研究院、阿里巴巴達摩院、上海交通大學(xué)等眾多國內(nèi)外知名研究機構(gòu)和高校的踴躍報名。
在SQuAD1.1數(shù)據(jù)集當(dāng)中,閱讀理解的主要難點是上下文的語義理解。所提問題的答案并不能靠簡單的近鄰或相似度對答案進行匹配,而是需要通過NLP的語義分析,在考慮前后文信息后從全文中尋找到最合適的答案位置。想要做好這一點,需要算法能力達到人類閱讀理解的思考水平。
參賽者需要提交一個系統(tǒng)模型,該系統(tǒng)模型在閱讀完數(shù)據(jù)集中的一篇文章后,逐一回答若干個基于文章內(nèi)容的問題。然后,與人工標(biāo)注的答案進行比對,得出精確匹配(ExactMatch)和模糊匹配(F1-score)等相關(guān)評價指標(biāo)。EM表示預(yù)測答案和真實答案完全匹配,而F1用來評測模型的整體性能的結(jié)果。
小i機器人BERT+WWM+MT單模型
小i機器人研究院團隊在基于Whole Word Masking的BERT預(yù)訓(xùn)練模型基礎(chǔ)之上,引入輔助任務(wù)如NewsQA等數(shù)據(jù)集,采用多任務(wù)學(xué)習(xí)的思路來改進現(xiàn)有模型的效果,進一步提升模型的最終預(yù)測評價指標(biāo)(主要為ExactMatch和F1值)。小i機器人參賽模型在此次比賽中獲得EM指標(biāo)(精準(zhǔn)匹配率)達到88.650,F(xiàn)1指標(biāo)(模糊匹配率)達到94.393的優(yōu)異成績。
具體地來說,小i機器人研究院團隊針對目標(biāo)任務(wù)和輔助任務(wù)中的問題和答案的屬性和語義特征,來綜合判斷輔助任務(wù)中的數(shù)據(jù)樣本與目標(biāo)任務(wù)中的數(shù)據(jù)樣本之間的相關(guān)性,最后將這個相關(guān)性指標(biāo)引入到模型訓(xùn)練過程中損失函數(shù)的計算過程中,以充分利用并學(xué)習(xí)到來自目標(biāo)任務(wù)和有關(guān)輔助任務(wù)中的知識,從而最終提升模型的預(yù)測效果。
參賽模型相關(guān)技術(shù)已廣泛落地應(yīng)用
技術(shù)評測不只是“花拳繡腿”,能否將技術(shù)更好的應(yīng)用到實際產(chǎn)品中才是評測的最終目的。此次小i機器人用以參賽模型的相關(guān)技術(shù)已被成熟運用于小i服務(wù)的數(shù)十個行業(yè)的有關(guān)產(chǎn)品和實際項目中,已實現(xiàn)可商業(yè)化可應(yīng)用化。例如,小i在開發(fā)的智能對話系統(tǒng)iBot平臺中,就融合了基于機器閱讀理解的DiscoveryBot能力,可用于解決系統(tǒng)未收錄的知識問題的提問。通過引入這一能力,可進一步減少人力資源,不斷提升對話系統(tǒng)的回復(fù)準(zhǔn)確率,同時輔助完善相關(guān)的問答知識庫積累。
在比賽指標(biāo)上超越人類水平遠遠不是終點,人類探索的腳步從未停止。小i機器人一直堅持“大腦”研發(fā),專注于認知智能相關(guān)技術(shù)的自主研發(fā)和產(chǎn)業(yè)化應(yīng)用,并用“智能+”賦能傳統(tǒng)行業(yè)AI升級,推動人工智能產(chǎn)業(yè)化發(fā)展進程。