在8月底9月初舉行的語(yǔ)音領(lǐng)域國(guó)際頂級(jí)會(huì)議Interspeech2021上，聯(lián)想研究院和昆山杜克SMIIP實(shí)驗(yàn)室合作完成的兩篇語(yǔ)音技術(shù)論文被大會(huì)收錄。
這兩篇論文分別是The DKU-Duke-Lenovo System Description for the Fearless StepsChallenge Phase III（昆山杜克-聯(lián)想第三屆“無(wú)畏腳步挑戰(zhàn)賽”系統(tǒng)描述），以及The 2020 Personalized Voice Trigger Challenge: Open Database, Evaluation Metrics and the Baseline Systems（2020個(gè)性化語(yǔ)音喚醒挑戰(zhàn)賽：開(kāi)放數(shù)據(jù)庫(kù)，評(píng)價(jià)標(biāo)準(zhǔn)以及基線系統(tǒng)）。
第一篇論文介紹了今年聯(lián)想和昆山杜克聯(lián)隊(duì)參加第三屆無(wú)畏腳步挑戰(zhàn)賽（Fearless Steps Challenge)的獲獎(jiǎng)系統(tǒng)。
無(wú)畏腳步挑戰(zhàn)賽---用語(yǔ)音技術(shù)解讀人類(lèi)首次登月語(yǔ)音
該挑戰(zhàn)賽在Interspeech2019大會(huì)上由德克薩斯大學(xué)達(dá)拉斯分校發(fā)起，今年已是第三屆。挑戰(zhàn)賽基于人類(lèi)第一次登月任務(wù)---阿波羅11號(hào)登月真實(shí)通訊語(yǔ)音數(shù)據(jù)，包括從發(fā)射到返回地球各階段，3位宇航員和29個(gè)負(fù)責(zé)不同任務(wù)的站點(diǎn)之間的通訊語(yǔ)音，設(shè)置了5類(lèi)語(yǔ)音分析和識(shí)別任務(wù)，包括：
- 語(yǔ)音端點(diǎn)檢測(cè)（SAD，Speech Activity Detection）
- 聲紋識(shí)別（SID，Speaker Identification）
- 說(shuō)話人日志（SD，Speaker Diarization）
- 語(yǔ)音識(shí)別（ASR，Automatic Speech Recognition）
- 對(duì)話分析（CA，Conversational Analysis）
阿波羅11號(hào)登月語(yǔ)音數(shù)據(jù)包含600多個(gè)說(shuō)話人，類(lèi)型復(fù)雜，包含環(huán)境噪聲、信道噪聲、設(shè)備噪聲等干擾因素，每一個(gè)信道采集的聲音都可能包含幾個(gè)或者十幾個(gè)其他信道的干擾，因此屬于高難度的實(shí)時(shí)通訊和自然交談場(chǎng)景，為語(yǔ)音識(shí)別和分析任務(wù)帶來(lái)了很大的挑戰(zhàn)。
語(yǔ)音端點(diǎn)檢測(cè)任務(wù)獲得國(guó)際第二名
在本次比賽中，聯(lián)想和昆山杜克聯(lián)隊(duì)參加了其中的端點(diǎn)檢測(cè)、聲紋識(shí)別和說(shuō)話人日志三項(xiàng)子任務(wù)，最終在端點(diǎn)檢測(cè)任務(wù)中獲得了國(guó)際第二名，而聲紋識(shí)別和說(shuō)話人日志分別獲得冠軍。
聲紋識(shí)別任務(wù)獲得國(guó)際第一名
語(yǔ)音端點(diǎn)檢測(cè)用以檢測(cè)連續(xù)語(yǔ)音中人說(shuō)話的起始點(diǎn)，即有效話音檢測(cè)?？焖贉?zhǔn)確的端點(diǎn)檢測(cè)算法，不僅能夠提升語(yǔ)音識(shí)別準(zhǔn)確率，還可以提高計(jì)算效率，通常在語(yǔ)音識(shí)別、聲紋識(shí)別等任務(wù)中擔(dān)負(fù)著前端預(yù)處理作用。
而聲紋識(shí)別是判斷一段語(yǔ)音是否是某個(gè)目標(biāo)人所說(shuō)。除了在安全領(lǐng)域的應(yīng)用，在智能物聯(lián)網(wǎng)設(shè)備以及智慧客服、智能辦公等垂直行業(yè)中也有廣泛的應(yīng)用需求。
說(shuō)話人日志，則是基于聲紋識(shí)別的擴(kuò)展任務(wù)，即檢測(cè)一段語(yǔ)音中什么人、什么時(shí)間在說(shuō)話。該技術(shù)在智能會(huì)議場(chǎng)景中有重要作用，結(jié)合語(yǔ)音識(shí)別可以形成帶有發(fā)言人信息的自動(dòng)會(huì)議紀(jì)要。
基于聲紋識(shí)別的個(gè)性化語(yǔ)音喚醒
另外一篇入圍論文，即2020個(gè)性化語(yǔ)音喚醒挑戰(zhàn)賽：開(kāi)放數(shù)據(jù)庫(kù)，評(píng)價(jià)標(biāo)準(zhǔn)以及基線系統(tǒng)，介紹了由聯(lián)想研究院與昆山杜克大學(xué)、北京郵電大學(xué)聯(lián)合主辦的“2020個(gè)性化語(yǔ)音喚醒挑戰(zhàn)賽”（PVTC 2020 - Personalized Voice Trigger Challenge）及基線系統(tǒng)的情況。PVTC2020是國(guó)際語(yǔ)音通信協(xié)會(huì)中文口語(yǔ)語(yǔ)言處理專委會(huì)旗艦會(huì)議ISCSLP2021（International Symposium on Chinese Spoken Language Processing）的組成部分。本次挑戰(zhàn)賽考察的是帶有聲紋認(rèn)證功能的語(yǔ)音喚醒技術(shù)，喚醒詞是聯(lián)想產(chǎn)品中最廣泛應(yīng)用的喚醒詞之一“小樂(lè)小樂(lè)”?；顒?dòng)歷時(shí)3個(gè)月，參賽團(tuán)隊(duì)來(lái)自著名高校、知名企業(yè)和人工智能創(chuàng)業(yè)公司，包括北京大學(xué)、西北工業(yè)大學(xué)、廈門(mén)大學(xué)、小米、出門(mén)問(wèn)問(wèn)、普強(qiáng)、實(shí)地地產(chǎn)、杭州國(guó)芯等，其中來(lái)自小米、西工大、出門(mén)問(wèn)問(wèn)、實(shí)地地產(chǎn)的四支隊(duì)伍分別躋身不同賽道的前三名。這次活動(dòng)為業(yè)界同行構(gòu)建了良好的交流平臺(tái)，促進(jìn)了資源和技術(shù)共享，推動(dòng)了學(xué)術(shù)界和工業(yè)界更密切的合作。
另外，在剛剛揭曉的Interspeech 2021副語(yǔ)言語(yǔ)音屬性評(píng)測(cè)中（ComParE 2021），聯(lián)想研究院團(tuán)隊(duì)在靈長(zhǎng)類(lèi)動(dòng)物叫聲分類(lèi)任務(wù)中奪得國(guó)際第三名。音頻分類(lèi)是語(yǔ)音領(lǐng)域一個(gè)重要的方向，應(yīng)用場(chǎng)景非常廣泛，如檢測(cè)環(huán)境噪聲、特殊音頻場(chǎng)景和事件，在智能家居、智慧城市等行業(yè)都有重要應(yīng)用。
ComParE是Interspeech系列評(píng)測(cè)之一，在語(yǔ)音領(lǐng)域?qū)儆谥亓考?jí)評(píng)測(cè)。語(yǔ)音是語(yǔ)言的聲音表現(xiàn)形式，不僅包含了語(yǔ)言語(yǔ)義信息，同時(shí)也傳達(dá)了說(shuō)話人、語(yǔ)種、性別、年齡、情感、信道、嗓音、病理、生理、心理等多種豐富的副語(yǔ)言語(yǔ)音屬性信息。ComParE的目的就是識(shí)別或檢測(cè)各類(lèi)副語(yǔ)言語(yǔ)音屬性，如情感識(shí)別、哭聲檢測(cè)、嗓音病理識(shí)別、方言語(yǔ)種識(shí)別等。
作為聯(lián)想智能語(yǔ)音技術(shù)核心研發(fā)團(tuán)隊(duì)，聯(lián)想研究院人工智能實(shí)驗(yàn)室語(yǔ)音團(tuán)隊(duì)已經(jīng)構(gòu)建了全鏈自研語(yǔ)音技術(shù)棧，全面賦能聯(lián)想的智能設(shè)備、智能化服務(wù)和行業(yè)智能化解決方案。
兩篇語(yǔ)音技術(shù)論文鏈接，歡迎訪問(wèn)：
1.The DKU-Duke-Lenovo System Description for theFearless Steps Challenge Phase III：
https://www.isca-speech.org/archive/pdfs/interspeech_2021/wang21i_interspeech.pdf
2.The 2020 Personalized Voice Trigger Challenge:Open Database, Evaluation Metrics and the Baseline Systems：
https://www.isca-speech.org/archive/pdfs/interspeech_2021/jia21b_interspeech.pdf
