語音識別技術(shù),語音識別技術(shù)是什么意思
語音識別技術(shù),也被稱為自動語音識別Automatic Speech Recognition,(ASR),其目標(biāo)是將人類的語音中的詞匯內(nèi)容轉(zhuǎn)換為計算機(jī)可讀的輸入,例如按鍵、二進(jìn)制編碼或者字符序列。與說話人識別及說話人確認(rèn)不同,后者嘗試識別或確認(rèn)發(fā)出語音的說話人而非其中所包含的詞匯內(nèi)容。
語音識別技術(shù)的應(yīng)用包括語音撥號、語音導(dǎo)航、室內(nèi)設(shè)備控制、語音文檔檢索、簡單的聽寫數(shù)據(jù)錄入等。語音識別技術(shù)與其他自然語言處理技術(shù)如機(jī)器翻譯及語音合成技術(shù)相結(jié)合,可以構(gòu)建出更加復(fù)雜的應(yīng)用,例如語音到語音的翻譯。
語音識別技術(shù)所涉及的領(lǐng)域包括:信號處理、模式識別、概率論和信息論、發(fā)聲機(jī)理和聽覺機(jī)理、人工智能等等。
特定人語音識別的方法
目前,常用的說話人識別方法有模板匹配法、統(tǒng)計建模法、聯(lián)接主義法(即人工神經(jīng)網(wǎng)絡(luò)實現(xiàn))??紤]到數(shù)據(jù)量、實時性以及識別率的問題,筆者采用基于矢量量化和隱馬爾可夫模型(HMM)相結(jié)合的方法。
說話人識別的系統(tǒng)主要由語音特征矢量提取單元(前端處理)、訓(xùn)練單元、識別單元和后處理單元組成,其系統(tǒng)構(gòu)成如圖1所示。
由上圖也可以看出,每個司機(jī)在購買車后必須將自己的語音輸入系統(tǒng),也就是訓(xùn)練過程,當(dāng)然最好是在安靜、次數(shù)達(dá)到一定的數(shù)目。從此在以后駕駛過程中就可以利用這個系統(tǒng)了。
所謂預(yù)處理是指對語音信號的特殊處理:預(yù)加重,分幀處理。預(yù)加重的目的是提升高頻部分,使信號的頻譜變得平坦,以便于進(jìn)行頻譜分析或聲道參數(shù)分析。用具有 6dB/倍頻程的提升高頻特性的預(yù)加重數(shù)字濾波器實現(xiàn)。雖然語音信號是非平穩(wěn)時變的,但是可以認(rèn)為是局部短時平穩(wěn)。故語音信號分析常分段或分幀來處理。
歷史
早在計算機(jī)發(fā)明之前,自動語音識別的設(shè)想就已經(jīng)被提上了議事日程,早期的聲碼器可被視作語音識別及合成的雛形。而1920年代生產(chǎn)的"Radio Rex"玩具狗可能是最早的語音識別器,當(dāng)這只狗的名字被呼喚的時候,它能夠從底座上彈出來。最早的基于電子計算機(jī)的語音識別系統(tǒng)是由AT&T貝爾實驗室開發(fā)的Audrey語音識別系統(tǒng),它能夠識別10個英文數(shù)字。其識別方法是跟蹤語音中的共振峰。該系統(tǒng)得到了98%的正確率。到1950年代末,倫敦學(xué)院(Colledge of London)的Denes已經(jīng)將語法概率加入語音識別中。
1960年代,人工神經(jīng)網(wǎng)絡(luò)被引入了語音識別。這一時代的兩大突破是線性預(yù)測編碼Linear Predictive Coding (LPC), 及動態(tài)時間彎折Dynamic Time Warp技術(shù)。
語音識別技術(shù)的最重大突破是隱含馬爾科夫模型Hidden Markov Model的應(yīng)用。從Baum提出相關(guān)數(shù)學(xué)推理,經(jīng)過Labiner等人的研究,卡內(nèi)基梅隆大學(xué)的李開復(fù)最終實現(xiàn)了第一個基于隱馬爾科夫模型的大詞匯量語音識別系統(tǒng)Sphinx。[3]。此后嚴(yán)格來說語音識別技術(shù)并沒有脫離HMM框架。
盡管多年來研究人員一直嘗試將“聽寫機(jī)”推廣,語音識別技術(shù)在目前還無法支持無限領(lǐng)域,無限說話人的聽寫機(jī)應(yīng)用。
模型
目前,主流的大詞匯量語音識別系統(tǒng)多采用統(tǒng)計模式識別技術(shù)。典型的基于統(tǒng)計模式識別方法的 語音識別系統(tǒng)由以下幾個基本模塊所構(gòu)成
信號處理及特征提取模塊。該模塊的主要任務(wù)是從輸入信號中提取特征,供聲學(xué)模型處理。同時,它一般也包括了一些信號處理技術(shù),以盡可能降低環(huán)境噪聲、信道、說話人等因素對特征造成的影響。 統(tǒng)計聲學(xué)模型。典型系統(tǒng)多采用基于一階隱馬爾科夫模型進(jìn)行建模。 發(fā)音詞典。發(fā)音詞典包含系統(tǒng)所能處理的詞匯集及其發(fā)音。發(fā)音詞典實際提供了聲學(xué)模型建模單元與語言模型建模單元間的映射。 語言模型。語言模型對系統(tǒng)所針對的語言進(jìn)行建模。理論上,包括正則語言,上下文無關(guān)文法在內(nèi)的各種語言模型都可以作為語言模型,但目前各種系統(tǒng)普遍采用的還是基于統(tǒng)計的N元文法及其變體。 解碼器。解碼器是語音識別系統(tǒng)的核心之一,其任務(wù)是對輸入的信號,根據(jù)聲學(xué)、語言模型及詞典,尋找能夠以最大概率輸出該信號的詞串。 從數(shù)學(xué)角度可以更加清楚的了解上述模塊之間的關(guān)系。首先,統(tǒng)計語音識別的最基本問題是,給定輸入信號或特征序列,符號集(詞典),求解符號串使得:
W = argmaxP(W | O) 通過貝葉斯公式,上式可以改寫為
由于對于確定的輸入串O,P(O)是確定的,因此省略它并不會影響上式的最終結(jié)果,因此,一般來說語音識別所討論的問題可以用下面的公式來表示,可以將它稱為語音識別的基本公式。 W = argmaxP(O | W)P(W)
從這個角度來看,信號處理模塊提供了對輸入信號的預(yù)處理,也就是說,提供了從采集的語音信號(記為S)到 特征序列O的映射。而聲學(xué)模型本身定義了一些更具推廣性的聲學(xué)建模單元,并且提供了在給定輸入特征下,估計P(O | uk)的方法。
為了將聲學(xué)模型建模單元串映射到符號集,就需要發(fā)音詞典發(fā)揮作用。它實際上定義了映射的映射。為了表示方便,也可以定義一個由到U的全集的笛卡爾積,而發(fā)音詞典則是這個笛卡爾積的一個子集。并且有:
最后,語言模型則提供了P(W)。這樣,基本公式就可以更加具體的寫成:
對于解碼器來所,就是要在由,,ui以及時間標(biāo)度t張成的搜索空間中,找到上式所指明的W。
語音識別是一門交叉學(xué)科,語音識別正逐步成為信息技術(shù)中人機(jī)接口的關(guān)鍵技術(shù),語音識別技術(shù)與語音合成技術(shù)結(jié)合使人們能夠甩掉鍵盤,通過語音命令進(jìn)行操作。語音技術(shù)的應(yīng)用已經(jīng)成為一個具有競爭性的新興高技術(shù)產(chǎn)業(yè)。
與機(jī)器進(jìn)行語音交流,讓機(jī)器明白你說什么,這是人們長期以來夢寐以求的事情。語音識別技術(shù)就是讓機(jī)器通過識別和理解過程把語音信號轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的高技術(shù)。語音識別是一門交叉學(xué)科。近二十年來,語音識別技術(shù)取得顯著進(jìn)步,開始從實驗室走向市場。人們預(yù)計,未來10年內(nèi),語音識別技術(shù)將進(jìn)入工業(yè)、家電、通信、汽車電子、醫(yī)療、家庭服務(wù)、消費電子產(chǎn)品等各個領(lǐng)域。語音識別聽寫機(jī)在一些領(lǐng)域的應(yīng)用被美國新聞界評為1997年計算機(jī)發(fā)展十件大事之一。很多專家都認(rèn)為語音識別技術(shù)是2000年至2010年間信息技術(shù)領(lǐng)域十大重要的科技發(fā)展技術(shù)之一。
一、語音識別的發(fā)展歷史
(1)國外研究歷史及現(xiàn)狀
語音識別的研究工作可以追溯到20世紀(jì)50年代AT&T貝爾實驗室的Audry系統(tǒng),它是第一個可以識別十個英文數(shù)字的語音識別系統(tǒng)。
但真正取得實質(zhì)性進(jìn)展,并將其作為一個重要的課題開展研究則是在60年代末70年代初。這首先是因為計算機(jī)技術(shù)的發(fā)展為語音識別的實現(xiàn)提供了硬件和軟件的可能,更重要的是語音信號線性預(yù)測編碼(LPC)技術(shù)和動態(tài)時間規(guī)整(DTW)技術(shù)的提出,有效的解決了語音信號的特征提取和不等長匹配問題。這一時期的語音識別主要基于模板匹配原理,研究的領(lǐng)域局限在特定人,小詞匯表的孤立詞識別,實現(xiàn)了基于線性預(yù)測倒譜和DTW技術(shù)的特定人孤立詞語音識別系統(tǒng);同時提出了矢量量化(VQ)和隱馬爾可夫模型(HMM)理論。
隨著應(yīng)用領(lǐng)域的擴(kuò)大,小詞匯表、特定人、孤立詞等這些對語音識別的約束條件需要放寬,與此同時也帶來了許多新的問題:第一,詞匯表的擴(kuò)大使得模板的選取和建立發(fā)生困難;第二,連續(xù)語音中,各個音素、音節(jié)以及詞之間沒有明顯的邊界,各個發(fā)音單位存在受上下文強(qiáng)烈影響的協(xié)同發(fā)音(Co-articulation)現(xiàn)象;第三,非特定人識別時,不同的人說相同的話相應(yīng)的聲學(xué)特征有很大的差異,即使相同的人在不同的時間、生理、心理狀態(tài)下,說同樣內(nèi)容的話也會有很大的差異;第四,識別的語音中有背景噪聲或其他干擾。因此原有的模板匹配方法已不再適用。
實驗室語音識別研究的巨大突破產(chǎn)生于20世紀(jì)80年代末:人們終于在實驗室突破了大詞匯量、連續(xù)語音和非特定人這三大障礙,第一次把這三個特性都集成在一個系統(tǒng)中,比較典型的是卡耐基梅隆大學(xué)(CarnegieMellonUniversity)的Sphinx系統(tǒng),它是第一個高性能的非特定人、大詞匯量連續(xù)語音識別系統(tǒng)。
這一時期,語音識別研究進(jìn)一步走向深入,其顯著特征是HMM模型和人工神經(jīng)元網(wǎng)絡(luò)(ANN)在語音識別中的成功應(yīng)用。HMM模型的廣泛應(yīng)用應(yīng)歸功于AT&TBell實驗室Rabiner等科學(xué)家的努力,他們把原本艱澀的HMM純數(shù)學(xué)模型工程化,從而為更多研究者了解和認(rèn)識,從而使統(tǒng)計方法成為了語音識別技術(shù)的主流。
統(tǒng)計方法將研究者的視線從微觀轉(zhuǎn)向宏觀,不再刻意追求語音特征的細(xì)化,而是更多地從整體平均(統(tǒng)計)的角度來建立最佳的語音識別系統(tǒng)。在聲學(xué)模型方面,以Markov鏈為基礎(chǔ)的語音序列建模方法HMM(隱式Markov鏈)比較有效地解決了語音信號短時穩(wěn)定、長時時變的特性,并且能根據(jù)一些基本建模單元構(gòu)造成連續(xù)語音的句子模型,達(dá)到了比較高的建模精度和建模靈活性。在語言層面上,通過統(tǒng)計真實大規(guī)模語料的詞之間同現(xiàn)概率即N元統(tǒng)計模型來區(qū)分識別帶來的模糊音和同音詞。另外,人工神經(jīng)網(wǎng)絡(luò)方法、基于文法規(guī)則的語言處理機(jī)制等也在語音識別中得到了應(yīng)用。
20世紀(jì)90年代前期,許多著名的大公司如IBM、蘋果、AT&T和NTT都對語音識別系統(tǒng)的實用化研究投以巨資。語音識別技術(shù)有一個很好的評估機(jī)制,那就是識別的準(zhǔn)確率,而這項指標(biāo)在20世紀(jì)90年代中后期實驗室研究中得到了不斷的提高。比較有代表性的系統(tǒng)有:IBM公司推出的ViaVoice和DragonSystem公司的NaturallySpeaking,Nuance公司的NuanceVoicePlatform語音平臺,Microsoft的Whisper,Sun的VoiceTone等。
其中IBM公司于1997年開發(fā)出漢語ViaVoice語音識別系統(tǒng),次年又開發(fā)出可以識別上海話、廣東話和四川話等地方口音的語音識別系統(tǒng)ViaVoice‘98。它帶有一個32,000詞的基本詞匯表,可以擴(kuò)展到65,000詞,還包括辦公常用詞條,具有“糾錯機(jī)制”,其平均識別率可以達(dá)到95%。該系統(tǒng)對新聞?wù)Z音識別具有較高的精度,是目前具有代表性的漢語連續(xù)語音識別系統(tǒng)。
(2)國內(nèi)研究歷史及現(xiàn)狀
我國語音識別研究工作起步于五十年代,但近年來發(fā)展很快。研究水平也從實驗室逐步走向?qū)嵱?。?987年開始執(zhí)行國家863計劃后,國家863智能計算機(jī)專家組為語音識別技術(shù)研究專門立項,每兩年滾動一次。我國語音識別技術(shù)的研究水平已經(jīng)基本上與國外同步,在漢語語音識別技術(shù)上還有自己的特點與優(yōu)勢,并達(dá)到國際先進(jìn)水平。中科院自動化所、聲學(xué)所、清華大學(xué)、北京大學(xué)、哈爾濱工業(yè)大學(xué)、上海交通大學(xué)、中國科技大學(xué)、北京郵電大學(xué)、華中科技大學(xué)等科研機(jī)構(gòu)都有實驗室進(jìn)行過語音識別方面的研究,其中具有代表性的研究單位為清華大學(xué)電子工程系與中科院自動化研究所模式識別國家重點實驗室。
清華大學(xué)電子工程系語音技術(shù)與專用芯片設(shè)計課題組,研發(fā)的非特定人漢語數(shù)碼串連續(xù)語音識別系統(tǒng)的識別精度,達(dá)到94.8%(不定長數(shù)字串)和96.8%(定長數(shù)字串)。在有5%的拒識率情況下,系統(tǒng)識別率可以達(dá)到96.9%(不定長數(shù)字串)和98.7%(定長數(shù)字串),這是目前國際最好的識別結(jié)果之一,其性能已經(jīng)接近實用水平。研發(fā)的5000詞郵包校核非特定人連續(xù)語音識別系統(tǒng)的識別率達(dá)到98.73%,前三選識別率達(dá)99.96%;并且可以識別普通話與四川話兩種語言,達(dá)到實用要求。
中科院自動化所及其所屬模式科技(Pattek)公司2002年發(fā)布了他們共同推出的面向不同計算平臺和應(yīng)用的“天語”中文語音系列產(chǎn)品——PattekASR,結(jié)束了中文語音識別產(chǎn)品自1998年以來一直由國外公司壟斷的歷史。
二、語音識別系統(tǒng)的分類
語音識別系統(tǒng)可以根據(jù)對輸入語音的限制加以分類。如果從說話者與識別系統(tǒng)的相關(guān)性考慮,可以將識別系統(tǒng)分為3類:(1)特定人語音識別系統(tǒng):僅考慮對于專人的話音進(jìn)行識別;(2)非特定人語音系統(tǒng):識別的語音與人無關(guān),通常要用大量不同人的語音數(shù)據(jù)庫對識別系統(tǒng)進(jìn)行學(xué)習(xí);(3)多人的識別系統(tǒng):通常能識別一組人的語音,或者成為特定組語音識別系統(tǒng),該系統(tǒng)僅要求對要識別的那組人的語音進(jìn)行訓(xùn)練。
如果從說話的方式考慮,也可以將識別系統(tǒng)分為3類:(1)孤立詞語音識別系統(tǒng):孤立詞識別系統(tǒng)要求輸入每個詞后要停頓;(2)連接詞語音識別系統(tǒng):連接詞輸入系統(tǒng)要求對每個詞都清楚發(fā)音,一些連音現(xiàn)象開始出現(xiàn);(3)連續(xù)語音識別系統(tǒng):連續(xù)語音輸入是自然流利的連續(xù)語音輸入,大量連音和變音會出現(xiàn)。
如果從識別系統(tǒng)的詞匯量大小考慮,也可以將識別系統(tǒng)分為3類:(1)小詞匯量語音識別系統(tǒng)。通常包括幾十個詞的語音識別系統(tǒng)。(2)中等詞匯量的語音識別系統(tǒng)。通常包括幾百個詞到上千個詞的識別系統(tǒng)。(3)大詞匯量語音識別系統(tǒng)。通常包括幾千到幾萬個詞的語音識別系統(tǒng)。隨著計算機(jī)與數(shù)字信號處理器運算能力以及識別系統(tǒng)精度的提高,識別系統(tǒng)根據(jù)詞匯量大小進(jìn)行分類也不斷進(jìn)行變化。目前是中等詞匯量的識別系統(tǒng)到將來可能就是小詞匯量的語音識別系統(tǒng)。這些不同的限制也確定了語音識別系統(tǒng)的困難度。
三、語音識別的幾種基本方法
一般來說,語音識別的方法有三種:基于聲道模型和語音知識的方法、模板匹配的方法以及利用人工神經(jīng)網(wǎng)絡(luò)的方法。
(1)基于語音學(xué)和聲學(xué)的方法
該方法起步較早,在語音識別技術(shù)提出的開始,就有了這方面的研究,但由于其模型及語音知識過于復(fù)雜,現(xiàn)階段沒有達(dá)到實用的階段。
通常認(rèn)為常用語言中有有限個不同的語音基元,而且可以通過其語音信號的頻域或時域特性來區(qū)分。這樣該方法分為兩步實現(xiàn):
第一步,分段和標(biāo)號
把語音信號按時間分成離散的段,每段對應(yīng)一個或幾個語音基元的聲學(xué)特性。然后根據(jù)相應(yīng)聲學(xué)特性對每個分段給出相近的語音標(biāo)號
第二步,得到詞序列
根據(jù)第一步所得語音標(biāo)號序列得到一個語音基元網(wǎng)格,從詞典得到有效的詞序列,也可結(jié)合句子的文法和語義同時進(jìn)行。
(2)模板匹配的方法
模板匹配的方法發(fā)展比較成熟,目前已達(dá)到了實用階段。在模板匹配方法中,要經(jīng)過四個步驟:特征提取、模板訓(xùn)練、模板分類、判決。常用的技術(shù)有三種:動態(tài)時間規(guī)整(DTW)、隱馬爾可夫(HMM)理論、矢量量化(VQ)技術(shù)。
1、動態(tài)時間規(guī)整(DTW)
語音信號的端點檢測是進(jìn)行語音識別中的一個基本步驟,它是特征訓(xùn)練和識別的基礎(chǔ)。所謂端點檢測就是在語音信號中的各種段落(如音素、音節(jié)、詞素)的始點和終點的位置,從語音信號中排除無聲段。在早期,進(jìn)行端點檢測的主要依據(jù)是能量、振幅和過零率。但效果往往不明顯。60年代日本學(xué)者Itakura提出了動態(tài)時間規(guī)整算法(DTW:DynamicTimeWarping)。算法的思想就是把未知量均勻的升長或縮短,直到與參考模式的長度一致。在這一過程中,未知單詞的時間軸要不均勻地扭曲或彎折,以使其特征與模型特征對正。
2、隱馬爾可夫法(HMM)
隱馬爾可夫法(HMM)是70年代引入語音識別理論的,它的出現(xiàn)使得自然語音識別系統(tǒng)取得了實質(zhì)性的突破。HMM方法現(xiàn)已成為語音識別的主流技術(shù),目前大多數(shù)大詞匯量、連續(xù)語音的非特定人語音識別系統(tǒng)都是基于HMM模型的。HMM是對語音信號的時間序列結(jié)構(gòu)建立統(tǒng)計模型,將之看作一個數(shù)學(xué)上的雙重隨機(jī)過程:一個是用具有有限狀態(tài)數(shù)的Markov鏈來模擬語音信號統(tǒng)計特性變化的隱含的隨機(jī)過程,另一個是與Markov鏈的每一個狀態(tài)相關(guān)聯(lián)的觀測序列的隨機(jī)過程。前者通過后者表現(xiàn)出來,但前者的具體參數(shù)是不可測的。人的言語過程實際上就是一個雙重隨機(jī)過程,語音信號本身是一個可觀測的時變序列,是由大腦根據(jù)語法知識和言語需要(不可觀測的狀態(tài))發(fā)出的音素的參數(shù)流??梢奌MM合理地模仿了這一過程,很好地描述了語音信號的整體非平穩(wěn)性和局部平穩(wěn)性,是較為理想的一種語音模型。
3、矢量量化(VQ)
矢量量化(VectorQuantization)是一種重要的信號壓縮方法。與HMM相比,矢量量化主要適用于小詞匯量、孤立詞的語音識別中。其過程是:將語音信號波形的k個樣點的每一幀,或有k個參數(shù)的每一參數(shù)幀,構(gòu)成k維空間中的一個矢量,然后對矢量進(jìn)行量化。量化時,將k維無限空間劃分為M個區(qū)域邊界,然后將輸入矢量與這些邊界進(jìn)行比較,并被量化為“距離”最小的區(qū)域邊界的中心矢量值。矢量量化器的設(shè)計就是從大量信號樣本中訓(xùn)練出好的碼書,從實際效果出發(fā)尋找到好的失真測度定義公式,設(shè)計出最佳的矢量量化系統(tǒng),用最少的搜索和計算失真的運算量,實現(xiàn)最大可能的平均信噪比。
核心思想可以這樣理解:如果一個碼書是為某一特定的信源而優(yōu)化設(shè)計的,那么由這一信息源產(chǎn)生的信號與該碼書的平均量化失真就應(yīng)小于其他信息的信號與該碼書的平均量化失真,也就是說編碼器本身存在區(qū)分能力。
在實際的應(yīng)用過程中,人們還研究了多種降低復(fù)雜度的方法,這些方法大致可以分為兩類:無記憶的矢量量化和有記憶的矢量量化。無記憶的矢量量化包括樹形搜索的矢量量化和多級矢量量化。
(3)神經(jīng)網(wǎng)絡(luò)的方法
利用人工神經(jīng)網(wǎng)絡(luò)的方法是80年代末期提出的一種新的語音識別方法。人工神經(jīng)網(wǎng)絡(luò)(ANN)本質(zhì)上是一個自適應(yīng)非線性動力學(xué)系統(tǒng),模擬了人類神經(jīng)活動的原理,具有自適應(yīng)性、并行性、魯棒性、容錯性和學(xué)習(xí)特性,其強(qiáng)的分類能力和輸入-輸出映射能力在語音識別中都很有吸引力。但由于存在訓(xùn)練、識別時間太長的缺點,目前仍處于實驗探索階段。
由于ANN不能很好的描述語音信號的時間動態(tài)特性,所以常把ANN與傳統(tǒng)識別方法結(jié)合,分別利用各自優(yōu)點來進(jìn)行語音識別。
四、語音識別系統(tǒng)的結(jié)構(gòu)
一個完整的基于統(tǒng)計的語音識別系統(tǒng)可大致分為三部分:
(1)語音信號預(yù)處理與特征提取;
(2)聲學(xué)模型與模式匹配;
(3)語言模型與語言處理、
(1)語音信號預(yù)處理與特征提取
選擇識別單元是語音識別研究的第一步。語音識別單元有單詞(句)、音節(jié)和音素三種,具體選擇哪一種,由具體的研究任務(wù)決定。
單詞(句)單元廣泛應(yīng)用于中小詞匯語音識別系統(tǒng),但不適合大詞匯系統(tǒng),原因在于模型庫太龐大,訓(xùn)練模型任務(wù)繁重,模型匹配算法復(fù)雜,難以滿足實時性要求。
音節(jié)單元多見于漢語語音識別,主要因為漢語是單音節(jié)結(jié)構(gòu)的語言,而英語是多音節(jié),并且漢語雖然有大約1300個音節(jié),但若不考慮聲調(diào),約有408個無調(diào)音節(jié),數(shù)量相對較少。因此,對于中、大詞匯量漢語語音識別系統(tǒng)來說,以音節(jié)為識別單元基本是可行的。
音素單元以前多見于英語語音識別的研究中,但目前中、大詞匯量漢語語音識別系統(tǒng)也在越來越多地采用。原因在于漢語音節(jié)僅由聲母(包括零聲母有22個)和韻母(共有28個)構(gòu)成,且聲韻母聲學(xué)特性相差很大。實際應(yīng)用中常把聲母依后續(xù)韻母的不同而構(gòu)成細(xì)化聲母,這樣雖然增加了模型數(shù)目,但提高了易混淆音節(jié)的區(qū)分能力。由于協(xié)同發(fā)音的影響,音素單元不穩(wěn)定,所以如何獲得穩(wěn)定的音素單元,還有待研究。
語音識別一個根本的問題是合理的選用特征。特征參數(shù)提取的目的是對語音信號進(jìn)行分析處理,去掉與語音識別無關(guān)的冗余信息,獲得影響語音識別的重要信息,同時對語音信號進(jìn)行壓縮。在實際應(yīng)用中,語音信號的壓縮率介于10-100之間。語音信號包含了大量各種不同的信息,提取哪些信息,用哪種方式提取,需要綜合考慮各方面的因素,如成本,性能,響應(yīng)時間,計算量等。非特定人語音識別系統(tǒng)一般側(cè)重提取反映語義的特征參數(shù),盡量去除說話人的個人信息;而特定人語音識別系統(tǒng)則希望在提取反映語義的特征參數(shù)的同時,盡量也包含說話人的個人信息。
線性預(yù)測(LP)分析技術(shù)是目前應(yīng)用廣泛的特征參數(shù)提取技術(shù),許多成功的應(yīng)用系統(tǒng)都采用基于LP技術(shù)提取的倒譜參數(shù)。但線性預(yù)測模型是純數(shù)學(xué)模型,沒有考慮人類聽覺系統(tǒng)對語音的處理特點。
Mel參數(shù)和基于感知線性預(yù)測(PLP)分析提取的感知線性預(yù)測倒譜,在一定程度上模擬了人耳對語音的處理特點,應(yīng)用了人耳聽覺感知方面的一些研究成果。實驗證明,采用這種技術(shù),語音識別系統(tǒng)的性能有一定提高。從目前使用的情況來看,梅爾刻度式倒頻譜參數(shù)已逐漸取代原本常用的線性預(yù)測編碼導(dǎo)出的倒頻譜參數(shù),原因是它考慮了人類發(fā)聲與接收聲音的特性,具有更好的魯棒性(Robustness)。
也有研究者嘗試把小波分析技術(shù)應(yīng)用于特征提取,但目前性能難以與上述技術(shù)相比,有待進(jìn)一步研究。
(2)聲學(xué)模型與模式匹配
聲學(xué)模型通常是將獲取的語音特征使用訓(xùn)練算法進(jìn)行訓(xùn)練后產(chǎn)生。在識別時將輸入的語音特征同聲學(xué)模型(模式)進(jìn)行匹配與比較,得到最佳的識別結(jié)果。
聲學(xué)模型是識別系統(tǒng)的底層模型,并且是語音識別系統(tǒng)中最關(guān)鍵的一部分。聲學(xué)模型的目的是提供一種有效的方法計算語音的特征矢量序列和每個發(fā)音模板之間的距離。聲學(xué)模型的設(shè)計和語言發(fā)音特點密切相關(guān)。聲學(xué)模型單元大小(字發(fā)音模型、半音節(jié)模型或音素模型)對語音訓(xùn)練數(shù)據(jù)量大小、系統(tǒng)識別率,以及靈活性有較大的影響。必須根據(jù)不同語言的特點、識別系統(tǒng)詞匯量的大小決定識別單元的大小。
以漢語為例:
漢語按音素的發(fā)音特征分類分為輔音、單元音、復(fù)元音、復(fù)鼻尾音四種,按音節(jié)結(jié)構(gòu)分類為聲母和韻母。并且由音素構(gòu)成聲母或韻母。有時,將含有聲調(diào)的韻母稱為調(diào)母。由單個調(diào)母或由聲母與調(diào)母拼音成為音節(jié)。漢語的一個音節(jié)就是漢語一個字的音,即音節(jié)字。由音節(jié)字構(gòu)成詞,最后再由詞構(gòu)成句子。
漢語聲母共有22個,其中包括零聲母,韻母共有38個。按音素分類,漢語輔音共有22個,單元音13個,復(fù)元音13個,復(fù)鼻尾音16個。
目前常用的聲學(xué)模型基元為聲韻母、音節(jié)或詞,根據(jù)實現(xiàn)目的不同來選取不同的基元。漢語加上語氣詞共有412個音節(jié),包括輕音字,共有1282個有調(diào)音節(jié)字,所以當(dāng)在小詞匯表孤立詞語音識別時常選用詞作為基元,在大詞匯表語音識別時常采用音節(jié)或聲韻母建模,而在連續(xù)語音識別時,由于協(xié)同發(fā)音的影響,常采用聲韻母建模。
基于統(tǒng)計的語音識別模型常用的就是HMM模型λ(N,M,π,A,B),涉及到HMM模型的相關(guān)理論包括模型的結(jié)構(gòu)選取、模型的初始化、模型參數(shù)的重估以及相應(yīng)的識別算法等。
(3)語言模型與語言處理
語言模型包括由識別語音命令構(gòu)成的語法網(wǎng)絡(luò)或由統(tǒng)計方法構(gòu)成的語言模型,語言處理可以進(jìn)行語法、語義分析。
語言模型對中、大詞匯量的語音識別系統(tǒng)特別重要。當(dāng)分類發(fā)生錯誤時可以根據(jù)語言學(xué)模型、語法結(jié)構(gòu)、語義學(xué)進(jìn)行判斷糾正,特別是一些同音字則必須通過上下文結(jié)構(gòu)才能確定詞義。語言學(xué)理論包括語義結(jié)構(gòu)、語法規(guī)則、語言的數(shù)學(xué)描述模型等有關(guān)方面。目前比較成功的語言模型通常是采用統(tǒng)計語法的語言模型與基于規(guī)則語法結(jié)構(gòu)命令語言模型。語法結(jié)構(gòu)可以限定不同詞之間的相互連接關(guān)系,減少了識別系統(tǒng)的搜索空間,這有利于提高系統(tǒng)的識別。
五、語音識別所面臨的問題
1、就算法模型方面而言,需要有進(jìn)一步的突破。目前能看出它的一些明顯不足,尤其在中文語音識別方面,語言模型還有待完善,因為語言模型和聲學(xué)模型正是聽寫識別的基礎(chǔ),這方面沒有突破,語音識別的進(jìn)展就只能是一句空話。目前使用的語言模型只是一種概率模型,還沒有用到以語言學(xué)為基礎(chǔ)的文法模型,而要使計算機(jī)確實理解人類的語言,就必須在這一點上取得進(jìn)展,這是一個相當(dāng)艱苦的工作。此外,隨著硬件資源的不斷發(fā)展,一些核心算法如特征提取、搜索算法或者自適應(yīng)算法將有可能進(jìn)一步改進(jìn)。可以相信,半導(dǎo)體和軟件技術(shù)的共同進(jìn)步將為語音識別技術(shù)的基礎(chǔ)性工作帶來福音。
2、就自適應(yīng)方面而言,語音識別技術(shù)也有待進(jìn)一步改進(jìn)。目前,象IBM的ViaVoice和Asiaworks的SPK都需要用戶在使用前進(jìn)行幾百句話的訓(xùn)練,以讓計算機(jī)適應(yīng)你的聲音特征。這必然限制了語音識別技術(shù)的進(jìn)一步應(yīng)用,大量的訓(xùn)練不僅讓用戶感到厭煩,而且加大了系統(tǒng)的負(fù)擔(dān)。并且,不能指望將來的消費電子應(yīng)用產(chǎn)品也針對單個消費者進(jìn)行訓(xùn)練。因此,必須在自適應(yīng)方面有進(jìn)一步的提高,做到不受特定人、口音或者方言的影響,這實際上也意味著對語言模型的進(jìn)一步改進(jìn)?,F(xiàn)實世界的用戶類型是多種多樣的,就聲音特征來講有男音、女音和童音的區(qū)別,此外,許多人的發(fā)音離標(biāo)準(zhǔn)發(fā)音差距甚遠(yuǎn),這就涉及到對口音或方言的處理。如果語音識別能做到自動適應(yīng)大多數(shù)人的聲線特征,那可能比提高一二個百分點識別率更重要。事實上,ViaVoice的應(yīng)用前景也因為這一點打了折扣,只有普通話說得很好的用戶才可以在其中文版連續(xù)語音識別方面取得相對滿意的成績。
3、就強(qiáng)健性方面而言,語音識別技術(shù)需要能排除各種環(huán)境因素的影響。目前,對語音識別效果影響最大的就是環(huán)境雜音或嗓音,在公共場合,你幾乎不可能指望計算機(jī)能聽懂你的話,來自四面八方的聲音讓它茫然而不知所措。很顯然這極大地限制了語音技術(shù)的應(yīng)用范圍,目前,要在嘈雜環(huán)境中使用語音識別技術(shù)必須有特殊的抗嗓(NoiseCancellation)麥克風(fēng)才能進(jìn)行,這對多數(shù)用戶來說是不現(xiàn)實的。在公共場合中,個人能有意識地摒棄環(huán)境嗓音并從中獲取自己所需要的特定聲音,如何讓語音識別技術(shù)也能達(dá)成這一點呢?這的確是一個艱巨的任務(wù)。
此外,帶寬問題也可能影響語音的有效傳送,在速率低于1000比特/秒的極低比特率下,語音編碼的研究將大大有別于正常情況,比如要在某些帶寬特別窄的信道上傳輸語音,以及水聲通信、地下通信、戰(zhàn)略及保密話音通信等,要在這些情況下實現(xiàn)有效的語音識別,就必須處理聲音信號的特殊特征,如因為帶寬而延遲或減損等。語音識別技術(shù)要進(jìn)一步應(yīng)用,就必須在強(qiáng)健性方面有大的突破。
4、多語言混合識別以及無限詞匯識別方面:簡單地說,目前使用的聲學(xué)模型和語音模型太過于局限,以至用戶只能使用特定語音進(jìn)行特定詞匯的識別。如果突然從中文轉(zhuǎn)為英文,或者法文、俄文,計算機(jī)就會不知如何反應(yīng),而給出一堆不知所云的句子;或者用戶偶爾使用了某個專門領(lǐng)域的專業(yè)術(shù)語,如“信噪比"等,可能也會得到奇怪的反應(yīng)。這一方面是由于模型的局限,另一方面也受限于硬件資源。隨著兩方面的技術(shù)的進(jìn)步,將來的語音和聲學(xué)模型可能會做到將多種語言混合納入,用戶因此就可以不必在語種之間來回切換。此外,對于聲學(xué)模型的進(jìn)一步改進(jìn),以及以語義學(xué)為基礎(chǔ)的語言模型的改進(jìn),也能幫助用戶盡可能少或不受詞匯的影響,從而可實行無限詞匯識別。
5、多語種交流系統(tǒng)的應(yīng)用:最終,語音識別是要進(jìn)一步拓展我們的交流空間,讓我們能更加自由地面對這個世界??梢韵胍?,如果語音識別技術(shù)在上述幾個方面確實取得了突破性進(jìn)展,那么多語種交流系統(tǒng)的出現(xiàn)就是順理成章的事情,這將是語音識技術(shù)、機(jī)器翻譯技術(shù)以及語音合成技術(shù)的完美結(jié)合,而如果硬件技術(shù)的發(fā)展能將這些算法進(jìn)而固化到更為細(xì)小的芯片,比如手持移動設(shè)備上,那么個人就可以帶著這種設(shè)備周游世界而無需擔(dān)心任何交流的困難,你說出你想表達(dá)的意思,手持設(shè)備同時識別并將它翻譯成對方的語言,然后合成并發(fā)送出去;同時接聽對方的語言,識別并翻譯成已方的語言,合成后朗讀給你聽,所有這一切幾乎都是同時進(jìn)行的,只是機(jī)器充當(dāng)著主角。
任何技術(shù)的進(jìn)步都是為了更進(jìn)一步拓展我們?nèi)祟惖纳婧徒涣骺臻g,以使我們獲得更大的自由,就服務(wù)于人類而言,這一點顯然也是語音識別技術(shù)的發(fā)展方向,而為了達(dá)成這一點,它還需要在上述幾個方面取得突破性進(jìn)展,最終,多語種自由交流系統(tǒng)將帶給我們?nèi)碌纳羁臻g。
六、語音識別技術(shù)的前景和應(yīng)用
在電話與通信系統(tǒng)中,智能語音接口正在把電話機(jī)從一個單純的服務(wù)工具變成為一個服務(wù)的“提供者”和生活“伙伴”;使用電話與通信網(wǎng)絡(luò),人們可以通過語音命令方便地從遠(yuǎn)端的數(shù)據(jù)庫系統(tǒng)中查詢與提取有關(guān)的信息;隨著計算機(jī)的小型化,鍵盤已經(jīng)成為移動平臺的一個很大障礙,想象一下如果手機(jī)僅僅只有一個手表那么大,再用鍵盤進(jìn)行撥號操作已經(jīng)是不可能的。語音識別正逐步成為信息技術(shù)中人機(jī)接口的關(guān)鍵技術(shù),語音識別技術(shù)與語音合成技術(shù)結(jié)合使人們能夠甩掉鍵盤,通過語音命令進(jìn)行操作。語音技術(shù)的應(yīng)用已經(jīng)成為一個具有競爭性的新興高技術(shù)產(chǎn)業(yè)。
語音識別技術(shù)發(fā)展到今天,特別是中小詞匯量非特定人語音識別系統(tǒng)識別精度已經(jīng)大于98%,對特定人語音識別系統(tǒng)的識別精度就更高。這些技術(shù)已經(jīng)能夠滿足通常應(yīng)用的要求。由于大規(guī)模集成電路技術(shù)的發(fā)展,這些復(fù)雜的語音識別系統(tǒng)也已經(jīng)完全可以制成專用芯片,大量生產(chǎn)。在西方經(jīng)濟(jì)發(fā)達(dá)國家,大量的語音識別產(chǎn)品已經(jīng)進(jìn)入市場和服務(wù)領(lǐng)域。一些用戶交機(jī)、電話機(jī)、手機(jī)已經(jīng)包含了語音識別撥號功能,還有語音記事本、語音智能玩具等產(chǎn)品也包括語音識別與語音合成功能。人們可以通過電話網(wǎng)絡(luò)用語音識別口語對話系統(tǒng)查詢有關(guān)的機(jī)票、旅游、銀行信息,并且取得很好的結(jié)果。調(diào)查統(tǒng)計表明多達(dá)85%以上的人對語音識別的信息查詢服務(wù)系統(tǒng)的性能表示滿意。
可以預(yù)測在近五到十年內(nèi),語音識別系統(tǒng)的應(yīng)用將更加廣泛。各種各樣的語音識別系統(tǒng)產(chǎn)品將出現(xiàn)在市場上。人們也將調(diào)整自己的說話方式以適應(yīng)各種各樣的識別系統(tǒng)。在短期內(nèi)還不可能造出具有和人相比擬的語音識別系統(tǒng),要建成這樣一個系統(tǒng)仍然是人類面臨的一個大的挑戰(zhàn),我們只能一步步朝著改進(jìn)語音識別系統(tǒng)的方向一步步地前進(jìn)。至于什么時候可以建立一個像人一樣完善的語音識別系統(tǒng)則是很難預(yù)測的。就像在60年代,誰又能預(yù)測今天超大規(guī)模集成電路技術(shù)會對我們的社會產(chǎn)生這么大的影響。