它相對(duì)于GMM-HMM系統(tǒng)并沒(méi)有什么優(yōu)勢(shì)可言,研究人員還是更傾向于基于統(tǒng)計(jì)模型的方法。在20世紀(jì)80年代還有一個(gè)值得一提的事件,美國(guó)3eec6ee2-7378-4724-83b5-9b技術(shù)署(NIST)在1987年di一次舉辦了NIST評(píng)測(cè),這項(xiàng)評(píng)測(cè)在后來(lái)成為了全球語(yǔ)音評(píng)測(cè)。20世紀(jì)90年代,語(yǔ)音識(shí)別進(jìn)入了一個(gè)技術(shù)相對(duì)成熟的時(shí)期,主流的GMM-HMM框架得到了更廣的應(yīng)用,在領(lǐng)域中的地位越發(fā)穩(wěn)固。聲學(xué)模型的說(shuō)話人自適應(yīng)(SpeakerAdaptation)方法和區(qū)分性訓(xùn)練(DiscriminativeTraining)準(zhǔn)則的提出,進(jìn)一步提升了語(yǔ)音識(shí)別系統(tǒng)的性能。1994年提出的大后驗(yàn)概率估計(jì)(MaximumAPosterioriEstimation,MAP)和1995年提出的*大似然線性回歸(MaximumLikelihoodLinearRegression,MLLR),幫助HMM實(shí)現(xiàn)了說(shuō)話人自適應(yīng)。*大互信息量(MaximumMutualInformation,MMI)和*小分類(lèi)錯(cuò)誤(MinimumClassificationError,MCE)等聲學(xué)模型的區(qū)分性訓(xùn)練準(zhǔn)則相繼被提出,使用這些區(qū)分性準(zhǔn)則去更新GMM-HMM的模型參數(shù),可以讓模型的性能得到提升。此外,人們開(kāi)始使用以音素字詞單元作為基本單元。一些支持大詞匯量的語(yǔ)音識(shí)別系統(tǒng)被陸續(xù)開(kāi)發(fā)出來(lái),這些系統(tǒng)不但可以做到支持大詞匯量非特定人連續(xù)語(yǔ)音識(shí)別。搜索的本質(zhì)是問(wèn)題求解,應(yīng)用于語(yǔ)音識(shí)別、機(jī)器翻譯等人工智能和模式識(shí)別的各個(gè)領(lǐng)域。遼寧汽車(chē)語(yǔ)音識(shí)別
3)上述兩個(gè)問(wèn)題的共性是目前的深度學(xué)習(xí)用到了語(yǔ)音信號(hào)各個(gè)頻帶的能量信息,而忽略了語(yǔ)音信號(hào)的相位信息,尤其是對(duì)于多通道而言,如何讓深度學(xué)習(xí)更好的利用相位信息可能是未來(lái)的一個(gè)方向。(4)另外,在較少數(shù)據(jù)量的情況下,如何通過(guò)遷移學(xué)習(xí)得到一個(gè)好的聲學(xué)模型也是研究的熱點(diǎn)方向。例如方言識(shí)別,若有一個(gè)比較好的普通話聲學(xué)模型,如何利用少量的方言數(shù)據(jù)得到一個(gè)好的方言聲學(xué)模型,如果做到這點(diǎn)將極大擴(kuò)展語(yǔ)音識(shí)別的應(yīng)用范疇。這方面已經(jīng)取得了一些進(jìn)展,但更多的是一些訓(xùn)練技巧,距離目標(biāo)還有一定差距。(5)語(yǔ)音識(shí)別的目的是讓機(jī)器可以理解人類(lèi),因此轉(zhuǎn)換成文字并不是終的目的。如何將語(yǔ)音識(shí)別和語(yǔ)義理解結(jié)合起來(lái)可能是未來(lái)更為重要的一個(gè)方向。語(yǔ)音識(shí)別里的LSTM已經(jīng)考慮了語(yǔ)音的歷史時(shí)刻信息,但語(yǔ)義理解需要更多的歷史信息才能有幫助,因此如何將更多上下文會(huì)話信息傳遞給語(yǔ)音識(shí)別引擎是一個(gè)難題。(6)讓機(jī)器聽(tīng)懂人類(lèi)語(yǔ)言,靠聲音信息還不夠,“聲光電熱力磁”這些物理傳感手段,下一步必然都要融合在一起,只有這樣機(jī)器才能感知世界的真實(shí)信息,這是機(jī)器能夠?qū)W習(xí)人類(lèi)知識(shí)的前提條件。而且,機(jī)器必然要超越人類(lèi)的五官,能夠看到人類(lèi)看不到的世界。
上海英語(yǔ)語(yǔ)音識(shí)別前端語(yǔ)音識(shí)別指命令者向語(yǔ)音識(shí)別引擎發(fā)出指令,識(shí)別出的單詞在說(shuō)話時(shí)顯示出來(lái),命令者負(fù)責(zé)編輯和簽署文檔。
Sequence-to-Sequence方法原來(lái)主要應(yīng)用于機(jī)器翻譯領(lǐng)域。2017年,Google將其應(yīng)用于語(yǔ)音識(shí)別領(lǐng)域,取得了非常好的效果,將詞錯(cuò)誤率降低至。Google提出新系統(tǒng)的框架由三個(gè)部分組成:Encoder編碼器組件,它和標(biāo)準(zhǔn)的聲學(xué)模型相似,輸入的是語(yǔ)音信號(hào)的時(shí)頻特征;經(jīng)過(guò)一系列神經(jīng)網(wǎng)絡(luò),映射成高級(jí)特征henc,然后傳遞給Attention組件,其使用henc特征學(xué)習(xí)輸入x和預(yù)測(cè)子單元之間的對(duì)齊方式,子單元可以是一個(gè)音素或一個(gè)字。**后,attention模塊的輸出傳遞給Decoder,生成一系列假設(shè)詞的概率分布,類(lèi)似于傳統(tǒng)的語(yǔ)言模型。端到端技術(shù)的突破,不再需要HMM來(lái)描述音素內(nèi)部狀態(tài)的變化,而是將語(yǔ)音識(shí)別的所有模塊統(tǒng)一成神經(jīng)網(wǎng)絡(luò)模型,使語(yǔ)音識(shí)別朝著更簡(jiǎn)單、更高效、更準(zhǔn)確的方向發(fā)展。語(yǔ)音識(shí)別的技術(shù)現(xiàn)狀目前,主流語(yǔ)音識(shí)別框架還是由3個(gè)部分組成:聲學(xué)模型、語(yǔ)言模型和解碼器,有些框架也包括前端處理和后處理。隨著各種深度神經(jīng)網(wǎng)絡(luò)以及端到端技術(shù)的興起,聲學(xué)模型是近幾年非常熱門(mén)的方向,業(yè)界都紛紛發(fā)布自己新的聲學(xué)模型結(jié)構(gòu),刷新各個(gè)數(shù)據(jù)庫(kù)的識(shí)別記錄。由于中文語(yǔ)音識(shí)別的復(fù)雜性,國(guó)內(nèi)在聲學(xué)模型的研究進(jìn)展相對(duì)更快一些。
選用業(yè)界口碑較好的訊飛離線語(yǔ)音識(shí)別庫(kù),該庫(kù)采用巴科斯范式語(yǔ)言描述語(yǔ)音識(shí)別的語(yǔ)法,可以支持的離線命令詞的合,滿足語(yǔ)音撥號(hào)軟件的工作需求。其中,編寫(xiě)的語(yǔ)法文檔主要部分如下:!start;:[];:我想|我要|請(qǐng)|幫我;:[];:給!id(10001)|打給!id(10001)|打電話給!id(10001)|撥打!id(10001)|呼叫!id(10001);:打電話!id(10001)|打個(gè)電話!id(10001)|撥打電話!id(10001)|撥電話!id(10001)|撥個(gè)電話!id(10001)|的電話!id(10001);:丁偉|李平;本文件覆蓋了電話呼叫過(guò)程中的基本語(yǔ)法,其中中的數(shù)據(jù),需要根據(jù)用戶數(shù)據(jù)庫(kù)進(jìn)行補(bǔ)充,其它、、中的內(nèi)容,用戶根據(jù)自己的生活習(xí)慣和工作需要進(jìn)行完善。另外,語(yǔ)音撥號(hào)軟件的應(yīng)用數(shù)據(jù)庫(kù)為電話薄數(shù)據(jù)庫(kù),電話薄中的用戶姓名是構(gòu)建語(yǔ)法文檔的關(guān)鍵數(shù)據(jù);音頻采集模塊采用增強(qiáng)型Linux聲音架構(gòu)ALSA庫(kù)實(shí)現(xiàn)。語(yǔ)音撥號(hào)軟件工作流程語(yǔ)音撥號(hào)軟件的工作流程如圖2所示,電話薄數(shù)據(jù)庫(kù)、語(yǔ)音識(shí)別控制模塊、訊飛離線識(shí)別引擎和ALSA庫(kù)相互配合,共同完成語(yǔ)音識(shí)別的啟動(dòng)、識(shí)別和結(jié)束。具體流程如下:(1)構(gòu)建BNF文檔:控制模塊搜索本地電話薄數(shù)據(jù)庫(kù),導(dǎo)出用戶數(shù)據(jù)信息,按照巴科斯范式語(yǔ)法,生成基于本地?cái)?shù)據(jù)庫(kù)的語(yǔ)法文檔;。多人語(yǔ)音識(shí)別及離線語(yǔ)音識(shí)別也是當(dāng)前需要重點(diǎn)解決的問(wèn)題。
Siri、Alexa等虛擬助手的出現(xiàn),讓自動(dòng)語(yǔ)音識(shí)別系統(tǒng)得到了更廣的運(yùn)用與發(fā)展。自動(dòng)語(yǔ)音識(shí)別(ASR)是一種將口語(yǔ)轉(zhuǎn)換為文本的過(guò)程。該技術(shù)正在不斷應(yīng)用于即時(shí)通訊應(yīng)用程序、搜索引擎、車(chē)載系統(tǒng)和家庭自動(dòng)化中。盡管所有這些系統(tǒng)都依賴于略有不同的技術(shù)流程,但這些所有系統(tǒng)的第一步都是相同的:捕獲語(yǔ)音數(shù)據(jù)并將其轉(zhuǎn)換為機(jī)器可讀的文本。但ASR系統(tǒng)如何工作?它如何學(xué)會(huì)辨別語(yǔ)音?本文將簡(jiǎn)要介紹自動(dòng)語(yǔ)音識(shí)別。我們將研究語(yǔ)音轉(zhuǎn)換成文本的過(guò)程、如何構(gòu)建ASR系統(tǒng)以及未來(lái)對(duì)ASR技術(shù)的期望。那么,我們開(kāi)始吧!ASR系統(tǒng):它們?nèi)绾芜\(yùn)作?因此,從基礎(chǔ)層面來(lái)看,我們知道自動(dòng)語(yǔ)音識(shí)別看起來(lái)如下:音頻數(shù)據(jù)輸入,文本數(shù)據(jù)輸出。但是,從輸入到輸出,音頻數(shù)據(jù)需要變成機(jī)器可讀的數(shù)據(jù)。這意味著數(shù)據(jù)通過(guò)聲學(xué)模型和語(yǔ)言模型進(jìn)行發(fā)送。這兩個(gè)過(guò)程是這樣的:聲學(xué)模型確定了語(yǔ)言中音頻信號(hào)和語(yǔ)音單位之間的關(guān)系,而語(yǔ)言模型將聲音與單詞及單詞序列進(jìn)行匹配。這兩個(gè)模型允許ASR系統(tǒng)對(duì)音頻輸入進(jìn)行概率檢查,以預(yù)測(cè)其中的單詞和句子。然后,系統(tǒng)會(huì)選出具有**高置信度等級(jí)的預(yù)測(cè)。**有時(shí)語(yǔ)言模型可以優(yōu)先考慮某些因其他因素而被認(rèn)為更有可能的預(yù)測(cè)。因此,如果通過(guò)ASR系統(tǒng)運(yùn)行短語(yǔ)。語(yǔ)音識(shí)別的精度和速度取決實(shí)際應(yīng)用環(huán)境。上海英語(yǔ)語(yǔ)音識(shí)別
語(yǔ)音識(shí)別技術(shù)還可以應(yīng)用于自動(dòng)口語(yǔ)翻譯。遼寧汽車(chē)語(yǔ)音識(shí)別
主流方向是更深更復(fù)雜的神經(jīng)網(wǎng)絡(luò)技術(shù)融合端到端技術(shù)。2018年,科大訊飛提出深度全序列卷積神經(jīng)網(wǎng)絡(luò)(DFCNN),DFCNN使用大量的卷積直接對(duì)整句語(yǔ)音信號(hào)進(jìn)行建模,主要借鑒了圖像識(shí)別的網(wǎng)絡(luò)配置,每個(gè)卷積層使用小卷積核,并在多個(gè)卷積層之后再加上池化層,通過(guò)累積非常多卷積池化層對(duì),從而可以看到更多的歷史信息。2018年,阿里提出LFR-DFSMN(LowerFrameRate-DeepFeedforwardSequentialMemoryNetworks)。該模型將低幀率算法和DFSMN算法進(jìn)行融合,語(yǔ)音識(shí)別錯(cuò)誤率相比上一代技術(shù)降低20%,解碼速度提升3倍。FSMN通過(guò)在FNN的隱層添加一些可學(xué)習(xí)的記憶模塊,從而可以有效的對(duì)語(yǔ)音的長(zhǎng)時(shí)相關(guān)性進(jìn)行建模。而DFSMN是通過(guò)跳轉(zhuǎn)避免深層網(wǎng)絡(luò)的梯度消失問(wèn)題,可以訓(xùn)練出更深層的網(wǎng)絡(luò)結(jié)構(gòu)。2019年,百度提出了流式多級(jí)的截?cái)嘧⒁饬δP蚐MLTA,該模型是在LSTM和CTC的基礎(chǔ)上引入了注意力機(jī)制來(lái)獲取更大范圍和更有層次的上下文信息。其中流式表示可以直接對(duì)語(yǔ)音進(jìn)行一個(gè)小片段一個(gè)小片段的增量解碼;多級(jí)表示堆疊多層注意力模型;截?cái)鄤t表示利用CTC模型的尖峰信息,把語(yǔ)音切割成一個(gè)一個(gè)小片段,注意力模型和解碼可以在這些小片段上展開(kāi)。在線語(yǔ)音識(shí)別率上。遼寧汽車(chē)語(yǔ)音識(shí)別