在日常交流情景中，眼睛近視者經常會說這樣一句話：“你說什麼啊？我沒戴眼鏡，聽不清。”這時大家便會調侃道：“那是什麼啊？我沒戴助聽器，看不清。”人們之所以會調侃，是因為從傳統觀點來看，言語感知一直被認為是一種純粹的聽覺加工過程，與視覺線索無關。但近年來，越來越多的學者們對該觀點提出了質疑。他們認為，言語感知是一種視—聽雙通道參與的活動，視—聽雙通道指的是視覺口型和聽覺聲音兩個通道的信息。衆所周知，當視—聽雙通道的信息相一緻時，兩個通道同時出現的信息比單獨聽覺通道所傳遞的信息更快更準确，即視覺口型所傳遞的言語信息有助于理解聽覺言語并消除歧義。但是，當視—聽雙通道的信息相互矛盾時，即在視覺口型和聽覺聲音不匹配的情況下，便會出現經典的麥格克效應（McGurk Effect）現象。言語感知過程中麥格克效應的出現從科學角度證明，視覺信息不僅會影響言語感知，甚至會使言語感知的結果出現偏差。

麥格克效應的科學實驗

20世紀70年代，英國薩裡大學心理學家哈裡·麥格克和約翰·麥克唐納在《自然》雜志上發表了一篇題為《聽見嘴唇，看到聲音》（Hearing Lips and Seeing Voices）的論文。該研究的結果表明，聽力正常的人在自然環境下的言語感知中也會受到視覺線索的影響。在該研究中，将剪輯後視聽同步卻不匹配的視頻刺激呈獻給被試，要求被試口頭重複視頻中模特所說的内容（即對聽覺刺激進行複述）。意外的是，被試既沒有體驗到通道間信息的沖突也沒有一種通道信息占據優勢。研究結果發現，當呈現的聽覺刺激為ba，視覺刺激（指視頻中說話者的唇部動作）為ga時，98%的成人被試報告他們聽到的是da，研究者将該反應定義為“融合反應”，即來自兩種通道的信息被轉換成新的元素，而新元素不同于任何一個通道刺激的反應；反之，當呈現的聽覺刺激為ga，視覺刺激為ba時，大部分成人被試（54%）報告他們聽到的是gabga或bagba，研究者将該反應定義為“組合反應”，即來自視覺和聽覺通道的相對未修改元素的複合反應。而在沒有沖突的視覺信息影響的條件下，被試對聽覺信息的報告正确率高達99%。這種現象被研究者稱為“麥格克效應”或“麥格克錯覺”。近年來，越來越多的研究證據表明，這種聽覺錯覺現象并不僅局限于上述幾種特定的視—聽組合，在日常交流情景中也是一種司空見慣的現象，其本質是當視覺和聽覺刺激同時出現但又彼此沖突時，人們對聲音的識别出現感知偏差的現象。

麥格克效應受年齡差異、

文化背景等因素影響

對麥格克效應的研究至今已有40年曆史，大量研究者也從不同的角度證明了麥格克現象普遍存在。但是，年齡差異、文化背景等會對麥格克效應的易感性産生影響。麥格克等研究者在西方文化背景下對視—聽雙通道言語感知能力的發展趨勢進行了探讨。他們發現，與兒童相比，成人的聽覺感知更容易被視覺輸入所影響。即如果反應隻由單一通道所主導，則兒童往往主要是聽覺，成人是視覺。其他關于視—聽言語感知能力的發展研究都普遍發現，從兒童到青年再到成年，視覺言語的作用逐漸增強。

目前，麥格克效應的研究大多是在西方語言背景下進行的，而關于東方語言背景下視—聽言語感知的研究僅有為數不多的幾項，且主要集中于漢語和日語母語者身上。美國亞利桑那大學的格林（Kerry P. Green）和加州大學的馬薩羅（Dom W. Massaro）等人認為，相對于歐美人，中國人和日本人産生的麥格克效應較弱。究其原因，可能是漢語和日語母語者都認為看着别人的臉說話是不禮貌的行為，這樣的交際禮儀導緻他們在言語感知過程中很少關注和運用視覺通道的信息。除此之外，漢語本身的語言特點和英語存在差異性。漢語作為一門聲調語言，主要是通過聽覺通道的信息來分辨而不是依賴于視覺信息。這些因素可能導緻東方文化背景下的人們既表現出視—聽雙通道言語加工的一般性，但又有自身獨特之處。

發音方式—部位假說

是麥格克錯覺現象最新的理論解釋

麥格克效應表明，人的腦神經無法對較為接近的失匹配的視覺和聽覺刺激線索進行探測，而是自動地将它們整合為另一種合理語音。那此錯覺現象到底該作何解釋呢？之前有關言語感知的研究文獻提供了一些關于該現象加工過程的線索。早在1976年，康奈爾大學的卡廷教授（James E. Cutting）報告了兩種相互沖突的聽覺刺激的融合反應。他在一個雙耳分聽實驗中觀察到，當一隻耳朵呈現刺激/ba /，另一隻呈現刺激/ga /時，許多被試感知到的是處于中間水平的/da /。他用“聲學平均假設”來解釋他的實驗結果，認為當ba和ga的相關聲值平均後，結果值近似于da的聲值。但該假設并不足以解釋麥格克效應現象。首先，該假設需要被試把視覺輸入轉換成合适的聲學形式，然後才能進行平均處理。其次，平均假設預測在唇部動作為ga、聲音刺激為ba和唇部動作為ba、聲音刺激為ga的組合條件下，會産生相同的反應；顯然，我們的結果沒有證明該預測。由此可見，“聲學平均假設”并不能對言語感知過程中出現的麥格克效應現象提供科學解釋。

麥格克等人基于該項研究結果嘗試進行原因推測，提出了“共同特征說”。他們認為，ga和da的唇部動作存在相似性，還認為ba的聲波波形與da的聲波波形有一些共同特征。因此，在聽覺刺激為ba、視覺刺激為ga的條件下，将會有ga和da的視覺信息，而聽覺信息又具有ba和da的共同特征。通過對兩種通道的共同信息作出反應，被試将會形成一個統一的感知da；出于同樣的原因，人們認為在聽覺刺激為ga、視覺刺激為ba的條件下，通道之間相互沖突，沒有共同特征。而在沒有一種通道占主導的情況下，被試就無法在兩種信息來源之間作出決定，因此會在兩者之間搖擺，聽到gabga或bagba等等。然而，盡管這些推測解釋了當前的研究發現，但僅僅停留在描述水平層面，沒有任何預測效力。因此，麥克唐納在前人研究基礎之上，重新思考并建立了更具預測性的發音方式—部位假說（manner-place hypothesis）來解釋在視聽輸入相互沖突時我們所觀察到的麥格克效應現象。

發音方式—部位假說認為，人們在面對面的交流情景中，通過耳朵來檢測發音方法（例如，發音是濁音、清音或鼻音等），通過眼睛來檢測發音部位（例如，發音是雙唇音、唇齒音或舌根音等）。在一個尚不清楚的加工層面，兩種來源的信息合成，導緻了“聽覺”感知的最佳匹配解決方案。因此，聲音的發音方法信息（即聽覺信息）與發音中/後部的部位信息（即視覺信息）相結合，将會導緻ga或da的感知。相對而言，該假設更傾向于認為麥格克錯覺在很大程度上是聲音發音部位的視覺優勢的錯覺。迄今為止，發音方式—部位假說是關于視聽言語感知中麥格克錯覺現象最新的理論解釋，但是其科學性和預測效力尚待更多的實驗研究來印證。

（作者單位：西北師範大學心理學院）

原标題：言語感知中的麥格克效應

來源：中國社會科學網-中國社會科學報

作者：潘超超 周愛保

聲明： 本文圖片來源于“東方IC”