自然語(yǔ)言處理( Natural Language Processing, NLP)是指利用人類(lèi)交流所使用的自然語(yǔ)言與機器進(jìn)行交互通訊的技術(shù)。這意味著(zhù)計算機能以自然語(yǔ)言文本來(lái)表達給定的意圖、思想等，稱(chēng)為自然語(yǔ)言生成。如何讓自然語(yǔ)言生成系統產(chǎn)生和人類(lèi)語(yǔ)言相同質(zhì)量的語(yǔ)言，一直都是自然語(yǔ)言處理領(lǐng)域的熱點(diǎn)和難點(diǎn)。這一領(lǐng)域盡管已經(jīng)取得了巨大的進(jìn)步，但是在評估自然語(yǔ)言生成語(yǔ)言質(zhì)量的方法方面仍然存在重大挑戰。語(yǔ)言心理學(xué)研究表明，語(yǔ)言蘊含說(shuō)話(huà)人豐富的社會(huì )和心理信息，并且語(yǔ)言的社會(huì )和心理信息主要是由讀者或聽(tīng)眾在內隱水平上加工處理。因此，將內隱感知信息加入自然語(yǔ)言生成語(yǔ)言的質(zhì)量評估標準中是一個(gè)有廣闊前景潛在方向。
2月7日，中國科學(xué)技術(shù)大學(xué)心理學(xué)系張效初團隊在《Advanced Science》（IF=17.5）雜志上發(fā)表了題為《Implicit perception of differences between NLP-produced and human-produced language in the mentalizing network》的研究論文，通過(guò)比較自然語(yǔ)言和自然語(yǔ)言生成語(yǔ)言在感知上的神經(jīng)活動(dòng)差異，揭示了內隱感知神經(jīng)信息在語(yǔ)言感知和理解中的重要作用，也為評估自然語(yǔ)言生成語(yǔ)言質(zhì)量提供了新的思路。
該研究收集了聊天機器人谷歌Meena和微軟XiaoIce的語(yǔ)料作為自然語(yǔ)言生成語(yǔ)言的代表，同時(shí)收集了人類(lèi)語(yǔ)料作為對照材料，采用功能磁共振成像技術(shù)記錄受試者在瀏覽評估兩種語(yǔ)料過(guò)程中的神經(jīng)信號。結果分析發(fā)現，當受試者主觀(guān)無(wú)法區分語(yǔ)料來(lái)源的時(shí)候，即主觀(guān)判定人類(lèi)語(yǔ)料和機器人語(yǔ)料都是人類(lèi)語(yǔ)料的情況，大腦心智化腦網(wǎng)絡(luò )的核心腦區背內側前額葉和右側顳頂聯(lián)合區的激活水平依然可以顯著(zhù)區分語(yǔ)料的來(lái)源（圖1）。不同來(lái)源和不同判定的語(yǔ)料所引起的神經(jīng)活動(dòng)在受試者之間表現出了顯著(zhù)的相似性（圖2）。
圖1 評定來(lái)源為“人類(lèi)”的語(yǔ)料分類(lèi)準確度
圖2 受試間神經(jīng)活動(dòng)相似性分析
最后，通過(guò)全腦分析，發(fā)現顯著(zhù)激活的腦區與meta分析神經(jīng)合成的心智化腦網(wǎng)絡(luò )存在位置重疊（圖3），說(shuō)明參與內隱感知自然語(yǔ)言和自然語(yǔ)言生成語(yǔ)言差異的大腦區域確實(shí)是心智化腦網(wǎng)絡(luò )。
圖3 全腦分析和重疊分析結果
這些研究成果表明，大腦的內隱感知神經(jīng)信號是比自我報告更為敏感的評估信息，可以將其加入評估自然語(yǔ)言生成語(yǔ)言質(zhì)量的標準中。這不僅有助于自然語(yǔ)言處理技術(shù)的發(fā)展，也為發(fā)展新的衡量人工智能水平的圖靈測驗提供新的視角。
中國科學(xué)技術(shù)大學(xué)心理學(xué)系韋正德特任副研究員和陳穎研究生為本文共同第一作者，中國科學(xué)技術(shù)大學(xué)心理學(xué)系張效初教授為本文獨立通訊作者。本項目得到國家自然科學(xué)基金、科技創(chuàng )新2030-“腦科學(xué)與類(lèi)腦研究”重大項目、教育部哲學(xué)社會(huì )科學(xué)研究重大項目、CASVPST絲路科學(xué)基金、合肥科學(xué)中心協(xié)同創(chuàng )新計劃的支持。
論文鏈接：https://onlinelibrary.wiley.com/doi/10.1002/advs.202203990
（心理學(xué)系、科研部）
