大模型已基本解決幻覺問題？

你是否經歷過大語言模型一本正經“胡說八道”？大模型在發(fā)展初期的幻覺問題尤為嚴重，所回答問題基本屬于“已讀亂回”，至于哪家企業(yè)的大模型不在本文探討之列，大家心知肚明，更重要的是大語言模型的幻覺問題有了最新進展。

今日，百度創(chuàng)始人李彥宏公開表示，“大模型基本消除了幻覺”，這對于大語言模型來說是一個巨大的進步，過去一年來大模型的幻覺問題為用戶造成了很多困擾，筆者在參加某次業(yè)內會議時，有專家明確指出：“我們期望大模型即使不回答也不要輸出誤導性的錯誤答案。”

面對大語言模型的幻覺問題，各企業(yè)也在全力攻克，尤其頭部的一些大模型開發(fā)廠商。OpenAl CEO Sam Altman曾指出：“我們正在努力解決幻覺問題，這將需要一年半到兩年的時間?！?/p>

然而，信息技術行業(yè)發(fā)展到今天，已經步入到“日日新”的階段，大型語言模型發(fā)展短短兩年時間，就已在該領域上取得了巨大突破。

那么，為什么LLM會出現幻覺？360創(chuàng)始人周鴻祎曾一針見血地指出：“目前人工智能存在一個全世界公認的難題——它會產生幻覺，這是大模型本身固有的特性?！币簿褪钦f，幻覺問題是大語言模型與生俱來的。

此外，產生幻覺的原因可大致分為三個方面：數據源、訓練過程、推理。

具體來看，大語言模型產生幻覺的原因包括數據質量、算法、專業(yè)領域知識豐富度、是否擬合等。

從數據質量上來看，大規(guī)模數據集中可能存在數據質量問題，例如缺失值、異常值或不一致性，這些問題可能會導致大文本模型輸出錯誤結果。

從算法選擇來看，目前大模型已經遍地開花，各家大模型選擇的算法各不相同，不同的算法對于大規(guī)模數據的處理方式各不相同，選擇不恰當的算法可能導致對數據的錯誤建模，從而產生幻覺。

從專業(yè)領域的知識的豐富程度來看，大語言模型在涉及某些專業(yè)領域時，會因為知識儲備（語料）不充足或者不能理解專業(yè)領域的數據，產生對客觀事實的錯誤解讀。

從大語言模型訓練的角度來看，存在過擬合的問題。模型在訓練數據上表現良好，但是對樣本外的數據進行測試時表現效果不佳，欠擬合和過擬合的大模型出現幻覺的概率一般較高。

雖然大語言模型幻覺一度困擾開發(fā)者和用戶，但有人卻持有不同的觀點——大模型幻覺是非常寶貴的特性，之所以有這樣的觀點，是他們認為因為“幻覺和創(chuàng)新其實只有一線之隔”，未來，如何破除幻覺和創(chuàng)新的壁壘將是大模型努力的方向。

其實大語言模型發(fā)展到今天，面臨的不止“幻覺”這一個挑戰(zhàn)，如未來隨著數據量的巨增，必須要進行模型壓縮與優(yōu)化；多模態(tài)模型與大語言模型的結合，將自然語言處理與計算機視覺、語音處理等多模態(tài)信息相結合，擴大應用場景。

作者：孫天

責編/版式：蓋貝貝

審校：王 濤?梅雅鑫

監(jiān)制：劉啟誠