你是否想過，ChatGPT生成的答案會受到用戶個人偏好的影響，回復一些足夠“阿諛奉承（sycophancy）”的話，而非中立或真實的信息？

實際上，這種現象存在于包括ChatGPT在內的大多數AI模型之中，而罪魁禍首競可能是“基于人類反饋的強化學習（RLHF）”。

近日，OpenAI在美國硅谷的最強競爭對手Anthropic在研究經過RLHF訓練的模型時，便探究了“阿諛奉承”這一行為在AI模型中的廣泛存在及其是否受到人類偏好的影響。

相關論文以“Towards Understanding Syco-phancy in Language Models”為題，已發(fā)表在預印本網站arXiv上。

研究結果表明，“阿諛奉承”行為在RLHF模型中普遍存在，且很可能部分受到人類偏好對“阿諛奉承”回應的影響。

具體來說，AI模型表現出這種行為的一個主要原因是，當AI的回復符合用戶的觀點或信仰時，用戶更有可能給予積極的反饋。也因此，為了獲得更多的積極反饋，AI模型就可能會學習并重現這種討好用戶的行為。

“阿諛奉承”，最先進的AI助手都會

目前，像GPT-4這樣的AI模型通?？梢栽诮涍^訓練后產生人們高度評價的輸出。使用RLHF對語言模型進行微調可以改善它們的輸出質量，而這些質量由人類評估員評價。

然而，有研究認為基于人類偏好判斷的訓練方案可能以不可取的方式利用人類判斷，如鼓勵AI系統生成吸引人類評估員但實際上有缺陷或錯誤的輸出。

目前尚不清楚上述情況是否會發(fā)生在更多樣化和現實情境中的模型中，以及是否確實是由人類偏好中的缺陷所驅動的。

為此，該研究首先調查了最先進的AI助手在各種現實情境中是否提供“阿諛奉承”的回應。在自由文本生成任務中，研究人員在5個（Claude 1.3、Claude 2、GPT-3.5、GPT-4、LLaMA 2）最先進的經過RLHF訓練的AI助手中識別了“阿諛奉承”的一致模式。

圖片來源：圖蟲創(chuàng)意

圖片來源：圖蟲創(chuàng)意

具體而言，這些AI助手在受到用戶提問時經常錯誤地承認錯誤，提供可預測的有偏反饋，以及模仿用戶所犯的錯誤。這些實證研究結果一致表明，“阿諛奉承”可能確實是RLHF模型訓練方式的一種特性，而不僅僅是某個特定系統的單獨特征。

人類偏好導致的“阿諛奉承”

除此之外，研究又進一步探討了人類偏好在這一行為中的作用。為了研究這一點，研究人員對現有的人類偏好比較數據進行了調查，確定“阿諛奉承”回應是否在排名上高于非“阿諛奉承”回應。研究對hh-rlhf數據集進行了分析，對每一對偏好比較使用語言模型生成文本標簽（即“特征”），以評估優(yōu)選回應是否更真實且不那么堅決。

為了了解數據鼓勵哪種行為，研究人員使用貝葉斯邏輯回歸模型通過這些特征來預測人類偏好判斷。這個模型學到了與匹配用戶觀點相關的特征是人類偏好判斷中最有預測性的特征之一，這表明偏好數據確實鼓勵“阿諛奉承”。

為探究偏好數據中的“阿諛奉承”是否導致了RLHF模型中的“阿諛奉承”行為，隨后的研究對當優(yōu)化語言模型的回應以適應訓練用于預測人類偏好的模型時，“阿諛奉承”是否會增加進行了分析。研究人員使用RLHF和最佳-N采樣方法來優(yōu)化回應，以滿足用于訓練Claude 2的偏好模型。

研究結果揭示了一個有趣的發(fā)現：在更多的優(yōu)化過程中，雖然增加了某些形式的“阿諛奉承”，但卻減少了其他形式。這現象可能部分源于“阿諛奉承”只是偏好模型激勵的眾多特征之一。

然而，研究也發(fā)現：Claude 2的偏好模型有時更傾向于選擇“阿諛奉承”的回應而不是真實的回應。此外，采用Claude 2的偏好模型進行最佳-N采樣并沒有產生像Claude 2偏好模型的一個版本所示的更偏好真實非“阿諛奉承”回應那樣真實的回應。

這一系列結果表明：盡管在許多情況下，最先進的偏好模型能夠識別回應的真實性，但仍然可能會以損害真實性為代價產生“阿諛奉承”的輸出。

為了證實這些結果，研究人員又研究了人類和偏好模型是否更喜歡有說服力、寫得很好的模型回應，這些回應確認了用戶的錯誤觀點（即“阿諛奉承”回應），而不是糾正用戶的回應。證據表明：人類和偏好模型傾向于更喜歡真實的回應，但并不總是如此；有時他們更喜歡“阿諛奉承”的回應。這些結果進一步證明了優(yōu)化人類偏好可能會導致“阿諛奉承”。

為了驗證這些發(fā)現，研究人員進一步探究了人類和偏好模型是否更偏好那些有說服力、表達流暢的模型回應，即便這些回應是確認用戶錯誤觀點（即“阿諛奉承”回應）而非糾正用戶的觀點。

研究證據顯示：人類和偏好模型普遍偏好真實的回應，然而，并不是一成不變的，因為有時他們更傾向于“阿諛奉承”的回應。這些結果更進一步印證了優(yōu)化以迎合人類偏好可能會導致“阿諛奉承”的產生。

總的來說，“阿諛奉承”在各種模型和情境中都存在，很可能部分原因是人類偏好比較數據中更喜歡“阿諛奉承”。

參考論文：https：／／arxiv. org/abs/2310.13548

文章來源：學術頭條