如何提示像 GPT-3 這樣的大型語言模型提供解釋來改進上下文學習？我們特别關注涉及對文本進行推理的兩項 NLP 任務，即問答和自然語言推理。在提示中包含解釋并讓模型生成它們并不能始終如一地提高我們研究的環境中的性能，這與符号推理任務 (Nye) 的最新結果相反等人，2021；魏等人，2022）。盡管進行了仔細的提示，但 GPT-3 生成的解釋甚至可能不是基于輸入的事實，即使是在具有直接提取解釋的簡單任務上也是如此。然而，這些有缺陷的解釋仍然可以作為驗證 GPT-3 事後預測的一種方式。通過對三個設置的分析，我們表明人類判斷為好的解釋——那些在邏輯上與輸入和預測一緻的解釋——通常表明預測更準确。根據這些觀察，我們提出了一個基于解釋的可靠性來校準模型預測的框架。我們的框架使用自動提取的分數訓練校準器，該分數近似評估解釋的可靠性，這有助于提高三個不同數據集的性能。
《The Unreliability of Explanations in Few-Shot In-Context Learning》
zpostcode 
Recruit 
weather 
mreligion 
Yellowpages 
sport 
constellation 
shopping 
name 
game 
directory 
literature 
Word 
tour 
furnish 
Lottery 
tftnews 
lyrics 
News 
digital 
car 
dir 
Edu 
Finance 
