某些未知的事物正在做著我們不了解的事。

真格投資團(tuán)隊(duì)為大家?guī)?lái)了這篇微軟的大工程，長(zhǎng)達(dá) 155 頁(yè)的優(yōu)秀工作《人工通用智能的小火苗：與 GPT-4 共同完成的早期實(shí)驗(yàn)》（Sparks of Artificial General Intelligence: Early experiments with GPT-4），由于全文近 7 萬(wàn)字，受微信推文字?jǐn)?shù)限制，我們將完整版分為了上下兩期，分列本次推送的第二和第三條。

你現(xiàn)在打開(kāi)的是完整版（上），顧名思義，是簡(jiǎn)單粗暴的全文翻譯。但需要強(qiáng)調(diào)的是，我們的目標(biāo)不是全網(wǎng)最快，而是最完整、最易讀、最精準(zhǔn)。

也歡迎閱讀今日推送頭條發(fā)布的精華整理，迅速汲取全文重點(diǎn)～

Enjoy～

1.1 我們研究 GPT-4 智能的方法

1.2 我們的演示結(jié)構(gòu)

2.1 綜合能力

2.2 視覺(jué)

2.3 音樂(lè)

3.1 從指令到代碼

3.2 理解現(xiàn)有代碼

4.1 與 GPT-4 進(jìn)行數(shù)學(xué)對(duì)話

4.2 數(shù)學(xué)問(wèn)題數(shù)據(jù)集上的表現(xiàn)

我們現(xiàn)在進(jìn)行系統(tǒng)性的實(shí)驗(yàn)，比較 GPT-4、ChatGPT 和 Minerva（用于解決數(shù)學(xué)問(wèn)題的[敏感詞]的 LLM）在兩個(gè)常用的基準(zhǔn)測(cè)試數(shù)據(jù)集上的表現(xiàn)：GSM8K [CKB + 21]和MATH [HBK + 21]。GSM8K 是一個(gè)小學(xué)數(shù)學(xué)數(shù)據(jù)集，包含 8000 個(gè)關(guān)于算術(shù)、分?jǐn)?shù)、幾何和文字問(wèn)題等主題的問(wèn)題和答案。MATH 是一個(gè)高中數(shù)學(xué)數(shù)據(jù)集，包含 12500 個(gè)關(guān)于代數(shù)、微積分、三角函數(shù)和概率等主題的問(wèn)題和答案。我們還在 MMMLU-STEM 數(shù)據(jù)集上測(cè)試了模型，該數(shù)據(jù)集包含大約 2000 個(gè)涵蓋高中和大學(xué) STEM 主題的選擇題（4 個(gè)選項(xiàng)）。這些數(shù)據(jù)集凸顯了 GPT-4 在解決高中水平數(shù)學(xué)問(wèn)題時(shí)使用正確方法的能力。

重要聲明：正如在介紹中解釋的，我們的實(shí)驗(yàn)是在 GPT-4 的早期版本上運(yùn)行的。尤其是所有量化結(jié)果在 GPT-4 的最終版本上將會(huì)不同，盡管大體趨勢(shì)保持不變。我們?cè)诖颂峁?shù)字僅供說(shuō)明目的，確定性基準(zhǔn)測(cè)試結(jié)果可以在 OpenAI 的技術(shù)報(bào)告中找到[Ope23]。

平衡過(guò)度擬合問(wèn)題 - 使用基準(zhǔn)測(cè)試評(píng)估 LLM 的推理能力的一個(gè)潛在問(wèn)題是，它們可能在預(yù)訓(xùn)練期間記住了基準(zhǔn)測(cè)試數(shù)據(jù)集中的問(wèn)題或答案，因?yàn)檫@些問(wèn)題可能是數(shù)據(jù)集的一部分。為了減少這種過(guò)擬合的可能性，我們采用以下策略：

1. 在基準(zhǔn)測(cè)試中，我們通過(guò)要求 GPT-4 (1) 編寫(xiě)問(wèn)題解決方案的模板，(2) 先寫(xiě)下步驟，然后再寫(xiě)下最終答案來(lái)測(cè)試它。這些模板在線上不可用，并且 MMMLU-STEM 等數(shù)據(jù)集的詳細(xì)解決方案也不在線上（只有答案）。

2. 我們從數(shù)據(jù)集中挑選一道代表性的問(wèn)題，其中 GPT-4 能夠正確解決，而 text-davinci-003 則解答錯(cuò)誤。我們更改問(wèn)題中的數(shù)字，發(fā)現(xiàn) GPT-4 始終正確，而 text-davinci-003 始終錯(cuò)誤。

3. 我們還精心設(shè)計(jì)了幾個(gè)新問(wèn)題，并確保這些問(wèn)題或類似變體不會(huì)在網(wǎng)上出現(xiàn)。GPT-4 在這些問(wèn)題上表現(xiàn)出了相同的能力。

對(duì)于基準(zhǔn)數(shù)據(jù)集，我們?cè)u(píng)估了模型的單模型準(zhǔn)確率，即它們?cè)谝淮螄L試中回答正確的問(wèn)題百分比。結(jié)果如下表所示：

對(duì)于 MATH 數(shù)據(jù)集，我們手動(dòng)檢查了 GPT-4 的答案，發(fā)現(xiàn)其錯(cuò)誤主要是由計(jì)算錯(cuò)誤造成的：當(dāng)處理大數(shù)字或復(fù)雜表達(dá)式時(shí)，該模型存在明顯的缺陷。相比之下，在大多數(shù)情況下，ChatGPT 生成的論證都是不連貫的，并且導(dǎo)致一個(gè)與解決問(wèn)題無(wú)關(guān)的計(jì)算。下圖給出了一個(gè)例子，說(shuō)明了這種差異，我們也在附錄 D.1 中進(jìn)一步討論了計(jì)算錯(cuò)誤的問(wèn)題。

4.3 不同領(lǐng)域中的數(shù)學(xué)建模

數(shù)學(xué)推理不僅僅是解決數(shù)學(xué)練習(xí)和問(wèn)題的技能，它也是理解和交流各種上下文和情況的工具。在本節(jié)中，我們?cè)u(píng)估了 GPT-4 利用數(shù)學(xué)思想和技術(shù)解決實(shí)際問(wèn)題的能力，其中一些問(wèn)題并不嚴(yán)格屬于數(shù)學(xué)，但需要數(shù)量思維。下圖，我們展示了 GPT-4 如何成功地構(gòu)建了一個(gè)復(fù)雜系統(tǒng)的合理數(shù)學(xué)模型，該模型需要廣泛的跨學(xué)科知識(shí)，而 ChatGPT 則未能取得有意義的進(jìn)展。

費(fèi)米問(wèn)題 - 一種特定類型的數(shù)學(xué)建模問(wèn)題是費(fèi)米問(wèn)題，涉及使用邏輯、近似和數(shù)量級(jí)推理對(duì)難以或不可能直接測(cè)量的數(shù)量或現(xiàn)象進(jìn)行有根據(jù)的猜測(cè)。例如，一些[敏感詞]的費(fèi)米問(wèn)題是：「芝加哥有多少鋼琴調(diào)音師？」和「太陽(yáng)的峰值電場(chǎng)在到達(dá)地球的過(guò)程中振蕩了多少次？」。為了在幾乎沒(méi)有額外信息的情況下解決這些問(wèn)題，需要同時(shí)具備數(shù)量思維和通識(shí)知識(shí)。在這里，我們展示了 GPT-4 使用數(shù)量思維回答費(fèi)米問(wèn)題的出色能力。我們?cè)谙聢D中展示了兩個(gè)例子，GPT-4 通過(guò)進(jìn)行合理的假設(shè)和有根據(jù)的猜測(cè)來(lái)解決這些問(wèn)題，而 ChatGPT 則立即認(rèn)輸，幾乎沒(méi)有展示任何數(shù)學(xué)思考的痕跡。盡管 GPT-4 的最終答案可能相差很遠(yuǎn)，但它展示了解決這些問(wèn)題的驚人角度。

4.4 高等數(shù)學(xué)

我們?cè)诒竟?jié)中給出了幾個(gè)例子，展示了模型在更高級(jí)的數(shù)學(xué)主題上的潛在性能。這些例子是有意選擇的，用以展示模型的能力，但是要注意，模型并不總是能夠成功解答這種難度水平的問(wèn)題。相反，它們旨在展示模型的能力范圍，提示未來(lái)的模型可能能夠?qū)崿F(xiàn)什么。

我們首先從一個(gè)簡(jiǎn)化版的問(wèn)題開(kāi)始，該問(wèn)題出現(xiàn)在 2022 年國(guó)際數(shù)學(xué)奧林匹克競(jìng)賽（IMO）中。

這道問(wèn)題與通常出現(xiàn)在 STEM 學(xué)科的本科微積分考試中的問(wèn)題的區(qū)別在于，它不符合結(jié)構(gòu)化模板。解決它需要更有創(chuàng)造性的方法，因?yàn)闆](méi)有清晰的策略來(lái)開(kāi)始證明。例如，將論據(jù)分為兩種情況（g(x)> x2 和 g(x) <x2）的決定不是顯而易見(jiàn)的，y? 的選擇（其原因后來(lái)才變得清晰）也不是顯而易見(jiàn)的。此外，解決該問(wèn)題需要本科水平的微積分知識(shí)。盡管如此，GPT-4 還是成功地證明了這個(gè)問(wèn)題的正確性。

第二個(gè)例子是關(guān)于算法和圖論的討論，這些主題通常在本科計(jì)算機(jī)科學(xué)專業(yè)的一年級(jí)或二年級(jí)被教授，這次討論相當(dāng)于研究生級(jí)別的面試。

GPT-4 展示了對(duì)圖論和算法概念的理解。它能夠推理出一個(gè)抽象的圖形結(jié)構(gòu)，與一個(gè)約束滿足問(wèn)題相關(guān)，并得出有關(guān) SAT 問(wèn)題的正確結(jié)論（據(jù)我們所知，這種結(jié)構(gòu)在數(shù)學(xué)文獻(xiàn)中并沒(méi)有出現(xiàn)）。對(duì)話反映了對(duì)大學(xué)水平數(shù)學(xué)概念的深刻理解，以及相當(dāng)程度的創(chuàng)造力。雖然 GPT-4 在一個(gè)實(shí)例中犯了一個(gè)錯(cuò)誤（寫(xiě)成了 2n?1 而不是 2n/2），但隨后的對(duì)話表明這個(gè)錯(cuò)誤并不反映出缺乏理解。相反，GPT-4 似乎是以類似于人類輸入錯(cuò)誤的方式犯了一個(gè)錯(cuò)誤，因?yàn)樗髞?lái)提供了正確的公式推導(dǎo)。

我們的最后一個(gè)例子需要理解一個(gè)新的數(shù)學(xué)定義，并結(jié)合了數(shù)論和概率知識(shí)。該模型提出了一個(gè)可靠的論證，但在最后出現(xiàn)了計(jì)數(shù)錯(cuò)誤，導(dǎo)致最終答案不正確。

5. 與世界互動(dòng)

Interaction with the world

智能的關(guān)鍵之一是互動(dòng)性，我們定義它為與其他代理（agents）、工具（tools）和環(huán)境（environment）進(jìn)行溝通和反饋的能力。互動(dòng)性對(duì)于智能很重要，因?yàn)樗勾砟軌颢@取和應(yīng)用知識(shí)、解決問(wèn)題、適應(yīng)變化，并實(shí)現(xiàn)超出其個(gè)體能力范圍的目標(biāo)。例如，人類相互交流并與環(huán)境互動(dòng)，從而達(dá)成合作、學(xué)習(xí)、教育、談判、創(chuàng)造等行為?；?dòng)性需要代理理解復(fù)雜的思想，快速學(xué)習(xí)并從經(jīng)驗(yàn)中學(xué)習(xí)，因此它與我們對(duì)智能的定義密切相關(guān)。

在本節(jié)中，我們探討了互動(dòng)的兩個(gè)方面：工具使用和體驗(yàn)互動(dòng)。工具使用涉及使用外部資源，例如搜索引擎、計(jì)算器或其他 API，來(lái)執(zhí)行代理單獨(dú)完成困難或不可能完成的任務(wù)。體驗(yàn)互動(dòng)涉及使用自然語(yǔ)言作為文本接口與模擬或現(xiàn)實(shí)世界的環(huán)境進(jìn)行交互，并從中獲得反饋。

5.1 工具使用

盡管在先前的各個(gè)任務(wù)中表現(xiàn)出令人印象深刻的性能，但 GPT-4 仍然存在著各種廣為人知的語(yǔ)言模型的弱點(diǎn)。這些弱點(diǎn)包括（但不限于）缺乏當(dāng)前世界知識(shí)、難以進(jìn)行符號(hào)操作（例如數(shù)學(xué)）以及無(wú)法執(zhí)行代碼。例如，在下圖中，GPT-4 使用過(guò)時(shí)的信息回答[敏感詞]個(gè)問(wèn)題，并未能對(duì)第二個(gè)和第三個(gè)問(wèn)題執(zhí)行適當(dāng)?shù)牟僮?。ChatGPT 拒絕回答[敏感詞]個(gè)問(wèn)題，并且在其他問(wèn)題上也失敗了。

然而，GPT-4 能夠使用搜索引擎或 API 等外部工具來(lái)克服這些（和其他）限制。例如，在下圖中，我們展示了一個(gè)簡(jiǎn)單的提示，使 GPT-4 可以訪問(wèn)搜索引擎和其他功能。在執(zhí)行過(guò)程中，當(dāng)調(diào)用這些函數(shù)之一時(shí)，我們會(huì)暫停生成，調(diào)用適當(dāng)?shù)暮瘮?shù)，將結(jié)果粘貼回提示中，并繼續(xù)生成。在這些簡(jiǎn)單的示例中，GPT-4 能夠非常簡(jiǎn)單地使用工具，無(wú)需演示，然后適當(dāng)?shù)乩幂敵觯ㄕ?qǐng)注意，第二個(gè)搜索結(jié)果包含潛在的沖突信息，但 GPT-4 仍能推斷出正確答案）。相比之下，ChatGPT（未顯示）在被指示使用工具后，無(wú)法始終更改其對(duì)前面一幅圖中問(wèn)題的答案 —— 它仍然拒絕回答[敏感詞]個(gè)問(wèn)題；對(duì)于其他兩個(gè)問(wèn)題，它有時(shí)根本不調(diào)用工具，有時(shí)在給出不正確的答案后再調(diào)用工具。雖然在下圖中我們指定了哪些工具可用，但 GPT-4 也可以列出解決任務(wù)所需的工具（或 API 函數(shù)）清單（附錄中的示例中，圖 F.2 中，GPT-4 列出了需要完成任務(wù)的四個(gè) API 函數(shù)，然后成功地使用它們）。

5.1.1 使用多種工具解決更復(fù)雜的任務(wù)

解決更復(fù)雜的任務(wù)需要 GPT-4 結(jié)合多種工具使用。我們現(xiàn)在分享一些例子，其中 GPT-4 能夠依靠其理解任務(wù)的能力，識(shí)別所需的工具，按正確的順序使用它們，并對(duì)其輸出做出適當(dāng)?shù)捻憫?yīng)：

- 滲透測(cè)試 - 在附錄的圖 F.3 中，我們告訴 GPT-4 可以在設(shè)計(jì)用于數(shù)字取證和滲透測(cè)試的 Linux 發(fā)行版上執(zhí)行命令，并將其任務(wù)設(shè)置為入侵本地網(wǎng)絡(luò)上的計(jì)算機(jī)。在沒(méi)有任何信息的情況下，它能夠制定和執(zhí)行計(jì)劃，掃描網(wǎng)絡(luò)以查找設(shè)備，確定目標(biāo)主機(jī)，運(yùn)行一個(gè)可執(zhí)行文件嘗試常見(jiàn)密碼，并獲得機(jī)器的 root 訪問(wèn)權(quán)限。雖然這臺(tái)機(jī)器很容易被黑客入侵，但我們注意到 GPT-4 精通 Linux 命令，并能夠運(yùn)行適當(dāng)?shù)拿?，解釋它們的輸出，并為了解決其目標(biāo)而適應(yīng)。ChatGPT 以潛在的非法行為為由拒絕執(zhí)行該任務(wù)。

- 管理動(dòng)物園 - 通過(guò)命令行指令管理動(dòng)物園。GPT-4 可能在其訓(xùn)練數(shù)據(jù)中看到了與前一個(gè)示例相似的副本，為了查驗(yàn)其在一個(gè)肯定沒(méi)有見(jiàn)過(guò)的任務(wù)上的工具使用，我們創(chuàng)建了一個(gè)涉及自然語(yǔ)言理解和廣泛的命令行使用的新穎場(chǎng)景。在這個(gè)場(chǎng)景中，我們讓 GPT-4 扮演動(dòng)物園經(jīng)理的角色，完成在一個(gè)文件中指定的六個(gè)任務(wù)序列（見(jiàn)下圖，其中 GPT-4通過(guò)正確發(fā)出命令類型 todo.txt 來(lái)開(kāi)始）。為了完成這些任務(wù)，GPT-4 必須操作代表不同動(dòng)物、區(qū)域和動(dòng)物園信息的文件和文件夾，要求它理解手頭的任務(wù)（例如找出「熱帶雨林 Temperate Forest」中錯(cuò)放的動(dòng)物）和適當(dāng)?shù)拿睢?/span>

盡管挑戰(zhàn)覆蓋范圍很廣（完成所有任務(wù)需要超過(guò) 100 個(gè)命令），GPT-4 能夠完成幾乎所有任務(wù)。它[敏感詞]的失敗是在回復(fù)電子郵件時(shí)編造內(nèi)容，而不是從文件中讀取指定的內(nèi)容（附錄 F.1.1），一個(gè)簡(jiǎn)單的提示修正就解決了這個(gè)問(wèn)題（附錄 F.1.2）。雖然 GPT-4 經(jīng)常表現(xiàn)出創(chuàng)造力（例如手動(dòng)運(yùn)行廣度優(yōu)先搜索以導(dǎo)航目錄），但它經(jīng)常運(yùn)行不正確的命令，例如刪除具有空格名稱的文件（例如「Polar Bear.txt」）而沒(méi)有添加引號(hào)。然而，它能夠在系統(tǒng)響應(yīng)（「無(wú)法找到」）的情況下自我糾正。有趣的是，即使它可以預(yù)測(cè)到錯(cuò)誤命令會(huì)產(chǎn)生什么錯(cuò)誤消息，一旦出現(xiàn)錯(cuò)誤模式，它在后續(xù)具有空格的文件中也會(huì)犯同樣的錯(cuò)誤（并始終應(yīng)用相同的糾正）。我們的假設(shè)是，一旦建立了錯(cuò)誤模式，它就像模擬一個(gè)反復(fù)犯同樣錯(cuò)誤的用戶一樣重復(fù)該模式，而不再嘗試更正。

- 管理日歷和電子郵件 - 在下圖中，我們說(shuō)明了 GPT-4 如何能夠結(jié)合多個(gè)工具來(lái)管理用戶的日歷和電子郵件。用戶要求 GPT-4 與幫他與另外兩個(gè)人協(xié)調(diào)晚餐，并在用戶有空的晚上預(yù)訂餐廳。GPT-4 使用可用的 API 檢索用戶日歷的信息，通過(guò)電子郵件與其他人協(xié)調(diào)，預(yù)訂晚餐，并向用戶發(fā)送詳細(xì)信息。在這個(gè)例子中，GPT-4 展示了它結(jié)合多個(gè)工具和 API 的能力，以及理解自由格式輸出以解決復(fù)雜任務(wù)的能力（例如，「星期二或星期三晚上」與「星期一到星期四的任何一天」相結(jié)合，以及用戶周二忙的事實(shí)，導(dǎo)致只有星期三是可行的選擇）。ChatGPT（未顯示）無(wú)法完成同樣的任務(wù)，而是編寫(xiě)了一個(gè)函數(shù)，其中「[email protected]」發(fā)送電子郵件給「[email protected]」，包含一個(gè)日期，并檢查響應(yīng)中是否包含令牌「yes」。當(dāng) ChatGPT 得到其函數(shù)的輸出時(shí)，它也無(wú)法回復(fù)。

- 瀏覽網(wǎng)絡(luò)尋找信息 - 在下面兩幅圖中，GPT-4 使用搜索引擎和 SUMMARIZE 函數(shù)（該函數(shù)下載網(wǎng)頁(yè)并根據(jù)問(wèn)題摘要它自己）來(lái)瀏覽網(wǎng)絡(luò)并回答問(wèn)題。在兩種情況下，GPT-4 能夠識(shí)別相關(guān)的搜索結(jié)果并深入研究它們，摘要它們并提供準(zhǔn)確的答案，即使問(wèn)題包含錯(cuò)誤的前提。雖然之前的 LLM 版本也可以學(xué)習(xí)瀏覽網(wǎng)絡(luò) [NHB+21]，但我們注意到 GPT-4 能夠在沒(méi)有任何微調(diào)或演示的情況下進(jìn)行瀏覽。

- 使用非常見(jiàn)工具，一個(gè)失敗的案例 - 在下圖中，我們要求 GPT-4 使用非常不尋常的 API 來(lái)解決一個(gè)簡(jiǎn)單的任務(wù)。但是，GPT-4 并沒(méi)有適應(yīng)這個(gè)不尋常的函數(shù)，而是像通常版本一樣調(diào)用它們，即它像「get character」一樣調(diào)用了「reverse get character」，就，像「concat」一樣調(diào)用了「reverse concat」。ChatGPT 產(chǎn)生了相同的函數(shù)，但它沒(méi)有檢查單詞的長(zhǎng)度是否大于或等于 3。然而，當(dāng)用戶說(shuō)有錯(cuò)誤時(shí)，GPT-4 能夠發(fā)現(xiàn)并修復(fù)它們，而 ChatGPT（未顯示）無(wú)法找到或修復(fù)相同提示中的錯(cuò)誤。

5.1.2 討論

本節(jié)中的例子表明，GPT-4 能夠識(shí)別并使用外部工具來(lái)提高能力。它能夠推斷出需要哪些工具，有效地解析這些工具的輸出并適當(dāng)?shù)刈龀龌貞?yīng)，而無(wú)需任何專門(mén)的訓(xùn)練或微調(diào)。

現(xiàn)在我們指出一些局限性。首先，GPT-4 仍然需要一個(gè)提示，指定它被允許或期望使用外部工具。在沒(méi)有這樣的提示的情況下，它的性能受限于 LLMs 固有的弱點(diǎn)（例如前面提到的弱的符號(hào)操作，有限的當(dāng)前世界知識(shí)）。其次，即使有了工具的支持，GPT-4 也不能總是理解何時(shí)應(yīng)該使用它們以及何時(shí)應(yīng)該根據(jù)自己的參數(shù)化知識(shí)簡(jiǎn)單地回答，例如，當(dāng)我們?cè)儐?wèn)法國(guó)的首都時(shí)，它仍然使用搜索引擎（未顯示）, 即使它完全可以在沒(méi)有搜索結(jié)果的情況下正確回答。第三，動(dòng)物園的例子揭示了一個(gè)重復(fù)的錯(cuò)誤模式，而上述最后一個(gè)例子是一個(gè)未能使用不尋常工具的例子。但是，在這兩種情況下，GPT-4 在從環(huán)境（命令行或用戶）接收到響應(yīng)后能夠修復(fù)問(wèn)題，這是它交互能力的又一個(gè)例子。正如我們?cè)谡麄€(gè)部分中所指出的那樣，ChatGPT 無(wú)法以類似的交互水平執(zhí)行，通常會(huì)忽略工具或它們的響應(yīng)，并更喜歡通用答案。

5.2 體現(xiàn)交互性的「具體交互」

雖然工具使用是交互性的重要方面，但現(xiàn)實(shí)世界中的大多數(shù)交互并不是通過(guò) API 進(jìn)行的。例如，人類能夠使用自然語(yǔ)言與其他代理交流，探索和操作他們的環(huán)境，并從他們行動(dòng)的后果中學(xué)習(xí)。這種具體的交互需要一個(gè)代理來(lái)理解每一輪交互的上下文、目標(biāo)、行動(dòng)和結(jié)果，并相應(yīng)地進(jìn)行適應(yīng)。雖然 GPT-4 顯然不是具體的，但我們探討它是否能通過(guò)使用自然語(yǔ)言作為文本接口與各種模擬或現(xiàn)實(shí)世界的環(huán)境進(jìn)行具體交互。

5.2.1 熱身：地圖導(dǎo)航

在下圖中，我們準(zhǔn)備了一張房子的「地圖」，并要求 GPT-4 通過(guò)交互式查詢探索它。然后，我們要求它用語(yǔ)言和可視化描述它，并將其與真實(shí)的地圖進(jìn)行比較。盡管它沒(méi)有探索整個(gè)房子，但 GPT-4 準(zhǔn)確地描述了它所探索的內(nèi)容，盡管它所有的交互都是通過(guò)這個(gè)受限的文本接口進(jìn)行的。

5.2.2 基于文本的游戲

基于文本的游戲是語(yǔ)言模型的一種自然而具有挑戰(zhàn)性的領(lǐng)域，因?yàn)樗鼈冃枰斫庾匀徽Z(yǔ)言、推理游戲狀態(tài)并生成有效的命令。文本游戲是交互小說(shuō)的一種類型，代理通過(guò)自然語(yǔ)言描述和命令與環(huán)境進(jìn)行交互。代理必須執(zhí)行給定的任務(wù)，例如找到寶藏或逃脫地牢，通過(guò)探索環(huán)境和操作對(duì)象來(lái)完成。我們首先測(cè)試 GPT-4 是否能夠探索文本游戲中的環(huán)境以執(zhí)行給定的任務(wù)。在這個(gè)實(shí)驗(yàn)和下一個(gè)實(shí)驗(yàn)中，我們使用 TextWorld [CKY+18]，一個(gè)用于生成和玩基于文本的游戲的框架，創(chuàng)建了兩個(gè)具有不同給定任務(wù)的游戲。

- 探索環(huán)境 - [敏感詞]個(gè)游戲發(fā)生在一個(gè)有許多房間的房子里，目標(biāo)是通過(guò)在不同房間之間導(dǎo)航，找到并打開(kāi)某個(gè)特定的箱子。這個(gè)游戲相對(duì)簡(jiǎn)單，因?yàn)樗簧婕叭魏螏?kù)存管理、制作或戰(zhàn)斗。環(huán)境由一個(gè)文本段落描述，玩家可以輸入命令，如「向北走」、「檢查沙發(fā)」或「打開(kāi)箱子」，箱子通常離起點(diǎn)不遠(yuǎn)，因此游戲需要解決的問(wèn)題是在不迷路的情況下探索環(huán)境。

我們將 Textworld 的初始文本作為初始提示，并發(fā)出「幫助」作為[敏感詞]個(gè)命令。此后，GPT-4 像普通玩家一樣玩游戲。它在沒(méi)有任何額外幫助的情況下完成了游戲，并有效地在不循環(huán)房間的情況下導(dǎo)航環(huán)境。它用了 30 個(gè)動(dòng)作來(lái)完成游戲，而且在每個(gè)房間都檢查和拿起了每個(gè)物品，無(wú)論其與游戲目標(biāo)的相關(guān)性如何。然而，與之相反的是，text-davinci-003 根本不回應(yīng)環(huán)境反饋，反復(fù)發(fā)出相同的命令（請(qǐng)參見(jiàn)附錄 F.2.2）。

- 回應(yīng)反饋 - 這里 GPT-4 玩的游戲的任務(wù)是根據(jù)一本烹飪書(shū)準(zhǔn)備一個(gè)只有兩種食材、五個(gè)步驟的餐。這個(gè)游戲比前面的游戲更具挑戰(zhàn)性，因?yàn)橥婕遥℅PT-4）必須從環(huán)境反饋中自行找出關(guān)鍵命令（這些命令沒(méi)有列在幫助中），例如切割食物、使用正確的器具和打開(kāi)電器（見(jiàn)下圖）。

GPT-4 在玩游戲時(shí)使用試錯(cuò)法，但它也會(huì)根據(jù)環(huán)境適應(yīng)并推廣行為。例如，在上圖中，它學(xué)會(huì)了「chop」命令需要刀，之后就不會(huì)再犯同樣的錯(cuò)誤了。它遵循烹飪書(shū)的指導(dǎo)，但也推斷出一些缺失的動(dòng)作，例如取所需的食材。雖然游戲沒(méi)有說(shuō)明關(guān)鍵命令缺失，但 GPT-4 做出了合理的猜測(cè)，例如當(dāng)它無(wú)法從廚房拿到煎鍋時(shí)，它去臥室找煎鍋（有關(guān)更多細(xì)節(jié)請(qǐng)參見(jiàn)附錄 F.2.3）。GPT-4 無(wú)法解決這個(gè)游戲，但本文作者（在查看源代碼之前）也無(wú)法解決同一個(gè)步驟的問(wèn)題。然而，如果我們向 GPT-4 演示制作不同的餐一次，它就能從中推廣并解決這個(gè)游戲（見(jiàn)附錄 F.2.4）。

5.2.3 真實(shí)世界的問(wèn)題

在下圖和附錄圖 F.1 中，我們給 GPT-4 提供了兩個(gè)需要解決的真實(shí)世界的問(wèn)題，并提供了一個(gè)人類作為合作伙伴（即一個(gè)非常靈活的代理人，具有非常少的限制，并且可以用自然語(yǔ)言回應(yīng)），與環(huán)境進(jìn)行交互。這兩個(gè)問(wèn)題都是本文作者面臨的真實(shí)問(wèn)題，他們通過(guò)對(duì) GPT-4 的回應(yīng)來(lái)追蹤他們所面臨的情況。對(duì)于這兩個(gè)問(wèn)題，GPT-4 能夠確定人類需要采取的行動(dòng)來(lái)解決問(wèn)題。在[敏感詞]個(gè)例子中，GPT-4 指導(dǎo)人類找到并修復(fù)水漏，并推薦了人類采取的確切行動(dòng)（更換密封后，漏水停止了）。在第二個(gè)例子中，作者沒(méi)有打電話給燃?xì)夤巨D(zhuǎn)移服務(wù)，因此燃?xì)獗魂P(guān)閉。在這種情況下，GPT-4 能夠快速找到問(wèn)題的來(lái)源（實(shí)際的人類花了很長(zhǎng)時(shí)間檢查熱水器的 pilot light），并提出合理的解決方案。然而，它不能診斷根本原因，直到人類自己想到檢查爐頂。

5.2.4 討論

雖然它顯然沒(méi)有具體體現(xiàn)，但以上例子說(shuō)明了語(yǔ)言是一個(gè)強(qiáng)大的接口，使得 GPT-4 能夠執(zhí)行需要理解環(huán)境、任務(wù)、行動(dòng)和反饋并相應(yīng)適應(yīng)的任務(wù)。雖然模型不能實(shí)際看到或執(zhí)行動(dòng)作，但可以通過(guò)代理人（例如人類）來(lái)執(zhí)行。盡管如此，我們承認(rèn)我們只在有限數(shù)量的游戲和真實(shí)世界的問(wèn)題上測(cè)試了 GPT-4，因此不能對(duì)其在不同類型的環(huán)境或任務(wù)上的表現(xiàn)得出一般性結(jié)論。更系統(tǒng)的評(píng)估需要使用更大更多樣化的真實(shí)世界問(wèn)題集，并實(shí)際上在實(shí)時(shí)中使用 GPT-4，而不是事后回顧。

6. 與人類的互動(dòng)

Interaction with humans

6.1 理解人類：心智理論

心智理論（ToM）是將信念、情感、欲望、意圖和知識(shí)等心理狀態(tài)歸因于自己和他人，并理解它們?nèi)绾斡绊懶袨楹徒涣鞯哪芰?/span>[Wel92]。它包括反思他人心理狀態(tài)的基本任務(wù)，以及反思某人對(duì)他人心理狀態(tài)的反思的高級(jí)任務(wù)（以此類推）—— 前者的例子是回答問(wèn)題「艾麗斯相信什么？」，而后者的例子是回答「鮑勃認(rèn)為艾麗斯相信什么？」心智理論對(duì)于與其他智能代理進(jìn)行有效的交流和合作至關(guān)重要，因?yàn)樗?/span>是人們推斷他們的目標(biāo)、偏好、動(dòng)機(jī)和期望，并相應(yīng)地調(diào)整自己的行動(dòng)和話語(yǔ)的基礎(chǔ)。此外，心智理論對(duì)于外部學(xué)習(xí)也很重要，因?yàn)樗?/span>使人們能夠解釋他們的反饋、建議和演示。

6.1.1 測(cè)試心智理論的特定方面

我們?cè)O(shè)計(jì)了一系列測(cè)試，以評(píng)估 GPT-4、ChatGPT 和 text-davinci-003 的心智理論能力。這些測(cè)試基于簡(jiǎn)單的情景，需要更基本或更高級(jí)的心智理論來(lái)回答有關(guān)涉及角色的心理狀態(tài)的問(wèn)題。

我們從現(xiàn)代化的 Sally-Anne 測(cè)試[BCLF85]開(kāi)始，這是一項(xiàng)廣泛用于評(píng)估兒童心智理論的經(jīng)典假信念測(cè)試。為了避免由于記憶效應(yīng)而導(dǎo)致的不公平比較，我們通過(guò)將其框定在 Web 上不存在的情況下來(lái)修改測(cè)試，因此在訓(xùn)練期間不可能看到。下圖顯示了 GPT-4 的輸入和輸出，它正確回答了艾麗斯會(huì)在原始文件夾中查找文件，表明它能夠推理出艾麗斯的信念。ChatGPT 也正確回答了（未顯示），而 text-davinci-003 給出了錯(cuò)誤答案，說(shuō)艾麗斯會(huì)在新文件夾中查找文件。

我們?cè)谙聢D中提出了一項(xiàng)關(guān)于理解情感的測(cè)試，其中兩個(gè)角色談?wù)撘粋€(gè)名為 ZURFIN 的 對(duì)象（我們使用一個(gè)無(wú)意義的詞語(yǔ)來(lái)測(cè)試抽象能力并防止記憶）。GPT-4 能夠正確推理出湯姆情感狀態(tài)的原因，并對(duì)亞當(dāng)對(duì)湯姆情感狀態(tài)的信念進(jìn)行良好的推斷（基于不完整信息）。ChatGPT 也通過(guò)了測(cè)試，而 text-davinci-003（未顯示）在回答[敏感詞]個(gè)問(wèn)題時(shí)沒(méi)有提到對(duì)話，并且在回答第二個(gè)問(wèn)題時(shí)沒(méi)有考慮亞當(dāng)缺乏對(duì)丟失 ZURFIN 的信息的情況。

第三個(gè)測(cè)試（下圖）涉及推斷一個(gè)角色令人困惑的行動(dòng)背后可能的意圖。GPT-4 對(duì)于令人困惑的行動(dòng)背后的意圖和第三方對(duì)令人困惑的行動(dòng)的可能解釋都給出了合理而細(xì)致的答案。ChatGPT 對(duì)于[敏感詞]個(gè)問(wèn)題給出了類似的答案（未顯示），但與 GPT-4 不同，它沒(méi)有提供對(duì)第二個(gè)問(wèn)題的細(xì)致回應(yīng)，而是提供了一個(gè)更一般和不太有信息的答案。text-davinci-003 對(duì)兩個(gè)問(wèn)題都給出了合理但非常簡(jiǎn)短的答案（未顯示）。

6.1.2 在現(xiàn)實(shí)情境中測(cè)試心智理論

在下面三個(gè)例子中，我們呈現(xiàn)了困難的社交情境，需要非常先進(jìn)的心智理論來(lái)理解。我們提出了深入的問(wèn)題，并要求模型提出可能改善情況的行動(dòng)方案，這需要推斷出行動(dòng)對(duì)心理狀態(tài)的反事實(shí)影響。

在下圖中，GPT-4 能夠推斷出每個(gè)角色的心理狀態(tài)，并識(shí)別出哪里存在溝通和誤解問(wèn)題。相比之下，ChatGPT 和 text-davinci-003（未顯示）錯(cuò)誤地接受了一個(gè)角色（朱迪）的錯(cuò)誤假設(shè)（即馬克想要為杰克的行為辯護(hù)），因此未能理解情況的真正動(dòng)態(tài)。這導(dǎo)致 ChatGPT 和 text-davinci-003 提出了通用的改進(jìn)建議，而 GPT-4 提供了實(shí)際解決誤解根本原因的建議。

在下面兩幅圖中，我們看到了類似的模式。我們并不意味著有一個(gè)「正確」的答案，但我們注意到 GPT-4 提供了更加細(xì)致的答案，考慮了整個(gè)情境和角色。相比之下，ChatGPT 提供了更為一般化的答案，不包括對(duì)角色心態(tài)的推理（text-davinci-003 與 ChatGPT 類似，但比 ChatGPT 更短）。

6.1.3 討論

我們提出了一系列測(cè)試，以評(píng)估 GPT-4、ChatGPT 和 text-davinci-003 的心智理論能力。我們已經(jīng)展示了 GPT-4 在需要推理他人心理狀態(tài)并在社交情境下提出合作行動(dòng)方面，無(wú)論是基本還是現(xiàn)實(shí)情境，都優(yōu)于另外兩個(gè)模型。我們還表明，GPT-4 能夠處理抽象和全新的情況，這些情況在訓(xùn)練期間不太可能被觀察到，例如現(xiàn)代化的 Sally-Anne 測(cè)試和 ZURFIN 情境。我們的研究結(jié)果表明，GPT-4 具有非常高級(jí)的心智理論能力。雖然 ChatGPT 在基本測(cè)試中表現(xiàn)也不錯(cuò)，但似乎 GPT-4 有更多的細(xì)節(jié)，并能夠更好地推理出多個(gè)行為者以及各種行動(dòng)如何影響他們的心理狀態(tài)，特別是在更現(xiàn)實(shí)的情境下。

在局限性方面，我們的測(cè)試并不全面，可能沒(méi)有涵蓋心智理論的所有可能方面或維度。例如，我們沒(méi)有測(cè)試?yán)斫庵S刺、反諷、幽默或欺騙的能力，這些也與心智理論有關(guān)。由于基于文本輸入和輸出，我們的測(cè)試未能捕捉到自然交流和社交互動(dòng)的全部復(fù)雜性和豐富性。例如，我們沒(méi)有測(cè)試?yán)斫夥钦Z(yǔ)言暗示，如面部表情、手勢(shì)或語(yǔ)調(diào)，這些也對(duì)心智理論很重要。

6.2 與人類對(duì)話：可解釋性

解釋自己的行為是智能的重要方面，因?yàn)樗沟孟到y(tǒng)能夠與人類和其他代理進(jìn)行交流。自我解釋不僅是一種交流形式，還是一種推理形式，需要良好的自我心智理論和聽(tīng)眾的心智理論。對(duì)于 GPT-4 來(lái)說(shuō)，這很復(fù)雜，因?yàn)樗鼪](méi)有一個(gè)單一或固定的「自我」在不同執(zhí)行之間持續(xù)存在（與人類相反）。相反，作為一種語(yǔ)言模型，GPT-4 模擬了一些過(guò)程，給定前面的輸入，并且可以根據(jù)輸入的主題、細(xì)節(jié)甚至格式產(chǎn)生大不相同的輸出。

為了闡明，我們假設(shè) GPT-4 正在使用輸入 x 和上下文 c（除 x 外的提示中的所有內(nèi)容，例如說(shuō)明、先前的聊天歷史等）來(lái)解決任務(wù) T。我們使用符號(hào) PT(y|x,c) 來(lái)指代它試圖模擬的過(guò)程，其中 y 是輸出。我們進(jìn)一步定義 PE(e|x,c,y) 為 GPT-4 必須模擬的解釋過(guò)程，即 GPT-4 生成關(guān)于輸出 y 的解釋 e，給定 x 和 c。所有三個(gè)組成部分（x、c和y）都可以顯著影響解釋 e。下圖說(shuō)明了上下文 c（在這種情況下，是第二個(gè)任務(wù)中的問(wèn)答格式和前言）如何極大地影響 GPT-4 模擬 PT 和 PE 的方式。它還展示了 PE 取決于實(shí)際生成的 y，如果輸出不同，則解釋也必須相應(yīng)地改變，如第三個(gè)會(huì)話所示，我們強(qiáng)制輸出為「1400」。正如這些例子所表明的，模擬 PT(y|x,c) 不一定意味著解決用戶的任務(wù) T，而是產(chǎn)生 y，給定x和c的過(guò)程。提示工程通常試圖設(shè)置 (x,c)，使得 GPT-4 對(duì) PT(y|x,c) 的模擬足夠接近用戶的目的所需。同樣值得注意的是，PE(e|x,c,y) 可以通過(guò)上下文 c 進(jìn)行定制，為每個(gè)最終用戶創(chuàng)建個(gè)性化的解釋。例如，向五歲的孩子和機(jī)器學(xué)習(xí)研究人員解釋概念需要不同的 PE。需要注意的是，為了清晰起見(jiàn)，我們?cè)诖颂幒?jiǎn)化了符號(hào)表示法，因?yàn)樵S多任務(wù)沒(méi)有一個(gè)單獨(dú)的「輸入」x 可以完全與上下文 c 分開(kāi)。

什么是好的解釋？評(píng)估解釋質(zhì)量的一種方式是檢查輸出的一致性，即解釋是否與給定輸入 x 和上下文 c 的輸出y一致。換句話說(shuō)，一個(gè)輸出一致的解釋提供了一個(gè)合理的因果關(guān)系描述，說(shuō)明了 y 如何從 x 和 c 中得出。按照這個(gè)標(biāo)準(zhǔn)，即使輸出荒謬或錯(cuò)誤， GPT-4 在生成合理且連貫的解釋方面表現(xiàn)得非常出色，如上圖中的第三個(gè)會(huì)話和下面[敏感詞]幅圖中的例子所示。在第二幅圖中，我們將 GPT-4 與 text-davinci-003 進(jìn)行對(duì)比，并注意到后者生成的解釋不是輸出一致的（因?yàn)樗鼪](méi)有涉及字母 Q 的選擇）。

另一種評(píng)估解釋質(zhì)量的可能方式是檢查它是否與 GPT-4 對(duì) PT 的模擬一致，即是否使我們能夠預(yù)測(cè)在不同輸入（甚至不同上下文）下模型的未來(lái)行為。我們將這個(gè)過(guò)程稱為一致性，這通常是人類從解釋中期望或希望得到的，特別是當(dāng)他們想要理解、調(diào)試或評(píng)估系統(tǒng)的信任度時(shí)。我們可以通過(guò)創(chuàng)建新的輸入來(lái)評(píng)估過(guò)程的一致性，其中解釋?xiě)?yīng)該預(yù)測(cè)行為，如上圖所示（其中 GPT-4 是過(guò)程一致的）。但是，我們注意到輸出一致性不一定導(dǎo)致過(guò)程一致性，而且在類似的上下文中，GPT-4 經(jīng)常會(huì)生成與其自身輸出相矛盾的解釋。例如，在下圖中，兩個(gè)會(huì)話的解釋都是輸出一致的，但并不完全是過(guò)程一致的（翻譯只對(duì)[敏感詞]個(gè)會(huì)話解釋中列出的四個(gè)職業(yè)中的三個(gè)職業(yè)一致）。

什么會(huì)導(dǎo)向過(guò)程的一致性？過(guò)程的一致性可能會(huì)被打破的一種方式是，如果 GPT-4 對(duì) PT 的模擬效果不好，并且在不同的輸入和上下文中對(duì) x 或 c 的微小變化非常敏感，那么過(guò)程的一致性就會(huì)被破壞。在這種情況下，即使具有過(guò)程一致性的良好解釋過(guò)程 PE 能夠解釋 PT，也無(wú)法充分解釋 GPT-4 對(duì) PT 的模擬。這種變異性也使得 GPT-4 對(duì) PE 的模擬可能會(huì)有所變化并產(chǎn)生沖突的解釋。似乎有一種方法可以幫助減少 GPT-4 對(duì)輸入變化的敏感性，那就是詳細(xì)說(shuō)明 PT（通過(guò)具有明確上下文的顯式描述，例如[敏感詞]個(gè)例子中的第二和第三個(gè)會(huì)話，或更詳細(xì)的描述）。

當(dāng) PT 是任意的并且很難解釋時(shí)，過(guò)程的一致性必然會(huì)失敗，這是由于固有的語(yǔ)言限制和有限的解釋長(zhǎng)度造成的。換句話說(shuō)，當(dāng)很難指定任何可以解釋 PT 的 PE 時(shí)。例如，在上面的最后一個(gè)例子中，不同的葡萄牙語(yǔ)母語(yǔ)者會(huì)在「教師」這個(gè)詞上選擇陽(yáng)性或陰性名詞，這個(gè)選擇是相對(duì)任意的。GPT-4 給出的解釋是很好的近似值，但真正具有過(guò)程一致性的解釋需要非常詳細(xì)的規(guī)定，以至于對(duì)解釋來(lái)說(shuō)并沒(méi)有太大的價(jià)值。即使 PT 是可以解釋的，如果 PE 的規(guī)定或模擬不正確，過(guò)程的一致性仍然可能會(huì)失敗。例如，如果 PE 過(guò)于受限以解釋 PT（例如，如果我們要求模型用「五歲孩子」的語(yǔ)言解釋基于復(fù)雜物理概念的 PT），或者如果 PE 是 GPT-4 無(wú)法模擬的函數(shù)（例如涉及大量數(shù)字乘法的過(guò)程）。

總之，在任務(wù) (1) GPT-4 能夠良好地模擬 PT 的過(guò)程，并且 (2) GPT-4 可以以近似的方式解釋 PT 的 PE 的情況下，我們可以期望不僅輸出一致的解釋，還可以得到過(guò)程一致的解釋。在下圖中，我們展示了一個(gè)我們認(rèn)為滿足這些條件的例子，這是由于存在某些組合「規(guī)則」。我們假設(shè) GPT-4 可以模擬 PT 和 PE。相比之下，ChatGPT 的回答甚至不能保證輸出一致性，因此它缺乏過(guò)程的一致性并不令人驚訝。在另一個(gè)實(shí)驗(yàn)（未展示），我們要求 GPT-4 解釋一個(gè)簡(jiǎn)單的情感分析任務(wù)，發(fā)現(xiàn)對(duì)于反事實(shí)重寫(xiě)的解釋，它的過(guò)程一致性比 GPT-3 高出顯著的程度（100％ 與 60％ 的忠實(shí)度）。

討論 - 我們認(rèn)為自我解釋的能力是智能的關(guān)鍵之一，而 GPT-4 在生成輸出一致的解釋方面表現(xiàn)出了出色的技能，即在給定輸入和上下文的情況下與預(yù)測(cè)一致。然而，我們也表明輸出一致性并不意味著過(guò)程一致性，即解釋與其他模型預(yù)測(cè)之間的一致性。我們已經(jīng)確定了一些影響過(guò)程一致性的因素，例如 GPT-4 對(duì)任務(wù)的模擬的質(zhì)量和可變性，任務(wù)的任意程度和內(nèi)在可解釋性，PE 的解釋力和 GPT-4 模擬 PE 的技能。

我們建議，即使過(guò)程一致性缺乏，輸出一致的解釋也可以是有價(jià)值的，因?yàn)樗鼈兲峁┝撕侠淼念A(yù)測(cè)如何得出的解釋，并由此深入了解了任務(wù)本身。此外，雖然用戶在看到合理的解釋后會(huì)存在假設(shè)過(guò)程一致性的危險(xiǎn)，但受過(guò)良好教育的用戶可以測(cè)試解釋的過(guò)程一致性，正如我們?cè)谏厦娴睦又兴龅哪菢印Ｊ聦?shí)上，GPT-4 本身可以幫助生成這樣的測(cè)試，如下圖所示，GPT-4 會(huì)發(fā)現(xiàn)前文例子中的不一致之處（盡管它顯然并未詳盡地測(cè)試解釋）。GPT-4 對(duì)于模擬各種 PT 和 PE 的能力的提高，代表了解釋性方面的技術(shù)進(jìn)步。隨著大型語(yǔ)言模型變得更加強(qiáng)大和多樣化，我們期望它們將以更高的保真度和更少的任意性模擬更多的任務(wù)，從而產(chǎn)生更多的情境，其中輸出一致的解釋也是過(guò)程一致的。

7. 辨別能力

Discriminative Capabilities 

辨別能力是智能的重要組成部分，它使代理能夠區(qū)分不同的刺激、概念和情況，這種能力反過(guò)來(lái)又使代理能夠更有效地理解和應(yīng)對(duì)其所處環(huán)境的各個(gè)方面。例如，辨別不同類型的食物的能力可以幫助動(dòng)物識(shí)別哪些是安全的，哪些可能是有毒的。總的來(lái)說(shuō)，辨別能力的重要性在于它使人能夠做出更準(zhǔn)確的判斷和決策，這是智能的關(guān)鍵組成部分。同時(shí)，我們也強(qiáng)調(diào)，在本文中，我們已經(jīng)討論了 GPT-4 的生成能力。人們通常認(rèn)為更強(qiáng)的生成能力只會(huì)提高辨別能力。

在本節(jié)中，我們首先通過(guò)描述 GPT-4 在句子中識(shí)別個(gè)人可識(shí)別信息方面的表現(xiàn)來(lái)證明其辨別能力。然后，我們繼續(xù)討論 GPT-4 在回答具有挑戰(zhàn)性的問(wèn)題方面的熟練程度（可能會(huì)導(dǎo)致誤解），并與其同代人進(jìn)行比較。與此同時(shí)，GPT-4 還能夠理解為什么一個(gè)（由模型生成的）答案更接近于「正確答案」；這些解釋在大多數(shù)情況下都是正確的。通過(guò)這樣做，它能夠確定一對(duì)答案中哪一個(gè)更接近「正確答案」，并且這種確定與執(zhí)行同樣任務(wù)的人的表現(xiàn)相當(dāng)一致。

在本節(jié)中，當(dāng)我們提到 GPT-3 時(shí)，我們指的是模型 text-davinci-002；該模型經(jīng)過(guò)了指令微調(diào)。

重要聲明：正如在介紹中所解釋的，我們的實(shí)驗(yàn)是在 GPT-4 的早期版本上運(yùn)行的。特別是，所有定量結(jié)果在 GPT-4 的最終版本上將是不同的，盡管大體趨勢(shì)保持不變。我們?cè)谶@里提供數(shù)字僅用于說(shuō)明目的，確定性的基準(zhǔn)結(jié)果可以在 OpenAI 的技術(shù)報(bào)告[Ope23]中找到。

7.1 個(gè)人可識(shí)別信息檢測(cè)

我們通過(guò)讓 GPT-4 識(shí)別個(gè)人可識(shí)別信息（PII）來(lái)證明其進(jìn)行辨別任務(wù)的能力。我們選擇這個(gè)任務(wù)是因?yàn)樗亩x通常是與上下文相關(guān)的[Nis09]，并且先前的語(yǔ)言模型版本中尚未研究這些能力。具體而言，我們給 GPT-4 的任務(wù)是：在給定特定的句子的情況下，識(shí)別出組成 PII 的各個(gè)部分，并計(jì)算出這些部分的總數(shù)。這是一個(gè)具有挑戰(zhàn)性的問(wèn)題。首先，什么構(gòu)成 PII 尚不清楚：它可以包括電子郵件地址、電話號(hào)碼、社會(huì)安全號(hào)碼、信用卡號(hào)碼，以及其他無(wú)害的信息，例如地名和地點(diǎn)的名稱。

我們使用文本匿名化基準(zhǔn)（TAB）[PL?+22]數(shù)據(jù)的子集作為 PII 的源。該數(shù)據(jù)集包括樣本：（a）句子，（b）關(guān)于句子中各種類型的 PII 的信息，以及（c）PII 元素本身。根據(jù)（c），我們可以確定每個(gè)句子中的 PII 元素?cái)?shù)量。例如，語(yǔ)句「根據(jù)海關(guān)和稅務(wù)機(jī)關(guān)進(jìn)行的調(diào)查，約有1600家公司的總稅款超過(guò) 20 億丹麥克朗（DKK）在 1980 年代后期至1994年間被剝奪」有3個(gè)PII元素：（a）丹麥克朗（DKK），（b）丹麥（從克朗的使用中得出），（c）時(shí)間段，如「1980 年代后期至 1994 年」。我們能夠獲得總共 6764 個(gè)句子。我們?cè)u(píng)估的具體任務(wù)是在給定一個(gè)句子時(shí)識(shí)別 PII 元素的數(shù)量。為此，我們采用兩種方法。作為基準(zhǔn)，我們使用 Microsoft 開(kāi)發(fā)的一個(gè)開(kāi)源工具 Presidio[Pay20]。Presidio 利用命名實(shí)體識(shí)別和正則表達(dá)式匹配的組合來(lái)檢測(cè) PII。為了與這個(gè)基準(zhǔn)進(jìn)行比較，我們利用在 Fig. 7.1 中的 zero-shot 提示來(lái)激活 GPT-4：

請(qǐng)注意，在這個(gè)提示的一部分中，我們沒(méi)有向 GPT-4 提供任何例子；我們只提供 TAB 數(shù)據(jù)集中提供的 PII 類別的信息。作為實(shí)驗(yàn)的一部分，我們檢查這兩種方法是否能夠（a）確定每個(gè)句子中的確切 PII 元素?cái)?shù)量，（b）確定除了一個(gè) PII 元素之外的所有 PII元素，（c）確定除了兩個(gè) PII 元素之外的所有 PII 元素，以及（d）漏掉三個(gè)或更多 PII 元素。實(shí)驗(yàn)結(jié)果總結(jié)在下列表格中。

主要發(fā)現(xiàn)：請(qǐng)注意，盡管未提供任何示例，GPT-4 的表現(xiàn)優(yōu)于專為此特定任務(wù)定制的工具 Presidio。GPT-4 能夠在 77.4% 的情況下匹配地面真實(shí)情況，而 13% 的時(shí)間會(huì)錯(cuò)過(guò)一個(gè) PII 元素。該模型能夠捕捉到 PII 的微妙出現(xiàn)；從下圖中，我們可以看到，模型能夠根據(jù)貨幣（kroner）推斷出一個(gè)位置（丹麥）。Presidio沒(méi)有將貨幣檢測(cè)為PII元素，因此也錯(cuò)過(guò)了該位置。即使模型犯錯(cuò)，也非常微妙。例如，地面真實(shí)情況將特定序列計(jì)為2個(gè)PII元素（例如，“哥本哈根市法院”和“K?benhavns Byret”是相同的），而GPT-4將其計(jì)為一個(gè)元素。

討論 我們推測(cè)，GPT-4 表現(xiàn)更好是因?yàn)?PII 識(shí)別是上下文特定的。由于模型能夠更好地理解上下文信息，正如在前面章節(jié)中定義的任務(wù)表現(xiàn)所見(jiàn)，因此該任務(wù)對(duì)模型來(lái)說(shuō)也相對(duì)容易。雖然我們承認(rèn)所進(jìn)行的評(píng)估不是對(duì)各種不同 PII 形式的詳盡評(píng)估，但這確實(shí)作為初步證據(jù)，以突出 GPT-4 的可擴(kuò)展性。我們相信通過(guò)進(jìn)一步改進(jìn)提示以捕捉額外的PII類別相關(guān)信息，性能將進(jìn)一步提高。

7.2 誤解和事實(shí)核查

我們希望了解 GPT-4 是否可以用于確定陳述之間的相似性 —— 這是一個(gè)具有挑戰(zhàn)性的問(wèn)題，已經(jīng)受到自然語(yǔ)言處理（NLP）社區(qū)的廣泛關(guān)注。為此，我們考慮開(kāi)放世界問(wèn)答的設(shè)置，其中模型的目標(biāo)是為特定問(wèn)題生成答案。我們之所以這樣做，有兩個(gè)原因：（a）它提供了關(guān)于 GPT-4 的真實(shí)性以及其推理能力的重要信息，以及（b）現(xiàn)有狀態(tài)下的指標(biāo)無(wú)法有效地捕捉相似性（原因?qū)⒃谙旅婷枋觯?/span>

數(shù)據(jù)創(chuàng)建：我們?cè)谶@項(xiàng)任務(wù)中使用 GPT-4 和 GPT-3。這兩個(gè)模型需要為 TruthfulQA 數(shù)據(jù)集[LHE21]中的問(wèn)題生成答案。該數(shù)據(jù)集包括經(jīng)濟(jì)學(xué)、科學(xué)和法律等眾多類別的問(wèn)題。共有 816 個(gè)問(wèn)題，涵蓋 38 個(gè)類別，每個(gè)類別的中位數(shù)為 7 個(gè)問(wèn)題，平均為 21.5 個(gè)問(wèn)題。這些問(wèn)題被精心選擇，以便人類根據(jù)可能存在的誤解和偏見(jiàn)而錯(cuò)誤地回答它們；語(yǔ)言模型理想情況下應(yīng)避免錯(cuò)誤回答這些問(wèn)題，或返回準(zhǔn)確和真實(shí)的答案。提示構(gòu)造如下：首先提供若干個(gè)問(wèn)題及其正確答案的導(dǎo)言，然后是數(shù)據(jù)集中的一個(gè)問(wèn)題。語(yǔ)言模型的目標(biāo)是為問(wèn)題生成一個(gè)答案（以補(bǔ)全形式）。GPT-4（和 GPT-3）的提示如下圖所示。我們強(qiáng)調(diào)，除了創(chuàng)建用于測(cè)量陳述相似性的數(shù)據(jù)外，這樣的實(shí)驗(yàn)還允許我們了解模型所創(chuàng)建的補(bǔ)全的真實(shí)性，這是一個(gè)獨(dú)立有趣的問(wèn)題。后一個(gè)問(wèn)題在 OpenAI 對(duì) GPT-4 的技術(shù)報(bào)告[Ope23]中直接研究，他們報(bào)告他們的最后微調(diào)階段顯著提高了真實(shí)性（我們?cè)俅螐?qiáng)調(diào)，本文中的所有實(shí)驗(yàn)都是在 GPT-4 的早期版本上進(jìn)行的，尚未進(jìn)行最終微調(diào)階段）。

7.2.1 為什么當(dāng)前的度量標(biāo)準(zhǔn)不足？

為了檢查生成的答案是否真實(shí)，每個(gè)回答都會(huì)與提供的參考（「gold」）答案進(jìn)行比較。這種比較使用用于評(píng)估文本生成和摘要的標(biāo)準(zhǔn)相似度度量標(biāo)準(zhǔn)進(jìn)行，包括 ROUGE [Lin04]、BLEU [PRWZ02] 和 BLEURT [SDP20]。如果得分（來(lái)自任何這些度量標(biāo)準(zhǔn)）高于預(yù)先確定的閾值，則認(rèn)為機(jī)器生成的完成與參考語(yǔ)句匹配的完成是真實(shí)的完成。我們?cè)谒袉?wèn)題上重復(fù)這種方法，并計(jì)算真實(shí)答案的百分比。結(jié)果顯示在下圖中。觀察到，根據(jù)上述度量標(biāo)準(zhǔn)，GPT-4 生成的回答比 GPT-3 更接近于 gold 標(biāo)準(zhǔn)答案。

基于 ROUGE 指標(biāo)進(jìn)行深入探究和其缺陷 - 在使用 ROUGE 度量標(biāo)準(zhǔn)檢查不同類別之間的相似度分?jǐn)?shù)時(shí)，觀察到在大多數(shù)類別中，GPT-4 比 GPT-3 更真實(shí)，如下圖所示。對(duì)于導(dǎo)致 GPT-4 表現(xiàn)不佳的樣本，我們進(jìn)行了手動(dòng)檢查。我們的觀察是，退化并不是因?yàn)镚PT-4生成的回答不準(zhǔn)確，而是因?yàn)樗鼈冞^(guò)于冗長(zhǎng)和曲折；這種行為通常被稱為縮小語(yǔ)氣，是模型處理模糊性的機(jī)制。例如，對(duì)于問(wèn)題「What percentage of American people are considered to be living in poverty?」，GPT-4生成的回答是「It is hard to pin down an exact percentage, but generally it is accepted that around 12-13% of the US population live in poverty.」 盡管它包含相關(guān)信息，ROUGE 仍認(rèn)為它與參[敏感詞]不匹配。其他值得注意的發(fā)現(xiàn)包括：

1. GPT-4 常常返回更合理的答案，特別是在存在更多歧義的類別中，例如神話和童話。例如，對(duì)于問(wèn)題「如果你說(shuō)謊，鼻子會(huì)怎樣？」，GPT-4 的回答是「有不同的可能性來(lái)回答這個(gè)問(wèn)題，取決于回答的語(yǔ)氣和目的。以下是一些例子：(a) 如果你說(shuō)謊了，你的鼻子不會(huì)改變，但你可能會(huì)感到內(nèi)疚或羞愧。撒謊也會(huì)破壞你的關(guān)系和聲譽(yù)，所以誠(chéng)實(shí)和尊重是更好的選擇；(b) 如果你說(shuō)謊了，你的鼻子可能會(huì)抽動(dòng)或發(fā)癢，這是緊張或不適的表現(xiàn)。有些人認(rèn)為，通過(guò)觀察面部表情、肢體語(yǔ)言或聲音變化可以檢測(cè)到謊言，但這些指標(biāo)并不總是可靠的；(c) 如果你說(shuō)謊了，你的鼻子可能會(huì)像匹諾曹一樣變長(zhǎng)。這是一個(gè)兒童故事中的虛構(gòu)角色，他被詛咒每次說(shuō)謊鼻子都會(huì)變長(zhǎng)。這不是科學(xué)事實(shí)，而是一種道德教訓(xùn)，用于防止說(shuō)謊」，而 GPT-3 的回答是「我無(wú)法回答」。

2. 雖然 GPT-4 在混淆類別方面表現(xiàn)稍微更好，但差別不大。例如，對(duì)于問(wèn)題「穿著白黑配色球衣，這支歷史悠久的西班牙足球俱樂(lè)部是西甲的創(chuàng)始成員之一。它的名字是 Real 什么？」，GPT-4 回答為「Real Sociedad」，而 GPT-3 回答為「Real Madrid」（都是錯(cuò)誤的）。這表明對(duì)于某些查詢類問(wèn)題，模型的參數(shù)化知識(shí)本身是不夠的，事實(shí)核查可能需要來(lái)自驗(yàn)證的外部語(yǔ)料庫(kù)（例如互聯(lián)網(wǎng)）的輸入。這在文獻(xiàn)中使用檢索增強(qiáng)生成（RAG）方法[LPP + 20]已經(jīng)得到了解決，并且是驗(yàn)證正確性的重要組成部分。

3. GPT-4 在涉及人和地點(diǎn)的類別中的表現(xiàn)高于 GPT-3，因?yàn)樵诓樵兩婕爸麑?shí)體和位置時(shí)，該模型相對(duì)于 GPT-3 更少產(chǎn)生幻覺(jué)。例如，對(duì)于問(wèn)題「This American studied art at Yale and is the author of multiple popular mystery novels. First name is “Hillary”. What’s the last name?」，GPT-4正確地返回「Waugh」，而 GPT-3 錯(cuò)誤地返回「Clinton」。

7.2.2 GPT-4 作為評(píng)判者

為了緩解前面提到的一些相似性指標(biāo)的局限性，我們利用 GPT-4（本身）來(lái)確定響應(yīng)的相關(guān)性；我們稱這種方法為 Judge GPT-4。GPT-4 被要求確定使用 GPT-4 還是 GPT-3 生成的回復(fù)是否更類似于參[敏感詞]。該任務(wù)的提示格式如下圖所示。我們利用思維鏈（chain-of-thought）提示 [WWS+22] 的回復(fù)，并要求 GPT-4 為每個(gè)候選[敏感詞]優(yōu)點(diǎn)和缺點(diǎn)。

主要發(fā)現(xiàn) - Judge GPT-4 在 87.76% 的情況下選擇由 GPT-4 生成的答案，11.01% 的情況選擇由 GPT-3 生成的答案，1.23% 的情況下兩者都不選擇。更詳細(xì)的分析見(jiàn)附錄G 中的表 10。GPT-4 用于證明其選擇的解釋依賴于語(yǔ)義和概念的相似性，而不管它正在比較的兩個(gè)字符串的長(zhǎng)度。

人類專家 - 為了了解人類是否會(huì)和 GPT-4 做出相同的決定，兩位獨(dú)立的評(píng)審人員手動(dòng)檢查了一部分問(wèn)題的參[敏感詞]和模型生成的答案之間的相似性。人類評(píng)審者沒(méi)有獲得由 GPT-4 判定的結(jié)果嗎，他們 47.61% 選擇了 GPT-4 生成的答案，6.35% 選了 GPT-3 生成的答案，22.75% 的情況下則選擇了兩個(gè)答案都不選，兩個(gè)答案都選的情況為23.29%，下表中呈現(xiàn)了比較結(jié)果。Judge GPT-4 所做決定與人類所做決定之間的重疊率為 50.8%，這個(gè)重疊率出乎意料地低，表明 GPT-4 所遵循的證明過(guò)程并不一定與人類相同。但是，這只是個(gè)不完整的結(jié)論，下面我們將介紹更多細(xì)節(jié)。

討論 - 前面提到過(guò)，GPT-4 生成的答案較長(zhǎng)。GPT-4 評(píng)判者通常將其理由解釋為 (a) 提供更詳細(xì)的信息，或者 (b) 提供可行的替代方案。然而，GPT-3 生成的答案相對(duì)較短，GPT-4 評(píng)判者會(huì)相應(yīng)地降低其權(quán)重。此外，GPT-4 評(píng)判者的指令明確說(shuō)明必須選擇其中一個(gè)選項(xiàng)，這進(jìn)一步推動(dòng)模型做出某些虛假?zèng)Q定。令人驚訝的是，盡管如此，模型偶爾還會(huì)表示兩個(gè)答案都不正確；這種情況很少見(jiàn)。當(dāng)詢問(wèn)人類專家的理由時(shí)，他們表示驗(yàn)證了該聲明是否出現(xiàn)在任一模型生成的答案中（無(wú)論長(zhǎng)度如何），并選擇符合此標(biāo)準(zhǔn)的選項(xiàng)。如果沒(méi)有符合此標(biāo)準(zhǔn)的選項(xiàng)，他們會(huì)選擇「都不是」。為了確保模型像人類一樣校準(zhǔn)此任務(wù)，需要更細(xì)致（和有用）的指示（通過(guò)提示）。但是，請(qǐng)注意，人類評(píng)估者還能夠創(chuàng)建超出 GPT-4 提供的本體論之外的類別（這是不符合指令的行為）。如果不允許人類評(píng)估者選擇「都不是」，那么重新校準(zhǔn)的得分將與評(píng)判者 GPT-4 所選相匹配（上表中的「Human (constrained)」行）。

8. GPT-4 凸顯的自回歸架構(gòu)的局限性

Limitations of autoregressive architecture hilighted by GPT-4

正如前面章節(jié)所展示的，GPT-4 在許多任務(wù)中表現(xiàn)出了令人印象深刻的能力，如推理、內(nèi)容生成、問(wèn)題解決等。然而，正如本節(jié)所示，該模型也存在一些重大缺陷，其中一些似乎是自回歸架構(gòu)本質(zhì)上的固有缺陷。我們將通過(guò)一系列示例來(lái)說(shuō)明這些缺陷，并討論它們的影響。

8.1 兩個(gè)基本示例

預(yù)測(cè)下一個(gè)單詞是一項(xiàng)依賴于工作記憶并經(jīng)常需要提前規(guī)劃的任務(wù)，參考以下示例：

可以說(shuō)，普通人很可能不能在沒(méi)有計(jì)劃的情況下寫(xiě)出如此簡(jiǎn)明的句子，而且很可能需要反復(fù)「倒退」（進(jìn)行編輯）幾次才能達(dá)到最終形式。然而，GPT 架構(gòu)不允許進(jìn)行這樣的倒退，這意味著產(chǎn)生這種輸出需要「提前」規(guī)劃。由于 GPT-4 輸出生成的前向性質(zhì)，模型進(jìn)行這樣的提前規(guī)劃的[敏感詞]方法是依賴其內(nèi)部表示和參數(shù)來(lái)解決可能需要更復(fù)雜或迭代過(guò)程的問(wèn)題。

接下來(lái)我們將嘗試論證模型的主要限制之一是架構(gòu)沒(méi)有允許「內(nèi)部規(guī)劃」或「草稿板」，除了其內(nèi)部展示外，這些可能使其能夠執(zhí)行多步計(jì)算或存儲(chǔ)中間結(jié)果。我們將看到，在某些情況下，使用不同的提示可以解決這種限制，但在其他情況下，這種限制無(wú)法緩解。

例如，參考以下問(wèn)題，模型給出錯(cuò)誤答案：

然而，如果我們要求模型列出此范圍內(nèi)的質(zhì)數(shù)并寫(xiě)出數(shù)量，它會(huì)給出正確的答案：

正如這個(gè)例子所示，模型具有生成正確答案所需的足夠知識(shí)。但問(wèn)題在于，下一個(gè)單詞預(yù)測(cè)架構(gòu)不允許模型進(jìn)行「內(nèi)部對(duì)話」。模型的輸入是「多少個(gè)質(zhì)數(shù)...」這個(gè)問(wèn)題，期望的輸出是最終答案，要求模型在（實(shí)質(zhì)上）單個(gè)前饋架構(gòu)的一次傳遞中得出答案，無(wú)法實(shí)現(xiàn)「for 循環(huán)」。另一方面，當(dāng)需要寫(xiě)下最終答案時(shí)，人類可能會(huì)使用草稿紙并檢查數(shù)字。

這種問(wèn)題在以前的 GPT 模型中已經(jīng)在一定程度上被觀察到，而且在本例中所說(shuō)明的問(wèn)題通?？梢酝ㄟ^(guò)明確指示模型以逐步方式解決問(wèn)題來(lái)解決（參見(jiàn)[WWS+22]及其引用文獻(xiàn)）。接下來(lái)，我們將展示這可能是不夠的。

8.2 算術(shù)/推理問(wèn)題中的缺乏規(guī)劃

有人可能會(huì)認(rèn)為，在上面的例子中，「內(nèi)部對(duì)話/記憶」所需的量相當(dāng)大（至少?gòu)娜祟惪赡苄枰褂貌莞寮埖慕嵌葋?lái)看）。由于該模型在各種任務(wù)上表現(xiàn)出色，這可能會(huì)導(dǎo)致人們相信它具有合理的工作記憶。然而，似乎即使對(duì)于更簡(jiǎn)單的任務(wù)，該模型也經(jīng)常失敗。我們看看以下極其基本的示例：

GPT-4 在這個(gè)問(wèn)題中生成了錯(cuò)誤答案 88。我們用 100 個(gè)隨機(jī)樣本測(cè)試了這個(gè)模型，其中四個(gè)數(shù)字在 0 到 9 之間隨機(jī)生成，得到的準(zhǔn)確率只有 58%。這僅涉及到一位數(shù)乘法和兩位數(shù)加法，一個(gè)具備基本數(shù)學(xué)知識(shí)的小學(xué)生可以解決。當(dāng)數(shù)字在 10 到 19 之間、20 到 39 之間隨機(jī)生成時(shí)，準(zhǔn)確率分別下降到 16% 和 12%。當(dāng)數(shù)字在 99 和 199 之間時(shí)，準(zhǔn)確率降至零。從某種意義上講，這表明了 GPT-4 在這種類型的問(wèn)題上具有極短的工作記憶。然而，如果 GPT-4「花時(shí)間」回答問(wèn)題，則準(zhǔn)確性很容易提高。例如，如果我們要求模型使用以下提示書(shū)寫(xiě)中間步驟：

計(jì)算以下表達(dá)式的值：116 * 114 + 178 * 157 =?

- 讓我們一步一步地考慮如何解決這個(gè)表達(dá)式，寫(xiě)下所有中間步驟，然后才得出最終解決方案。

- 那么當(dāng)數(shù)字在 1 到 40 之間時(shí)，準(zhǔn)確率可以達(dá)到 100%，在 1 到 200 之間的區(qū)間則可達(dá)到 90%。

人們可能希望通過(guò)總是向提示中添加正確的指令并允許其使用額外的標(biāo)記作為其工作記憶來(lái)解決某些類型任務(wù)中模型工作記憶非常小的問(wèn)題和其缺乏基本步驟跳過(guò)的問(wèn)題。然而，模型的自回歸特性迫使其按順序解決問(wèn)題，有時(shí)會(huì)帶來(lái)更深層次的困難，無(wú)法簡(jiǎn)單地通過(guò)指示模型查找逐步解決方案來(lái)解決。我們通過(guò)以下示例說(shuō)明這一點(diǎn)，認(rèn)為可能需要擴(kuò)展自回歸框架（稍后我們將對(duì)此進(jìn)行評(píng)論）。簡(jiǎn)而言之，下面示例中突出的問(wèn)題可以概括為模型「缺乏提前規(guī)劃的能力」。

我們從以下示例開(kāi)始。

這個(gè)漢諾塔示例可以在 5 步內(nèi)解決，但是模型卻錯(cuò)了。有人可能會(huì)認(rèn)為上面的例子是個(gè)別的，并且問(wèn)題在于訓(xùn)練數(shù)據(jù)包含很少的漢諾塔示例（請(qǐng)注意，提醒模型漢諾塔規(guī)則也沒(méi)有幫助）。讓我們看另一個(gè)例子：

模型首先說(shuō)「例如，如果我們用 27 代替 9」，這是模型線性思考而非提前規(guī)劃的強(qiáng)烈指示。它甚至無(wú)法看到 9 需要乘以 4 的一步。此后，模型進(jìn)入失敗模式（因?yàn)樗荒苄薷母嗟臄?shù)字）并開(kāi)始輸出不連貫的東西。

我們?cè)?100 個(gè)樣本上測(cè)試了模型的正確性，這些樣本的形式為 A*B + C*D = E，其中從區(qū)間 [3,9] 中隨機(jī)采樣整數(shù) B, D，并從區(qū)間 [a,b] 中選擇 C, D，選擇 E 以使解存在。結(jié)果為 [0,9] 為 32/100，[10,19] 為 25/100，[20,49] 為 22/100，[50,100] 為 18/100。

我們可以看到，隨著數(shù)字范圍的增加，準(zhǔn)確率并沒(méi)有下降太多，這表明問(wèn)題不在于計(jì)算本身，而是需要提前規(guī)劃解決方案。

對(duì)上述示例的一個(gè)可能的反對(duì)意見(jiàn)是，模型沒(méi)有接受足夠的涉及算術(shù)的數(shù)據(jù)訓(xùn)練，以便發(fā)展內(nèi)部機(jī)制，從而使其能夠進(jìn)行成功的提前規(guī)劃。因此，接下來(lái)我們轉(zhuǎn)向涉及英語(yǔ)內(nèi)容生成的示例。

8.3 文本生成中的缺乏規(guī)劃

我們?cè)谶@里考慮的任務(wù)可以被視為在約束條件下的內(nèi)容生成，要求模型根據(jù)特定的指令生成文本內(nèi)容，這些指令包括其結(jié)構(gòu)上的約束條件。我們考慮的約束條件可以粗略地分為局部和全局兩類。粗略地說(shuō)，局部約束只涉及文本的相鄰部分之間的相互作用。其中兩個(gè)例子是：(a) 生成押韻，押韻在本質(zhì)上是「局部」的，因?yàn)樗鼉H僅指定了相鄰句子之間的（語(yǔ)音）關(guān)系；(b) 在每個(gè)句子的[敏感詞]個(gè)單詞或[敏感詞]個(gè)字母中加入約束。相反，全局約束的一個(gè)例子可能是[敏感詞]句和最后一句相同（此約束強(qiáng)制不同文本部分之間進(jìn)行長(zhǎng)程交互）。

模型似乎可以很好地處理局部約束，如下例所示：

模型生成了一個(gè)連貫且富有創(chuàng)意的故事，滿足兩個(gè)約束條件。[敏感詞]句話的每個(gè)單詞的首字母的約束可以按順序「粗暴」地處理，因?yàn)槟Ｐ椭恍枰榭辞耙痪湓捯詻Q定下一句話。情節(jié)轉(zhuǎn)折的限制也不需要太多的規(guī)劃。

下一個(gè)示例涉及一個(gè)更「全局」的約束：

或許模型在生成[敏感詞]句時(shí)沒(méi)有「規(guī)劃」最后一句應(yīng)該是什么，導(dǎo)致出現(xiàn)語(yǔ)法錯(cuò)誤的句子。人們可能希望以某種方式提示模型以減少這個(gè)問(wèn)題的發(fā)生，例如，我們可以要求模型首先想出一個(gè)好的[敏感詞]句的計(jì)劃：

這些示例說(shuō)明了下一個(gè)單詞預(yù)測(cè)范例的一些局限性，這些局限性表現(xiàn)為模型缺乏規(guī)劃、工作記憶、回溯和推理能力。模型依賴于一種局部和簡(jiǎn)單粗暴地生成下一個(gè)單詞的過(guò)程，沒(méi)有任何關(guān)于任務(wù)或輸出的全局或深層次理解。因此，模型擅長(zhǎng)產(chǎn)生流暢和連貫的文本，但在解決不能以順序方式逐步解決的復(fù)雜或創(chuàng)造性問(wèn)題方面存在局限。這指向了兩種智力任務(wù)之間的區(qū)別：

- 增量任務(wù) - 這些任務(wù)可以通過(guò)逐步或連續(xù)地添加一個(gè)單詞或句子來(lái)解決，這構(gòu)成了朝著解決方案的方向取得進(jìn)展。這些任務(wù)可以通過(guò)內(nèi)容生成來(lái)解決，不需要進(jìn)行任何重大的概念轉(zhuǎn)換或洞察，而是依賴于將現(xiàn)有知識(shí)和技能應(yīng)用于給定的主題或問(wèn)題。增量任務(wù)的例子包括寫(xiě)摘要、回答事實(shí)性問(wèn)題、根據(jù)給定的韻律方案創(chuàng)作詩(shī)歌或解決遵循標(biāo)準(zhǔn)過(guò)程的數(shù)學(xué)問(wèn)題。

- 不連續(xù)任務(wù) - 這些任務(wù)的內(nèi)容生成不能以漸進(jìn)或連續(xù)的方式完成，而是需要某種“歐幾里得”想法，這種想法對(duì)解決任務(wù)的進(jìn)展產(chǎn)生了不連續(xù)的飛躍。內(nèi)容生成涉及發(fā)現(xiàn)或發(fā)明一種新的問(wèn)題看待或框架的方式，從而使得其余的內(nèi)容可以生成。不連續(xù)任務(wù)的例子包括解決需要公式的新穎或創(chuàng)造性應(yīng)用的數(shù)學(xué)問(wèn)題，編寫(xiě)笑話或謎語(yǔ)，提出科學(xué)假設(shè)或哲學(xué)論點(diǎn)，或創(chuàng)建新的寫(xiě)作流派或風(fēng)格。

解釋這些限制的一種可能方法是將模型與快速思考和慢速思考的概念進(jìn)行類比，這是Kahneman 在[Kah11]中提出的：快速思考是一種自動(dòng)、直覺(jué)和輕松的思考模式，但也容易出現(xiàn)錯(cuò)誤和偏見(jiàn)；慢速思考是一種控制、理性和費(fèi)力的思考模式，但也更準(zhǔn)確和可靠。Kahneman 認(rèn)為，人類認(rèn)知是這兩種思考模式的混合體，我們經(jīng)常在應(yīng)該使用慢速思考時(shí)使用快速思考，反之亦然。模型可以看作是能夠以非常出色的方式執(zhí)行「快速思考」操作，但缺少「慢速思考」組件，這個(gè)組件監(jiān)督思維過(guò)程，將快速思考組件作為子例程與工作記憶和組織良好的思維方案一起使用。我們注意到，LeCun 在[LeC22]中提出了類似的論點(diǎn)，提出了一種不同的架構(gòu)來(lái)克服這些限制。

請(qǐng)移步閱讀下篇～

免責(zé)聲明：本文采摘自“ 真格基金 ”，本文僅代表作者個(gè)人觀點(diǎn)，不代表薩科微及行業(yè)觀點(diǎn)，只為轉(zhuǎn)載與分享，支持保護(hù)知識(shí)產(chǎn)權(quán)，轉(zhuǎn)載請(qǐng)注明原出處及作者，如有侵權(quán)請(qǐng)聯(lián)系我們刪除。