你應(yīng)該聽說過，現(xiàn)在的AI（人工智能）大模型很厲害，能寫文章、作詩、編程序，甚至解答高難度的奧數(shù)題。但奇怪的是，有些時候，它居然會在最基礎(chǔ)的小學(xué)數(shù)學(xué)題上犯錯！

比如我們測試某個AI大模型時問它：“‘知識就是力量’這句話包含幾個字？”它的回答竟然是：“這句話包含4個字?！逼鋵?shí)，這還不是個別現(xiàn)象，幾乎所有大模型都曾在數(shù)數(shù)這樣看似簡單的問題上“翻車”。一個能做對奧數(shù)題的大模型，為什么曾經(jīng)連數(shù)數(shù)都不會？它們現(xiàn)在又是怎么學(xué)會的？讓我們一探究竟。

大模型到底是什么？

我們說的大模型，一般指語言大模型，如ChatGPT、DeepSeek等。它們通常是由數(shù)十億到上千億個參數(shù)構(gòu)成的龐大人工神經(jīng)網(wǎng)絡(luò)，采用自監(jiān)督學(xué)習(xí)技術(shù)（如遮蓋預(yù)測、下一詞預(yù)測、序列生成等），學(xué)習(xí)模仿人類的語言表達(dá)。它們的學(xué)習(xí)方式是“讀書”——通過閱讀海量文字資料，包括書籍、新聞、百科、評論、網(wǎng)頁等，從中學(xué)習(xí)語言的用法和模式。它們非常擅長填空游戲。例如：今天我去超市買了一個______。大模型會計算各個詞語出現(xiàn)的概率，發(fā)現(xiàn)“蘋果”這個詞出現(xiàn)的可能性很高，于是就會選擇輸出它。

由此可見，大模型本質(zhì)上就是一個“詞語概率預(yù)測器”，它并不是真正理解這些句子，而只是學(xué)會了如何猜出“下一個最可能出現(xiàn)的詞”。它看起來很聰明，其實(shí)它只是擅長預(yù)測。

什么是數(shù)數(shù)？

雖然你從小就會數(shù)“1、2、3、4……”，但在數(shù)學(xué)家眼中，數(shù)數(shù)是一個非常嚴(yán)肅的問題。在19世紀(jì)，意大利數(shù)學(xué)家皮亞諾（Peano）提出了著名的皮亞諾公理，用來嚴(yán)格地定義自然數(shù)。通俗地講，其核心思想是：所有數(shù)字從0開始，每個數(shù)字都有一個“后繼者”，你可以通過“走1步，加1”不斷前進(jìn)，像跳格子一樣，數(shù)到任何你想要的數(shù)字。

人類天生就理解這種“一個一個數(shù)”的規(guī)則。但大模型的思維方式卻完全不同，它們不是按“走1步，加1”的邏輯來數(shù)數(shù)的，這也是它們曾經(jīng)不會數(shù)數(shù)的重要原因。

大模型為何不會數(shù)數(shù)？

雖然數(shù)數(shù)對我們來說是小菜一碟，但對大模型來說，過去它真的很難做好。下面是造成這個問題的幾個關(guān)鍵原因：

學(xué)習(xí)模仿數(shù)字使用，但不真正數(shù)數(shù)字

對人類來說，“3”不僅是一個數(shù)字，還代表“3個東西”，我們能通過觀察一張圖片，或者做一個動作（加減），理解數(shù)量的真正含義。

大模型雖然也知道數(shù)字經(jīng)常和數(shù)量有關(guān)，例如“3個蘋果”“5只小貓”，但它是從大量文字?jǐn)?shù)據(jù)中學(xué)到的統(tǒng)計規(guī)律和關(guān)聯(lián)規(guī)則，并不是通過“觀察或理解數(shù)量本身”學(xué)會的，無法從數(shù)字中準(zhǔn)確感知具體數(shù)量，它只是在模仿語言中數(shù)字的用法，而不是真的數(shù)了一遍。

沒有內(nèi)置“計數(shù)器”或“記憶狀態(tài)”

人類數(shù)數(shù)時，會在心里默默記住“我已經(jīng)數(shù)了3個”。但大模型是“無狀態(tài)”的，它在預(yù)測下一個詞時，主要靠短期上下文，缺乏維持“我現(xiàn)在數(shù)到幾”的記憶能力。

詞元、詞表和嵌入向量

大模型通常用一個固定大小的“詞表”來代表它能認(rèn)識的所有基本單位（詞元，token），每一個token在詞表中有一個唯一的數(shù)字編號，并用一個N維的“嵌入向量”表示其語義信息。

Token通常比我們理解的字詞更小，在gpt-3.5-turbo中，“知識就是力量”由7個token構(gòu)成，其中“識”由2個token構(gòu)成，[6744，228]。大模型進(jìn)行文字處理的第一步是“分詞”——把句子切成詞表中token的序列。

如果這個詞表只包含到“1000”，那超過的數(shù)字就會被當(dāng)作多個token處理，這直接影響大模型處理較大數(shù)字的準(zhǔn)確性。比如“12345”可能會被拆成“123”和“45”，數(shù)字剛好被切開，大模型就不太可能數(shù)對了。

另外，大模型詞表中相似的token的嵌入向量表示雖然具有一定的語義相關(guān)性（例如“5和4都是數(shù)字”，它們的嵌入向量的距離很近），卻無法表達(dá)出數(shù)字之間的大小和順序關(guān)系（例如“5比4大”等），那大模型自然難以完成準(zhǔn)確計數(shù)和計算。

大模型開始學(xué)習(xí)數(shù)數(shù)

最近幾個月，AI科學(xué)家和工程師已經(jīng)采用多種有效方法，讓大模型開始學(xué)會數(shù)數(shù)。

深度思考，模仿皮亞諾公理的數(shù)數(shù)過程

通過增加專門的訓(xùn)練數(shù)據(jù)（深度思考的思維鏈數(shù)據(jù)），并優(yōu)化模型結(jié)構(gòu)，一些大模型逐漸學(xué)會了“從0開始，走1步，加1”的邏輯。它們模仿了皮亞諾公理的數(shù)數(shù)方式，保證了計數(shù)的準(zhǔn)確性。

這類大模型現(xiàn)在能準(zhǔn)確數(shù)出句子里有幾個字、段落里有多少句話，甚至能數(shù)出圖片里有幾只小貓（看圖數(shù)數(shù)，這需要結(jié)合圖像識別+語言理解+數(shù)數(shù)邏輯）。

調(diào)用外部數(shù)學(xué)工具，進(jìn)行自我檢驗(yàn)

還有一些大模型學(xué)會了調(diào)用外部數(shù)學(xué)工具和編寫程序，例如 Wolfram Alpha 或內(nèi)置的計算模塊。它們在接到數(shù)數(shù)任務(wù)時，會像學(xué)生一樣使用“計算器”獲得計算結(jié)果，再用自身邏輯驗(yàn)證答案是否合理，全面提高了計數(shù)的準(zhǔn)確性。

通過這些改進(jìn)方法，大模型不僅能模仿數(shù)數(shù)，還將能模仿乘法、除法、組合、遞歸等數(shù)學(xué)運(yùn)算，學(xué)會真正的“數(shù)學(xué)思考過程”，甚至學(xué)會邏輯和因果。

如今，大模型已經(jīng)可以非常穩(wěn)定地完成各種數(shù)數(shù)任務(wù)了，這個過程，正是大模型逐步成長的見證。在強(qiáng)大的深度思考、調(diào)用工具和自我檢驗(yàn)等能力加持下，大模型正在從“會說話”，走向“能計算”“善思考”。也許未來，大模型不只是我們的助手，也會成為我們的數(shù)學(xué)老師，陪我們一起，一步一步——數(shù)到無限遠(yuǎn)。

（責(zé)任編輯 / 李銀慧" 美術(shù)編輯 / 周游）