本文來自微信公眾號:王智遠,作者:王智遠,題圖來自:AI生成
本文來自微信公眾號:王智遠,作者:王智遠,題圖來自:AI生成
Kimi這兩天悄悄推出數學版,名字叫:k0-math。
知道模型前,已經有不少外部不少信息說對標OpenAI o1系列,還有人放出了在MATH、中考、高考、考研4個數學基準測試中的數據。
結論是,Kimi數學版成績均超過了OpenAI o1-mini和o1-preview模型。
對于這種評測肯定有各種說法。有些人認為,Kimi 在處理幾何、代數和計算準確性方面表現不錯,還能提供多種解題思路。即使遇到一時解不出的題目,它也會“回爐”重新分析,最終給出正確答案。
但也有人指出,國內大模型推出數學版的同時,也暴露了自身的真實水平;以前,數學能力不是大家關注的重點,但隨著 Kimi 推出這個新模型,人們逐漸意識到:數學才是衡量大模型底層能力的核心。
既然如此,大模型卷數學哪家更強呢?紙上得來終覺淺,絕知此事要躬行;所以,和團隊伙伴一口氣測了8個模型。
一
模型包括:主流的Kimi、ChatGPT(o1 和 o1-preview)、豆包、通義千問 2.5、訊飛星火、夸克和知乎直答。
問題來了,該怎么測試這些模型的數學能力?剛好前兩天發完小綠書后,有位朋友留言推薦了一道題。他說,試試這個問題:
正方形ABCD繞B逆時針旋轉任意角度得正方形 BPQR ,連 QD ,連 CP 交 QD 于 E 。已知CE =5V2, ED =4,求AB的邊長。
說實話,我不是專業的數學博主,只能從評測的角度來還原這個過程。先說明一點,這里面有些模型可能并沒有對外宣傳自己能做數學題,但這沒關系,測一測或許會發現一些意想不到的表現。
我把問題給Kimi數學版,這是它給的結論:
準確嗎?
說實話,我不知道。畢竟這些幾何知識早就還給老師了,為了避免答得太離譜,我順便問了 Kimi 一個問題:這道題屬于什么范疇、什么難度?
它告訴我:這是一道正方形旋轉、勾股定理、以及三角形組成的題,主要在初中、高中的幾何課程中,反復被討論更復雜的幾何變換使用。
好吧,先不糾結我自己的數學水平,接著測試豆包。為了閱讀方便,這里就不放截圖了。豆包的計算速度很快,結論和 Kimi 數學版完全一致。這么看來,這兩個模型在答案上還是比較統一。
通義千問2.5模型怎么樣呢?它的第一個答案是 √33,但當我再次測試時,它給出的結果變成了 √66。這個結果讓我有點懵。
事情總是按照英雄之旅的模式發展,測試訊飛星火時,它的計算速度比其他幾個模型明顯慢了一些。
更離譜的是,它得出的結論是正方形 ABCD 的邊長是 9,而我問的是 AB 的邊長;于是,我指出了這個錯誤,要求重新計算,這才得到一個和通義千問類似的答案。
接下來是夸克的測試。
它提供了三個不同的計算過程,但結論并不一致,帶著疑惑,我又測了知乎直答,結果更不一樣,答案五花八門,讓人有點摸不著頭腦。
心里帶著疑惑,轉向 ChatGPT 4o。
這個模型很有意思,它一開始幾乎快解完了,卻突然刪掉了;更有趣的是,它解完又刪,又重新計算,像在“反思”自己的解題思路。最終,它的答案和 Kimi 數學版一致。
切換到 ChatGPT o1-preview 模型后,答案和通義千問、訊飛星火類似。
8個模型最終測試下來,豆包、Kimi、ChatGPT 4o計算方式和答案一致;通義千問、訊飛星火、ChatGPT o1-preview答案另一個答案;夸克和知乎直答,提供了不同的結果。?
二
有句話,被人經常說起,即:如果給我一個小時來解決問題,我會用55分鐘來思考問題,再用5分鐘來思考解決方案。
雖然,無法證明是不是愛因斯坦說的,至少告訴我們,思考比答案更重要,問題被定義,答案也就很好解決。
于是乎,我們來了一波反向操作,把問題又給了8個大模型,讓它來糾正錯誤。
首先,拿ChatGPT4o和ChatGPT o1-preview進行對比,果然,統一大模型下測試語言類和數學類就能看出它真正的能力。
ChatGPT4o邏輯性比較明顯,回答也很干脆,它說:
一,旋轉角度不明確,比如“繞 B 點逆時針旋轉任意角度”,這個角度到底是多少?需要明確。
二,已知條件和幾何關系不匹配,導致計算困難。
三,因為有前兩個問題存在,求 AB 角度會很靈活,結果容易變化。
ChatGPT 0.1-preview 的回答方式有點不同。它會先分析,等梳理完再給出完整答案。雖然內容和ChatGPT4o一致,但思路展開得更全面些。
Kimi呢?表現如何?
它更懂中國人一些,我雖然做數學題的能力早蛻化完了,但能看懂解題思路;它分析了三個關鍵問題,最后建議直接設定一個具體角度(比如 90°)或補充幾何信息,這樣能避免理解偏差;總體來說,Kimi 的回答簡單明了。
豆包回答更注重細節。它明確指出旋轉角度模糊、缺少等量關系線索等問題,給出具體修改建議,比如將“繞 B 點逆時針旋轉任意角度”改為“旋轉 45°”,或者增加三角形面積比等條件。
它的回答怎么評價呢?
Kimi結構化清晰,列出幾點就沒了;豆包,則會在條目上進行一步展開動作,內容更豐富一些。
通義千問 2.5 的表現有些矛盾。它一開始說問題沒有邏輯錯誤,但又指出條件中 CE 和 ED 的長度與旋轉角度不匹配。這種前后不一致讓我有點困惑。
再說說訊飛星火模型,它在糾錯方面表現一般,會直接還原解題思路,但幾乎沒有排查問題,即使調整提示詞,結果還是一樣,和其他模型的表現有明顯差距。
對于夸克,體驗感受是這樣,它網頁版只有搜題、上傳圖片來解題這倆功能,不像其他智能體能直接把問題發給它,再給提示詞讓幫忙解題。
缺了過程就限制了互動性。只能換種形式,對著電腦拍張圖片給它;不過它的解題能力很強,能根據缺少的條件生成多個答案,并還原出對應的解題思路。
知乎知答倒是挺意外,雖然它沒宣傳解題功能,但它不僅能解決問題,還能糾錯。
一部分答案依賴搜索,另一部分通過生成完成,它還能直接指出題目中模糊的地方,加入修正設想。不過它的回答沒有 Kimi 或豆包那樣條理清晰,可能是訓練數據不足的原因。
8個模型,整體糾錯下來,ChatGPT 4.o和Kimi水平相當,回答清晰,ChatGPT o1-preview和豆包細節更豐富,展開更多。
通義千問 2.5 表現模糊,訊飛星火在糾錯方面還需提升,夸克解題能力強,但互動性差。知乎知答算是意外之喜,能解題糾錯,但條理性稍弱。
以上是我和團隊另一位伙伴測試中的個人體驗,如果認為不準,也可以親自測試一下模型中的表現。
測試完后,我查了一下,這道題如果出現在試卷里通常會明確說明旋轉角度。但在我的測試中,這個條件沒有給出,所以問題本身確實有些模糊。
也正因如此,我更覺得,明確和梳理清楚問題才能找到答案。
三
大模型卷數學能力蠻重要,為什么重要?理由有很多,不過,從我的感受上認為有兩個值得關注下。
第一點:教育?
家長們輔導孩子做作業已經夠費勁了,尤其是數學題,將來你有了孩子,遇到難題想用AI幫忙,結果幾個模型給出的答案都不一樣,那得多讓人焦慮?
從大方面看,解題思路可以有很多種,但答案必須準確無誤。因為數學是嚴格按照邏輯規則來的學科,從公理到定理,每一步推導都要精確,數學結論出錯了,接下來的推導可能全錯。
我們可以想象一個實際場景。比如:工程設計。
某天我們用 AI 模型幫忙計算關鍵數據,結果有偏差,那施工時是不是會直接釀成事故?
還有一點,我感覺數學模型的實際應用場景比語言模型更多,從金融分析到天氣預測,從自動駕駛到工程設計,哪一樣離得開精確的數學運算?
第二點:模型本身
過去幾年,大語言模型學了不少東西,比如語言、語義和情感表達。這就像一個剛出生的孩子,最初大腦充滿了對情感、語言和人際交流的敏感性。
但接下來,模型要進入更高層次的認知發展階段,就像孩子逐漸開始上學,學習數學、科學等邏輯性更強的東西。
這個階段,好比大腦的“系統2”,更高級的理性思考能力。系統2的作用是什么?深入理解、推理和解決復雜問題的基礎。
如果模型在理科上不夠精準,那怎么能指望它在復雜的任務中表現得好呢?所以,數學是對系統2的極限測試,因為數學不容模糊,要么對,要么錯,沒有中間地帶。
更進一步說,大語言模型不能只會講故事、安慰人,它得成為一個會計算的“科學家”或者“工程師”,這樣才能解決更高層次的問題,而這一切都要靠數學能力。
四
我注意到除Kimi外,還有不少大公司推出了專門提升數學能力的大模型。
比如:好未來的MathGPT,它主要為全球的數學愛好者和科研機構服務的,主要做搜題和答題,屬于千億級別的大模型。
百川智能的Baichuan 4,主要關注金融行業,能做風險評估和交易策略分析,已經和用友、軟通動力、新致軟件、達觀數據、華勝天成等伙伴合作了。
阿里云的Qwen2-Math是個開源模型,專門用來解數學題。雖然它還沒公布具體客戶,但在學術研究和競賽培訓中經常看到它的影子。
除此之外,還有云從科技的從容大模型和MiniMax的abab6.5等等。它們有的專注政府領域,有的更偏向制造業,以前,這些公司大多通過大模型或者某個具體應用場景來讓大家了解。
現在AI在個人用戶端應用競爭,已經變得有些局限了。
因為主要集中在搜索、對話、寫作、代碼生成這幾個領域,AI的極致體驗,更多是從搜索開始,然后逐步建立起搜集、應用、輸出的完整流程。
這種局限讓AI的潛力還沒有完全發揮出來,實際上數學模型的應用場景要比文科類、代碼生成要廣泛得多;不信,只要思考一個場景就夠了:
上班時,無論是財務、運營還是市場決策,幾乎所有公司每天都離不開數據。
管理者們關注的是什么?是各種報表上的ROI指標,是增長率、轉化率,是用數字來衡量業務健康狀況的關鍵指標。
這些數字背后,靠強大的數學分析、預測和建模能力。
進一步來說,這種能力在更大的層面甚至關系到供給側的優化。比如,企業如何通過數據優化供應鏈,降低庫存成本,同時提升交付效率?
如何用數學模型分析市場需求波動,及時調整生產計劃?這些都是企業面臨的核心問題,而解決問題的關鍵,正是強大的數學建模能力。
所以,數學模型意義早已超越學科本身,它是推動經濟發展,加速商業效率的支柱,AI模型卷數學,無疑能讓能力邁向新高度。
總結
未來,誰更勝一籌呢?
不太好定義,不過,我認為,在比能力這件事上,不如多思考一下,如何進入某個領域拿到數據,畢竟數據是訓練模型重要的語料。
本文來自微信公眾號:王智遠,作者:王智遠
支持一下 ??修改