隨著人工智能技術的飛速發(fā)展，大語言模型(Large Language Models, LLMs)在各行各業(yè)的應用日益廣泛，尤其是在軟件開發(fā)、數(shù)據(jù)分析、客戶服務等領域。蘑菇云創(chuàng)客空間[445期開放夜] 就以“ChatGPT、Gemini、通義千問等一眾大語言模型，哪家更適合您”這樣的主題，開展了一次深度的大語言模型的測評。開放夜現(xiàn)場測評了十幾個國內外大語言模型，測評角度從邏輯、數(shù)學、翻譯、倫理等方面，深入探討和體驗了這些大語言模型的實際效能。
測評的大語言模型：
1.Kimi 智能助手：由月之暗面科技有限公司開發(fā)的先進AI。
2.智譜清言：由智言科技開發(fā)的大語言模型，以深度學習和自然語言處理技術見長。
3.訊飛星火：科大訊飛推出的創(chuàng)新語言模型。
4.文心一言：百度的前沿語言模型，致力于理解和生成自然語言。
5.豆包：專注于提供個性化的智能對話服務。
6.通義千問：以廣泛的知識庫和靈活的對話能力著稱。
7.海螺AI：新興的語言模型，擅長處理復雜的語言任務。
8.騰訊混元助手：騰訊推出的多功能AI助手。
9.Sider: 是由日本公司Sider開發(fā)的大語言模型。
10.ChatGPT：由OpenAI開發(fā)，國際上廣受認可的更大規(guī)模、功能更全面的語言模型。
11.Claude：Anthropic開發(fā)的先進語言模型，注重安全性和可靠性。
12.groq：以其專為AI設計的硬件加速器而聞名。
13.Gemini: OpenAI 開發(fā)的較小規(guī)模的語言模型，旨在提供更高效的計算和資源利用。
14.Mixtral：開源人工智能初創(chuàng)公司 Mistral AI 開發(fā)的超越GPT-3.5的AI模型
測評問題一: 雞兔同籠的數(shù)學問題
雞兔同籠是一個經(jīng)典的數(shù)學問題，通過觀察雞兔的頭和腳的數(shù)量關系，可以利用代數(shù)方程來解決問題，從而確定籠子里雞和兔子的數(shù)量。這個問題常常展示了代數(shù)方程組的應用。
針對雞兔同籠的問題，除了Gemini Pro沒有得出正確的結果，其余的大語言模型都可以給出正確結果。
測評問題二：翻譯（詩句中翻英）
詩人馬致遠的詩句“斷腸人在天涯”，描寫了“夕陽向西緩緩落下，只有孤獨的旅人漂泊在遙遠的地方。”詩句的翻譯涉及到文化差異和詩人獨特情感。Mixtral 的語言模型正確的解釋了詩句本身的含義，幫助翻譯者很好地理解這句詩句。 Claude的語言模型對于詩句的本身理解是不正確的。
這句詩翻譯家許淵沖翻譯為“Far, far from home is the heartbroken one.”由此可見，大語言模型可以幫助翻譯者分析這句詩基本的意思，但是涉及文化層面的深層含義，還是做不到意譯的。
開放夜也探討了如下涉及生活、工作的一些問題，比如：
過年福字要倒著貼，那為什么不直接生產(chǎn)倒過來的福字呢?
收到公司的裁員通知郵件，你應該怎么回復郵件來保住工作?
一個烏龜?shù)暨M了井里，井里有30米深。烏龜白天爬3米，晚上滑下2米。問這只烏龜需要多長時間才能爬出井口?
DFRobot AIGC小組主理人夏青在開放夜的現(xiàn)場測評了十幾個國內外大語言模型，通過多維度問題的測評，他認為：對于處理綜合性問題，OpenAI的ChatGPT 4.0邏輯清楚，能提供非常有用的信息。盡管在回答一些較為復雜的問題上略顯不足，但在大多數(shù)場合下，其性能仍然令人滿意。然而，ChatGPT 4.0在國內的使用成本是一個不容忽視的問題，不僅涉及訂閱費用，也包括使用的技術門檻。
與此同時，Gemini和Claude等海外語言模型，盡管在遵循指令方面略顯不足，但已達到了實用水平。令人驚喜的是，國內的Qwen1.5 72b開源模型在中文理解和特定任務，幾乎能與ChatGPT4.0匹敵此外，其他開源模型如Mixtral和新發(fā)布的LLaMA3雖在邏輯性上略遜于商業(yè)模型如ChatGPT，但總體表現(xiàn)已超越了ChatGPT 3.5。
綜合分析來看，盡管ChatGPT 4.0仍然是目前市場上最優(yōu)秀的大語言模型，但不可忽視的是，無論是國際市場還是國內市場，其他廠商的模型均顯示出迅速的進步。開源模型的崛起也證明了開源社區(qū)在AI時代的巨大潛力。當前的大語言模型在處理理性問題方面表現(xiàn)一致，但通常無法提供情緒價值回應。例如，一些國內模型如“豆包”將展現(xiàn)其在情緒回應方面的潛力。這種能力的發(fā)展可能為未來陪伴型機器人的商業(yè)模型提供新的方向。
蘑菇云創(chuàng)客空間
蘑菇云創(chuàng)客空間是上海浦東的一家創(chuàng)客空間,是科技部授牌的首批國家級創(chuàng)客空間,由浦軟孵化器提供場地支持、上海智位機器人提供硬件及技術支持的一家為創(chuàng)客服務的開放式創(chuàng)客空間。擁有獨立的加工室、公共協(xié)作區(qū)域以及儲物、耗材商店,為硬件愛好者、程序員、設計師、DIY 發(fā)燒友等各類創(chuàng)客,甚至包括進行創(chuàng)新研發(fā)的科創(chuàng)團隊提供一個開放式的社區(qū)化會員空間。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
6月17日，阿里巴巴旗下智能信息平臺夸克App正式推出全新學習產(chǎn)品“夸克老師”——一款集講題、批作業(yè)、出題、找試卷于一體的AI家教。該功能依托通義千問大模型，通過指令微調、強化學習等前沿技術，首次實現(xiàn)“因材施教”的個性化輔導，標志著AI在教育領域的應用邁入新階段。技術突破：AI模擬真人教學，推理能力
2025年6月17日，字節(jié)跳動旗下智能助手豆包正式在電腦版及網(wǎng)頁端全量上線“AI播客”功能，用戶只需上傳PDF文檔或網(wǎng)頁鏈接，即可一鍵生成由兩位AI主播演繹的對話式播客節(jié)目。這一創(chuàng)新功能憑借高度擬人化的語音效果和秒級轉化效率，迅速引發(fā)內容創(chuàng)作者、學生群體及職場人士的關注。技術突破：真人級語音交互，秒
我不是危言聳聽，現(xiàn)在全球的AI巨頭都在做MCP，毫不夸張的說：誰能把MCP做起來，誰就擁有AI生態(tài)控制權，誰就是AI圈的老大。你們有沒有發(fā)現(xiàn)，MCP在2025年初開始特別火爆，互聯(lián)網(wǎng)技術大廠都在強推MCP。(1)阿里云百煉搞了個MCP平臺，提供50+預置MCP服務。不過大都只面向阿里系產(chǎn)品。(2)騰
2025國際人工智能程序設計精英挑戰(zhàn)賽（IAEPC）在香港中文大學成功舉辦。作為主辦方之一，歐美同學基金會理事長李軍接受了大賽主持人艾誠采訪。在采訪中，李軍認為IAEPC不僅是一場“冠軍中的冠軍”對決，更是一次全球AI人才的線下交流盛會。大賽“史無前例”的吸引了全球青年科技精英匯聚香港，更加推動和普
2025國際人工智能程序設計精英挑戰(zhàn)賽（IAEPC）在香港中文大學成功舉辦。作為大賽發(fā)起人方之一及裁判委員會負責人，施韓原與杜瑜皓接受了大賽主持人艾誠采訪。裁判委員會主席施韓原分享了此次大賽的亮點，IAEPC首次引入創(chuàng)新賽道，探索選手如何與AI合作進行答題。裁判委員會副主席杜瑜皓認為，選手最終目標并
2025國際人工智能程序設計精英挑戰(zhàn)賽（IAEPC）在香港中文大學成功舉辦。來自深圳的學生吳林林作為主辦方記者團成員，采訪了大賽冠軍選手之一。在吳林林的采訪中，選手認為與來自全球的參賽者交流是自己學到的最重要的一課。在科技與AI之前，選手們可以平等、開放、友好的交流。以下是采訪實錄（有刪節(jié)）：吳林林
2025國際人工智能程序設計精英挑戰(zhàn)賽(IAEPC)在香港中文大學成功舉辦。來自深圳的學生吳林林作為主辦方記者團成員,采訪了大會嘉賓:全國政協(xié)委員、香港特別行政區(qū)立法會議員、香港中文大學工程學院副院長、IAEPC聯(lián)合發(fā)起人黃錦輝先生。在吳林林的采訪中,黃錦輝教授勉勵年輕人要像懂中文和英語一樣懂AI,
昨天新出了一個AI，據(jù)說比DeepSeek還牛，而截止到今早，已經(jīng)有10萬人在排隊申請Manus邀請碼了，而且它邀請碼已經(jīng)炒到10萬了。這是北京的一家人工智能公司蝴蝶科技，創(chuàng)始人是一名來自華中科技大學的90后畢業(yè)生肖弘，突然向全球宣布：世界上第一款真正的人工智能、通用智能體產(chǎn)品出現(xiàn)了，名叫Manus
謠言肆虐，擦亮眼睛
