智子筆記

1. 執行摘要：2025 年末的 AI 格局與 DeepSeek 的戰略突圍 2025 年 12 月 1 日，中國人工智慧實驗室 DeepSeek（深度求索）正式發布了其最新一代的大型語言模型矩陣—— DeepSeek V3.2 及其高性能推理變體 DeepSeek V3.2-Speciale 。此次發布不僅標誌著開源模型（Open-Weights）在性能上首次全面追平甚至在特定領域超越了當時最先進的閉源模型（如 OpenAI 的 GPT-5 High 和 Google 的 Gemini 3.0 Pro），更在技術架構上引入了多項顛覆性的創新，特別是「DeepSeek 稀疏注意力機制」（DeepSeek Sparse Attention, DSA）與「工具使用中的思維鏈」（Thinking in Tool-Use）範式。 在 2025 年的大部分時間裡，全球 AI 領域的敘事主要由矽谷巨頭主導。GPT-5 的發布重新定義了多模態交互的標準，而 Gemini 3 Pro 則在長文本處理和推理深度上建立了堅實的護城河。然而，DeepSeek V3.2 的出現打破了這一雙寡頭壟斷的局面。不同於以往開源模型僅作為「追隨者」的角色，V3.2 在數學推理（IMO 2025 金牌級表現）、代碼生成（IOI 2025 金牌級表現）以及代理（Agentic）工作流效率上展現出了統治級的能力。這一成就尤其令人矚目，因為它是在美國對華高端晶片禁令的背景下，通過架構創新而非單純的算力堆砌實現的。 本報告將從技術底層出發，對 DeepSeek V3.2 系列模型進行詳盡的解構。我們將深入探討 DSA 如何將長文本處理的計算複雜度從二次方 O(L 2 ) 降低至近線性 O(kL)，從而實現推理成本的數量級下降；分析 V3.2-Speciale 如何通過大規模強化學習（RL）與群組相對策略優化（GRPO）演算法突破推理能力的上限；以及「工具思維」（Thinking in Tool-Use）如何解決了傳統 AI 代理在執行複雜任務時推理中斷的痛點。此外，本報告還將結合最新的基準測試數據、API 經濟學分析以及地緣政治背景，評估 DeepSeek V3.2 對全球 AI 產業格局的深遠影響。 2. 演進之路：從混合專家到稀疏注意力 在深入探討 V3.2 的具體技術細節之前，...

🚀 INTELLECT-3：開啟開源大模型訓練新紀元 引言：打破壟斷，重新定義大模型訓練範式 在當今AI高速發展的時代，大型語言模型（LLM）的訓練已成為科技競爭的焦點。然而，這項尖端技術的訓練過程往往被少數科技巨頭所壟斷。 2025年11月26日， Prime Intellect 團隊發布了 INTELLECT-3 ，這標誌著一個突破性的進展。它不僅是一個性能卓越的 100B+ 參數 MoE（Mixture-of-Experts）模型 ，更重要的是，其 訓練基礎設施也全面開放 。這項發布代表了一種全新的訓練理念：讓大模型訓練走向更加開放和社區驅動的未來。 INTELLECT-3是一個106B參數的MoE模型，基於GLM 4.5 Air，通過監督微調（SFT）和強化學習（RL）訓練而成。它在數學、程式碼、科學和推理基準測試中，成績甚至超越了許多更大規模的封閉模型。 🔬 技術架構：MoE與強化學習的完美結合 INTELLECT-3的卓越性能，得益於其先進的技術架構與訓練方法： 1. Mixture-of-Experts (MoE) 架構 MoE架構通過結合多個「專家」模型，專注於不同的任務領域。 高效率： 106B的總參數量中，只有 一部分參數 在每次前向傳播中被激活。 優勢： 相比傳統的稠密模型，MoE在 保持計算效率 的同時，顯著 提升了模型性能 和處理複雜任務的能力，並減少了計算負擔。 2. 強化學習（RL）訓練方法 Prime Intellect團隊使用了客製化的 PRIME-RL 異步強化學習框架，讓模型通過試錯來學習最佳策略。 優勢： 強化學習特別適用於需要深度推理和問題解決能力的任務。 核心創新： PRIME-RL 的 即時異步訓練能力 ，使其在大規模集群中也能高效運行，擅長處理 長期決策問題 ，有效避免傳統瓶頸。 🛠️ 訓練基礎設施：大規模分布式訓練的奇蹟 INTELLECT-3的訓練過程，展示了開放平臺也能擁有頂尖的分布式訓練能力： 核心驅動力與生態系統： 組件名稱 核心功能 ...