Ahead of AI · Sebastian Raschka· Sebastian Raschka, PhD·· 2025-12-03精选AI 评分78
从 DeepSeek V3 到 V3.2:架构、稀疏注意力与强化学习更新
From DeepSeek V3 to V3.2: Architecture, Sparse Attention, and RL Updates
AI 导读
Sebastian Raschka 撰文梳理 DeepSeek V3 到 V3.2 的技术演进,指出 V3.2 沿用 V3.2-Exp 的架构,核心变化是加入 DeepSeek Sparse Attention(DSA),把注意力复杂度从 O(L²) 降到 O(Lk),token selector 的 top-k 在官方代码中设为 2048。
推荐理由
梳理 DeepSeek V3 到 V3.2 的架构与训练变化,说明稀疏注意力和自验证如何影响效率与数学能力。
来源:Ahead of AI · Sebastian Raschka · magazine.sebastianraschka.com