?

最近宋大寶同學(xué)讀完了DeepSeekv3的文檔，心中頗多感慨，忍不住想在這里記錄一下對這款“業(yè)界有望啟示未來低精度訓(xùn)練走向”的開源大模型的觀察與思考。DeepSeek v3的亮點(diǎn)絕不僅僅是“Float8”或“超長上下文”這么簡單，而是貫穿了從數(shù)值精度、注意力機(jī)制、MoE路由到大規(guī)模分布式訓(xùn)練的一整套系統(tǒng)性革新，仿佛在宣示一個更激進(jìn)、更大膽、更工程化的時代正在到來。

?

首先不得不說，Float8 訓(xùn)練這件事本身就足夠讓我眼前一亮。DeepSeek v3 不像很多項目那樣將 E4M3（前向）和 E5M2（反向）分離使用，而是一刀切地堅持只用 E4M3，輔以分塊縮放來“最大化發(fā)揮三位尾數(shù)的威力”。對外行人來說，這可能聽起來有點(diǎn)不可思議：這么低的數(shù)值精度，會不會在訓(xùn)練中出現(xiàn)巨大誤差？然而作者們巧妙地在每四次 FP8 乘加后進(jìn)行一次 FP32 累加，把可能造成的誤差淹沒在更高精度的主累加器里。一來一回之間，反而讓整個系統(tǒng)行云流水，穩(wěn)定度據(jù)稱只比常規(guī) BF16 做法犧牲了“可容忍的”精度，卻能顯著地減少內(nèi)存與算力開銷。這背后不僅是數(shù)值分析與硬件適配的功力，也體現(xiàn)了追求極限效率的工程思維。

?

再說他們的“潛在注意力”（Latent Attention）。我們都知道，當(dāng)前大模型在推理端若想支持?jǐn)?shù)萬甚至十?dāng)?shù)萬的上下文，KV Cache 的存儲將會極其龐大。傳統(tǒng)方式下，每生成一個新 token，都要把 K, V 繼續(xù)拼接，再做一次大規(guī)模矩陣乘法。而 DeepSeek v3 的方案是把輸入 先乘上降維矩陣 ，得到一個精簡的 ，之后需要 K、V 的時候再做上采樣。既減輕了緩存壓力，又能以分塊或合并的形式與后續(xù)的 Flash Attention 協(xié)同。這個點(diǎn)子在保證了多頭注意力的靈活性的同時，也有效化解了大部分存儲與計算開銷。對于那些希望在有限顯存中處理超長序列的團(tuán)隊，這可謂是一道最亮的曙光。

?

再看 DeepSeek v3 在 MoE（混合專家）模型上的改進(jìn)也別開生面。以前大家都在為如何讓各個專家負(fù)載均衡而頭疼，引入五花八門的損失項、正則化系數(shù)等等。可他們偏偏另辟蹊徑，在路由層加了“動態(tài)偏置”，如果某個專家被數(shù)據(jù)“淹沒”，就自動調(diào)高或調(diào)低其偏置，讓路由分配更均勻。沒有特別繁瑣的附加損失，更不必?fù)?dān)心在多任務(wù)多語言場景下因固化分配而產(chǎn)生的“瓶頸”。說到底，這就是對 MoE 路由更深層次的理解：越是靈活、越是自適應(yīng)，也就越能在大規(guī)模分布式訓(xùn)練中凸顯潛能。

?

更值得一提的是：DeepSeek v3 的規(guī)模也讓人稱道：14.8T 的訓(xùn)練語料，其中相當(dāng)一部分還來自早期 DeepSeek r1 的生成數(shù)據(jù)。雖然這種“模型自我生成訓(xùn)練集”的方式難免引發(fā)對數(shù)據(jù)多樣性和真實性的擔(dān)憂，但如果他們能在實踐中驗證合成數(shù)據(jù)并沒有嚴(yán)重偏差，或能通過后期篩選和清洗進(jìn)行糾偏，那這倒為所有苦于大規(guī)模語料不足的團(tuán)隊打開了一扇窗。

?

當(dāng)然，再先進(jìn)的架構(gòu)也不是銀彈。DeepSeek v3 的局限性同樣顯而易見。比如 FP8 訓(xùn)練對硬件的原生支持與數(shù)值穩(wěn)定性要求極高，不是所有 GPU/TPU 都有足夠成熟的驅(qū)動與指令集。再比如，“潛在注意力”雖然減少了緩存體積，但依然要在增量上采樣時進(jìn)行一系列精巧的運(yùn)算合并，對代碼實現(xiàn)和算力分配提出了相當(dāng)高的要求。MoE 動態(tài)偏置一旦設(shè)計不周，也可能在極端情況下導(dǎo)致路由不穩(wěn)定。更別提大規(guī)模合成數(shù)據(jù)本身，既是靈活之舉，也潛藏了自回歸式偏差或語料污染風(fēng)險。

?

不管怎樣，我仍認(rèn)為 DeepSeek v3 為未來大模型的技術(shù)演化提供了寶貴的樣本。它所帶來的啟示是：在低精度訓(xùn)練上，再也不必“一刀切”地停留在 FP16 或 BF16，還有更極致的選項值得嘗試；在注意力結(jié)構(gòu)上，“只存一小塊就夠了”的思路，可能比直接緩存海量 K, V 更優(yōu)雅；在 MoE 路由上，“不走正統(tǒng)損失平衡”也許能走出一條更靈活的新路。更重要的是，這些創(chuàng)新點(diǎn)并非空中樓閣，而是經(jīng)過工程與大規(guī)模訓(xùn)練驗證，甚至公開了權(quán)重，展現(xiàn)出強(qiáng)大的實際操作性。

?

如果說 LLM 的競爭現(xiàn)已走入深水區(qū)，那么 DeepSeek v3 便是一艘銳意創(chuàng)新的遠(yuǎn)洋巨輪。它既表明了社區(qū)對全新數(shù)值精度、靈活路由以及超長序列處理的追求，也提醒我們現(xiàn)有方法遠(yuǎn)非完美，需要不斷迭代打磨。從中我感受到的是——無論是科研還是工業(yè)落地，面對算力、數(shù)據(jù)、算法等多方挑戰(zhàn)，仍然在邊際突破！