- 元宇宙：本站分享元宇宙相關(guān)資訊，資訊僅代表作者觀點與平臺立場無關(guān),僅供參考.
來源：量子位
DeepSeek開源周第一天，降本大法公開——
FlashMLA，直接突破H800計算上限。
它是為HopperGPU開發(fā)的高效MLA解碼內(nèi)核，專門針對可變長度序列進行了優(yōu)化，目前已經(jīng)投入生產(chǎn)。
MLA，正是DeepSeek提出的創(chuàng)新注意力架構(gòu)。從V2開始，MLA使得DeepSeek在系列模型中實現(xiàn)成本大幅降低，但是計算、推理性能仍能與頂尖模型持平。
按照官方介紹來說，F(xiàn)lashMLA使用之后，H800可以達到3000GB/s內(nèi)存，實現(xiàn)580TFLOPS計算性能。
網(wǎng)友們紛紛點贊：向工程團隊致以崇高的敬意，從Hopper的張量核中擠出了每一個FLOP。這就是我們將LLM服務(wù)推向新前沿的方式！
已經(jīng)有網(wǎng)友用上了。
開源第一天：FlashMLA
目前GitHub頁面已經(jīng)更新。短短一小時，Star星數(shù)已經(jīng)超過1.2k。
此次已經(jīng)發(fā)布：
支持BF16；
分頁KV緩存，塊大小為64
快速啟動：
FlashAttention是能實現(xiàn)快速且內(nèi)存高效的精確注意力，主流大模型都有在用。最新的第三代，可以讓H100利用率飆升至75%。訓(xùn)練速度提升1.5-2倍，F(xiàn)P16下計算吞吐量高達740TFLOPs/s，達理論最大吞吐量75%，更充分利用計算資源，此前只能做到35%。
核心作者是TriDao，普林斯頓大牛，TogetherAI的首席科學(xué)家。
而英偉達CUTLASS是CUDAC++模板抽象的集合，用于在CUDA內(nèi)實現(xiàn)高性能矩陣-矩陣乘法(GEMM)和所有級別和規(guī)模的相關(guān)計算。MLA，DeepSeek基本架構(gòu)
最后再來說說，MLA，多頭潛在注意力機制，DeepSeek系列模型的基本架構(gòu)，旨在優(yōu)化Transformer模型的推理效率與內(nèi)存使用，同時保持模型性能。
它通過低秩聯(lián)合壓縮技術(shù)，將多頭注意力中的鍵（Key）和值（Value）矩陣投影到低維潛在空間，從而顯著減少鍵值緩存（KVCache）的存儲需求。這種方法在長序列處理中尤為重要，因為傳統(tǒng)方法需要存儲完整的KV矩陣，而MLA通過壓縮僅保留關(guān)鍵信息。
V2版本中，這一創(chuàng)新性架構(gòu)把顯存占用降到了過去最常用的MHA架構(gòu)的5%-13%，實現(xiàn)了成本大幅降低。它的推理成本僅為Llama370B的1/7、GPT-4Turbo的1/70。
而在V3，這一降本提速就更為明顯，直接讓DeepSeek吸引全球目光。
Thewhaleismakingwaves！鯨魚正在掀起波浪！
好了期待一下，接下來的四天會發(fā)些什么呢？
免責(zé)聲明:“源神”DeepSeek 突破H800性能上限 FlashMLA重磅開源 算力成本還能降文章轉(zhuǎn)發(fā)自互聯(lián)網(wǎng)，版權(quán)歸其所有。
文章內(nèi)容不代表本站立場和任何投資暗示。加密貨幣市場極其波動，風(fēng)險很高，可能不適合所有投資者。在投資加密貨幣之前，請確保自己充分了解市場和投資的風(fēng)險，并考慮自己的財務(wù)狀況和風(fēng)險承受能力。此外，請遵循您所在國家的法律法規(guī)，以及遵守交易所和錢包提供商的規(guī)定。對于任何因使用加密貨幣所造成的投資損失或其他損失，本站不承擔(dān)任何責(zé)任。
2025-4-27
2025-4-27
2025-4-27
2025-4-27
2025-4-27
2025-4-27
2025-4-27
2025-4-27
2025-4-02
2025-4-27
Copyright © 2021.Company 元宇宙YITB.COM All rights reserved.元宇宙YITB.COM