DeepSeek V3.2-Exp: Rijetka pažnja, dugi kontekst i jeftiniji API

Zadnje ažuriranje: 30/09/2025
Autor: Isaac
  • V3.2‑Exp predstavlja DSA: Finozrna rijetka pažnja za dugi kontekst.
  • Performanse usporedive s V3.1‑Terminus i 50% niži troškovi API-ja.
  • Dostupno u aplikaciji, webu i API-ju; MIT licenca i otvoreni kerneli.
  • Podrška od 0. dana u vLLM-u i jednostavno implementiranje s SGLang-om i Hugging Face-om.

Model umjetne inteligencije i raspršena pažnja

U vrijeme kada generativna umjetna inteligencija ne pokazuje znakove usporavanja, DeepSeek je napravio svoj potez izdanjem koje je izravno usmjereno na učinkovitost i dugoročni kontekst. DeepSeek-V3.2-Exp je eksperimentalni model koji nastoji potvrditi značajnu promjenu u proizvodnji: novu raspršenu pažnju koja obećava ubrzanje obuke i zaključivanja bez ugrožavanja kvalitete rezultata.

Novi model ne počinje od nule; temelji se na V3.1-Terminus, ali uvodi ključni mehanizam pod nazivom DeepSeek Sparse Attention (DSA) . DeepSeek tvrdi da s DSA-om smanjuje troškove računanja i, zauzvrat, snižava cijene svojih API-ja za više od 50% s trenutnim učinkom, uz održavanje performansi usporedivih s prethodnikom u više zadataka.

Što je DeepSeek-V3.2-Exp i zašto je važan

DeepSeek definira V3.2-Exp kao međukorak prema svojoj sljedećoj arhitekturi, korak osmišljen za testiranje i demonstraciju konkretnih optimizacija učinkovitosti u scenarijima dugog konteksta . Prema tvrtki, cilj je ubrzati i obuku i zaključivanje pri rukovanju opsežnim tekstualnim nizovima, gdje tradicionalni transformatori obično povećavaju troškove.

Ključno je da je ovo lansiranje eksperimentalno , ali ne i anegdotsko: stiže na DeepSeek aplikaciju, web i API od prvog dana, otvarajući vrata programerima, timovima za podatke i istraživačima da ga testiraju u stvarnim slučajevima s velikim količinama konteksta.

DeepSeek V3.2-Exp u dugom kontekstu

Tehnički, V3.2-Exp nasljeđuje temelje V3.1-Terminusa kako bi održao kvalitetu i omogućio pravednu usporedbu. DeepSeek navodi da je namjerno uskladio konfiguracije obuke s Terminusom kako bi izmjerio stvarni utjecaj DSA-e, a interni kriteriji pokazuju usporedive rezultate u pretraživanju, programiranju i matematici.

Osim brojki, važan je i tržišni kontekst: objava o X-u ističe njegovu dostupnost i smanjenje cijene API-ja za više od 50%. Poruka je jasna : poboljšana učinkovitost dovodi do nižih troškova, vršeći pritisak na konkurente u Kini i inozemstvu, poput Alibabinog Qwena ili opcija sa sjedištem u SAD-u.

Što uvodi DeepSeek Sparse Attention (DSA)

DSA je mehanizam fine, rijetke pažnje usmjeren na duge kontekstualne prozore. Umjesto da se jednako posvećuje svim tokenima, on daje prioritet uistinu relevantnim fragmentima i smanjuje nepotreban rad, a istovremeno održava gotovo identičnu kvalitetu izlaza.

Da bi se to postiglo, DeepSeek uključuje modul pod nazivom Lightning Indexer , čija je funkcija davanje prioriteta određenim područjima kontekstnog prozora. Ovaj korak prethodi pretraživanju i djeluje kao inteligentni filter koji odvaja bitno od nebitnog.

Nakon ovog početnog probira, model primjenjuje detaljan proces odabira tokena . U praksi to znači da se ne natječu svi tokeni za pažnju: samo oni koji su identificirani kao najinformativniji ulaze u prozor raspršene pažnje, čime se smanjuje potrošnja memorije i računalstva.

  7 najboljih programa za programiranje u Javi

Pozitivna nuspojava je da sustav može uzeti u obzir velike količine konteksta i istovremeno održavati više linija razmišljanja bez preopterećenja. To je posebno korisno u dugim tijekovima rada, složenoj analizi dokumenata ili produženim višenitnim razgovorima.

Kako funkcionira: Lightning Indexer i odabir tokena

Konceptualni proces koji opisuje DeepSeek može se pojednostavniti u nekoliko povezanih faza, od kojih svaka ima specifičnu ulogu u maksimiziranju učinkovitosti u dugoročnim kontekstima. Optimizacija se oslanja na donošenje boljih odluka, a ne na obradu više podataka.

  • Brzo određivanje prioriteta: Indeksator munja Skenira prozor i ističe kandidatske fragmente s visokom semantičkom ili strukturnom relevantnošću.
  • Fino usavršavanje: The precizni odabir tokena, što specificira koji tokeni zapravo dolaze u fokus raspršene pažnje.
  • Učinkovita njega: DSA primjenjuje pažnju samo na odabrani podskup, štedeći izračun i memoriju u usporedbi s tradicionalnom gustom pažnjom.
  • Usporedivi izlaz: Kvaliteta modela održava se u praksi, na temelju internih mjerila s V3.1-Terminus.

DeepSeek naglašava da ova strategija nije jednokratni trik: namjera je validirati i učvrstiti poboljšanja učinkovitosti za buduću arhitekturu. Drugim riječima, V3.2-Exp je poligon za testiranje u stvarnom svijetu, ali onaj koji se već može koristiti u produkciji.

Nadalje, tvrtka ističe da pristup omogućuje modelu da samostalno provjerava određene parametre tijekom obuke u scenarijima dugog konteksta, dinamički prilagođavajući računalni napor onome što zapravo pruža informacije.

Performanse, mjerila i troškovi: 50% manje na API-ju

Jedan od najupečatljivijih nalaza je da su performanse V3.2-Exp -a u ključnim područjima: kao agent za pretraživanje, u zadacima kodiranja i u matematičkim problemima, usporedive s performansama V3.1-Terminusa. Održavanje sličnih rezultata s manjom računalnom snagom omogućuje smanjenje cijene.

DeepSeek je objavio da cijene API-ja odmah padaju za više od 50% zahvaljujući povećanju učinkovitosti postignutom s DSA-om. Ova odluka ne samo da tehnologiju čini pristupačnijom, već je čini i konkurentnijom za konkurente koji moraju opravdati veće troškove korištenja.

Što se tiče praktičnog iskustva, poboljšanje je posebno uočljivo u scenarijima s dugim kontekstom : opsežna analiza podataka, obrada pravnih ili tehničkih dokumenata, pozadinske operacije s dugom poviješću i bilo koji cjevovod koji se oslanja na vrlo duge tekstualne nizove.

DeepSeekova hipoteza je jasna: ako model može selektivno obraditi ono što je relevantno, organizacija može obraditi više posla s istom infrastrukturom ili istim opterećenjem uz niže troškove, bez gubitka pouzdanosti rezultata.

Dostupnost, otvoreni kod i licenciranje

V3.2-Exp dostupan je u DeepSeek aplikaciji, web verziji i API-ju . Model je otvorenog koda koji svatko može procijeniti, a popraćen je MIT licencom za repozitorij i težine, što potiče istraživanje i komercijalnu primjenu.

  Kako koristiti TextCortex s Officeom: Potpuni vodič i prednosti iz stvarnog svijeta

Ova otvorenost je u suprotnosti sa zatvorenijim pristupima i demokratizira pristup naprednim mogućnostima. Također jača ulogu Kine u utrci umjetne inteligencije olakšavajući sveučilištima, startupima te lokalnim i međunarodnim tvrtkama da iskoriste i modificiraju taj stog.

Tvrtka naglašava eksperimentalnu prirodu izdanja: ono služi kao pregled onoga što bi moglo doći u njegovoj arhitekturi sljedeće generacije. Unatoč tome, stabilno izdanje na tri glavna kanala ukazuje na dovoljnu razinu zrelosti za upotrebu u stvarnom svijetu.

Referentne poveznice: repozitorij i tehnička dokumentacija na GitHubu, model na Hugging Face i kontakt za podršku na [email protected] . Cijeli paket ima za cilj olakšati usvajanje od strane zajednice.

Kratki vodič za lokalno pokretanje

DeepSeek nudi ažuriranu demonstraciju inferencije osmišljenu kako bi ubrzala pokretanje i pomogla zajednici da razumije arhitekturu. Tijek rada s Hugging Face i konverzijom težine je jednostavan i podržava paralelizam modela na temelju vaših GPU-ova.

cd inference
export EXPERTS=256
python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} --n-experts ${EXPERTS} --model-parallel ${MP}

export CONFIG=config_671B_v3.2.json
torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --interactive

Za one koji preferiraju posluživanje modela s SGLangom, dostupne su Docker slike za različite arhitekture. Oznake pokrivaju NVIDIA GPU-ove , ROCm i NPU-ove , uključujući specifične varijante.

# H200
docker pull lmsysorg/sglang:dsv32
# MI350 (ROCm)
docker pull lmsysorg/sglang:dsv32-rocm
# NPUs
docker pull lmsysorg/sglang:dsv32-a2
docker pull lmsysorg/sglang:dsv32-a3

# Lanzar servidor
python -m sglang.launch_server --model deepseek-ai/DeepSeek-V3.2-Exp --tp 8 --dp 8 --page-size 64

Ako koristite vLLM, projekt najavljuje podršku za V3.2-Exp od 0. dana . Provjerite njihove službene recepte za ažurne detalje o konfiguraciji, KV paginaciji i parametrima performansi.

U svim slučajevima, preporučljivo je prilagoditi MP broju dostupnih GPU-ova i pratiti stvarnu upotrebu memorije. Time se postiže optimalna ravnoteža između latencije, propusnosti i cijene po zahtjevu.

Otvorene jezgre i podrška ekosustava

DeepSeek je objavio nekoliko komponenti koje olakšavaju istraživanje i produkciju. Za one koji daju prioritet čitljivosti i dizajnu u istraživačke svrhe, preporučuju TileLang kao početnu točku.

Za čiste CUDA performanse, indeksne logit kernele (uključujući stranične varijante) dostupne su u DeepGEMM-u . U međuvremenu, kernele s rijetkom pažnjom objavljene su u FlashMLA-i , s ciljem maksimiziranja učinkovitosti na modernim GPU-ima.

Ovaj modularni pristup omogućuje vam kombiniranje komponenti prema potrebi: čitljivost za izradu prototipova i podučavanje ili visokoučinkovite kernele za zahtjevno zaključivanje pod stvarnim opterećenjima. To je upravo ono što vam je potrebno za migraciju s testiranja na produkciju bez ponovne izgradnje cijelog cjevovoda.

Nadalje, objavljivanje ovih kernela s naglaskom na dugoročni kontekst nadopunjuje DSA poticaj, zatvarajući krug između primijenjenog istraživanja , mjerenja performansi i primjene u stvarnom svijetu.

Strateški utjecaj i što slijedi

Činjenica da se eksperimentalni model pokreće kao aplikacija, web aplikacija i API s trenutnim sniženjem cijene jasna je izjava o namjeri. DeepSeek ne istražuje samo određenu liniju istraživanja; pretvara je u proizvod i prenosi uštede na krajnjeg korisnika.

  Ultimativni vodič za korištenje Microsoft Copilota na vašem Macu: Instalirajte, konfigurirajte i savladajte umjetnu inteligenciju

Ovaj potez povećava pritisak na konkurente u kineskom ekosustavu, poput Alibabinog Qwena i njegovih američkih kolega. Ako performanse ostanu na razini skupljih alternativa, cijena bi mogla prevagnuti u sektorima osjetljivim na troškove.

Druga posljedica je efekt otvorenog koda : permisivne licence, javne jezgre i široka podrška ubrzavaju usvajanje i olakšavaju reviziju, učenje i doprinose. To je u oštroj suprotnosti sa zatvorenim modelima i otvara vrata malim i srednjim poduzećima i sveučilišnim laboratorijima da se uključe.

S narativnog stajališta, zanimljivo je kako DeepSeek predstavlja V3.2-Exp kao uvid u budućnost : on potvrđuje precizne mehanizme pažnje i uspoređuje njihov utjecaj, a sve ostale čimbenike drži konstantnima. Ova komparativna strogost daje kredibilitet rezultatima.

Također je relevantna sposobnost rukovanja više istovremenih linija misli . Mogućnost održavanja nekoliko lanaca zaključivanja bez značajnog povećanja troškova otvara mogućnosti u složenim agentima, višestepenom zaključivanju i sustavima koji kombiniraju pretraživanje, sintezu i verifikaciju.

Reference, citiranje i kontakt

Za one koji žele dublje istražiti, DeepSeek povezuje na model na Hugging Face i tehničko izvješće na GitHubu. Također dijeli blok citata u BibTeX formatu i kontakt e-poštu za podršku i pitanja.

@misc{deepseekai2024deepseekv32,
  title={DeepSeek-V3.2-Exp: Boosting Long-Context Efficiency with DeepSeek Sparse Attention},
  author={DeepSeek-AI},
  year={2025}
}

Tvrtkin X kanal sažeo je najavu: uvođenje DeepSeek-V3.2-Exp , dostupnog putem aplikacije, weba i API-ja, sa sniženjem cijene API-ja od preko 50%. Fokus ostaje na dugoročnom kontekstu i učinkovitosti od početka do kraja.

U međuvremenu, tehnološki mediji izvještavali su o lansiranju, pozicionirajući ga kao značajan potez nakon utjecaja V3 i R1, te sugerirajući da će, ako ispuni obećanje, podići ljestvicu u pogledu kvalitete i cijene u odnosu na glavne igrače u sektoru.

Kako bismo sve zaokružili, vrijedi se prisjetiti nedavnog vremenskog okvira: od pokretanja ChatGPT -a 2022. godine do danas, generativna umjetna inteligencija evoluirala je neviđenom brzinom. V3.2-Exp uklapa se u taj trend: više konteksta, niži troškovi i arhitektura koja uči iz vlastitih eksperimenata.

V3.2-Exp je pozicioniran kao održiva opcija za projekte koji zahtijevaju opsežne kontekste, brzinu i kontrolu troškova . Njegov pristup s preciznom, raspršenom pažnjom, podrška ekosustavu (vLLM, SGLang, otvorene kernele) i MIT licenca čine ga posebno atraktivnim za primijenjena istraživanja i poslovne implementacije gdje je svaka milisekunda i svaki euro važan.

Koja je najbolja umjetna inteligencija za svaku aplikaciju (chat, generiranje slika, video, istraživanje, programiranje itd.)?
Povezani članak:
Najbolja umjetna inteligencija za svaki zadatak: chat, slike, video, kod i još mnogo toga
Isaac

Isaac

Strastveni pisac o svijetu bajtova i tehnologije općenito. Volim dijeliti svoje znanje pisanjem, a to je ono što ću učiniti na ovom blogu, pokazati vam sve najzanimljivije stvari o gadgetima, softveru, hardveru, tehnološkim trendovima i još mnogo toga. Moj cilj je pomoći vam da se snađete u digitalnom svijetu na jednostavan i zabavan način.