Kas ir ERNIE-4.5-VL-28B-A3B-Thinking un kā no tās gūt maksimālu labumu?

Uz Baidu ERNIE-4.5-VL disku saimes klusi parādījies uzraksts "Domāšana" un izraisījis zināmas diskusijas. Līdz ar komentāriem, ka laišana klajā bija gandrīz pilnībā slepena, parādījās neliela diagramma, kurā to salīdzina ar konkurentiem, piemēram, Dvīņi 2.5 Pro un hipotētisks "augsts" GPT-5 līmenis, kā arī režīma solījums "Domāšana tēlos" Tā kā tas nav īpaši labi izskaidrots, daudzi cilvēki prāto, vai šis modelis tiešām ir tik labs, kā apgalvo mārketings. Patiesībā iepriekšējās Ernie versijas jau bija diezgan spējīgas, tāpēc ir vērts rūpīgāk ieskatīties zem motora pārsega un nodalīt ažiotāžu no realitātes.

Īsāk sakot, ERNIE-4.5-VL-28B-A3B-Thinking ir multimodāls redzes valodas modelis ar ekspertu sajaukuma (MoE) arhitektūru, kas aktivizē tikai ~3 B parametru uz vienu marķieri no kopumā 28 B. Tas ļauj panākt ļoti interesantu līdzsvaru starp jaudu un efektivitāti. Variants “Domāšana” ietver vidēja līmeņa apmācību, kas koncentrējas uz multimodālu spriešanu, pastiprina semantisko saskaņošanu starp tekstu un attēlu un pievieno pastiprināšanas stratēģijas, piemēram, GSPO un IcePop, lai stabilizētu MoE pārbaudāmos uzdevumos, papildus slavenajai funkcijai “domāšana ar attēliem”, kas apvieno tālummaiņu un vizuālā meklēšana lai iegūtu sīkas detaļas un senas zināšanas.

Kas ir ERNIE-4.5-VL-28B-A3B-Thinking un kāpēc tas ir svarīgi?

ERNIE 4.5 saimē VL-28B-A3B-Thinking versija ir pozicionēta kā modelis viegls, bet ambiciozs multimodālā spriešanā. Tā izmanto MoE arhitektūru ar 28.000 miljardiem kopējo parametru un ~3.000 miljardiem aktīvu uz vienu marķieri, samazinot secinājumu izmaksas, vienlaikus saglabājot konkurētspējīgu sniegumu salīdzinājumā ar lielākiem, blīvākiem modeļiem.

Tā tehniskajās specifikācijās ir minēti līdz pat 130 ekspertiem, no kuriem katrā solī ir aktīvi 14, un šī konfigurācija atbilst specializācijas mērķim pēc ievades veida, kontrolējot enerģijas patēriņu un latentumu. Ideja ir tāda, ka maršrutētājs atlasa "atbilstošos ekspertus", kad tiek saņemti attēli, teksts vai abu kombinācijas, tādējādi maksimāli palielinot efektivitāti. pārstāvniecību daudzveidība un aprēķina efektivitāti.

Vizuālajam komponentam mugurkauls ir redzes transformators (ViT), kas sadala attēlu apgabalos un apstrādā tos kā marķierus. Šī projekcija uz to pašu iegulšanas telpu, kur atrodas teksts, veicina plūstošu “dialogu” starp modalitātēm, ko atbalsta tādas apmācības metodes kā ortogonāla attēla zudums. router (lai ekspertu loks pārmērīgi nepārklātos) un a marķieru līdzsvarots multimodāls zudums kas neļauj vienai modalitātei aizēnot otru.

Līdztekus “Domāšanas” atzīmei Baidu lepojas ar ievērojamiem uzlabojumiem vizuālajā spriešanā, grafu analīzē, cēloņsakarībās, pamatošanā un vizuālo instrukciju izpildē. Turklāt iespēja izsaukt rīkus un ģenerēt rezultātus... strukturēts JSON valodā Un integrēta satura moderācija padara to par stabilu instrumentu multimodāliem aģentiem.

Arhitektūra, apmācība un iespējas: ko tas patiesībā sniedz

MoE filozofija ļauj aktivizēt tikai daļu parametru katrā marķierī, kas nozīmē skaitļošanas efektivitāte neupurējot modeļa kopējo mērogu. Katrs “eksperts” var specializēties modeļos vai uzdevumos (piemēram, OCR, diagrammās, skaitliskajā spriešanā), un maršrutētājs iemācās tos kombinēt atbilstoši kontekstam.

Praksē to pastiprina divas galvenās apmācības idejas: maršrutētāja ortogonālie zudumi, kas veicina ekspertu daudzveidību, un marķieru līdzsvarota multimodāla zudumu funkcija, kas apmācības laikā uztur līdzsvaru starp tekstu un attēlu. Tas neļauj modelim darboties izcili labi ar tekstu, bet cīnīties ar redzi (vai otrādi). Turklāt VL-28B-A3B-Thinking vidēja apmācība, kas veltīta spriešanai par attēla un teksta pāriem, palielina reprezentācijas jaudu un nostiprina multimodāla semantiskā izlīdzināšana.

Runājot par etaloniem, neatkarīgas salīdzinošās analīzes (piemēram, Galaxy.AI) ERNIE-4.5-VL-28B-A3B vizuālās uztveres, dokumentu izpratnes un multimodālās spriešanas ziņā ierindo ERNIE-4.5-VL-28B-A3B līdzvērtīgu vai pat pārspēj alternatīvas, piemēram, Qwen2.5-VL-7B un Qwen2.5-VL-32B. Tas saskan ar sīko reklāmas grafiku (jā, ļoti grūti lasāmu), kas liecina, ka tas neatpaliek no tādiem smagsvariem kā Gemini 2.5 Pro vai "augsta" GPT-5 vai pārspēj tos. Daži aizdomas par etalonu salīdzināšanu, taču patiesībā, pateicoties pastiprinājuma uzlabojumiem (GSPO, IcePop) un dinamiskajai grūtības pakāpes izlasei, ir saprotams, ka modelis ir uzlabojies. robustums pārbaudāmos uzdevumos.

Īpaši jāpiemin funkcija “Domāšana ar attēliem”: tā nav maģija, bet gan darbplūsma, kas apvieno attēlu tālummaiņu un vizuālās meklēšanas rīkus, lai uztvertu ļoti sīkas detaļas (plāksnes, mazas zīmes, ikonogrāfiju) un piekļūtu detalizētām zināšanām, ja iekšējās zināšanas ir nepietiekamas. Šī iespēja kopā ar pieejamāku pamatojumu (zemējuma funkciju aktivizēšana ar vienkāršām instrukcijām) padara modeli par spēcīgu kandidātu… rūpnieciskām vajadzībām un scenāriji ar sarežģītiem attēliem.

Daudzvalodu vidē ERNIE 4.5 sērija saglabā augstu veiktspēju, neupurējot vizuālo izpratni, kas ir galvenā globālo darbplūsmu iezīme. Turklāt strukturēta izvade (JSON) un funkciju izsaukumi paver iespējas izmantot gadījumus, kad modelis ne tikai novēro un reaģē, bet arī... iedarbojas uz instrumentiem (piemēram, objektu atrašanās vietas noteikšana un to ierobežojošo lodziņu atgriešana ar koordinātām).

Pārbaudīti lietošanas gadījumi

Vizuāla spriešana drūzmēšanās diagrammās: modelis var savstarpēji saistīt datumus ar nedēļas dienām, interpretēt diagrammas struktūru, noteikt zemāka blīvuma periodus (piemēram, 12:00–14:00) un ģenerēt skaidru ieteikumu par labāko apmeklējuma laiku. Šeit mēs redzam spriešanu, izmantojot vairāki soļi kas apvieno kalendāru, vizuālo lasīšanu un loģiku.

STEM problēmas no fotoattēliem: Saskaroties ar tilta ķēdi, ko nevar atrisināt ar vienkāršu virknes paralēlslēgumu, modelis piemēro Oma un Kirhhofa likumus, izveido mezglu vienādojumus un iegūst pareizu analītisko rezultātu (piemēram, R = 7/5 Ω). Tas ilustrē tā spēju tehniski lasīt diagrammas un simboliskā spriešana.

Vizuāla zemējuma noteikšana ar strukturētu izvadi: ņemot vērā uzdevumu “Identificēt visus cilvēkus uzvalkos un atgriezt viņu norobežojošās kastes JSON formātā”, tas nosaka indivīdus un sniedz precīzas skaitliskās koordinātas. Galvenais ir apvienot zemējumu ar sekojot norādījumiem un programmējams izejas formāts.

“Domāšana attēlos” detalizētai OCR atpazīšanai: ja lietotājs pieprasa tekstu uz zilas zīmes fonā, ieslēdzas tālummaiņas rīks, kas ļauj detalizētāk identificēt sīkas etiķetes (piemēram, “HOTEL BUZA”). uzticamībuTas ir piemērs dinamisks fokuss smalkos reģionos.

Garastes zināšanu rīku izmantošana: Saskaroties ar apaļu dzeltenu plīša rotaļlietu, modelis nolemj aktivizēt ārēju attēlu meklēšanu, salīdzina atribūtus un secina, ka tas ir “Dundun”, kas saistīts ar MINISO. Šis process demonstrē savu orķestrēšanas jauda soļu skaits ar instrumentiem.

Video saspiešana: ekstrakti subtitri ar laika zīmogiem un nosaka konkrētas ainas (piemēram, segmentus ap 17, 37 un 47 sekundēm, kas filmēti uz tilta). Šeit tiek apvienota teksta ekstrakcija, laika spriešana un telpiski laikveida analīze saturu.

Vēl viens ievērojams variants: ERNIE-4.5-21B-A3B-Thinking

Līdztekus VL-28B versijai ir pieejama arī versija, kas koncentrējas uz teksta/koda spriešanu ar kopumā 21 miljardu žetonu un 3 miljardiem aktīvo žetonu uz vienu žetonu. Tā tika radīta ar ideju “gudrāk, nevis vairāk”, demonstrējot ievērojamu sniegumu loģikā, matemātikā, programmēšana un ilgstošas ​​spriešanas ķēdes. Publicēts sadaļā Apache-2.0 Un ar paplašinātu konteksta logu (diapazonā no 128 K līdz 131 K) tas ir ļoti pievilcīgs gara formāta uzdevumiem un vairāku dokumentu salīdzinošai analīzei.

Viens no tā pārdošanas argumentiem ir cena: dažās platformās ir reklamētas indikatīvas maksas ar ļoti agresīvām izmaksām par miljonu žetonu (piemēram, 0,07 ASV dolāri par ievadi un 0,28 ASV dolāri par iziešanu, un pat “0 ASV dolāri/0 ASV dolāri” dažās 21 B konfigurācijās), lai gan ieteicams pārbaudīt faktisko pieejamību un apstākļus, jo izvietošanas ekosistēma un tirdzniecības līgumiem var atšķirties.

Tirgus salīdzinājumi un troksnis

Attiecībā uz slaveno mazo grafiku, kurā tas tiek salīdzināts ar Gemini 2.5 Pro un "augstu" GPT-5: tas ir mārketinga pētījums, nevis neatkarīgs audits. Tomēr, salīdzinot ar publiski pieejamām baterijām (Qwen2.5-VL-7B/32B utt.), modelis ir noturīgs. Kā vienmēr, vislabāk to pārbaudīt ar mērķa datiem un metriku, jo vispārināšana Tas atšķiras atkarībā no jomas, uzdevumu kvalitātes, pieejamajiem rīkiem un ievades datu kombinācijas (teksts/attēls/video).

Kvantācijas un atmiņas prasības

Lokālās izvietošanas gadījumā kvantēšana palīdz. Ar FP16 tiek lēsts, ka tie ir aptuveni ~56 GB VRAM; ar 4 bitu versiju — aptuveni ~14 GB; un ar 2 bitu versiju — ~7 GB. Piezīme. Šie skaitļi ir atkarīgi no izpildlaika un pakotnes. Piemēram, dažās FastDeploy rokasgrāmatās ir minēts vismaz 24 GB uz vienu karti, bet citās vidēs (piemēram, prasīgākā vLLM) konkrētām konfigurācijām tiek norādīts 80 GB. Atkarībā no steka (PaddlePaddle, PyTorch, kodoli, secības garums(, partija, KV kešatmiņa), praktiskā figūra var kustēties.

Daudzvalodu atbalsts un moderācija

Vēl viena priekšrocība ir vairāku valodu atbalsts, neupurējot redzamību. Lietotājam draudzīgā ražošanas vidē iebūvētā moderācija pievieno drošības slāni, kas samazina izvietošanas riskus. Strukturēta izvade un funkciju izsaukumi ļauj modeli integrēt kā "dzinēju" cauruļvados ar ārējie rīkine tikai kā tērzēšanas robots.

Ekstrēms dokumentālās izpratnes piemērs

Modelis var apstrādāt sarežģītas vēsturiskas transkripcijas, piemēram, tekstus par "Pieciem Vo karaļiem" ķīniešu avotos, savstarpējas atsauces no "Dziesmu grāmatas", uzrakstus uz Kvangeto steles vai zemsvītras piezīmes ar gadiem (piemēram, 478) un vietām (Dzi'ana, Dzilina). Šāda veida ievades dati apvieno tulkojumus, skaidrojošas piezīmes un arheoloģisko kontekstu (apbedījumu uzkalniņus, zobenus ar uzrakstiem, piemēram, "Daio", kas saistīts ar Bu/Jūrjaku). Sistēma, piemēram, ERNIE-4.5-VL-28B-Thinking, var segmentēt šo materiālu, atpazīt īpašvārdus (Yomi, Mí, Sei, Ō, Bu) un sasaistīt tos ar impērijas figūras japāņu valodā un formulēt sakarīgu kopsavilkumu ar faktiem: veltījumi Ķīnas dienvidu dinastijām, konflikts Korejas pussalā, dzelzs resursu bāze Karā/Imnā utt.

Ieviešana, piekļuve un bieži uzdotie jautājumi

Ir vairāki veidi, kā testēt un izvietot ERNIE 4.5. Baidu piedāvā piekļuvi tīmeklim, lai sāktu darbu bez instalēšanas. Integrācijas ar trešo pušu platformām (piemēram, Novita API Playground) atvieglo modeļa novērtēšanu izstrādes vidēs un izmaksu mērīšanu. Lokālai izvietošanai ieteicamais steks parasti ir... Linuxar PaddlePaddle (ERNIEKit) un savstarpēju saderību ar Transformers PyTorch, izmantojot uzticības_attālā_kods kad tas pieskaras.

Izvietošana ar Transformers (PyTorch)

Tipisks maršruts ietver modeļa ielādi ar AutoModelForCausalLM, attēla pirmapstrādes pievienošanu no AutoProcessor un multimodālu ziņojumu veidošanu, kas apvieno tekstu un attēlu/video. Pēc tam tas tiek ģenerēts ar atbilstošiem marķieru ierobežojumiem, un izvade tiek dekodēta. Galvenais ir tas, ka procesors pārvaldīt gan tērzēšanas veidni, gan vizuālo tenzoru sagatavošanu.

<!-- Ejemplo orientativo (parafraseado) -->
from transformers import AutoModelForCausalLM, AutoProcessor
import torch

name = "baidu/ERNIE-4.5-VL-28B-A3B-Thinking"
model = AutoModelForCausalLM.from_pretrained(
    name, device_map="auto", dtype=torch.bfloat16, trust_remote_code=True
)
processor = AutoProcessor.from_pretrained(name, trust_remote_code=True)
model.add_image_preprocess(processor)

messages = [{
  "role": "user",
  "content": [
    {"type": "text", "text": "¿De qué color es la ropa de la chica?"},
    {"type": "image_url", "image_url": {"url": "https://.../example1.jpg"}}
  ]
}]

text = processor.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = processor.process_vision_info(messages)
inputs = processor(text=[text], images=image_inputs, videos=video_inputs, padding=True, return_tensors="pt")

out_ids = model.generate(**{k: v.to(model.device) for k, v in inputs.items()}, max_new_tokens=256)
print(processor.decode(out_ids[0][len(inputs["input_ids"][0]):]))

Secinājums ar vLLM

vLLM paātrina secinājumu izdarīšanu un pievieno tādas opcijas kā parsētājus, kas īpaši paredzēti spriešanai un rīku izsaukumiem. Neaizmirstiet to iespējot. –uzticības tālvadības kods apkalpojot modeli, ja repozitorijs to pieprasa.

# Instalar nightly (orientativo)
pip install -U vllm --pre --extra-index-url https://wheels.vllm.ai/nightly

# Servir el modelo
vllm serve baidu/ERNIE-4.5-VL-28B-A3B-Thinking --trust-remote-code

# Con parsers de razonamiento y herramientas
evllm serve baidu/ERNIE-4.5-VL-28B-A3B-Thinking \
  --trust-remote-code \
  --reasoning-parser ernie45 \
  --tool-call-parser ernie45 \
  --enable-auto-tool-choice

FastDeploy un ERNIEKit

FastDeploy ļauj ātriem pakalpojumiem piekļūt ar parametriem maksimālā garuma, secību skaita, kvantizācijas (wint8/INT4), spriešanas parsētāju un multimodālo procesora iestatījumu (piemēram, image_max_pixels) kontrolei. Minētās VRAM prasības atšķiras; komentāri ir sniegti kopš tā laika. 24 GB uz vienu karti līdz pat scenārijiem, kuriem citos ceļvežos nepieciešami 80 GB; tas ir atkarīgs no modeļa, precizitātes, partijas un garumu kombinācijas.

# Ejemplo orientativo
fastdeploy serve --model baidu/ERNIE-4.5-VL-28B-A3B-Thinking \
  --max-model-len 131072 \
  --max-num-seqs 32 \
  --port 8180 \
  --quantization wint8 \
  --reasoning-parser ernie-45-vl-thinking \
  --tool-call-parser ernie-45-vl-thinking \
  --mm-processor-kwargs '{"image_max_pixels": 12845056 }'

Precīza regulēšana (SFT/LoRA) un saskaņošana (DPO)

ERNIEKit, kura pamatā ir PaddlePaddle, nodrošina gatavas konfigurācijas SFT ar un bez LoRA, kā arī DPO. Tas ir noderīgi modeļa pielāgošanai konkrētām jomām (piemēram, rūpniecības dokumentiem, vizuālajai pārbaudei, veidlapām), vienlaikus saglabājot multimodāla robustumsVarat lejupielādēt modeļu krātuvi un palaist apmācības veidnes, kas iekļautas rīkkopa piemēros.

Piekļuve, izmantojot API un platformas

Papildus Baidu platformai ir arī integrācijas, kas ir saderīgas ar standartu. OpenAI API. Tas vienkāršo migrāciju no esošajiem rīkiem (piemēram, komandrindas klientiem vai redaktoriem, piemēram, Cursor), izvairoties no nepieciešamības atkārtoti veikt integrācijas. Daži GPU mākoņi (piemēram, Novita AI) reklamē instances ar pietiekamu VRAM un stundas cenām, kā arī mērogojamību uz vairākiem GPU, kas ir noderīgi, ja vēlaties pārbaudīt lielas konfigurācijas bez ieguldījumiem detaļas pašu

Komerciālā licence un lietošana

ERNIE 4.5 saime tiek izlaista saskaņā ar Apache 2.0 — atļaujošu licenci, kas atļauj komerciālu izmantošanu, ievērojot noteikumus un paziņojumus. Tas atvieglo maksas produktu izveidi, integrējot modeli un tā atvasinājumus, ja vien tiek saglabāta… licences atbilstība un atbilstošo atsauci (piemēram, atsaucoties uz tehnisko ziņojumu).

Cenas un konteksts

Ir sniegtas ļoti konkurētspējīgas cenu atsauces. Piemēram, 300B A47B versijai minētais konteksts ir 123 000 USD ar indikatīvām izmaksām 0,28 USD/miljons ievades un 1,10 USD/miljons izvades; 21B A3B versijai reklamētās cenas ir pat 0/0 USD. Ieteicams pārbaudīt pieejamību un precīzus nosacījumus attiecīgajā platformā, jo cenas ir atkarīgas no pakalpojumu sniedzēja. lietošanas maksa, reģionu un SLA.

Veiktspēja reālās dzīves uzdevumos

Papildus darbam interesanti ir tas, kur tas izceļas: dokumentu lasīšana ar teksta un vizuālo elementu (zīmogu, tabulu, parakstu) sajaukumu, datu iegūšana ar pamatojumu (koordinātām), STEM problēmu risināšana no fotogrāfijām vai tāfelēm, video kopsavilkumi ar notikumu laika atrašanās vietu un instrumentu lietošana Ilgtermiņa zināšanām. Ja jūsu pieteikums atbilst šim profilam, sadaļā “Domāšana” var pievienot noderīgu informāciju.

Ātrie bieži uzdotie jautājumi

• Ko nozīmē “Domāšana ar attēliem”? — Tā ir darbplūsma, kas apvieno tālummaiņu un vizuālu meklēšanu, lai uztvertu detaļas un konsultētos ar ārējām zināšanām, ja ar iekšējām zināšanām nepietiek, tādējādi uzlabojot smalka spriešana.
• Cik daudz videoatmiņas man ir nepieciešams? — Tas atkarīgs no apstākļiem. Aptuvens aprēķins: FP16 ~56 GB; INT4 ~14 GB; 2 bitu ~7 GB. Taču izpildlaika un konteksta lielums var paaugstināt latiņu, īpaši ar vLLM.
• Vai tas integrējas ar rīkiem? — Jā, tas atbalsta funkciju izsaukumus un JSON izvadi, nodrošinot multimodālu aģentu saslēgšanos ķēdē ar zemējuma funkciju, OCR, meklēšanu utt. pārbaudāmas darbības.
• Vai pastāv spēcīga alternatīva “tikai tekstam”? — ERNIE-4.5-21B-A3B-Thinking izceļas ar loģiku, matemātiku un kodēšanu, ar labu attiecību. izmaksu un veiktspējas attiecība un plašākā kontekstā.

Ja meklējat multimodālu modeli, kas līdzsvaro efektivitāti un jaudu, ERNIE-4.5-VL-28B-A3B-Thinking ir īpaši pievilcīgs. Tā pamatprincipi ir precīzi noregulēta MoE (130 eksperti ar 14 aktīviem lietotājiem), ViT, kas savienots ar koplietojamu teksta telpu, ortogonāli maršrutētāja zudumi un marķieru līdzsvaroti multimodāli zudumi, ko pastiprina spriešanas apmācības vidusposms, RL ar GSPO/IcePop un "domāšana attēlos". Tā demonstrācijas demonstrē... vizuālā spriešana Daudzpakāpju, precīza iezemēšana, STEM apguve no fotoattēliem, rīku lietošana un laika ziņā atbilstoša video izpratne. Elastīga piekļuve (Baidu, saderīgas API, lokāla izvietošana ar Paddle/Transformers), Apache 2.0 licence un kvantizācijas iespējas papildina paketi, kurai, neņemot vērā mārketingu, ir tehniskais pamats, lai ļoti labi konkurētu.