Was ist ERNIE-4.5-VL-28B-A3B-Thinking und wie holt man das Beste daraus heraus?

Das Label „Thinking“ ist still und leise auf Baidus ERNIE-4.5-VL-Festplattenfamilie aufgetaucht und hat für einige Kontroversen gesorgt. Neben Kommentaren, dass die Markteinführung fast vollständig geheim gehalten wurde, kursiert nun eine kleine Grafik, die die Festplatten mit Konkurrenzprodukten wie … vergleicht. Gemini 2.5 Pro und ein hypothetisches „hohes“ GPT-5 sowie das Versprechen eines Modus von „Denken in Bildern“ Da die Funktionsweise nicht besonders gut erklärt wird, fragen sich viele, ob dieses Modell wirklich so gut ist, wie die Werbung verspricht. Fakt ist: Schon frühere Versionen des Ernie waren recht leistungsfähig, daher lohnt es sich, genauer hinzusehen und die Werbeversprechen von der Realität zu trennen.

Kurz gesagt, ERNIE-4.5-VL-28B-A3B-Thinking ist ein multimodales Bildverarbeitungs- und Sprachmodell mit einer Mixture-of-Experts-Architektur (MoE), das aktiviert nur ~3 Milliarden Parameter pro Token von insgesamt 28 Milliarden. Dies ermöglicht ein sehr interessantes Gleichgewicht zwischen Leistung und Effizienz. Die Variante „Denken“ beinhaltet ein fortgeschrittenes Training mit Fokus auf multimodales Denken, stärkt die semantische Übereinstimmung zwischen Text und Bild und ergänzt es um Verstärkungsstrategien wie GSPO und IcePop zur Stabilisierung der MoE in überprüfbaren Aufgaben. Zusätzlich verfügt sie über die bekannte Funktion „Denken mit Bildern“, die Zoom und … kombiniert. visuelle Suche um feine Details und langfristiges Wissen zu extrahieren.

Was ist ERNIE-4.5-VL-28B-A3B-Thinking und warum ist es wichtig?

Innerhalb der ERNIE 4.5-Familie ist die Version VL-28B-A3B-Thinking als Modell positioniert. leicht, aber ambitioniert im multimodalen Schließen. Es nutzt eine MoE-Architektur mit insgesamt 28.000 Milliarden Parametern und ~3.000 Milliarden Assets pro Token, wodurch die Inferenzkosten gesenkt und gleichzeitig eine wettbewerbsfähige Leistung gegenüber größeren, dichteren Modellen aufrechterhalten werden.

Die technischen Spezifikationen sprechen von bis zu 130 Experten, von denen jeweils 14 in jedem Schritt aktiv sind. Diese Konfiguration entspricht dem Ziel der Spezialisierung je nach Eingabetyp und optimiert Stromverbrauch und Latenz. Der Router wählt automatisch die jeweils passenden Experten aus, wenn Bilder, Text oder eine Kombination aus beidem empfangen werden, um so die Effizienz zu maximieren. Vielfalt der Darstellungen und die Effizienz der Berechnung.

Für die visuelle Komponente bildet ein Vision Transformer (ViT) das Rückgrat, der das Bild in Bereiche unterteilt und diese als Tokens behandelt. Diese Projektion auf denselben Einbettungsraum wie der Text ermöglicht einen fließenden „Dialog“ zwischen den Modalitäten, unterstützt durch Trainingstechniken wie den orthogonalen Verlust des Router (damit sich die Experten nicht zu stark überschneiden) und ein tokenbasierter multimodaler Verlust wodurch verhindert wird, dass eine Modalität die andere überschattet.

Neben dem Tag „Denken“ zeichnet sich Baidu durch deutliche Verbesserungen in den Bereichen visuelles Denken, Graphenanalyse, Kausalität, Fundierung und das Befolgen visueller Anweisungen aus. Darüber hinaus bietet es die Möglichkeit, Tools aufzurufen und Ergebnisse zu generieren… strukturiert in JSON Die integrierte Inhaltsmoderation macht es zu einer soliden Komponente für multimodale Agenten.

Architektur, Ausbildung und Kompetenzen: Was es wirklich bringt

Die Philosophie von MoE erlaubt es, nur einen Bruchteil der Parameter pro Token zu aktivieren, was bedeutet, dass Recheneffizienz ohne die Gesamtgröße des Modells zu beeinträchtigen. Jeder „Experte“ kann sich auf Muster oder Aufgaben spezialisieren (z. B. OCR, Diagramme, numerisches Denken), und der Router lernt, diese kontextbezogen zu kombinieren.

In der Praxis wird dies durch zwei zentrale Trainingsideen verstärkt: einen orthogonalen Verlust für den Router – der die Diversität unter den Experten fördert – und eine tokenbasierte multimodale Verlustfunktion, die das Gleichgewicht zwischen Text und Bild während des Trainings aufrechterhält. Dadurch wird verhindert, dass das Modell bei Text hervorragend abschneidet, bei Bildverarbeitung jedoch Schwierigkeiten hat (oder umgekehrt). In VL-28B-A3B-Thinking erhöht zudem ein dem Schlussfolgern über Bild-Text-Paare gewidmetes Mid-Training die Repräsentationsfähigkeit und festigt die... multimodale semantische Ausrichtung.

Unabhängige Vergleichsanalysen (z. B. von Galaxy.AI) zeigen, dass ERNIE-4.5-VL-28B-A3B in visueller Wahrnehmung, Dokumentenverständnis und multimodaler Verarbeitung mit Alternativen wie Qwen2.5-VL-7B und Qwen2.5-VL-32B gleichzieht oder diese sogar übertrifft. Dies deckt sich mit der winzigen Werbegrafik (zugegeben, schwer lesbar), die suggeriert, dass das Modell mit Schwergewichten wie Gemini 2.5 Pro oder einem leistungsstarken GPT-5 mithalten oder diese sogar übertreffen kann. Manche vermuten, dass die Benchmark-Ergebnisse manipuliert wurden, doch die Verbesserungen des Modells durch die Verstärkungsmechanismen (GSPO, IcePop) und die dynamische Anpassung des Schwierigkeitsgrades sind nachvollziehbar. Robustheit bei überprüfbaren Aufgaben.

Die Funktion „Denken mit Bildern“ verdient besondere Erwähnung: Sie ist keine Zauberei, sondern ein Workflow, der Bildzoom und visuelle Suchwerkzeuge kombiniert, um feinste Details (Schilder, kleine Schilder, Ikonografie) zu erfassen und auf weiterführendes Wissen zuzugreifen, wenn internes Wissen nicht ausreicht. Diese Fähigkeit, zusammen mit einer einfacheren Einbindung (Aktivierung von Einbindungsfunktionen durch einfache Anweisungen), macht das Modell zu einem vielversprechenden Kandidaten für Industrieanwendungen und Szenarien mit komplexen Bildern.

In mehrsprachigen Umgebungen bietet die ERNIE 4.5-Serie hohe Leistung ohne Einbußen bei der visuellen Verständlichkeit – ein Schlüsselfaktor in globalen Arbeitsabläufen. Darüber hinaus ermöglichen strukturierte Ausgaben (JSON) und Funktionsaufrufe Anwendungsfälle, in denen das Modell nicht nur beobachtet und reagiert, sondern auch … wirkt auf Werkzeuge (zum Beispiel das Auffinden von Objekten und das Zurückgeben ihrer Begrenzungsrahmen mit Koordinaten).

Bewährte Anwendungsfälle

Visuelles Denken in Besucherdiagrammen: Das Modell kann Daten mit Wochentagen verknüpfen, die Diagrammstruktur interpretieren, Perioden geringerer Besucherdichte (z. B. 12:00–14:00 Uhr) erkennen und eine klare Empfehlung für die besten Besuchszeiten generieren. Hier sehen wir, wie das Modell auf folgende Weise argumentiert: mehrere Schritte das Kalender, visuelles Lesen und Logik vereint.

STEM-Probleme anhand von Fotos: Angesichts einer Brückenschaltung, die sich nicht durch einfache Reihen-Parallel-Schaltung lösen lässt, wendet das Modell das Ohmsche und das Kirchhoffsche Gesetz an, stellt Knotengleichungen auf und leitet ein korrektes analytisches Ergebnis ab (z. B. R = 7/5 Ω). Dies veranschaulicht seine Fähigkeit, Schaltpläne technisch zu lesen und symbolisches Denken.

Visuelle Erfassung mit strukturierter Ausgabe: Bei der Vorgabe „Alle Personen in Anzügen identifizieren und deren Begrenzungsrahmen im JSON-Format zurückgeben“ erkennt das System die Personen und liefert präzise numerische Koordinaten. Der Schlüssel liegt in der Kombination von Erfassung mit … Befolgen Sie die Anweisungen und programmierbares Ausgabeformat.

„Bildliches Denken“ für detaillierte OCR: Fragt der Benutzer nach dem Text auf einem blauen Schild im Hintergrund, wird das Zoom-Werkzeug aktiviert, wodurch auch kleinste Beschriftungen (wie „HOTEL BUZA“) detaillierter erkannt werden können. ZuverlässigkeitEs ist ein Beispiel für dynamischer Fokus in schönen Gegenden.

Nutzung von Long-Tail-Wissenswerkzeugen: Angesichts eines runden, gelben Plüschtiers führt das Modell eine externe Bildersuche durch, vergleicht Attribute und kommt zu dem Schluss, dass es sich um „Dundun“ handelt, das mit MINISO in Verbindung steht. Diese Pipeline demonstriert ihre Orchestrierungskapazität Schritte mit Werkzeugen.

Videokomprimierung: Extrakte Untertitel mit Zeitstempeln und lokalisiert bestimmte Szenen (zum Beispiel Segmente um 17, 37 und 47 Sekunden, die auf einer Brücke gefilmt wurden). Hier kombiniert es Textextraktion, zeitliche Schlussfolgerungen und raumzeitliche Analyse des Inhalts.

Eine weitere bemerkenswerte Variante: ERNIE‑4.5‑21B‑A3B‑Denken

Neben der VL-28B-Edition gibt es eine Variante mit Fokus auf Text-/Code-Reasoning, die insgesamt 21 Milliarden Token und 3 Milliarden aktive Token pro Token umfasst. Sie wurde unter dem Motto „intelligenter, nicht größer“ entwickelt und zeichnet sich durch bemerkenswerte Leistung in Logik und Mathematik aus. Programmierung und ausgedehnte Argumentationsketten. Veröffentlicht unter Apache-2.0 Und mit einem erweiterten Kontextfenster (im Bereich von 128K–131K) ist es sehr attraktiv für Aufgaben mit langem Format und die vergleichende Analyse mehrerer Dokumente.

Eines der Verkaufsargumente ist der Preis: Auf einigen Plattformen wurden Richtgebühren mit sehr niedrigen Kosten pro Million Token beworben (z. B. 0,07 $ Einstieg und 0,28 $ Ausstieg, in manchen 21B-Konfigurationen sogar „0 $/0 $“). Es empfiehlt sich jedoch, die tatsächliche Verfügbarkeit und die Konditionen zu prüfen, da das Bereitstellungsökosystem und die Geschäftsvereinbarungen variieren.

Marktvergleiche und Störgeräusche

Was die vielzitierte kleine Grafik betrifft, die den Akku mit dem Gemini 2.5 Pro und einem „hochwertigen“ GPT-5 vergleicht: Es handelt sich um Marketing, nicht um einen unabhängigen Test. Dennoch schlägt sich das Modell im Vergleich zu handelsüblichen Akkus (Qwen2.5-VL-7B/32B usw.) gut. Wie immer empfiehlt es sich, den Akku mit den eigenen Zieldaten und -kennzahlen zu testen, da… Verallgemeinerung Das hängt vom Fachgebiet, der Qualität der Eingabeaufforderungen, den verfügbaren Werkzeugen und der Mischung der Eingaben (Text/Bild/Video) ab.

Quantisierung und Speicherbedarf

Bei lokalen Bereitstellungen ist Quantisierung hilfreich. Mit FP16 wird der VRAM-Bedarf auf ca. 56 GB geschätzt, mit 4 Bit auf ca. 14 GB und mit 2 Bit auf ca. 7 GB. Hinweis: Diese Werte hängen von der Laufzeitumgebung und der Paketierung ab. Beispielsweise empfehlen einige FastDeploy-Anleitungen mindestens 24 GB pro Karte, und in anderen Umgebungen (z. B. dem anspruchsvolleren vLLM) werden für bestimmte Konfigurationen 80 GB genannt. Abhängig vom verwendeten Stack (PaddlePaddle, PyTorch, Kernel usw.) kann der VRAM-Bedarf variieren. Sequenzlänge(, Batch, KV Cache), die praktische Figur kann sich bewegen.

Mehrsprachige Unterstützung und Moderation

Mehrsprachigkeit ohne Einbußen bei der Übersichtlichkeit ist eine weitere Stärke. Und für den produktiven Einsatz mit Anwendern bietet die integrierte Moderation zusätzliche Sicherheit und reduziert Bereitstellungsrisiken. Strukturierte Ausgaben und Funktionsaufrufe ermöglichen die Integration des Modells als „Engine“ in Pipelines. externe Werkzeugenicht nur als Chatbot.

Ein extremes Beispiel für Dokumentarfilmverständnis

Das Modell kann komplexe historische Transkriptionen verarbeiten, wie beispielsweise Texte über die „Fünf Könige von Wō“ in chinesischen Quellen, Querverweise aus dem „Buch des Liedes“, Inschriften auf der Gwanggaeto-Stele oder Fußnoten mit Jahreszahlen (z. B. 478) und Ortsangaben (Ji'an, Jilin). Diese Art von Eingabe kombiniert Übersetzungen, erläuternde Anmerkungen und archäologische Kontextinformationen (Grabhügel, Schwerter mit Inschriften wie „Daio“, die mit Bu/Yūryaku in Verbindung gebracht werden). Ein System wie ERNIE-4.5-VL-28B-Thinking kann dieses Material segmentieren, Eigennamen (Yomi, Mí, Sei, Ō, Bu) erkennen und sie mit den entsprechenden Quellen verknüpfen. imperiale Figuren Japanisch und eine kohärente Zusammenfassung mit den Fakten formulieren: Tributzahlungen an südchinesische Dynastien, Konflikt auf der koreanischen Halbinsel, Stützpunkt in Kara/Imna für Eisenerzvorkommen usw.

Implementierung, Zugriff und häufig gestellte Fragen

Es gibt verschiedene Möglichkeiten, ERNIE 4.5 zu testen und einzusetzen. Baidu bietet einen Webzugriff für den Einstieg ohne Installation. Integrationen mit Drittanbieterplattformen (z. B. Novita API Playground) erleichtern die Evaluierung des Modells in Entwicklungsumgebungen und die Kostenmessung. Für lokale Bereitstellungen wird typischerweise folgender Stack empfohlen: … Linuxmit PaddlePaddle (ERNIEKit) und Cross-Kompatibilität mit Transformers in PyTorch unter Verwendung trust_remote_code wenn es berührt.

Bereitstellung mit Transformers (PyTorch)

Der typische Weg beinhaltet das Laden des Modells mit AutoModelForCausalLM, das Hinzufügen der Bildvorverarbeitung mit AutoProcessor und das Erstellen multimodaler Nachrichten, die Text und Bild/Video kombinieren. Anschließend wird die Nachricht mit geeigneten Token-Limits generiert und die Ausgabe dekodiert. Der Schlüssel liegt darin, dass… Prozessor Sowohl die Chatvorlage als auch die Erstellung visueller Tensoren verwalten.

<!-- Ejemplo orientativo (parafraseado) -->
from transformers import AutoModelForCausalLM, AutoProcessor
import torch

name = "baidu/ERNIE-4.5-VL-28B-A3B-Thinking"
model = AutoModelForCausalLM.from_pretrained(
    name, device_map="auto", dtype=torch.bfloat16, trust_remote_code=True
)
processor = AutoProcessor.from_pretrained(name, trust_remote_code=True)
model.add_image_preprocess(processor)

messages = [{
  "role": "user",
  "content": [
    {"type": "text", "text": "¿De qué color es la ropa de la chica?"},
    {"type": "image_url", "image_url": {"url": "https://.../example1.jpg"}}
  ]
}]

text = processor.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = processor.process_vision_info(messages)
inputs = processor(text=[text], images=image_inputs, videos=video_inputs, padding=True, return_tensors="pt")

out_ids = model.generate(**{k: v.to(model.device) for k, v in inputs.items()}, max_new_tokens=256)
print(processor.decode(out_ids[0][len(inputs["input_ids"][0]):]))

Inferenz mit vLLM

vLLM beschleunigt die Inferenz und bietet zusätzliche Optionen wie speziell für logisches Schließen entwickelte Parser und Tool-Aufrufe. Denken Sie daran, es zu aktivieren. –trust-remote-code beim Bereitstellen des Modells, falls das Repository dies erfordert.

# Instalar nightly (orientativo)
pip install -U vllm --pre --extra-index-url https://wheels.vllm.ai/nightly

# Servir el modelo
vllm serve baidu/ERNIE-4.5-VL-28B-A3B-Thinking --trust-remote-code

# Con parsers de razonamiento y herramientas
evllm serve baidu/ERNIE-4.5-VL-28B-A3B-Thinking \
  --trust-remote-code \
  --reasoning-parser ernie45 \
  --tool-call-parser ernie45 \
  --enable-auto-tool-choice

FastDeploy und ERNIEKit

FastDeploy ermöglicht die Bereitstellung schneller Dienste mit Parametern zur Steuerung der maximalen Länge, der Anzahl der Sequenzen, der Quantisierung (wint8/INT4), der verwendeten Parser und der Einstellungen des multimodalen Prozessors (z. B. image_max_pixels). Die angegebenen VRAM-Anforderungen variieren; dazu wurden seither Anmerkungen gemacht. 24 GB pro Karte bis hin zu Szenarien, die in anderen Anleitungen 80 GB erfordern; es hängt von der Kombination aus Modell, Genauigkeit, Charge und Längen ab.

# Ejemplo orientativo
fastdeploy serve --model baidu/ERNIE-4.5-VL-28B-A3B-Thinking \
  --max-model-len 131072 \
  --max-num-seqs 32 \
  --port 8180 \
  --quantization wint8 \
  --reasoning-parser ernie-45-vl-thinking \
  --tool-call-parser ernie-45-vl-thinking \
  --mm-processor-kwargs '{"image_max_pixels": 12845056 }'

Feinabstimmung (SFT/LoRA) und Ausrichtung (DPO)

ERNIEKit, basierend auf PaddlePaddle, bietet vorgefertigte Konfigurationen für SFT mit und ohne LoRa sowie für DPO. Es eignet sich zur Anpassung des Modells an spezifische Anwendungsbereiche (z. B. industrielle Dokumente, Sichtprüfung, Formulare) unter Beibehaltung der Funktionalität. multimodale RobustheitSie können das Modell-Repository herunterladen und die in den Toolkit-Beispielen enthaltenen Trainingsvorlagen ausführen.

Zugriff über APIs und Plattformen

Neben der Baidu-Plattform gibt es Integrationen, die mit dem Standard kompatibel sind. OpenAI APIs. Dies vereinfacht die Migration von bestehenden Tools (z. B. Kommandozeilen-Clients oder Editoren wie Cursor), da die Integrationen nicht neu erstellt werden müssen. Einige GPU-Clouds (wie Novita AI) werben mit Instanzen mit viel VRAM und stündlicher Abrechnung sowie Skalierbarkeit auf mehrere GPUs, was nützlich ist, wenn Sie möchten große Konfigurationen testen ohne zu investieren in Hardware besitzen

Kommerzielle Lizenz und Nutzung

Die ERNIE 4.5-Familie wird unter der Apache-2.0-Lizenz veröffentlicht, einer freizügigen Lizenz, die die kommerzielle Nutzung unter Einhaltung der Lizenzbedingungen und Hinweise erlaubt. Dadurch lassen sich durch die Integration des Modells und seiner Derivate problemlos kostenpflichtige Produkte erstellen, solange die Lizenzbedingungen eingehalten werden. Lizenzkonformität und die entsprechende Quellenangabe (z. B. Verweis auf den technischen Bericht).

Preise und Kontext

Es wurden sehr wettbewerbsfähige Preisbeispiele genannt. Beispielsweise wird für die 300B A47B-Edition ein Kontext von 123 Einheiten mit Richtkosten von 0,28 $/M Input und 1,10 $/M Output angegeben; für die 21B A3B wurden sogar Preise von 0 $/0 $ genannt. Es empfiehlt sich, Verfügbarkeit und genaue Konditionen auf der jeweiligen Plattform zu prüfen, da die Preise anbieterabhängig sind. Nutzungsgebühr, die Region und die SLA.

Leistung bei realen Aufgaben

Abgesehen vom Papier ist interessant, wo es seine Stärken ausspielt: beim Lesen von Dokumenten mit einer Mischung aus Text und visuellen Elementen (Stempel, Tabellen, Unterschriften), beim Extrahieren von Daten mit Bezug (Koordinaten), beim Lösen von MINT-Problemen anhand von Fotos oder Whiteboards, beim Zusammenfassen von Videos mit zeitlicher Einordnung von Ereignissen und Werkzeugverwendung Für Spezialwissen. Wenn Ihre Anwendung diesem Profil entspricht, liefert „Denken“ nützliche Ergänzungen.

Schnelle FAQ

• Was bedeutet „Denken mit Bildern“? – Es ist ein Arbeitsablauf, der Zoomen und visuelle Suche kombiniert, um Details zu erfassen und externes Wissen hinzuzuziehen, wenn internes Wissen nicht ausreicht, wodurch die Genauigkeit verbessert wird. feine Argumentation.
• Wie viel VRAM benötige ich? – Das hängt von verschiedenen Faktoren ab. Als grobe Richtlinie: FP16 ~56 GB; INT4 ~14 GB; 2-Bit ~7 GB. Laufzeitumgebung und Kontextgröße können den Bedarf jedoch erhöhen, insbesondere bei … vLLM.
• Lässt es sich in bestehende Tools integrieren? – Ja, es unterstützt Funktionsaufrufe und JSON-Ausgabe und ermöglicht so multimodale Agenten mit Funktionen wie Grounding, OCR, Suche usw., die miteinander verkettet werden können. überprüfbare Schritte.
• Gibt es eine überzeugende Alternative, die nur auf Text basiert? — ERNIE‑4.5‑21B‑A3B‑Denken zeichnet sich durch hervorragende Leistungen in Logik, Mathematik und Programmierung aus, mit einem guten Verhältnis Kosten-Leistungs-Verhältnis und einem breiteren Kontext.

Wenn Sie ein multimodales Modell suchen, das Effizienz und Kapazität optimal vereint, ist ERNIE-4.5-VL-28B-A3B-Thinking besonders interessant. Zu seinen Kernkomponenten gehören ein fein abgestimmtes MoE (130 Experten mit 14 aktiven Nutzern), ein ViT in Verbindung mit einem gemeinsamen Textraum, orthogonaler Router-Verlust und tokenbasierter multimodaler Verlust, verstärkt durch Mid-Training-Reasoning, Reinforcement Learning mit GSPO/IcePop und „Denken in Bildern“. Die Demos veranschaulichen dies. visuelles Denken Mehrstufige, präzise Erdung, STEM-Analyse von Fotos, Werkzeugnutzung und zeitbasierte Videoanalyse. Flexibler Zugriff (Baidu, kompatible APIs, lokale Bereitstellung mit Paddle/Transformers), die Apache-2.0-Lizenz und Quantisierungsoptionen runden ein Paket ab, das – Marketing hin oder her – über die technische Grundlage verfügt, um sehr wettbewerbsfähig zu sein.