GIGABYTE AI TOP ATOM vs. NVIDIA DGX Spark: Pöytätietokoneiden tekoälyn tehon vertailu

Minikokoisten pöytätietokoneiden välinen taistelu on käymässä mielenkiintoiseksi: GIGABYTE AI TOP ATOM vastaan ​​NVIDIA DGX Spark . Molemmat jakavat NVIDIAn uuden tekoälylaskennan aikakauden ytimen , mutta ne tulevat eri muodoissa: toinen referenssialustana ja toinen käyttövalmiina tuotteena suoraan pakkauksesta. Jos olet etsinyt vakavasti otettavaa tekoälysuorituskykyä ilman laitteistokokoonpanon kokoamista, tässä on paljon harkittavaa.

Puhumme laitteista, jotka ovat kooltaan tuskin litran kokoisia ja lupaavat suorituskykylukuja, jotka olivat vielä äskettäin mahdottomia kuvitellakaan näin pienessä PC:ssä: yhden petaflopin tekoälytehoa FP4:ssä (1 1.000 TOPS) , nopeaa yhtenäistä muistia ja koko NVIDIA-ohjelmistoekosysteemiä seuraavan sukupolven mallien luomiseen, jalostukseen ja päättelyyn. Ja kyllä, kaikki tämä alhaisella virrankulutuksella ja tarvittaessa skaalautuvilla verkkoyhteyksillä.

Mitä kukin on: DGX Spark -alusta ja GIGABYTEn mini-PC

Kontekstia annan: NVIDIA DGX Spark on NVIDIAn pöytätietokoneiden referenssialusta (aiemmin tunnettu nimellä Project DIGITS), ja se on MediaTekin kanssa tehdyn yhteistyön tulos . Se toimii perustana, jolle useat valmistajat voivat rakentaa kompakteja tekoälytietokoneitaan. Tämän viitekehyksen puitteissa tuotemerkit, kuten MSI ja ASUS, ovat jo esitelleet tarjontaansa, ja nyt GIGABYTE liittyy mukaan taisteluun omalla ainutlaatuisella twistillään.

Tämä käänne on GIGABYTE AI TOP ATOM , litran kokoinen minitietokone, joka hyödyntää DGX Sparkin teknistä perustaa ja pakkaa sen valmiiksi tuotteeksi, jolla on selkeät tekniset tiedot, omat apuohjelmat ja kaupallinen saatavuus. Toisin sanoen Spark asettaa standardin, ja AI TOP ATOM on GIGABYTEN konkreettinen tulkinta siitä, miten tämä teho tuodaan kehittäjien työpöydille, tutkimuskeskuksiin ja luokkahuoneisiin.

Arkkitehtuuri: NVIDIA GB10 Grace Blackwell ylhäältä alas

Yhteinen nimittäjä on NVIDIA Grace Blackwell GB10 -superpiiri , SoC, joka yhdistää suorittimen ja näytönohjaimen laajakaistaiseen yhdistettyyn muistiin. Suorittimen puolella on 20-ytiminen Armv9- prosessori, jossa on 10 tehokasta Cortex-X925-ydintä ja 10 Cortex-A725-ydintä tehokkuuden takaamiseksi. Tämä yhdistelmä tarjoaa ketteryyttä sekä esikäsittely- että orkestrointitehtävissä ja monimutkaisissa tekoälyprosessointiprosesseissa.

Näytönohjain toteuttaa Blackwell -arkkitehtuuria NVIDIAn uusimman sukupolven erikoisytimillä: 5. sukupolven Tensor-ytimillä tekoälyn kiihdyttämiseen ja 4. sukupolven RT-ytimillä säteenseurantaa varten. Lisäksi GB10 integroi yhden NVENCin ja yhden NVDECin , jotka ovat hyödyllisiä työskenneltäessä videovirtojen kanssa analytiikassa tai multimodaalisissa sovelluksissa. Kaiken tämän yhdistää NVLink-C2C , erittäin nopea "liima" suorittimen ja näytönohjaimen välillä, joka ylittää reilusti PCI Express 5.0:n tarjoamat ominaisuudet järjestelmässä.

Tekoälyn suorituskyky ja mallien koot

Silmiinpistävin luku on generatiivisen tekoälyn matalan tarkkuuden laskentateho : 1 000 TOPS neljännessä puiteohjelmassa, mikä vastaa yhtä petaFLOPia . Käytännössä tämä tarkoittaa, että pienessä kotelossa voidaan luotettavasti ajaa ja tarkentaa nykyaikaisia ​​kieliä ja multimodaalisia malleja, tehdä nopeita prototyyppien luomuksia ja ottaa käyttöön vaativia päätelmiä ilman, että on turvauduttu pilveen.

Mallin koon osalta lähteistä saadut tiedot eivät ole monoliittisia, ja on parasta tarkastella niitä kokonaisuudessaan: toisaalta paikallinen tuki on osoitettu malleille, joissa on jopa 200 miljardia parametria yhdessä yksikössä; toisaalta mainitaan myös, että se "lupaa tukea LLM-malleille, joissa on jopa 70 biljoonaa ja 200.000 biljoonaa (USA) parametria". Jälkimmäinen muotoilu leikittelee espanjankielisen "billones":n ja englanninkielisen "billion":n välisen epäselvyyden kanssa, mutta keskeinen viesti pysyy: näiden koneiden toimintakynnys on nykyisten LLM-mallien osalta vankasti korkeimmalla tasolla.

Kun kaksi yksikköä yhdistetään, yhdistetty raja skaalautuu noin 405.000 miljardiin parametriin , mikä avaa oven entistä suurempiin malleihin ja hajautettuihin työkuormiin. Laajennettuja konteksteja, suuria indeksejä sisältäviä RAG-ryhmiä tai monivaiheisia prosesseja tutkiville tämä lisämarginaali on ratkaisevan tärkeä.

Tämän tyyppinen suorituskyky ei ole tarkoitettu vain laboratorioille: kehitys, koulutus, tutkimus, tiede, älykaupungit ja robotiikka ovat nousemassa luonnollisiksi sovelluksiksi. PetaFLOP-tekoälyn käyttö pöydällä nopeuttaa testausta, vähentää käyttökustannuksia ja mahdollistaa ketterän iteroinnin ilman pilvijonoja.

Yhtenäinen muisti, tallennustila ja kaistanleveys

Järjestelmämuisti on vahva ominaisuus: 128 Gt LPDDR5X-muistia 256-bittisellä väylällä , jonka kaistanleveys on noin 273 Gt/s. CPU:n ja GPU:n yhdistäminen yksinkertaistaa ohjelmointia ja välttää päällekkäisiä kopioita, mikä on kriittistä suurten tensorien ja erien käsittelyssä kevyessä harjoittelussa tai suuren samanaikaisuuden päättelyssä.

Tallennustilaa varten GIGABYTE tarjoaa jopa 4 Tt:n PCIe Gen5 SSD -levyjä , vaikka jotkin kaupalliset kokoonpanot alkavat 1 Tt:stä ​​PCIe 4.0:ssa . Kapasiteetin lisäksi avainasemassa on se, että pullonkaulat minimoidaan suuria malleja ladattaessa tai suuria tiedostoja nopeasti kopioitaessa , kokoelmia tai ääni- ja kuvadatajoukkoja upottaessa, mikä pitää järjestelmän suorituskyvyn optimaalisella tasolla.

Sisäinen NVLink-C2C -liitäntä on toinen keskeinen ero. Tarjoamalla huomattavasti suuremman kaistanleveyden kuin PCIe 5.0 suorittimen ja näytönohjaimen väliseen tiedonsiirtoon järjestelmäpiirin sisällä, se vähentää viivettä ja hyödyntää yhtenäistä muistia tiedonsiirtoherkissä tilanteissa, jotka ovat juuri niitä, joita generatiivisessa tekoälyssä ja koneoppimisessa on eniten.

Yhteydet ja laajennusmahdollisuudet pidemmälle

Porttien ja liitettävyyden suhteen se ei jää jälkeen. Laite sisältää vakiona 10GbE:n tehokkaaseen langalliseen verkkoon, Wi-Fi 7:n ja Bluetooth 5.3:n modernia langatonta yhteyttä varten sekä HDMI 2.1a:n ja useita USB 3.2 Gen 2x2 Type-C -portteja (mukaan lukien yksi, jossa on PD IN virransyöttöä varten). Monikanavainen ääni lähetetään HDMI:n kautta, joten se kattaa myös multimediatarpeet ilman lisävarusteita.

Tämän kasvun mahdollistava komponentti on NVIDIA ConnectX-7 SmartNIC . Se yhdistää kaksi järjestelmää jopa 200 Gbps :n yhteyksillä , mikä mahdollistaa matalan latenssin klusterilaskennan. Lähteet kuvailevat tätä rajapintaa myös nimellä ConnectX-7 InfiniBand NIC , korostaen sen keskittymistä minimaaliseen latenssiin ja jatkuvaan kaistanleveyteen. Käytännössä tämä mahdollistaa kaistanleveyden kasvattamisen 200 Mbps:stä noin 405 Mbps:iin kahta solmua yhdistettäessä.

Kahden yksikön yhdistämisen lisäksi toiminnallisesta näkökulmasta on mahdollista pinota useita AI TOP ATOM -yksiköitä ja linkittää ne ConnectX-7:n kautta, jolloin niitä voidaan käyttää samanaikaisesti ja verkkokansioiden synkronointi on helppoa . Tutkimustyöpajoissa tai edistyneissä luokkahuoneissa modulaariset "lohkot" ovat erityisen käytännöllisiä.

Ohjelmistot, käyttöjärjestelmät ja apuohjelmat

Ohjelmiston suhteen ei ole tehty kompromisseja: laite tukee NVIDIA DGX OS:ää ja Ubuntu Linuxia ja integroituu NVIDIA AI -ohjelmistopinoon – työkaluihin, kehyksiin ja kirjastoihin, joita käytetään huippuluokan tekoälyprojektien rakentamiseen ja käyttöönottoon. Tämä madaltaa aloituskynnystä sekä CUDA-ekosysteemiin jo perehtyneille että koulutustiimeille ja mahdollistaa esimerkiksi Linuxin vakiolaiteohjelmistopäivitykset .

GIGABYTE sisältää myös AI TOP Utility -kerroksen, joka yksinkertaistaa yleisiä työnkulkuja: mallien latauksia, päättelyä, RAG:ia ja koneoppimista – kaikki suoremman käyttöliittymän kautta. Tarjonta korostaa paikallisten tietojen yksityisyyttä ja turvallisuutta , joten se on ihanteellinen organisaatioille, joiden on noudatettava määräyksiä tai jotka yksinkertaisesti haluavat pitää arkaluonteiset tietonsa sisäisesti.

Fyysinen suunnittelu, kulutus ja muoto

Koko järjestelmä mahtuu noin litran kokoiseen runkoon . Se on yllättävän kompakti kotelo, jonka viralliset mitat ovat 150 × 150 × 50,5 mm ja paino noin 1,2 kg . Virtaa syöttää ulkoinen 240 W:n sovitin , joka riittää ylläpitämään huipputehon ongelmitta, ja lähteiden mukaan järjestelmä on yhteensopiva tavallisten kotitalouksien pistorasioiden kanssa ilman erityistä infrastruktuuria.

Koon lisäksi GIGABYTE on ottanut huomioon nopean ja helpon käyttöönoton: useita yksiköitä voidaan fyysisesti pinota ja yhdistää sopivan SmartNIC:n avulla, mikä auttaa rakentamaan pienen klusterin hyvin pieneen tilaan. Projektipohjaisille käyttäjille mahdollisuus lisätä ja poistaa solmuja tarpeen mukaan on korvaamaton.

GIGABYTE AI TOP ATOM -prosessorin tärkeimmät tekniset tiedot

• SoC – NVIDIA GB10
  • prosessori – 20 Armv9-ydintä, joissa on 10× Cortex-X925 ja 10× Cortex-A725
  • Arkkitehtuuri – NVIDIA Grace Blackwell
  • GPU – Blackwellin arkkitehtuuri
  • CUDA-ytimet – Blackwellin sukupolvi
  • Tensoriytimet – 5. sukupolvi
  • RT-ytimet – 4. sukupolvi
  • Tensorin suorituskyky – 1 000 tekoälykärkeä (FP4)
  • VPU – 1× NVENC, 1× NVDEC
• Järjestelmän muisti – 128 Gt 256-bittinen LPDDR5X (≈273 Gt/s)
• varastointi – Jopa 4 Tt:n PCIe Gen5 SSD-levy
• Video – HDMI 2.1a -lähtö
• Audio- – Monikanavainen ääni HDMI:n kautta
• punainen
  • 1 × 10GbE RJ45
  • SmartNIC ConnectX‑7 kahden järjestelmän yhdistämiseen jopa 200 Gbps:n nopeudella
  • Wi-Fi 7 y Bluetooth 5.3
• USB
  • 1 × USB 3.2 Gen 2 × 2 Type-C (PD IN)
  • 3 × USB 3.2 Gen 2 × 2 Type-C (jopa 20 Gbps)
• kulutus – 240 W ulkoinen virtalähde
• mitat – 150 × 150 × 50,5 mm
• paino - 1,2 kg

Hinta ja saatavuus

GIGABYTE AI TOP ATOM on nyt saatavilla jälleenmyyjillä, kuten Newegg , ja lähtöhinta 1 Tt:n PCIe 4.0 SSD -versiolle on noin 3 499,99 dollaria . Ylempänä ovat 4 Tt:n PCIe 4.0 -vaihtoehto (noin 3 899,99 dollaria) ja huippuluokan 4 Tt:n PCIe 5.0 -versio (noin 3 999,99 dollaria). Kuten aina, on suositeltavaa varmistaa saatavuus paikallisilta jälleenmyyjiltä ja tarkistaa viralliselta tuotesivulta ja lehdistötiedotteesta kokoonpanot ja toimitusajat.

Ekosysteemi ja vaihtoehdot samalla perusteella

Tämän alustan tulo ei rajoitu GIGABYTEen. MSI ja ASUS ovat jo esitelleet omia mini-PC:itään, jotka perustuvat samaan NVIDIA DGX Spark -siruun, mikä vahvistaa, että kyseessä on käytännössä standardi pöytäkoneiden tekoälyssä. Loppukäyttäjälle tämä tarkoittaa sitä, että heidän on valittava valmistaja, joka parhaiten vastaa heidän tarpeitaan suunnittelun, porttien, palvelun ja lisäominaisuuksien suhteen, tietäen, että taustalla oleva teknologia (GB10) on sama.

Suora vertailu: AI TOP ATOM vs. DGX Spark

Kaiken edellä mainitun perusteella vertailu selkeytyy. DGX Spark on konsepti ja vertailukohta: se määrittelee 1 litran kokoluokan, GB10 Grace Blackwell -piirisarjan käytön ja tavoitteen tuoda markkinoille petaFLOP FP4. Tämän pohjalta GIGABYTEn AI TOP ATOM on lopullinen tuote, joka ilmentää tätä ideaa 128 Gt:n yhtenäisellä muistilla, nopealla tallennuksella, erillisillä porteilla ja omalla apuohjelmallaan tekoälytyönkulkujen yksinkertaistamiseksi.

Raakatehon ja malliston suhteen kyseessä ovat käytännössä samat luvut (1 000 TOPS FP4:ää ja jopa 200 B parametria yhdellä solmulla ja noin 405 B kahdella yhdistetyllä solmulla). Käytännön erot ovat toteutuksessa : mukana tulevissa apuohjelmissa (AI TOP Utility), tarkasta porttikokoonpanosta, tallennusvaihtoehdoista sekä tietysti hinnasta ja saatavuudesta . Jos etsit "valmis"-kokemusta alkuperäislaitevalmistajalta, Atom sopii täydellisesti.

Kuvan täydentämiseksi on syytä palauttaa mieleen, mitä espanjankieliset lähteet ovat huomauttaneet: GIGABYTE mainitsee nimenomaisesti useiden yksiköiden ja sovellusten pinoamisen koulutuksesta ja tieteestä älykkäisiin kaupunkeihin ja robotiikkaan. Spark-henki pysyy ennallaan: todellista tekoälyn tehoa minimaalisessa koossa ja välittömällä skaalautuvuudella, kun tarvitaan enemmän prosessointitehoa.

On selvää, että puhumme sukupolvenvaihdoksesta "työpöytätekoälyn" saralla: minitietokone, kuten GIGABYTE AI TOP ATOM , perii NVIDIA DGX Sparkin (entinen Project DIGITS) ytimen , pakkaa yhden petaFLOPin FP4-muistia litraan, tarjoaa 128 Gt yhtenäistä tallennustilaa NVLink-C2C:n kanssa, nostaa parametrit jopa 405 B:hen kahden solmun parittamisen yhteydessä ConnectX-7:n kautta ja yhdistää NVIDIA-pinon DGX OS/Ubuntuun ja AI TOP -apuohjelmaan latausten, päättelyn, RAG:n ja koneoppimisen helpottamiseksi. Jos tähän lisätään 10GbE , HDMI 2.1a , USB 3.2 Gen 2x2 ja Neweggissä jo julkaistut hinnat, meillä on erittäin vankka ehdotus tutkimukselle, luokkahuoneille ja tiimeille, jotka haluavat nopeuttaa tekoälysyklejään ilman erillistä palvelinta.

Aiheeseen liittyvä artikkeli:

NPU:n käyttö Copilot+ PC:ssä: Täydellinen opas tekoälyn hyödyntämiseen parhaalla mahdollisella tavalla

Isaac

Intohimoinen kirjoittaja tavujen maailmasta ja tekniikasta yleensä. Rakastan jakaa tietämykseni kirjoittamalla, ja sen aion tehdä tässä blogissa, näyttää sinulle kaikki mielenkiintoisimmat asiat vempaimista, ohjelmistoista, laitteistoista, teknologisista trendeistä ja muusta. Tavoitteeni on auttaa sinua navigoimaan digitaalisessa maailmassa yksinkertaisella ja viihdyttävällä tavalla.