Praegused AI andmekeskused seisavad silmitsi kahe põhilise kitsaskohaga skaleerimisel ja traditsiooniline skaala - UP ja SCATE - Out mudelid näevad vaeva Giga - skaala AI nõuab.
Skaala - piirangud: Saavutatud üksikute süsteemide või nagide täiendamise kaudu (nt GPU arvu suurendamine või ühe - seadme jõudluse suurendamine), kuid piiravad toitelagesid infrastruktuurist, näiteks vee jahutamisest. Olemasolevatel andmekeskustel on võimsuse sisendi ja soojuse hajumise füüsilised läved, takistades arvutustiheduse lõpmatu suurenemist nagi või andmekeskuse kohta.
Skaala - välja piirangud: Laiendatud, lisades klastrite skaleerimiseks riiulite ja serverite, kuid piiratud füüsilise ruumiga ühes saalis, kehtestades seadmete mahutavused kõvasid korgid.
Selle dilemma ületamiseks soovitab Nvidia uue mõõtme "Skaala - üle", mis optimeerides võrguühendust geograafiliselt hajutatud andmekeskuste vahel, et muuta hajutatud AI -klastrid üheks. Nvidia asutaja ja tegevjuht Jensen Huang kirjeldab seda risti - piirkondlikku AI supertehast AI tööstusrevolutsiooni võtmeinfrastruktuurina, kusjuures Spectrum - XGS on põhitehnoloogia võimaldaja.
Spektri põhitehnoloogiad - xgs
Spectrum - XGS ei ole täiesti uus riistvaraplatvorm, vaid Nvidia olemasoleva spektri - x Etherneti ökosüsteemi areng. Alates oma 2024. aasta käivitamisest on Spectrum - x edastanud 1,6x kõrgema generatiivse AI -võrgu jõudluse kui traditsiooniline Ethernet Spectrumi - kaudu 4 arhitektuuri SN5600 lülitid ja Bluefield - 3 dpus, muutudes AI -andmekeskusteks kasutatavaks AI -andmekeskuseks. Spektri-XG-de läbimurre on kolmes algoritmilises uuenduses ja riistvara sünergia, mis käsitlevad kommunikatsiooni latentsust, ummikuid ja sünkroonimisprobleeme piirkondadevahelistes GPU klastrites.
1.core algoritmid: dünaamiline kohanemine pikkade - kaugvõrgu omadustega
Spectrum - XGS -i tuum on komplekt "distant - teadlik võrgu optimeerimise algoritmid", mis analüüsivad risti - andmeid - keskmise suhtluse võtmeparameetreid - keskkommunikatsiooni reaalses - aeg (kaugus, kopulaarsed, Performance'i tasemed: Performance'i tasemed).
Kaugus - adaptiivne ummikute juhtimine:Erinevalt traditsioonilisest Etherneti kõigist ühenduste ühtsest töötlemisest kohandavad Spectrum - XGS algoritmid automaatselt ummikute läved, mis põhinevad andmekeskuste tegelikel vahemaadel (toetades praegu juurutamist kuni sadade kilomeetriteni), vältides pakettide kadumist või kogunemist pikas- distantseerub.
Täpne latentsuse haldamine:Läbi - paketi peen - teraline adaptiivne marsruutimine, see kõrvaldab latentsusaja värisemise traditsioonilistes võrkudes pakkide taasamjuures. Jitter on AI -klastrites kriitiline oht: kui üksik GPU hilinemise tõttu jääb maha, peavad kõik koostööd tegevad GPU -d ootama, mõjutades otseselt üldist jõudlust.
Lõpp - kuni - End Telemeetria: Real - Täieliku - ajakogumine Linki jõudlusandmed GPU -lt lülititele ja rist - andmetele - kesksed lingid annavad MilseCond - tasandi tagasisidet, mis tagab dünaamilise sobivuse võrku olekule.
2. Riistvara sünergiad: spektri võimendamine - x Ecosystem's High - ribalaiuse sihtasutus
Spectrum - XGS saavutab optimaalse jõudluse, kui kombineeritakse konkreetse NVIDIA riistvaraga:
Spectrum - x lülitid: Alusvõrgu selgroona, pakkudes kõrget pordi tihedust ja madalat - latentsusaja edastamist.
Connectx-8 supernik: 800 GB/S AI - spetsiaalne võrguadapter High - kiiruse andmete edastamine GPU -de ja lülitite vahel.
Blackwelli arhitektuuri riistvara: Nagu B200 GPU ja GB10 Superchips, sügavalt integreeritud spektriga - xgs, et vähendada otsa - {- lõpplatentsus. NVIDIA, mis on valideeritud NCCL (kollektiivse kommunikatsiooni teegi) võrdlusaluste kaudu: Spectrum - XGS suurendab ristsuhete jõudlust risti - andmetel - keskus GPU -d 1,9x -ga, kontrollides samas {- {11} {{{{{11} latentse. See tundub reageeriv ja viivitus - tasuta kasutaja suhtlemisel, vastates reaalsele - ajanõuetele AI järeldustele.
Täielik - virna optimeerimine AI treenimiseks ja järelduste efektiivsuseks spektriga - xgs
Spectrum - XGS ei ole isoleeritud tehnoloogia, vaid Nvidia täieliku - virna ai ökosüsteemi võtme lisamine. Selles väljaandes paljastas NVIDIA ka tarkvara - taseme jõudluse täiustused, mis sünergiseerivad spektri - xgs riistvara jaoks - algorithm - tarkvara koostöö:
Dünamo tarkvara uuendamine: Blackwelli arhitektuuri jaoks optimeeritud (nt B200 Systems), et suurendada AI mudeli järeldusi kuni 4x, vähendades märkimisväärselt arvutustarbimist suure mudeli järelduste jaoks.
Spekulatiivne dekodeerimise tehnoloogia: Kasutab väikest mustandimudelit, et ennustada eelnevalt AI peamise mudeli järgmist väljundmärki, vähendades põhimudeli arvutamist ja suurendades järelduste jõudlust täiendavalt 35%võrra. See sobib eriti vestluslike järelduste stsenaariumide jaoks suurte keelemudelite (LLMS) korral.
Nvidia kiirendatud arvutusosakonna direktor Dave Salvator teatas, et nende optimeerimiste põhieesmärk on skaleerida ambitsioonikaid agentilisi AI -rakendusi. Kas treenides triljonit - parameetri suuri mudeleid või toetavad AI järeldusteenuseid miljonitele samaaegsetele kasutajatele, annab spektri - XGS ja tarkvara ökosüsteemi kombinatsioon prognoositavat jõudlust.
Spektri varased rakendused ja tööstuse mõju - XGS
Esimesed kasutajad: Coreweave Pioneers Cross - domeen AI Super FactoryGPU pilveteenuse pakkuja Coreweave kuulub spektri - XGS esimeste lapsendajate hulka. Ettevõtte CO - asutaja ja CTO Peter Salanki märkisid, et see tehnoloogia võimaldab oma klientidel pääseda Giga - skaala AI võimalustele, kiirendades läbimurdeid tööstuses. Näiteks Ultra - suure - skaala AI projektide toetamine nagu Oracle'i, SoftBanki ja OpenAi algatus nagu Stargate'i algatus.
Tööstuse suundumused: Ethernet asendab Infinibandi kui AI võrgu peavooluEhkki Infiniband pidas 2023. aastal umbes 80% AI taustavõrgustiku turust, nihkub tööstus kiiresti Etherneti. Nvidia valik arendada spektrit - XGS Ethernetil vastab selle suundumusele:
Ühilduvus ja kulude eelised:Ethernet on globaalsete andmekeskuste universaalne standard, võrguinseneridele tuttav ja odavam kui Infiniband.
Turu skaala projektsioonid:Dell'oro Groupi andmed näitavad, et Etherneti andmekeskuse lüliti turg ulatub järgmise viie aasta jooksul ligi 80 miljardi dollarini.
Nvidia enda kasv: 650 grupi aruannet näitavad NVIDIA kui "kiireimat - kasvavat müüjat" 2024. aasta andmekeskuse Switchi turul, mille võrguettevõtluse tulud ulatuvad 5 miljardi dollarini Q 2 2024 (27. aprillil), kuni 56% aastas- võrreldes - aasta jooksul.
Spektri - XGS käivitamine laiendab NVIDIA täielikku - virna monopoli strateegia AI infrastruktuuris, õhutades samal ajal uut konkurentsi dünaamikat:
Nvidia on täis - virna paigutus: From GPUs (Blackwell), interconnects (NVLink/NVLink Switch), networks (Spectrum-X/Spectrum-XGS, Quantum-X InfiniBand) to software (CUDA, TensorRT-LLM, NIM microservices), NVIDIA has formed a closed AI infrastruktuuri jaoks kattes silm "Compute - Connect - tarkvara". Spectrum - xgs sünergiseerib NVLinkiga kolme - taseme skaleerimise jaoks: intra - rack (nvlink), intra {- data - keskus (Spectrum {{{12} x). Cross - andmed - keskus (Spectrum - xgs).
Konkurentide vastused: Broadcomi varasem Sue Technology jagab sarnaseid eesmärke Spectrumi - XGS -iga, mille eesmärk on optimeerida Etherneti jõudlust, et tühistada lünka Infinibandiga. Lisaks kiirendavad sellised müüjad nagu Arista, Cisco ja Marvell AI - spetsiaalseid Etherneti lülitid, keskendudes konkurentsile jõudlusele - kulu - ökosüsteemi ühilduvus.
Spektri - XGS põhiväärtus seisneb AI andmekeskuse skaleerimise surumises "Single - saidi piirangutest" kuni "rist - piirkondlik koostöö." Kuna võimsus ja maa muutuvad üksikute andmekeskuste raskeks piirideks, muutuvad Cross - City ja Cross- riik AI supervabrikuks põhivormiks, mis toetab järgmist - põlvkonna AI rakendusi (nt üldine tehisintellekt, suured - skaala agendid).
Kuna Nvidia võrgustikuosakonna vanem asepresident Gilad Shainer eelvaade kuumade kiipide konverentsil: "Cross - Data - keskuse fiiberoptilised füüsilised võrgud on juba ammu olemas, kuid tarkvara algoritmid, näiteks spektr- xgs on nende füüsiliste tulemuste peamine."
