Nvidia kondigt een nieuwe generatie ai-platform voor datacenters aan, genaamd Vera Rubin. Tijdens de techbeurs CES deze week in Las Vegas lanceerde ceo Jensen Huang dit server-systeem voor ai, dat in de tweede helft van dit jaar op de markt verschijnt. Daarmee voldoet de chipleverancier aan de vraag naar nog meer processorkracht voor het trainen en draaien van ai-modellen.
Nvidia heeft zich voor de opvolger van Blackwell weinig tijd gegund. Concurrenten als AMD zitten niet stil. Met Rubin weet ‘s werelds meest toonaangevende tech-bedrijf zich verzekerd zijn voorsprong te behouden.
Jensen Huang, tijdens zijn keynote zoals altijd in een kek leren jasje gestoken, bewijst dat de innovatie nog allerminst vaart verliest. Hij zei dat de complexiteit van de berekeningen die ai vereist, de halfgeleiderindustrie tot snel handelen dwingt.
Inferentie
‘De hoeveelheid rekenkracht die nodig is voor ai neemt exponentieel toe,’ aldus de Nvidia-topman. Zijn uitleg: ‘Inferentie, het proces waarbij ai-modellen op basis van beschikbare informatie uit eerdere voorbeelden reageren op gebruikersvragen, is nu een denkproces. En nieuwe modellen moeten worden getraind op steeds grotere hoeveelheden data om ai-tools te leren denken.’
Nvidia’s nieuwe ai-platform Vera Rubin (vernoemd naar een astronome die de rotatiesnelheden van sterrenstelsels bestudeerde) bestaat uit zes afzonderlijke Nvidia-chips die weer 36 centrale processors en 72 grafische eenheden bevatten. Het Rubin-platform claimt de inferentiekosten per token tot tien keer te verlagen en heeft vier keer minder gpu’s nodig om ‘mixture-of-experts’ (MoE)-modellen te trainen in vergelijking met Nvidia’s vorige Blackwell-platform. Tekenend voor het belang dat Nvidia hecht aan inferentie, is dat onlangs voor twintig miljard dollar de overname van ai-chip-starter Groq werd aangekondigd, tevens voorloper op dit gebied.
Andere innovaties
Verder kondigde Huang een reeks datacenter-innovaties aan. Nieuw is ‘context memory’, een geheugenlaag die de bottleneck tussen gpu’s en opslag moet oplossen. Huang: ‘Het is alsof je je ssd een eigen ssd geeft.’ Chatbots kunnen zo sneller reageren op lange vragen en gesprekken wanneer miljoenen gebruikers tegelijkertijd actief zijn. Belangrijk is een nieuwe server-architectuur die snellere training mogelijk maakt, minder gpu’s vereist en de kosten per ai-token verlaagt. De nieuwe generatie netwerk-switches wordt uitgerust met een nieuw type verbinding, co-packaged optics genaamd.
Behalve vernieuwingen voor datacenters kondigde Huang ook aan nieuwe robotica-platforms, simulatie-tools en een nieuwe familie ai-modellen (Alpamayo) voor autonoom rijden. Mercedes Benz wordt de eerste grote partner voor Alpamayo. Huang toonde een demo van een Mercedes die volledig autonoom rijdt in complexe verkeerssituaties.
