Nvidia komt met een ai-chip die zal leiden tot een behoorlijke prestatieverbetering voor ai-workloads zoals grote taalmodellen. De HGX H200 levert veel geavanceerder geheugen dan eerdere grafische chips, waardoor grote hoeveelheden gegevens voor generatieve ai zijn te verwerken.
De ai-chip is de eerste gpu met een 141 GB HBM3e-geheugen. Dat is bijna het dubbele van zijn voorganger A100, terwijl de geheugen-bandbreedte 2,4 keer zo groot is. Deze grafische chip zal ook zijn weg vinden naar supercomputers die wetenschappelijke berekeningen uitvoeren. De nieuwe H200 komt beschikbaar in Nvidia’s HGX-serverkaarten en de Grace Hopper Superchip-module. De chip is compatibel met bestaande H100-servers waardoor upgrades mogelijk worden. Verwacht wordt dat leidende server-fabrikanten en aanbieders van clouddiensten de H200 gaan toepassen.
De nieuwe chip zal de ontwikkeling en het gebruik van grote taalmodellen versnellen. Bedrijven kunnen sneller modellen trainen en ai toepassen in hun systemen.
