IBM heeft een prototype ontwikkeld van opticatechnologie die de prestaties van datacenters moet verbeteren. Deze zogenoemde co-packaged optica (cpo) vervangt de elektrische verbindingen tussen datacenter-apparatuur en chips door optische signalen. Volgens IBM gaat het om een doorbraak die kan worden ingezet voor het trainen van generatieve ai-modellen.
Het prototype dat in een blog is aangekondigd, bestaat uit een polymeren optische golfgeleider (polymer optical waveguide, pwg) die met behulp van cpo ingezet wordt voor de gegevensoverdracht tussen chips, printplaten en servers. IBM: ‘Glasvezeltechnologie maakt tegenwoordig snelle datatransmissie over lange afstanden mogelijk door gebruik te maken van licht in plaats van elektriciteit. Hoewel datacenters glasvezel inzetten voor externe communicatie vertrouwen de interne racks grotendeels nog op koper-gebaseerde elektrische bedrading. Deze bedrading verbindt gpu-accelerators, die vaak meer dan de helft van de tijd inactief blijven terwijl ze wachten op gegevens van andere apparaten tijdens omvangrijke, gedistribueerde trainingsprocessen. Dat leidt tot aanzienlijke kosten en een hoog energieverbruik.’
De onderzoekers van IBM tonen aan dat de snelheid en capaciteit van optische technologie kunnen worden geïntegreerd in de interne werking van datacenters. Volgens hen heeft de toepassing een tachtig keer snellere bandbreedte dan de huidige chip-to-chipcommunicatie. ‘Recente vooruitgangen in chiptechnologie hebben geleid tot een hogere transistorendichtheid op chips, waarbij de 2 nanometer node-chiptechnologie van IBM meer dan vijftig miljard transistors kan bevatten. Cpo-technologie heeft tot doel de verbindingsdichtheid tussen accelerators te verhogen door chipmakers in staat te stellen optische verbindingen toe te voegen die chips op een elektronische module verbinden. Zo worden de beperkingen van de huidige elektrische verbindingen omzeild’, stelt Big Blue.
Cpo maakt het volgens IBM mogelijk om zes keer zoveel optische vezels aan de rand van een siliconen-fotonische chip toe te voegen, wat wordt aangeduid als ‘beachfront density’, vergeleken met de huidige stand van de techniek in cpo-technologie. ‘Elke vezel, die ongeveer drie keer zo breed is als een mensenhaar, kan lengtes van centimeters tot honderden meters beslaan en terabits aan data per seconde overdragen. De toepassing is uitgebreid getest in verschillende scenario’s en onder zware omstandigheden zoals extreem lage en hoge temperaturen (stresstest)’, aldus het concern.’
De voordelen van cpo-technologie volgens IBM
Lagere kosten voor het opschalen van generative ai, dankzij een meer dan vijfvoudige vermindering van het energieverbruik in vergelijking met elektrische verbindingen op middellange afstand, en een verlenging van de kabellengte in datacenters van enkele meters tot honderden meters.
Snellere ai-modeltraining, waarbij developers een large language model (llm) tot vijf keer sneller kunnen trainen met cpo dan met conventionele elektrische bedrading. Dit kan de tijd voor het trainen van een standaard llm verkorten van drie maanden tot drie weken, met grotere prestatievoordelen bij gebruik van grotere modellen en meer gpu’s.
Snellere training van ai-modellen, met cpo kunnen ontwikkelaars een large language model (llm) tot vijf keer sneller trainen dan met traditionele elektrische bedrading. Hierdoor kan de trainingstijd van een standaard llm worden verkort van drie maanden naar drie weken, met nog meer voordelen bij grotere modellen en meer gpu’s.
Verbeterde energie-efficiëntie voor datacenters, waardoor energie wordt bespaard die gelijk is aan het jaarlijkse elektriciteitsverbruik van vijfduizend huishoudens per getraind ai-model.
