Google heeft al flinke ai (artificial intelligence)-vooruitgang – en overwinningen met Go – geboekt met zijn speciaal ontworpen processor. Deze zogeheten tensor processing unit (tpu) brengt ook directe winst: minder datacenters.
De tpu die Google heeft ontworpen om zijn opensource-ai-software Tensorflow te draaien, is goed voor meer dan Go. Dat klassieke Chinese bordspel is een strategie-game en komt simpel gezegd neer op landjepik. Het spel zelf is echter allerminst simpel. Speltechnisch gezien is Go zowel moeilijker als tegelijkertijd ook eenvoudiger dan schaken. In computertermen wordt Go echter gezien als een grotere uitdaging dan schaken.
Strategische zetten
De overwinning van IBM’s Deep Blue eind vorige eeuw op schaakkampioen Gari Kasparov was al een grote stap voorwaarts voor computerontwikkeling. Google’s recente overwinning op Go-grootmeester Lee Sedol wordt ook als veelbetekenend gezien. De gebruikte AlphaGo-software is weliswaar ontwikkeld om dat spel te spelen en valt dus onder de definitie van ‘nauwe ai’. Maar Google werkt aan diverse projecten en toepassingen op het gebied van kunstmatige intelligentie.
Het werk aan zelfrijdende auto’s is één voorbeeld, de zelfontworpen processor tpu is een ander voorbeeld. Laatstgenoemde is in het grootste geheim ontwikkeld en bij de veelgeroemde Go-competitie tegen Lee Sedol stilletjes ingezet. De maatwerkchip deed daarvoor echter al ruim een jaar dienst: bij Google intern.
De ict-reus heeft dit eigen gebruik vorig jaar mei al bekendgemaakt, maar daarbij zijn sommige details nog achterwege gebleven. Eerder dit jaar heeft Google meer onthuld, mede in reactie op openstaande vragen van tech-publicatie Recode. Het gaat hierbij niet alleen om technische details over onder meer pre-training, herprogrammeren en tpu-schaalbaarheid.
Sneller, zuiniger
Google heeft ook geopenbaard dat zijn tpu’s voor bepaalde toepassingen vijftien tot wel dertig keer sneller zijn in het uitvoeren van zijn machine learning-toepassingen. Dit sneller is in vergelijking met gecombineerde gpu- en cpu-opstellingen, dus samenwerkende grafische processors (Nvidia K80) en centrale processors (Intel Haswell). Dit aanmerkelijk hogere prestatieniveau vertaalt zich ook in energievoordeel: de tpu’s bieden een dertig tot tachtig keer betere TeraOps-per-Watt (TOPS/Watt, ofwel biljoen bewerkingen per seconde per Watt).
Deze nog altijd technische informatie is door Google nog verder geduid; naar het meer praktische en zakelijk duidelijke niveau van datacenterinvesteringen. De diepgaande analyse van het tpu-gebruik in Google’s eigen datacenters (sinds 2015 al) heeft concrete datacenterbesparingen opgeleverd. In plaats van een eerder geprojecteerde verdubbeling van het aantal datacenters kon Google toe met een bescheiden uitbreiding.
‘De behoefte aan tpu’s is eigenlijk zo’n zes jaar geleden opgekomen’, blogt hardware-ingenieur Norm Jouppi van Google. Deze meermaals onderscheiden computerwetenschapper heeft diverse innovaties op zijn naam staan en is één van de hoofdarchitecten van de MIPS-processorarchitectuur. Hij is in 2013 overgestapt van HP naar Google om daar een radicaal nieuwe architectuurbenadering te vinden en uit te werken.
Datacenterdoemscenario
Jouppi schrijft in zijn blogpost dat Google jaren geleden inzag dat gewone capaciteitsgroei niet houdbaar zou zijn voor het toen opkomende gebruik van rekenintensieve deep learning-modellen. Meer en meer producten en diensten van de internetreus gingen deep learning gebruiken en dat zou groeiproblemen geven. De ingenieurs en experts bij Google maakten zich zorgen over het toekomstig benodigde rekenvermogen, voor bijvoorbeeld gebruik van zoekopdrachten middels spraakherkenning op Android-toestellen.
Volgens de extrapolatie van bepaalde, niet eens vergezochte, scenario’s zou Google uitkomen op een rekenlast die een verdubbeling betekent van het aantal datacenters wereldwijd. Dit was uitgaande van een scenario waar mensen Google Voice Search gebruiken voor slechts drie minuten per dag. De spraakherkenning door diepe neurale netwerken op toen-huidige hardware zou een enorm opschalen vereisen.
In plaats van een kostbare, tijdrovende en complexe datacenterverdubbeling is Google gegaan voor het ook kostbare, tijdrovende en complexe ontwikkelen van de eigen gespecialiseerde processor. De tpu heeft daarbij een besparing van enkele dozijnen datacenters opgeleverd.
Bovendien geeft de speciaal ontworpen chip groeiruimte voor de toekomst. Zo merken ingenieur Jouppi en zijn collega’s in hun diepgaande analyse op dat het al flink verbeterde presteren ten opzichte van gpu/cpu-opstellingen relatief eenvoudig valt te verdriedubbelen. Tpu-gebruik van GDDR5-geheugen, dat standaard dienst doet voor gpu’s, belooft een TOPS-boost die de TOPS/Watt-verbetering nog verder opvoert. Tpu’s kunnen dan ten opzichte van gpu’s een zeventig keer betere TOPS/Watt bieden, en ten opzichte van cpu’s wel tweehonderd keer beter.
Eigen chip voor eigen gebruik
Google gebruikt zijn eigen processor voor een steeds bredere reeks toepassingen: spraakherkenning voor onder meer Voice Search en ook Google Translate, naast beeldherkenning voor Image Search, Google Photos en ook de Cloud Vision-api, naast nog de verwerking van gewone zoekopdrachten. Terwijl de ict-gigant veel van zijn ontwikkelingen deelt en vaak onder opensource-licentie vrijgeeft, geldt dit niet voor zijn geheime wapen van de tpu. Die processor blijft in-house zijn voordeel geven.
