Google begint opensource-zoekplatform voor ml

In plaats van zich op een specifiek domein te richten, is Model Search domeinonafhankelijk en flexibel. Het platform is in staat de architectuur te vinden die het beste past bij een bepaalde dataset en een bepaald probleem. Daarbij wordt de tijd die nodig is om coderen, zo kort mogelijk gehouden. Ook andere inspanningen en het benodigde rekenwerk worden tot een minimum beperkt.

Tensorflow

Model Search is gebouwd op Tensorflow, een opensource-raamwerk voor machine learning. Het platform kan op één computer of in een gedistribueerde omgeving draaien.

Het zoeksysteem bestaat uit meerdere trainers, een zoekalgoritme, een 'transfer-learning' algoritme en een database voor de opslag van de verschillende geëvalueerde modellen. Het systeem kan zowel trainings- als evaluatie-experimenten voor verschillende ml-modellen met uiteenlopende architecturen en trainingstechnieken draaien. Dit gebeurt op een adaptieve, maar toch asynchrone manier.

Heuristisch zoekalgoritme

Terwijl elke trainer experimenten onafhankelijk uitvoert, delen alle trainers de kennis die ze uit die experimenten verkrijgen. Aan het begin van elke cyclus zoekt het zoekalgoritme alle voltooide proeven op. Dan wordt 'beam search’, een heuristisch zoekalgoritme, gebruikt om te bepalen wat je vervolgens gaat proberen. Daarna roept hij de mutatie op via een van de beste architecturen die tot nog toe zijn gevonden. Vervolgens wijst hij het resulterende model opnieuw toe aan een trainer.

Na een model-zoekopdracht kunnen gebruikers de gevonden modellen met elkaar vergelijken. Bovendien hebben ze de mogelijkheid een eigen zoekruimte te creëren om de architectonische elementen in de modellen aan te passen.

Neuraal netwerkmodel

Het systeem bouwt een neuraal netwerkmodel op uit een set van vooraf gedefinieerde bouwblokken. Elk blok representeert een bekende micro-architectuur, zoals LSTM, ResNet of Transformer-lagen. Door blokken van reeds bestaande architectonische componenten te gebruiken, kan Model Search de beste kennis benutten van technieken als 'neural architecture search’ (NAS).

Deze benadering is volgens Google efficiënt, doordat structuren worden verkend in plaats van hun meer fundamentele en gedetailleerde componenten. Dat maakt de schaal van de zoekruimte kleiner.