Opensource-ai? Onvermijdelijk

BLOG – Om bij te blijven in de generatieve-ai-revolutie is het zaak openheid, samenwerking en de integratie van opensource-initiatieven te omarmen. De toekomst ervan ligt niet alleen in handen van grote techbedrijven, en uiteindelijk wordt het verschil gemaakt met de collectieve kracht van de opensource-community.

Toen Google in 2017 de zogeheten Transformer-architectuur lanceerde, hadden we nauwelijks besef van de impact op het ai-landschap. Dat veranderde drastisch met de komst van ChatGPT. Tot dan toe had geen andere applicatie zoveel gebruikers voor zich weten te winnen in zo’n korte periode. Meer dan een miljoen gebruikers in vijf dagen tijd was niet eens weggelegd voor TikTok. Dat populaire platform had negen maanden nodig om hetzelfde aantal te bereiken. Twee maanden na de lancering had de slimme contentgenerator ChatGPT al meer dan honderd miljoen gebruikers. Instagram deed daar tweeënhalf jaar over. En dat is nog maar het begin. Voor tekstschrijvers, klantondersteuners en legio andere creatievelingen is het ongekende taalbegrip van ChatGPT nu al absoluut onmisbaar gereedschap.

Meer dan een miljoen gebruikers in vijf dagen tijd was niet eens weggelegd voor TikTok

Bovendien onderstreept de tijdelijke alleenheerschappij van ChatGPT het belang van de opensource-community. Non-profit-onderzoeksteams en startups zoals Eleutherai, Together.ai, het Technology Innovation Instituut (TII) en Mistal.ai zijn drijvende krachten achter de innovatie en samenwerking binnen de ai-gemeenschap. Zo speelt het ai-community platform HuggingFace een belangrijke rol in het delen van opensource-modellen, datasets en training-codes. Dat alles versterkt de cultuur van actief kennis delen en publiekelijk met elkaar problemen oplossen.

Kinderziektes

Natuurlijk zijn er kinderziektes. Toch doen huidige opensourcemodellen niet veel onder voor die van de grote commerciële techbedrijven. Met TII’s Falcon en Mistral.ai’s Mixtral-modellen rivaliseert opensource op het vlak van reguliere benchmarks met de modellen van bedrijven als Openai, Google en Anthropic. Met de lancering van LLaMa2 heeft techgigant Meta bijvoorbeeld ook voor de opensource-route gekozen. Volgens het HuggingFace-platform ligt de kwaliteit van Falcon180B op dit moment ergens tussen GPT-3.5 (default model van ChatGPT) en GPT-4. Het eind vorig jaar gelanceerde Mixtral is meer dan drie keer kleiner dan Falcon180B. Desondanks presteert Mixtral beter op het merendeel van de benchmarks. Daarmee worden opensource-modellen aantrekkelijker voor bedrijven die betaalbare ai-oplossingen willen ontwikkelen.

Publieke softwarelicenties zorgen eveneens voor meer adoptie en integratie van opensource-modellen in verschillende marktsegmenten voor uiteenlopende toepassingen. Het ai-landschap wordt op die manier meer en meer gevormd door het succes van de opensource-community. Zij hebben in korte tijd een grote inhaalslag gemaakt waarmee de opensource community zich nu echt kan meten met de gevestigde marktleiders in de tech-industrie. Daarmee wordt bewezen dat technologische vooruitgang niet alleen voortkomt vanuit economische belang. Oprechte samenwerking en toegankelijkheid zorgen ook voor diezelfde vooruitgang.

Rap tempo

De vraag is hoe de opensource-community zich zo snel heeft kunnen meten met de grote techbedrijven. Zowel de kwaliteit, snelheid, privacy en het op maat maken van large language models (llm’s) zijn in rap tempo verbeterd. Llm’s zijn nu toegankelijk voor iedereen. Daarmee wordt een concurrentielandschap gebaseerd op kennis delen steeds eerlijker.

Zowel de kwaliteit, snelheid, privacy en het op maat maken van large language models (llm’s) zijn in rap tempo verbeterd

De ontwikkeling van technologische ontwikkelingen zoals low-rank adaptation (lora) heeft flink bijgedragen aan de toenemende kwaliteit van llm’s omdat het aantal te trainen parameters op die manier flink beperkt wordt. De opensource-community heeft zo de weg vrijgemaakt voor het laagdrempelig fine-tunen van llm’s. Dat kan nu zelfs al met de hardware van een reguliere laptop. Dankzij deze doorbraak kan elke willekeurige consument, startup of klein bedrijf zelf aan de gang met llm’s. Zo wordt ai toegankelijk voor iedere burger.

Het gebruik van innovatieve zogeheten quantization-technieken als 4-bit en 1-bit quantization helpt daar natuurlijk ook bij. De omvang van llm’s wordt hiermee drastisch verminderd. Goed voor minder aanslag op opslag en uiteindelijk ook op het videogeheugen van gpu’s. Deze techniek laat een llm’s op eigen hardware werken. Ideaal voor iedereen die op een veilige manier wil experimenteren met nieuwe en vooraanstaande ai-technologie.

Ook data speelt een cruciale rol bij de llm-wedloop. Llm’s worden op grote hoeveelheden data getraind. Daarom is de beschikbaarheid van een grote databerg van groot belang voor de ontwikkeling van llm’s. Gelukkig is op dat vlak eveneens veel vooruitgang geboekt. Zo zijn steeds meer openbare datasets voorhanden die van hoogwaardige kwaliteit zijn. Denk aan de RedPajama-dataset van Together.ai en de dataset Oasst van OpenAssistant.

Democratiseren

Last but not least, de indrukwekkende prestaties die samengaan met de relatief beperkte resources zijn het opmerkelijkste aspect van de huidige opensource-modellen. Je kan wel stellen dat de opensource-community staat voor het democratiseren van ai op weg naar een nieuw innovatietijdperk. Kortom, vooroplopen betekent het omarmen van de opensource-community. Daar kun je niet meer omheen.