Red Hat neemt Neural Magic over, een startup die zich toelegt op de optimalisatie van ai-modellen en gpu- en cpu-inferentiediensten. Neural Magic heeft software en algoritmes ontwikkeld waarmee ai-workloads sneller en efficiënter zijn te verwerken.
MIT-hoogleraar Nir Shavit, gespecialiseerd in parallel computing, richtte Neural Magic op samen met MIT-onderzoeker Alex Matveev. Hun missie: ai-modellen breed toegankelijk te maken zonder dat dure en veelal schaarse gpu’s nodig waren. Het duo geloofde er heilig in dat ai overal zou kunnen draaien, van de kleinste apparaten tot de grootste datacenters.
Ze slaagden erin machine learning-modellen efficiënt op ruim beschikbare cpu’s te laten draaien. Later verschoof hun aandacht naar gpu-versnelling. Het tweetal wist dezelfde soort optimalisatietechnieken met succes toe te passen op generatieve ai gebaseerd op virtuele grote taalmodellen (vllm’s).
In een blog diept Red Hat-topman Matt Hicks de strategische betekenis van de overname als volgt uit: ‘Neural Magics software en algoritmen maken ai beter toegankelijk, meer betaalbaar en gemakkelijker in het gebruik. Hun technologie democratiseert als het ware de toegang tot ai. Hicks meent dat door het binnenhalen van deze expertise op het gebied van snelheid en efficiëntie waarmee ai-modellen beslissingen nemen, Red Hat zijn positie in de ai-markt versterkt. ‘Neural Magic speelt een leidende rol in de vllm-gemeenschap en deelt een sterke toewijding aan opensource die in lijn is met de ai-visie van Red Hat.’
Red Hat is ook nauw betrokken bij de vllm-gemeenschap. Een vllm is een actieve opensource-bibliotheek die grote taalmodellen (llm) ondersteunt bij het efficiënt afleiden en serveren van modellen. Vllm wordt standaard gebruikt in Red Hat Enterprise Linux AI en OpenShift AI, het ai-platform van Red Hat voor Kubernetes-omgevingen.
