Computable.nl
  • Thema’s
    • Carrière
    • Innovatie & Transformatie
    • Cloud & Infrastructuur
    • Data & AI
    • Governance & Privacy
    • Security & Awareness
    • Software & Development
    • Werkplek & Beheer
  • Sectoren
    • Channel
    • Financiële dienstverlening
    • Logistiek
    • Onderwijs
    • Overheid
    • Zorg
  • Awards
    • Overzicht
    • Nieuws
    • Winnaars
    • Partner worden
  • Vacatures
    • Vacatures bekijken
    • Vacatures plaatsen
  • Bedrijven
    • Profielen
    • Producten & Diensten
  • Kennisbank
  • Magazine
  • Nieuwsbrief

BrainCreators creëert efficiëntere deep learning

Network
30 augustus 2022 - 13:54ActueelData & AIBrainCreators
Alfred Monterie
Alfred Monterie

Amsterdamse onderzoekers hebben een nieuw algoritme ontwikkeld om meer efficiënte deep learning-modellen te maken. Hiermee is het mogelijk neurale netwerken aanzienlijk te verkleinen. BrainCreators heeft dit nieuwe rekenvoorschrift FlipOut genoemd. Dankzij het algoritme hoeven organisaties straks minder opslagruimte te gebruiken. Een aanzienlijke besparing in energie en kosten zou mogelijk zijn. En dat terwijl het verlies aan nauwkeurigheid of prestaties tot een minimum wordt beperkt.

In de afgelopen tien jaar kwamen de best presterende ai-systemen, zoals de spraakherkenning op smartphones en automatisch vertalen, voort uit een techniek die deep learning wordt genoemd. Het succes van deep learning, een variant van machine learning, is grotendeels te danken aan het ontwikkelen van steeds grotere neurale netwerken. Hierdoor kunnen deep learning modellen beter presteren, maar zijn ze ook duurder in gebruik. Grotere modellen nemen immers meer opslagruimte in beslag, kosten meer tijd om te trainen en hebben vaak duurdere hardware nodig.

Model-compressie

Voor veel organisaties vormt dit een uitdaging, zodra ze een applicatie in productie willen nemen. Om deze uitdagingen op te lossen moeten organisaties de grootte van modellen verkleinen via een model-compressiemethode. Echter zorgt model-compressie ook vaak voor prestatieverlies, waardoor er een grote kans is dat het deep learning-model minder nauwkeurig opereert.

Onderzoekers Andrei Apostol, Maarten Stol en Patrick Forré combineerden in hun nieuwe algoritme neural network pruning met quantization-compressiemethodes. Bij neural network pruning worden de overtollige gewichten van een getraind model verwijderd, terwijl bij quantization het aantal bits wordt verminderd. Daardoor worden er minder berekeningen uitgevoerd. Het resulterende model zal kleiner worden.

Complementair

FlipOut

Als FlipOut alleen wordt toegepast middels neural network pruning, is het in staat om 90 procent van de verbindingen in de netwerken te verwijderen, zonder in te boeten in nauwkeurigheid of prestaties. Bij quantization is het algoritme in staat om de hoeveelheid bits te verkleinen van 32 tot 8 bits per verbinding.

De onderzoekers kwamen er tijdens hun onderzoek ook achter dat de twee methodes complementair zijn aan elkaar en heel goed samenwerken. Als de twee compressiemethodes worden gecombineerd, kan het algoritme driekwart van de verbindingen verwijderen, terwijl de gewichten met vier keer minder bits worden opgeslagen zonder verval in nauwkeurigheid.

Meer over

Netwerken

Deel

    Inschrijven nieuwsbrief Computable

    Door te klikken op inschrijven geef je toestemming aan Jaarbeurs B.V. om je naam en e-mailadres te verwerken voor het verzenden van een of meer mailings namens Computable. Je kunt je toestemming te allen tijde intrekken via de af­meld­func­tie in de nieuwsbrief.
    Wil je weten hoe Jaarbeurs B.V. omgaat met jouw per­soons­ge­ge­vens? Klik dan hier voor ons privacy statement.

    Whitepapers

    Computable.nl

    Beveiliging van AI in de praktijk

    AI is hot, maar de praktijk binnen grote organisaties blijkt weerbarstig. Stop met brandjes blussen; zo schaal en beveilig je met succes.

    Computable.nl

    Bouw de AI-organisatie niet op los zand

    Wat is de afweging tussen zelf bouwen of het benutten van cloud?

    Computable.nl

    De weg van dataverzameling naar impact

    Iedere organisatie heeft data, maar niet iedereen weet hoe je het goed gebruikt. Hoe zet je waardevolle informatie om in actie?

    Geef een reactie Reactie annuleren

    Je moet ingelogd zijn op om een reactie te plaatsen.

    Populaire berichten

    Meer artikelen

    Uitgelicht

    Partnerartikel
    AdvertorialSecurity & Awareness

    Cybersec Netherlands 2025 – Programma...

    Keynotes over cloud, AI en geopolitiek: het programma van Cybersec Netherlands raakt de kern van digitale weerbaarheid

    Meer persberichten

    Meer lezen

    Copilot
    ActueelSecurity & Awareness

    Microsoft Copilot liet geheime toegang tot bedrijfsdata toe 

    AchtergrondCarrière

    Gazonnetje of golfbaan maaien via de cloud

    ai employee ai-werknemer
    ActueelData & AI

    Kort: Overheid start NEN 7510-onderzoek naar labhack, ai neemt banen over en is grootste internetgebruiker (en meer)

    Joost Smit
    AchtergrondCloud & Infrastructuur

    Op deze vier paarden zet Google Cloud in

    Jan-Pieter d'Anvers
    AchtergrondSecurity & Awareness

    ‘Als we data veilig willen houden, moeten we ons haasten’

    Anoniem smartbril smart glasses
    ActueelSecurity & Awareness

    Kort: QR-phishing evolueert, opbrengst gen-ai valt tegen, bril nu security risk (en meer)

    ...

    Footer

    Direct naar

    • Carrièretests
    • Kennisbank
    • Planning
    • Computable Awards
    • Magazine
    • Abonneren Magazine
    • Cybersec e-Magazine
    • Topics
    • – Phishing
    • – Ransomware

    Producten

    • Adverteren en meer…
    • Jouw Producten en Bedrijfsprofiel
    • Whitepapers & Leads
    • Vacatures & Employer Branding
    • Persberichten

    Contact

    • Colofon
    • Computable en de AVG
    • Service & contact
    • Inschrijven nieuwsbrief
    • Inlog

    Social

    • Facebook
    • X
    • LinkedIn
    • YouTube
    • Instagram
    © 2025 Jaarbeurs
    • Disclaimer
    • Gebruikersvoorwaarden
    • Privacy statement
    Computable.nl is een product van Jaarbeurs