Computable.nl
  • Thema’s
    • Carrière
    • Innovatie & Transformatie
    • Cloud & Infrastructuur
    • Data & AI
    • Governance & Privacy
    • Security & Awareness
    • Software & Development
    • Werkplek & Beheer
  • Sectoren
    • Channel
    • Financiële dienstverlening
    • Logistiek
    • Onderwijs
    • Overheid
    • Zorg
  • Computable Awards
    • Overzicht
    • Nieuws
    • Winnaars
    • Partner worden
  • Vacatures
    • Vacatures bekijken
    • Vacatures plaatsen
  • Bedrijven
    • Profielen
    • Producten & Diensten
  • Kennisbank
  • Nieuwsbrief
Productdata

Dataplatformen en datalakes: business weer in lead

24 maart 2021 - 09:21OpinieCloud & InfrastructuurComputableConclusion
Robbrecht van Amerongen
Robbrecht van Amerongen
Head of IoT

De huidige manier van aanbieden van datadiensten met datalakes leidt tot sterk gespecialiseerde silo-teams van data-engineers en businessanalisten. Gevolg is complexiteit, beperkte flexibiliteit en lange time-to-market van dataproducten. Dit voorkom je door decentrale devops-teams business-gedreven functionaliteit te laten ontwikkelen boven op centrale datadiensten. Data-mesh zorgt dat je maximaal gebruikmaakt van de flexibiliteit van devops-teams en domain driven data design boven op een betrouwbare data-infrastructuur. Welk concreet probleem data-mesh oplost leg ik hieronder uit.

Gebruikers verwachten dat de data continu beschikbaar en actueel is en voldoet aan de eisen van security en gegevensbescherming. Gebruikelijk slaan we onze bedrijfsdata op in een datawarehouse voor een gestructureerde analyse en rapportage. De omvang en complexiteit van de data maakt dat de grenzen van deze oplossing bereikt zijn. Een datawarehouse is een eenvoudige bevraging op vooraf gestructureerde data. Binnenkomende data worden voorbewerkt in deze structuur en bij grotere hoeveelheden data met een complexe structuur kost dat veel meer verwerkingscapaciteit. Bij de verhuizing naar de cloud verschuift het probleem naar de kostenkant door een hoge consumptie van rekenkracht.

Een datawarehouse is geschikt om vanuit een specifiek businessdomein vragen te beantwoorden. De wens om data over domeinen heen te combineren, zorgt voor een grotere hoeveelheid en complexiteit van data. Een datalake-platform is het antwoord hierop. Met een dergelijk platform ontstaan er echter drie silo’s, te weten bronteams (bieden operationele data aan), dataplatformteams (voor verwerking) en domein-gedreven businessteams (die de data gebruiken). Doorvoeren van een wijziging in een dergelijke structuur is ingewikkeld en vergt veel afstemming.

Nieuwe benadering

Een nieuwe benadering werkt met platformteams en business-devops-teams. Platformteams leveren het dataplatform. De business-devops-teams bestaan uit experts van de operationele systemen, data engineers en businessanalisten. Zij bouwen domein-specifieke dataproducten. Hiermee kan je snel en flexibel inspelen op de veranderingen in de operationele systemen en de vragen van de business. Een agile business-gedreven werkwijze is essentieel voor het succes van deze aanpak. Deze mix is ook wel bekend onder de term data-mesh. Ik wens u veel waarde uit uw data.

Auteur: Robbrecht van Amerongen, head of internet of things en api-integratie Conclusion

Meer over

AgileAPIDatawarehouseDevOps

Deel

    Inschrijven nieuwsbrief Computable

    Door te klikken op inschrijven geef je toestemming aan Jaarbeurs B.V. om je naam en e-mailadres te verwerken voor het verzenden van een of meer mailings namens Computable. Je kunt je toestemming te allen tijde intrekken via de af­meld­func­tie in de nieuwsbrief.
    Wil je weten hoe Jaarbeurs B.V. omgaat met jouw per­soons­ge­ge­vens? Klik dan hier voor ons privacy statement.

    Whitepapers

    Computable.nl

    Slimme connectiviteit: de toekomst van bouwen

    Hoe stoom jij jouw organisatie in de bouw en installatie sector klaar voor de digitale toekomst?

    Computable.nl

    De weg van dataverzameling naar impact

    Iedere organisatie heeft data, maar niet iedereen weet hoe je het goed gebruikt. Hoe zet je waardevolle informatie om in actie?

    Computable.nl

    Well-Architected: slim bouwen en beheren in de cloud

    Een paper met concrete handvatten om cloud-architectuur naar een hoger niveau te tillen.

    Meer lezen

    ActueelCloud & Infrastructuur

    Kort: Eigen ai-assistent Amsterdam, NIS2-manager Atos, DSA-check ACM en…

    Quantum
    ActueelCloud & Infrastructuur

    Nieuwe Cisco-netwerkchip brengt quantum-internet dichterbij

    kaasschaaf
    ActueelCarrière

    VodafoneZiggo schrapt 400 banen

    cybercrime
    ActueelCloud & Infrastructuur

    Rijkswaterstaat moet vaart maken met beveiligen van bruggen en sluizen

    Bord van Mediamarkt
    ActueelCloud & Infrastructuur

    Mediamarkt licht ‘onbeperkte’ cloudopslag van eigen telecommerk toe

    AchtergrondCarrière

    Ict-overnamemarkt trapt 2025 goed af, maar onzekerheid troef

    2 reacties op “Dataplatformen en datalakes: business weer in lead”

    1. dino schreef:
      25 maart 2021 om 17:59

      doe zo mn best het te begrijpen.
      Je hebt dus datawarehouse met gestructureerde data vooraf bewerkt.
      Dat ken ik : OLAP vs OLTP met elk hun voor en nadelen.
      OLAP voor DWH voor en OLTP voor operationele bewerkingen.
      OLAP is wel snel maar niet flexibel en het vergt extra resources, naast die van OLTP. Dit terwijl ze grotendeels dezelfde brondata gebruiken.
      De OLTP data wordt periodiek in batch naar OLAP ge-etl-ed. Dat kost extra resources. Maar daarna kun je analysis maken met de OLAP, snel en onafhankelijk van de productie OLTP. Want ze delen wel dezelfde brondata maar niet dezelfde data. Zelfde geldt voor de hardware.
      Allerlei teams voor nodig natuurlijk.

      Maar waarom zouden die datalake en die devops teams beter zijn ? Hoe kun je daarmee nou “snel en flexibel inspelen op de veranderingen in de operationele systemen en de vragen van de business”.

      Login om te reageren
    2. KJ schreef:
      26 maart 2021 om 13:17

      Het woord “silo” wordt hier verkeerd gehanteerd door de auteur. In BI betekent silo(s) dat het gaat om een of meerdere beperkte domeinen van data, bijvoorbeeld de data van een enkele business unit. Dat heeft tot gevolg dat er geen “single source of truth” is binnen een bedrijf omdat een integraal overzicht over alle silo’s ontbreekt.

      In de tekst heeft het woord silo echter betrekking op de 3 teams (bronteam, dataplatformteam, domein-gedreven businessteams) die nodig zijn om van een datalake-platform iets te maken. Dat is verwarrend.

      De nieuwere benadering is echter nog verwarrender, want daar worden “domein-specifieke dataproducten” gebouwd. Maar het hebben van specifieke domeinen was nu juist het probleem!

      Login om te reageren

    Geef een reactie Reactie annuleren

    Je moet ingelogd zijn op om een reactie te plaatsen.

    Populaire berichten

    Meer artikelen

    Footer

    Direct naar

    • Carrièretests
    • Kennisbank
    • Planning
    • Computable Awards
    • Magazine
    • Abonneren Magazine
    • Cybersec e-Magazine

    Producten

    • Adverteren en meer…
    • Jouw Producten en Bedrijfsprofiel
    • Whitepapers & Leads
    • Vacatures & Employer Branding
    • Persberichten

    Contact

    • Colofon
    • Computable en de AVG
    • Service & contact
    • Inschrijven nieuwsbrief
    • Inlog

    Social

    • Facebook
    • X
    • LinkedIn
    • YouTube
    • Instagram
    © 2025 Jaarbeurs
    • Disclaimer
    • Gebruikersvoorwaarden
    • Privacy statement
    Computable.nl is een product van Jaarbeurs