MARIN staat een data-explosie te wachten. Het onderzoeksinstituut uit Wageningen houdt er rekening mee dat de hoeveelheid waardevolle onderzoeksdata in vijf jaar tijd toeneemt van ongeveer 1 tot ruim 8 petabyte. Om hierop voorbereid te zijn, implementeerde MARIN samen met partner Arteq Oracle Hierarchical Storage Manager (HSM).
Het Maritime Research Institute Netherlands (MARIN) is een van de vijf toegepaste onderzoeksinstituten van ons land. Als onafhankelijk instituut helpt MARIN haar klanten al meer dan 85 jaar om constructies in water – zoals schepen, platform en havens – slimmer, schoner en veiliger te maken. Onder andere door middel van simulaties, zoals het toetsen van het ontwerp van de tweede Maasvlakte, op het moment dat deze nog moest worden aangelegd met schepen die toen nog moesten worden bedacht. “Dat doen we met zo’n 400 experts vanuit Wageningen voor klanten over de hele wereld, voor zowel bedrijven als overheden”, vertelt Kelvin van Brakel, System Administrator bij MARIN.
Een belangrijke activiteit van MARIN is het uitvoeren van modelproeven. Bijvoorbeeld een schip in ontwikkeling wordt op schaal nagebouwd en in een bassin met sensoren te water gelaten. “We meten vervolgens hoe het schaalmodel zich gedraagt onder verschillende condities”, legt Van Brakel uit. De scheepsbouwer of ontwerper kan die resultaten vervolgens gebruiken om het ontwerp verder te optimaliseren of aan te passen.
Deze modelproeven worden steeds vaker aangevuld met numerieke simulaties (CFD, Computational Fluid Dynamics) waarvoor MARIN rekenclusters inzet. “Dit is in sommige gevallen hetzelfde werk als bij de modelproeven, maar dan digitaal en daardoor vaak sneller en kostenefficiënter. Soms levert een simulatie juist meer informatie op dan modelproeven. Daarbij meet je namelijk alleen waar je de sensoren op het model plaatst, bij een dergelijke simulatie krijg je op elke plek een resultaat terug.”
Hoeveelheid data explodeert
Met name door de inzet van het vorig jaar toegevoegde rekencluster houdt MARIN rekening met een explosieve toename van de hoeveelheid data die wordt opgeslagen. Nu al beschikt MARIN over tientallen miljoenen files die samen goed zijn voor ongeveer 1 petabyte (1000 terabytes) aan onderzoeksdata. Zonder de inzet van het nieuwe rekencluster verwacht MARIN dat die hoeveelheid ieder jaar met 40 procent toeneemt waardoor het onderzoeksinstituut over vijf jaar beschikt over 3,2 petabyte aan data. Maar met het nieuwe rekencluster wordt dit geschat op 8,1 petabyte.
“Met het oog op de verwachte groei hebben we behoefte aan een schaalbare storageoplossing, die bovendien een degelijke archieffunctie biedt”, benadrukt Van Brakel. “Als onderzoeksinstituut willen we data voor de langere termijn kunnen bewaren, en terug kunnen halen als we daar behoefte aan hebben. Dan is het een stuk goedkoper om die data in een archief te zetten dan op actieve storagedisks.”
Tactiek voor de toekomst
Die archieffunctie heeft MARIN de afgelopen jaren gemist. “Jaren geleden maakten we gebruik van een oplossing die bij archivering files op de actieve storage verving door kleine stub-files van slechts enkele kilobits. De gebruikers dachten dat ze zo’n bestand direct konden openen, maar het daadwerkelijk terughalen van een bestand was echter veel ingewikkelder en kon meerdere dagen in beslag nemen. Dat wilden we niet meer.”
MARIN besloot daarom om het archief uit te schakelen en de actieve storage uit te breiden. “Dat was niet een tactiek die we lang vol konden houden, zeker niet met het oog op de verwachte groei van de hoeveelheid data. Disks voor actieve storage zijn te duur om te gebruiken voor data die eigenlijk in een archief thuishoren.” Het onderscheid tussen actieve en archiefdata verdween bovendien, wat het lastig maakte om data te classificeren en voor de gebruikers op de juiste plekken neer te zetten.
Oracle HSM
Voor Van Brakel stond in ieder geval één ding vast: “We hadden weer een archiveringsoplossing nodig.” Na een aanbestedingsprocedure koos MARIN voor Oracle HSM, De oplossing werd geïmplementeerd samen met Arteq, dat verantwoordelijk blijft voor het periodieke onderhoud zoals het doorvoeren van updates en upgrades. “Dat contact en de onderlinge communicatie verlopen zeer soepel”, aldus Van Brakel.
Waar concurrerende oplossingen alleen gebruikmaken van disk, biedt Oracle HSM een combinatie van disk en tape. Wim Huijbers, managing director van Arteq: “Eigenlijk alle data worden op tape gezet, maar Oracle Hierarchical Storage Manager onthoudt waar ze worden neergezet zodat een bestand ook weer snel kan worden teruggehaald. Zonder de interventie van een beheerder. Dat gaat volledig automatisch, waardoor de snelheid van handelen omhoog gaat terwijl de operationele kosten juist sterk dalen.”
Volledig redundant uitgevoerd
Distributeur Tech Data assisteerde op de achtergrond met name bij de sizing van de apparatuur. “Qua hardware zijn we erop voorbereid dat over vijf jaar een storagecapaciteit van ruim 8 petabyte nodig is”, licht Van Brakel toe. “We hebben nu een taperobot die is voorbereid op het scenario dat we over vijf jaar 3,2 petabyte aan storage nodig hebben, maar we hebben direct ook gekozen voor een uitbreidingsunit met genoeg capaciteit om op te schalen naar 8,1 petabyte.”
De oplossing is bovendien volledig redundant uitgevoerd. In het secundaire datacenter van MARIN in Ede staat exact dezelfde storageomgeving als op de hoofdlocatie in Wageningen. Oracle HSM schrijft de data weg naar beide gescheiden omgevingen die op die manier identiek aan elkaar zijn. “Als bijvoorbeeld ransomware de storage in Wageningen treft, dan zijn de data nog gewoon beschikbaar in Ede”, legt Huijbers uit.
Ruimte vrijgespeeld
De migratie van de data naar de nieuwe omgeving is nog in volle gang. Huijbers: “MARIN heeft zoveel data die het archief in moeten, dat de migratie een zekere tijd in beslag neemt. We hebben het over honderden terabytes aan data die we moeten overzetten.”
MARIN plukt nu echter al de vruchten van Oracle HSM. Van Brakel: “De beperkte ruimte op de actieve storage zorgde regelmatig voor problemen. Als je geen ruimte hebt op de actieve storage, kunnen processen vastlopen. Door het archiveren van data hebben we inmiddels ruimte kunnen vrijspelen. We hoeven niet telkens ad hoc ruimte vrij te maken om te kunnen blijven werken. De grens tussen actieve en archiefdata is nu bovendien duidelijker. Dat zorgt ervoor dat we rustiger ons werk kunnen doen en onze aandacht kunnen verleggen naar andere projecten.”
