Met de introductie van bladeservertechnologie is een volgende stap gezet in de niet aflatende strijd naar miniaturisering van servercapaciteit. Het steeds meer in een systeemkast kunnen opstellen van apparatuur c.q. servercapaciteit is zeer gewenst door de klant of beheerder (lagere of gelijke beheerkosten bij meer servercapaciteit) en ontkracht de noodzaak tot uitbreiding van het aantal systeemkasten. Een brede introductie van deze nieuwste generatie van servers wordt echter gehinderd door het ontstaan van problemen met de koeling.
De inbouw en ict-inpassing van bladeservers is op zich geen probleem. Echter, in een 19 inch systeemkast kan een veelvoud van deze systemen worden geplaatst, waardoor de ontwerpspecificaties van stroomtoevoer en koelcapaciteit vaak ruimschoots worden overschreden. Hoewel de specificaties van aanbieders van bladeservers zeer uiteenlopen, is zichtbaar dat bij een volledig ‘afgevulde’ systeemkast een vermogensafname van 6-10 kWatt als normaal moet worden beschouwd. Dit zal de komende jaren naar verwachting nog verder stijgen.
Ontwerpeisen van computerruimtes worden uitgedrukt in beschikbaar vermogen (Watt) per bruto vloeroppervlak (m2), met gebruikelijke waarden van 150 tot 1000 Watt/m2. De vuistregel is dat een systeemkast (oppervlakte circa 1 m2) bruto circa 3 m2 verbruikt. Dit wordt veroorzaakt door verliezen voor gangen, deuropeningen en opgestelde technische apparatuur. In bijvoorbeeld een computerzaal van 200 m2 kunnen dus maximaal 65 systeemkasten worden opgesteld. Bij ontwerpwaarden van 150-1000 Watt/bruto m2 vertaalt zich dat naar 450-3000 Watt per systeemkast gemiddeld.
De eerder genoemde 6-10 kW per systeemkast is dus een 3-20 voudige overschrijding van de ontwerpspecificaties van zowel stroom als koeling!
Het tekort aan elektrisch vermogen in een systeemkast is, incidenteel, op te lossen door extra groepen aan te leggen. Koelcapaciteit laat zich echter niet zo snel aanpassen tot ver boven de ontwerpcapaciteit. Al snel na installatie van bladeservers blijkt dat de temperatuur in de systeemkast en rond de processoren onaanvaardbaar hoog oploopt. Het risico van ongeplande uitval neemt toe.
Een eerste remedie voor dit koelprobleem is dat de beheerder van de computerruimte niet toestaat dat de systeemkast te ‘vol’ wordt gebouwd. Het opgenomen vermogen van de systeemkast wordt dus kunstmatig laag gehouden!
Het probleem dat zichtbaar geworden is: op welke wijze of via welke aanpassingen is het mogelijk systeemkasten met meer dan 6000 Watt aan opgenomen elektrisch vermogen te koelen?
Seriële koeling
Aanvoer van koude lucht kan via koeling met wandkoelers of via recirculatiekasten die de koellucht onder de verhoogde vloer inblazen. Via openingen aan de onderkant van de systeemkast wordt de koellucht onderin de systeemkast gebracht en vaak door ventilatoren naar boven getransporteerd. De apparatuur wordt ‘onderweg’ na elkaar gekoeld. Met het passeren van elk apparaat stijgt de koeltemperatuur. Het temperatuurverschil tussen koellucht en het te koelen apparaat neemt dus met de hoogte af, waardoor de apparatuur bovenin de systeemkast altijd warmer zal zijn.
Daarnaast blijft het moeilijk de luchtstroom in een verticaal doorstroomde systeemkast goed te verzorgen, want de apparatuur zelf vormt een barrière voor de doorstroming. Ook is het moeilijk de koelluchthoeveelheid substantieel te vergroten, omdat de doorstoomopening horizontaal gezien langs de apparatuur klein is. De systeemkast is immers zo klein mogelijk gekozen.
Ook is het grootste deel van de apparatuur horizontaal doorstroomd, waardoor er in de systeemkast ongewenste luchtstromen lopen die de koeling negatief beïnvloeden.
Het concept van seriële koeling is hierdoor niet geschikt voor High Density (HD) koeling. De verticaal doorstroomde systeemkasten zullen bij verder stijgend vermogen vervangen dienen te worden door horizontaal doorstroomde systeemkasten (parallelle koeling)
Parallelle koeling
Via vloerroosters aan de voorkant van de systeemkasten wordt de koellucht ingeblazen. De koellucht wordt door de eigen ventilatoren van de servers horizontaal door de servers “gezogen” om daarna opgewarmd via de ventilatoren de achterzijde van de systeemkasten te verlaten. Deze systeemkasten zijn van het type ‘semi-open’ en uitgevoerd met geperforeerde deuren aan de voor en achterkant. De koeling gebeurt nu parallel. De opgewarmde retourlucht wordt via het plafond of direct boven de computerapparatuur afgezogen en na afkoeling opnieuw onder de verhoogde vloer ingeblazen.
Hot aisle/cold aisle
Bij parallelle koeling moet worden voorkomen dat de warme retourlucht van de ene rij kasten zich vermengt met de koellucht van de volgende rij kasten (thermische menging). Parallelle koeling is dan ook onlosmakelijk verbonden met het positioneren van de systeemkasten volgens het principe hot aisle/cold aisle. Dit houdt in dat de systeemkasten in rijen met de voor en achterzijden naar elkaar toe staan.
De koellucht wordt via uitstroomroosters in de verhoogde vloer in de ‘koude’ gang tussen de twee voorkanten gebracht (cold aisle). Door de geperforeerde voorkanten van de systeemkasten zuigen de eigen ventilatoren van de apparatuur de koellucht door de computers heen, om na koeling de ventilator aan de achterzijde van de systeemkast te verlaten. De opgewarmde koellucht (retourlucht) wordt in de ‘warme’ gang (hot aisle) geblazen en wordt afgezogen door de recirculatiekasten.
Bypass airflow en thermische menging
Op basis van ‘best practice’ is vast komen te staan dat de maximale koellast bij horizontaal doorstroomde, parallelle koeling in een opstelling van systeemkasten volgens het hot aisle/cold aisle principe gelimiteerd is tot 6 à 8 kW. Het koelproces wordt namelijk gelimiteerd door bypass airflow en thermische menging.
Bypass airflow is de verzamelnaam voor alle koellucht die zich, zonder apparatuur te koelen, vermengt met warme retourlucht. Bypass airflow ontstaat door lekverliezen in de verhoogde vloer (gaten voor kabeldoorvoeringen, verkeerd gepositioneerde uitstroomtegels et cetera) en doordat de koellucht langs de ‘lege’ plekken tussen de servers door stroomt.
Resumé Optimale koeling van een systeemkast (6-8KW) door: De koellucht via de tegelvloer, parallelle aanstroming; Gebruik van een semi-open systeemkasten; Opstelling van de kasten in hot aisle/cold aisle; De juiste maatregelen ter voorkoming van bypass airflow. In de praktijk blijkt echter dat bovenstaande koelcapaciteit bij lange na niet wordt gehaald. De effecten van bypass airflow en thermische menging heeft men onvoldoende onder controle. |
In de praktijk leidt de combinatie van bovengenoemde effecten tot een verlies van koellucht c.q. koelcapaciteit van meer dan 50 procent! Dit verklaart dan ook, dat ondanks voldoende geïnstalleerd koelluchtdebiet, toch ‘hotspots’ op allerlei posities in de systeemkasten ontstaan.
Cold Corridor
Een volgende stap in de ontwikkeling van hot aisle/cold aisle is het volledig fysiek scheiden van de warme en koude gang. In de praktijk: bouw een dak op de koude straat en sluit ook de kopse kanten van de rijen (toegang via deuren). De koude straat is nu volledig geïsoleerd van de rest van de computerzaal.
Daarnaast worden alle systeemkasten aan de voorzijde met blindplaten en strips volledig afgesloten. Let wel, de aanzuigopeningen van de servers zijn uiteraard wel open! De via de vloerroosters ingeblazen koellucht wordt nu alleen nog maar via de aanzuigopeningen van de servers afgevoerd. Hiermee is bypass airflow en thermische menging uitgesloten.
In de Cold Corridor (CoCo) is de temperatuur van de koellucht van vloer tot aan bovenkant van de systeemkast constant. Alle apparatuur krijgt dus koellucht met een zelfde, constante temperatuur.
Bij de eerste opstelling volgens het CoCo-principe bij Getronics PinkRoccade in Amsterdam gebeurde iets bijzonders: het werd te koud! (15-17°C). Hoewel de systeemkasten nog niet volledig waren afgesloten, was het effect van het terugdringen van bypass airflow en thermische menging direct merkbaar. Aangezien de specificatie van de koellucht voor computers 20-22°C is, kon de temperatuur van de koellucht dus hoger ingesteld worden. De koellast van de corridor is nu alleen nog maar afhankelijk van de aangeboden hoeveelheid koellucht, wat goed is te besturen met de vloerroosters. Een voordeel bleek ook, dat de positionering van de vloerroosters nu minder bepalend is voor een optimaal koelresultaat.
De warme gang, weliswaar niet afgesloten, wordt merkbaar warmer; 26-30°C is normaal. Deze temperatuur is hoger dan voorheen. Dit komt doordat de koellucht zich niet langer mengt met de warme retourlucht (geen bypass airflow).
Voordelen Cold Corridor
In principe heeft de Cold Corridor een oneindige capaciteit tot koeling. De computersystemen zuigen zelf hun benodigde koellucht aan en alleen de benodigde hoeveelheid koellucht dient te worden aangeboden.
De koeltemperatuur van de recirculatiekasten kan worden verhoogd. Dit verlaagt de kans op latente koeling (ongewenste ontvochtiging van de koellucht) en vergroot de capaciteit van de recirculatiekast.
Door het kunnen aanbieden van een constante, door de leverancier gespecificeerde temperatuur van de koellucht, wordt de levensduur van de apparatuur in de systeemkasten positief beïnvloed.
Het CoCo-principe is gemakkelijk in te passen in bestaande omgevingen en volledig schaalbaar (van slechts enkele tot vele rijen systeemkasten). Het betreft hoofdzakelijk bouwkundige aanpassingen.
Naast systeemkasten is ook afwijkende apparatuur, zoals mainframes, storage et cetera goed in te passen in dit concept. Deze zijn immers ook horizontaal doorstroomd.
Wel zijn voor installatie een aantal punten van aandacht: verlichting in de gang, branddetectie, cameratoezicht op de systeemkasten, stroomvoorziening en effect van uitval ventilatie op temperatuur (continuïteit).
Het grootste voordeel van het Cold Corridor-principe is echter het volledig kunnen benutten van de gehele hoogte van de systeemkast. Van onder tot boven volgestapeld met blade servers of enkelvoudige servers is mogelijk! Op naar 20 kWatt per kast..
ColdCorridor (CoCo) toegepast bij Getronics PinkRoccade
Interview met de Ruud van Loon, Services Manager Control Center bij Getronics PinkRoccade en verantwoordelijk voor alle rekencentra.
Wat was je probleem en hoe werd dit opgelost?
Andere oplossingen, die vóór CoCo beschikbaar waren, hebben een aantal belangrijke nadelen:
Door de hoge investeringen kwam de businesscase voor het toepassen van bladeservertechnologie onder druk te staan. Alternatieve oplossingen kosten veel fysieke ruimte, die vervolgens niet ingezet kan worden voor ict-componenten. De beschikbare technische oplossingen maken de toepassing van waterkoeling noodzakelijk en je wilt geen water in een datacenter.
Zonder de investeringen zou het effectieve gebruik van rackspace afnemen tot maximaal 30 procent bezetting.
Heb je klanten moeten teleurstellen?
Ons physical planning proces heeft de knelpunten tijdig voorzien en dankzij de toepassing van CoCo hebben we geen klanten hoeven teleurstellen.
Wat betekent de ColdCorridor voor jou?
Toepassen van bladeservertechnologie is geen issue meer. We hebben inmiddels, naast de Classic Managed Rackspace, ook de Highdensity Managed Rackspace in ons dienstenpakket opgenomen als één van de standaardoplossingen.
Kun je een indicatie geven van de verbetering (cijfers)?
Door toepassing van deze technologie zijn we in staat om de volledige ruimte in een rack te benutten. Afhankelijk van de detailuitvoering van de verschillende leveranciers kunnen we nu 5 tot 6 bladecentra in een 19″ rack plaatsen. Bij de conventionele oplossingen blijft dat beperkt tot 2.
Ondervind je nog beperkingen bij toepassing van het CoCo-principe?
Bij toepassing van CoCo wordt de temperatuur in de ruimte buiten de Cold Corridors boven de 25°C. Dit betekent dat in een ruimte waar CoCo wordt toegepast alleen apparatuur binnen de CoCo’s geplaatst kan worden. Door ons grote aantal datacentra is dit probleem oplosbaar. Het leidt wel tot een aantal verhuisbewegingen van apparatuur die niet in zo’n CoCo past.
Wat zijn de toekomstplannen?
In een van onze datacentra wordt het CoCo-concept momenteel uitgerold in een zaal van 1000 m�. Hierdoor ontstaat capaciteit van ruim driehonderd 19″racks, die we flexibel kunnen vullen met ‘classic’ en ‘high-density’ computerapparatuur zonder beperkingen in koelend vermogen van de ruimte en zonder zorgen over ‘hot-spots’.
Ook de andere datacentra zullen (waar nodig) voorzien worden van dezelfde techniek.
Marcel van Dijk, Mees Lodder, UpTime Technology
Behalve koeling is een effectieve rookdetectie in deze high density ook van groot belang. In high density omgevingen is de aanwezige luchtsnelheid in de ruimte veelal hoger dan 1 meter per seconde. Is dit het geval dan detecteren de standaard gebruikte conventionele optische rookmelders minder goed en raden wij aan om aspiratie rookdetectie aan het gehele branddetectie en blusconcept toe te voegen. Aspiratie rookdetectie systemen nemen continu rooksamples uit de beveiligde ruimte om te proeven of er een bepaalde rookdichtheid in de ruimte is ontstaan. Komt de rookdichtheid boven een warning of een alarm level dan zal de aspiratie de ruimtelijke koelsystemen kortstondig afschakelen om ervoor te zorgen dat de conventionele rookmelders ook op eventuele rookontwikkeling kunnen detecteren. Meten deze ook rook dan zal via de aspiratie unit de blusinstallatie worden geactiveerd en worden via de bluscentrale de verantwoordelijke personen en instanties op de hoogte gebracht.