onlangs was ook ik bezig met het updaten van de servers. Na het doornemen van de patches en het draaien van de updates werden deze dan ook netjes geïnstalleerd door Microsoft update.
En toen ging het fout.
De Windows 2008 r2 servers hebben een patch gekregen die bestemd is voor Windows Vista en daardoor kwamen de 2008 r2 servers niet meer online. Bij het inloggen verschijnt er de foutmelding 'an unauthorized change was made to Windows' met als foutcode 0xC004D401 'The security processor reported a system file mismatch error'.
Met andere woorden: Geef eens ff een valide code op. Gelukkig zit er dan een button die je verteld dat je meer kan leren. Na op deze button te hebben geklikt krijg ik de melding dat mijn Vista installatie niet meer geleverd wordt en dat ik een Windows 7 licentie kan kopen.
Na bijna 50 minuten binnen Microsoft van hot naar her te zijn doorverbonden mag ik dan tegen X tarief een support call aanmaken en dan word ik verder geholpen. Salliant detail:
Als je deze melding hebt, geef dan in de internet browser als url www.microsoft.comgenuine/validate op. Je krijgt dan automatisch de vista validatie pagina te zien.
De mensen van de support afdeling doen hun uiterste best om te helpen, maar helaas krijg ik daarmee de servers niet online.
Helaas staan de Windows 2008 R2 servers nu op een zwart scherm te zeggen dat ze windows 7 willen hebben en kan ik er verder niets mee.
Micrsoft faalt nu wel heel erg sterk.
Tip van deze week?
Als je Microsoft updates draait op Windows 2008 r2 check dan iedere update heel goed voordat je hem installeert. Doe je dat niet? Dan sta je straks ook bij Microsoft op de stoep.
Reacties
Los van dat ik mij afvraag sinds wanneer een CTO zich bezighoudt met hands-on werkzaamheden, weet elk zichzelf respecterend IT bedrijf dat men patches niet rücksichtlos los moet laten op een productieomgeving maar eerst gaat testen en accepteren. Saillant detail: dhr. Westhovens maakt blijkbaar ook geen backups.
Dit is niet de fout van Microsoft, dit is de fout van de systeembeheerder(s) die updates zonder te testen in productie zetten.
Microsoft faalt dus niet, deze organisatie faalt behoorlijk.
Ik hoop dat dit een wijze les voor deze organisatie is en ik vermoed dat mijnheer E. Westhovens een andere baan gaat zoeken.
@Michel: gezien het bedrijf zijn grootte, snap ik dat een CTO de handson taken doet.
En ik heb in zo'n kleine omgeving ook wel eens meegemaakt dat een programmeur het normaal vond updates van Microsoft rucksichtlos te installeren, terwijl ik daar als beheerder nogal wat vraagtekens bij plaatsten.
Immers volgens de EULA van Microsoft heb je het uiteindelijk echt zelf gedaan en bij Microsoft zelf maken ze echt -nooit- vauten. :)
Geen backups maken in zo'n kleine omgeving zal wel niet van toepassing zijn. Dat is vanzelfsprekend.
@Erik Westhoven: Je hebt het over onlangs maar tegelijkertijd wek je de indruk dat de servers nog steeds niet on-line zijn. Je kunt toch gewoon een repair draaien vanaf de originele DVD? Dan moet een server wel alle updates opnieuw draaien (waaronder SP1) maar onder R2 zullen er dat nog niet extrem veel zijn (2008 zelf een stuk of 150 - volgens mij - en die is in 2 uurtjes wel klaar).
Om welke patch gaat dit? Heb je ook een Knowledge Base nummer? Ik kan me niet voorstellen dat 2008R2 een Vista patch überhaupt wil draaien. Ik hoor het graag, want we hebben wel een paar virtuele servers die automatisch updaten (is overigens in geen jaren fout gegaan). Graag wat meer info over de patch zodat anderen het niet overkomt.
Mijnheer E. Westhoven is security-expert, maar weet niet hoe het updateproces eruit moet zien?
@Computable, kunnen wij jullie experts nog wel serieus nemen als dit het niveau is?
@Guido, automatisch de updates installeren (zoals MS hun klanten adviseert) is inderdaad gevaarlijk. Updaten zonder te testen, dat doe ik niet met ons eigen netwerk, noch van klanten, noch met mijn eigen machinepark. Ik wacht ook altijd even met het updaten totdat anderen dat gedaan hebben en eventuele problemen gemeld hebben. Dat scheelt heel veel extra werk. Maar met testen kan je problemen niet altijd voorkomen. Het is bij mij ook wel eens misgegaan.
In dit geval lijkt het me een fout van MS te zijn. MS moet op zijn minst voorkomen dat er conflicten tussen eigen producten ontstaan en problemen met veel gebruikte protocollen/standaarden. Ze hebben genoeg testcapaciteit. Een patch voor betere connectivity met Vista mag geen problemen veroorzaken.
@ICT-er: Microsoft heeft misschien wel geld voor testen, maar doet dit nooit.
Microsoft adviezen moet je ook niet te serieus nemen, men moet niet vergeten dat hun besturingssystemen het best geschikt zijn voor thuis en spelletjes.
@ICT-er, Microsoft adviseert om updates goed te testen, aangezien ze zelf nooit alle situaties kunnen beoordelen.
Het gaat inderdaad wel eens fout, overigens heb ik alle updates in een testomgeving op W2K8R2 geïnstalleerd en ik heb dit probleem niet.
Het advies om updates automatisch te installeren klopt, maar in een serveromgeving wel via WSUS of SCCM2007 en uiteraard eerst testen (ik kan het woord testen niet vaak genoeg zeggen bij updates).
Daarnaast gaan er wel vaker updates niet goed, denk maar aan MCAfee vorig jaar.
Als unix/linux adept lees ik weer eens hoofdschuddend de reacties.
Als ik de meeste reacties goed begrijp is men van mening dat de leverancier van het OS in het geval van updates of patches haar klanten mag gebruiken om te testen. Dat de leverancier daarmee kosten uitspaart vindt men heel normaal, evenals het gegeven dat de kosten die de klant daarmee maakt vanzelfsprekend niet op die leverancier worden verhaald.
Het valt Erik Westhovens te prijzen dat hij dit openlijk aan de kaak durft te stellen.
@hk
Microsoft geeft zelf aan nooit alle situaties te kunnen testen en dat er altijd een verantwoordelijkheid bij de beheerder blijft liggen.
Dit is overigens niet alleen bij updates of bij Microsoft, maar elke wijziging moet getest worden en helemaal bij (kritieke) servers.
Dat zou iemand die zichzelf "security expert" noemt zeker moeten weten.
Als Erik erbij zou zetten om welke update het precies ging en hoe zijn omgeving eruit zag, dan konden we er nog wat mee, maar deze informatie blijft achterwege.
Nu kunnen we alleen concluderen dat Erik Westhovens cruciale fouten heeft gemaakt.
Laat het een les zijn voor iedereen die geen goede changeprocedure heeft.
Wellicht is het handig als die eerst zijn cursus afmaakt voor dat die aan deze klus begint. Een CTO die wel erg kortzichtig is. Microsoft wordt op deze manier in diskrediet gebracht. Absoluut CTO onwaardig en denk dat deze Erik Westhovens niet meer serieus moet worden genomen.
Tip vd week voor Erik: Ga omscholen.Drop het titeltje CTO en wis je profiel. Dat je dit uberhaupt durft te posten en je expert noemt. Dat de argeloze thuisgebruiker updates installeert en in de problemen komt oke, maar iemand die zich expert noemt en dit verhaalt typt??!! Lachwekkend gewoon.
Aan allen.
De betreffende patch is getest op een aantal servers en heeft daar niet tot problemen geleid. Alleen de SQL server ging onderuit met de patch. Na een supportcase te hebben aangemaakt bij Microsoft is de case heel goed opgepakt en heeft microsoft deze naar alle behoren opgelost. Binnen 4 uur draaide de server weer netjes.
Wat was er nu gebeurt?
Microsoft heeft tijdens de patch rondes een update klaargezet (KB 2533552)die een verkeerd versienummer gebruikte en daarmee een aantal bestanden overschreef. (http://support.microsoft.com/kb/2533552/nl)(Dit KB article is alleen van toepassing als er een melding is tijdens de installatie van servicepack 1 en daarom heeft alleen de SQL server van ons er last van gehad) De server melde dat hij een verkeerde versie had en om de licentie te activeren gaf de website aan dat het om een vista versie ging. Niets was minder waar. De patch had invloed op de licentiesleutel waardoor de server niet meer bereikbaar was vanaf de console.
Met behulp van psexec is de sleutel via command line geheractiveerd en meteen deed de server het weer.
De omgeving waar het hier om gaat bestaat uit een AD controller, een SQL server, een tweede domain controller die ook file server is, een vSphere server en een 6 tal ESXi hosts met daarop VirtualDesktops.
Ook deze demo omgevingen moeten gemanaged worden en krijgen dus ook regelmatig updates. Als CTO wil ik graag in de techniek blijven en derhalve doe ik dit soort zaken gerust zelf. Daar is helemaal niets mis mee.
Fijn hoor. Ben je een CTO met hart voor techniek. Ja ze bestaan nog! Schrijf je een opinie-artikel om collega's te waarschuwen. En om daarmee ook te voorkomen dat MS meer van deze support cases te verwerken krijgt. Iedereen blij zou je denken. Maar nee: Als dank krijg je dan een grote zak bagger over je heen! Wat een collegialiteit jongens!
Ik vind het lovenswaardig dat iemand zijn nek uitsteekt om collega's voor dit soort vervelende tegenslagen te behoeden. En zich niet schaamt voor de persoonlijke keuzes voor het invullen van zijn rol. De onfeilbare manager, ITer, mens moet nog worden uitgevonden.
@Erik, mijn inschatting klopte. "In dit geval lijkt het me een fout van MS te zijn". Dit (updateprobleem met KB 2533552) had mij ook kunnen overkomen. En inderdaad "met testen kan je problemen niet altijd voorkomen".
Goede omschrijving van de probleemsituatie met de oplossing en de MS tech referentie voor de liefhebbers.
Omscholen lijkt me meer een zaak voor een paar flauwe reageerders; niet voor jou
@Erik Westhovens: Bedankt voor de info. Het ging dus maar om één server?
Overigens snap ik die commotie over dat testen van ms-updates niet. Wij maken backups. Als wij met beheercontractjes van 175 euro per maand alle updates op servers en werkplekken handmatig gaan doen, moeten we zelf geld meebrengen.
We hebben wel eens een jaarlijks hardware garantie-uitbreidingsfactuurtje teruggehad met de mededeling dat er sprake moest zijn van een misverstand (omdat ze ook al 175,00 per maand betaalden). Als je dan uitlegt, dat dat is voor problemen die ze allemaal nièt gehad hebben, vragen ze of ze daar tegenwoordig ook al voor moeten betalen.
Het gaat overigens altijd goed. Heel nu en dan is er nog wel een boardje dat niet goed herstart met een USB-device erin (ook als je USB-boot gedisabled hebt en/of de bootvolgorde goed hebt). Die heb je dan een keer 's morgens aan de telefoon. Je moet gewoon zo weinig mogelijk antivirus producten van anderen dan MS erop hebben en zorgen dat er niet onder admin-rechten wordt gewertk (omdat ze het anders zo lastig vinden). Niet alle partijen eten mee uit een overheidsruif van twee miljard op jaarbasis.
@heren hierboven: Dit had naar voren moeten komen in de representatieve testomgeving waar de SQL server hetzelfde probleem had gekregen met de foutieve patch. In het artikelwordt er aangegeven dat er nog steeds servers op zwart staan en een sneer naar MS aan het einde van het verhaaltje imo. Later in de reacties komt er een compleet ander antwoord en reageert MS zeer correct. Dit is niet collegiaal wijzen op en behoeden voor, dit is blunderen en goedpraten.
@Peter: Er zit nogal een verschil in de toon van het oorspronkelijke artikel en de reactie die later volgt.
Voorts zijn er genoeg technische mensen die al 2 decennia zich afvragen waarom er in bedrijfsomgevingen met hobby achtige programmatuur gewerkt moet worden.
Als dat dan toch moet (klant is immers koning), wees dan op het allerergste voorbereid, zeker met die software.
Lees de opmerking van Technicus met een glimlach,
Zo subtiel heb ik het niet weten te brengen.
@Peter Ambaghtsheer,
Welicht dat het allemaal wat vriendelijker kan,
maar als MicroSoft zelf al aangeeft dat je de spullen eerst moet testen (wat vervelend en tijdrovend maar duidelijk wel nodig is) dan is het niet zo handig om die stap zomaar over te slaan.
Toegegeven, dit is een van de redenen waarom ik het niet zo op systeembeheer heb... als de boel verknalt wordt, heb je er een harde dobber aan de zaak te herstellen.
Bij heel veel producten is dat niet eens mogelijk en zul je de handel vanuit een backup terug moeten draaien. das niet mijn idee van systeembeheer.
Stel nu eens dat Steve Ballmer op zondag zelf de patches op zijn thuisnetwerk zou doen. Hmmm....
Waarschijnlijk heeft hij zelf Apple.
Beste Erik,
Bedank voor je opinie! Ik sluit me verder volledig aan bij de reactie van Peter Ambagtsheer.
Kleine aanvulling:
Het lijkt er sterk op dat een aantal reacties op de persoon zijn gericht. Het niveau van die reacties zijn wat mij betreft niet Computable waardig. Het artikel van Erik is dat zeker wel. Dankzij dit artikel ben ik als beheerder weer even bewust van het belang van testen.