Systeem administrators zijn dagelijks hard bezig om hun Micrsoft-systemen draaiende te houden en natuurlijk veilig. Windows updates zijn daar erg belangrijk voor en er word dan ook regelmatig gekeken naar de laatste updates.
onlangs was ook ik bezig met het updaten van de servers. Na het doornemen van de patches en het draaien van de updates werden deze dan ook netjes geïnstalleerd door Microsoft update.
En toen ging het fout.
De Windows 2008 r2 servers hebben een patch gekregen die bestemd is voor Windows Vista en daardoor kwamen de 2008 r2 servers niet meer online. Bij het inloggen verschijnt er de foutmelding 'an unauthorized change was made to Windows' met als foutcode 0xC004D401 'The security processor reported a system file mismatch error'.
Met andere woorden: Geef eens ff een valide code op. Gelukkig zit er dan een button die je verteld dat je meer kan leren. Na op deze button te hebben geklikt krijg ik de melding dat mijn Vista installatie niet meer geleverd wordt en dat ik een Windows 7 licentie kan kopen.
Na bijna 50 minuten binnen Microsoft van hot naar her te zijn doorverbonden mag ik dan tegen X tarief een support call aanmaken en dan word ik verder geholpen. Salliant detail:
Als je deze melding hebt, geef dan in de internet browser als url www.microsoft.comgenuine/validate op. Je krijgt dan automatisch de vista validatie pagina te zien.
De mensen van de support afdeling doen hun uiterste best om te helpen, maar helaas krijg ik daarmee de servers niet online.
Helaas staan de Windows 2008 R2 servers nu op een zwart scherm te zeggen dat ze windows 7 willen hebben en kan ik er verder niets mee.
Micrsoft faalt nu wel heel erg sterk.
Tip van deze week?
Als je Microsoft updates draait op Windows 2008 r2 check dan iedere update heel goed voordat je hem installeert. Doe je dat niet? Dan sta je straks ook bij Microsoft op de stoep.
@hk
Microsoft geeft zelf aan nooit alle situaties te kunnen testen en dat er altijd een verantwoordelijkheid bij de beheerder blijft liggen.
Dit is overigens niet alleen bij updates of bij Microsoft, maar elke wijziging moet getest worden en helemaal bij (kritieke) servers.
Dat zou iemand die zichzelf “security expert” noemt zeker moeten weten.
Als Erik erbij zou zetten om welke update het precies ging en hoe zijn omgeving eruit zag, dan konden we er nog wat mee, maar deze informatie blijft achterwege.
Nu kunnen we alleen concluderen dat Erik Westhovens cruciale fouten heeft gemaakt.
Laat het een les zijn voor iedereen die geen goede changeprocedure heeft.
Wellicht is het handig als die eerst zijn cursus afmaakt voor dat die aan deze klus begint. Een CTO die wel erg kortzichtig is. Microsoft wordt op deze manier in diskrediet gebracht. Absoluut CTO onwaardig en denk dat deze Erik Westhovens niet meer serieus moet worden genomen.
Tip vd week voor Erik: Ga omscholen.Drop het titeltje CTO en wis je profiel. Dat je dit uberhaupt durft te posten en je expert noemt. Dat de argeloze thuisgebruiker updates installeert en in de problemen komt oke, maar iemand die zich expert noemt en dit verhaalt typt??!! Lachwekkend gewoon.
Aan allen.
De betreffende patch is getest op een aantal servers en heeft daar niet tot problemen geleid. Alleen de SQL server ging onderuit met de patch. Na een supportcase te hebben aangemaakt bij Microsoft is de case heel goed opgepakt en heeft microsoft deze naar alle behoren opgelost. Binnen 4 uur draaide de server weer netjes.
Wat was er nu gebeurt?
Microsoft heeft tijdens de patch rondes een update klaargezet (KB 2533552)die een verkeerd versienummer gebruikte en daarmee een aantal bestanden overschreef. (http://support.microsoft.com/kb/2533552/nl)(Dit KB article is alleen van toepassing als er een melding is tijdens de installatie van servicepack 1 en daarom heeft alleen de SQL server van ons er last van gehad) De server melde dat hij een verkeerde versie had en om de licentie te activeren gaf de website aan dat het om een vista versie ging. Niets was minder waar. De patch had invloed op de licentiesleutel waardoor de server niet meer bereikbaar was vanaf de console.
Met behulp van psexec is de sleutel via command line geheractiveerd en meteen deed de server het weer.
De omgeving waar het hier om gaat bestaat uit een AD controller, een SQL server, een tweede domain controller die ook file server is, een vSphere server en een 6 tal ESXi hosts met daarop VirtualDesktops.
Ook deze demo omgevingen moeten gemanaged worden en krijgen dus ook regelmatig updates. Als CTO wil ik graag in de techniek blijven en derhalve doe ik dit soort zaken gerust zelf. Daar is helemaal niets mis mee.
Fijn hoor. Ben je een CTO met hart voor techniek. Ja ze bestaan nog! Schrijf je een opinie-artikel om collega’s te waarschuwen. En om daarmee ook te voorkomen dat MS meer van deze support cases te verwerken krijgt. Iedereen blij zou je denken. Maar nee: Als dank krijg je dan een grote zak bagger over je heen! Wat een collegialiteit jongens!
Ik vind het lovenswaardig dat iemand zijn nek uitsteekt om collega’s voor dit soort vervelende tegenslagen te behoeden. En zich niet schaamt voor de persoonlijke keuzes voor het invullen van zijn rol. De onfeilbare manager, ITer, mens moet nog worden uitgevonden.
@Erik, mijn inschatting klopte. “In dit geval lijkt het me een fout van MS te zijn”. Dit (updateprobleem met KB 2533552) had mij ook kunnen overkomen. En inderdaad “met testen kan je problemen niet altijd voorkomen”.
Goede omschrijving van de probleemsituatie met de oplossing en de MS tech referentie voor de liefhebbers.
Omscholen lijkt me meer een zaak voor een paar flauwe reageerders; niet voor jou
@Erik Westhovens: Bedankt voor de info. Het ging dus maar om één server?
Overigens snap ik die commotie over dat testen van ms-updates niet. Wij maken backups. Als wij met beheercontractjes van 175 euro per maand alle updates op servers en werkplekken handmatig gaan doen, moeten we zelf geld meebrengen.
We hebben wel eens een jaarlijks hardware garantie-uitbreidingsfactuurtje teruggehad met de mededeling dat er sprake moest zijn van een misverstand (omdat ze ook al 175,00 per maand betaalden). Als je dan uitlegt, dat dat is voor problemen die ze allemaal nièt gehad hebben, vragen ze of ze daar tegenwoordig ook al voor moeten betalen.
Het gaat overigens altijd goed. Heel nu en dan is er nog wel een boardje dat niet goed herstart met een USB-device erin (ook als je USB-boot gedisabled hebt en/of de bootvolgorde goed hebt). Die heb je dan een keer ’s morgens aan de telefoon. Je moet gewoon zo weinig mogelijk antivirus producten van anderen dan MS erop hebben en zorgen dat er niet onder admin-rechten wordt gewertk (omdat ze het anders zo lastig vinden). Niet alle partijen eten mee uit een overheidsruif van twee miljard op jaarbasis.
@heren hierboven: Dit had naar voren moeten komen in de representatieve testomgeving waar de SQL server hetzelfde probleem had gekregen met de foutieve patch. In het artikelwordt er aangegeven dat er nog steeds servers op zwart staan en een sneer naar MS aan het einde van het verhaaltje imo. Later in de reacties komt er een compleet ander antwoord en reageert MS zeer correct. Dit is niet collegiaal wijzen op en behoeden voor, dit is blunderen en goedpraten.
@Peter: Er zit nogal een verschil in de toon van het oorspronkelijke artikel en de reactie die later volgt.
Voorts zijn er genoeg technische mensen die al 2 decennia zich afvragen waarom er in bedrijfsomgevingen met hobby achtige programmatuur gewerkt moet worden.
Als dat dan toch moet (klant is immers koning), wees dan op het allerergste voorbereid, zeker met die software.
Lees de opmerking van Technicus met een glimlach,
Zo subtiel heb ik het niet weten te brengen.
@Peter Ambaghtsheer,
Welicht dat het allemaal wat vriendelijker kan,
maar als MicroSoft zelf al aangeeft dat je de spullen eerst moet testen (wat vervelend en tijdrovend maar duidelijk wel nodig is) dan is het niet zo handig om die stap zomaar over te slaan.
Toegegeven, dit is een van de redenen waarom ik het niet zo op systeembeheer heb… als de boel verknalt wordt, heb je er een harde dobber aan de zaak te herstellen.
Bij heel veel producten is dat niet eens mogelijk en zul je de handel vanuit een backup terug moeten draaien. das niet mijn idee van systeembeheer.