Onlangs ben ik zijdelings betrokken geweest bij een prio-1 situatie, een storing. Een systeem ligt plat en dit heeft gevolgen voor een belangrijke afdeling. Deze afdeling kan niet meer werken en is onmisbaar in een 24-uurs organisatie.
De hardware had een fiks probleem en na wat speurwerk blijken het de netwerkmodules in een blade chassis te zijn die de storing veroorzaken. Na het uitpluizen van de logs wordt er een besluit genomen: hardware vervanging. Het proces is simpel, binnen enkele uren wordt er nieuwe hardware gebracht: klik vergrendeling los, veertjes trekken de verankering in, hardware er uit, hardware er in, klik vergrendeling vast, en klaar is de monteur.
Helaas voor ons bleek Murphy dit weekend ook dienst te hebben. Nog een keer proberen: de vergrendeling los, los, losser. Potver@#$%!!! De verankering werkt iets te goed, er is geen beweging in te krijgen. Om één of andere reden lukt het niet om een field replaceable unit in het veld te vervangen. Het lijkt er op dat de metalen veertjes niet mee werken. De vijf minuten worden er dertig, dertig minuten worden er een uur, een uur wordt twee uur… De tijd verstrijkt. Ongelofelijk dat een onderdeel van waarschijnlijk nog geen cent zoveel weerstand kan veroorzaken. Maar, de aanhouder wint en uiteindelijk lukt het de modules te vervangen.
Was het maar software defined
Ondertussen gaat er in de gedachten van de collega’s al het nodige rond. Oh, waren we maar jaren verder, software defined alles. Heerlijk. Voltooid verleden tijd voor complexe hardware en veertjes van een cent of wat. Gewoon common of the shelf (#cots) spullen. Gestapeld en niet te complex. Geen uren meer spenderen aan het vervangen van één complex en duur elementje, maar het hele bouwblok in één keer rip-en replace.
Software defined maakt het mogelijk. Eenvoudige hardware bouwblokken en complexiteit in één vluchtige laag. Niet vluchtig als in snel weg, maar vluchtig als in eenvoudig te veranderen. Waren we maar zo ver geweest dit afgelopen weekend. Dromen, dromen...
Terug naar vandaag
Langzaam komen wij weer uit die dromerige wereld terug. De hardware blijkt het probleem helemaal niet. Ja, los van dat veertje dan. Na nog verder graven blijkt het probleem in de firmware te zitten. Aaah, software. Dat is eenvoudig op te lossen. En dat klopt. De hele keten even aanpassen. Drie man tegelijk bezig. Servers, chassis, administrator boards en nic's. Als of het niks is…
En dan komen we nog harder terug in de realiteit. Deze firmware problemen waren toch eerder aangegeven aan de klant? Proactief gemeld? Eerder gesignaleerd maar niets mee gedaan? Ja, niets mee gedaan. Nou ja, iedere zes weken een change window aangevraagd maar niet gekregen van de klant. Dat is niet te geloven. Dus een afdeling die niet mag stilstaan staat stil omdat er niets gedaan is. Het change proces was bevroren door andere belangen. Een proactief proces dat zo vast zit als dat metalen veertje.
Moraal van dit verhaal: Software defined vraagt meer van de it-afdeling dan alleen software kennis. Stappen maken in volwassenheid, adoptie van een beheerproces en meeveren, maar ook terugveren als de organisatie een tegenbeweging maak.
