Een week uit het leven van een DataOps Engineer

Bij Biyond ben ik DataOps Engineer. Dit betekent dat ik elke klant met een Service Level Agreement (SLA) help met allerlei vragen en problemen op het gebied van BI en soms ook Corporate Performance Management (CPM). Dit kan bijvoorbeeld gaan over SQL jobs, SQL queries, beheer en rapportages. Hierdoor is geen dag hetzelfde.

Maandag

Elke dag beginnen wij met het checken van de nachtelijke processen. We hebben ingericht dat onder andere SQL-jobs een notificatie sturen naar Outlook. Op maandag zijn de mailboxen aardig vol, omdat processen ook in het weekend draaien. Daardoor is het op deze dag meer werk om alles mails weg te werken en soms levert het een leuke puzzel op om te achterhalen of een issue wat in het weekend speelde, nog wel relevant is. Als we zien dat er processen niet of niet goed hebben gedraaid, dan kijken we tijdens onze stand-up wie wat kan oppakken. Productie-omgevingen van de klanten hebben altijd de hoogste prioriteit om weer up-to-date te krijgen en daarna kijken we naar test-/acceptatie-omgevingen en andere lopende tickets en projecten. Deze dag verloopt dan ook geen week hetzelfde en kan heel rustig beginnen, maar het kan ook zijn dat we meteen volop aan het puzzelen zijn wat er aan de hand is bij een aantal klanten en hoe we het probleem zo goed en snel mogelijk kunnen verhelpen. Komen we er zelf niet uit, dan helpen we elkaar verder of we vragen een betrokken consultant om hulp.

Dinsdag

We beginnen met het checken van de processen: vandaag is er niks aan de hand. Dat geeft ons tijd om te kijken wat er nog ligt van de maandag of de week ervoor. Er staat in TOPDesk nog een aantal tickets open. Daarnaast doen we minimaal jaarlijks een upgrade van ons framework, Biyond Decision Manager (BDM), bij onze klanten en vandaag staat er een op de planning. Tijdens de stand-up kijken we weer wie wat oppakt. Als iemand een upgrade oppakt of iets voor een project doet, spreken we altijd af dat de ander de mailbox en telefoon in de gaten houdt. Vandaag pak ik het ticket op, log ik in bij de klant om te kijken hoe we het getal in de begroting berekenen en weergeven en of dat overeenkomt met wat de klant verwacht. Bij deze klant is alles gebouwd in SQL, dus ik zoek hier de juiste stored procedures en ga dan terugkijken welke stappen gedaan worden om tot het getal te komen. Dit koppel ik vervolgens terug aan de klant. Ondertussen check ik af en toe de inbox. In de middag komen nieuwe tickets binnen die ik op volgorde van de prioriteit afhandel.

Woensdag

Vandaag is helaas bij een drietal klanten een aantal processen niet goed gegaan. We kijken weer wie wat kan doen. Ik heb nog wel voldoende tijd om één van de processen te bekijken. Het blijkt dat in de tool van onze CPM-partner Prophix een importproces niet goed is gegaan. In de logging zie ik een error dat te maken heeft met geheugenproblemen. Hiervoor moet ik een ticket aanmaken bij Prophix, omdat alleen zij bij de server kunnen en vraag hen na te gaan wat er is gebeurd. Het blijkt dat de dagen ervoor zware processen het geheugen langzaam hebben laten vollopen. Daarom moet de server worden herstart en dus vraag ik onze klant om alle gebruikers te vragen uit te loggen op een bepaalde tijd en geef die tijd door aan Prophix om dan een herstart te doen. Daarna kan ik de fout gelopen processen herstarten en deze keer blijkt alles goed te gaan. Dit geef ik door en de klant kan weer verder. Met name tijdens de maandafsluiting zit hier veel druk achter en dan zijn we ook extra alert op foutmeldingen.

Omdat ik vandaag thuis werk heb ik tijd om even een uurtje te gaan sporten en na de lunch ga ik verder met een project. Er moet een proces ingericht worden om data vanuit het datawarehouse naar de cloud te sturen om daarna in Prophix te kunnen worden ingelezen. Zulke processen hebben we bij andere klanten staan en kunnen we kopiëren. Een paar aanpassingen zijn nodig om het voor deze klant draaiende te krijgen, en dan kan mijn CPM-collega met de klant weer verder met het inrichten en testen van Prophix. Dan blijkt de klant ook het proces andersom te willen en dus maak ik ook hiervoor een job met een bijbehorende inrichting in BDM. Nu kan onze klant financiële processen afronden in Prophix, en een vereenvoudigde balans exporteren en deze in Excel gebruiken voor analyses.

Bij DataOps is geen dag hetzelfde!

Donderdag

Op donderdag werk ik altijd op ons kantoor in Amersfoort en blijkt maar bij één klant iets fout te zijn gegaan in een productie-omgeving: een collega van ons heeft een test gedaan op een acceptatie-omgeving wat niet correct is gegaan. Dat laatste geven we alleen even door zodat hij daarnaar kan kijken. Deze ochtend bereiden we samen een serviceoverleg met een klant voor, waarin we met de klant de afgelopen periode evalueren en kijken naar de komende periode. Deze overleggen vinden voor alle klanten eens per kwartaal plaats. Vervolgens komt een verzoek binnen van een collega om even mee te kijken naar een tabel in MySQL, die als basis dient voor import in Prophix, waar iets mist. Hier blijkt in de stored procedure nog iets niet goed te gaan, waardoor data niet goed geaggregeerd wordt en corrigeer ik dit. Daarna hebben we het serviceoverleg met een tevreden klant waar alles soepel draait en een paar kleine aandachtspunten besproken worden en als actiepunten uitgezet bij de juiste personen. Aan het eind van de dag krijgen we een melding van een gebruiker die foutieve getallen in een rapport in PowerBI ziet. Hier blijkt iets niet goed te gaan in het samenvoegen van meerdere begrotingen en omdat dit een grote aanpassing vergt van de SSIS-packages, houdt dat in dat ik dit doorzet naar een BI-consultant. De klant moet nog wel toestemming geven om dit op te pakken, dus dit ticket gaat naar ‘wachten op akkoord’ totdat de klant de backlog heeft bijgewerkt en akkoord is.

Vrijdag

Ook vandaag ben ik op kantoor want het is een zogenoemde ‘Biyond-dag’, waarbij alle collega’s op kantoor in de ochtend worden geüpdatet over de stand van zaken met betrekking tot de business, HR, nieuwe projecten, komende evenementen etc. Ook vertellen een aantal collega’s over hun werkzaamheden van de afgelopen periode. Ongeveer 1 keer per maand hebben we zo’n dag; leuk om alle collega’s weer te zien. En in de middag is er dan nog mogelijkheid om bijvoorbeeld aan kennisdeling te doen. Of doen we een gezamelijke teambuilding activiteit.

Vanmiddag hebben we een kennissessie waarbij een collega iets gaat vertellen over Azure. Na deze kennissessie zijn er nog een aantal uurtjes over om nog een fout gelopen job op een acceptatie-omgeving te bekijken. Ik zie dat hier onvoldoende schijfruimte is om de kubus te voorzien van nieuwe data. Dit geef ik door aan IT van die klant en zij lossen dit snel op. Dan is het tijd voor weekend!