Een dag uit het leven van een Senior Data Architect
Binnen mijn functie als Manager R&D en Support & Operations houd ik mij onder andere bezig met het bepalen en ontwerpen van onze referentie data architectuur en voor de data architectuur bij onze opdrachtgevers. Ook werk ik aan de doorontwikkeling van onze orchestration engine Biyond Decision Manager (BDM). Voor deze werkzaamheden zoeken we een Senior Data Architect, om het R&D team verder uit te breiden.
Een werkdag
Een opdrachtgever heeft een traditioneel datawarehouse maar wil ons advies over welke stappen nodig zijn om over te stappen naar het Azure Data Platform. Hiervoor ga ik in gesprek met de klant en de lead consultant. Wat is de reden, wat zijn de ambities, wat staat al vast en wat moet nog besloten worden? Met welke partijen wordt er samengewerkt?
De opdrachtgever geeft aan niet alleen advies te willen maar wil ook begeleid worden bij de te nemen stappen. Hiervoor heb ik samen met mijn collega en Azure-specialist een stappenplan ontwikkeld. Dit plan bestaat uit 7 stappen waarbij per bron geïnventariseerd wordt op welke manier deze vanuit een cloud platform het beste aangesloten wordt en wat daarvoor de beste optie is. Bijvoorbeeld door het opzetten van een self-hosted integration runtime voor het ene bronsysteem en het uitlezen van een data lake naar een Azure Synapse datawarehouse voor het andere bronsysteem.
De ontwikkeling van de orchestration- en monitoringtools vergt een deel van mijn aandacht. Ik denk na over hoe we nieuwe versies van de applicatie releasen bij onze klanten. Deze week wordt een nieuwe versie beschikbaar gesteld waarin de installatie sterk vereenvoudigd is. Voorheen moest een consultant handmatig de applicatie installeren. Nu kunnen encrypted install keys zelf door de klant opgehaald worden om vervolgens een upgrade uit te voeren. De volgende stap is om samen met een klant die vooroploopt in datawarehouse development, na te denken over hoe we de updates onderdeel maken van hun dagelijkse CI/CD pipeline voor het releasen van changes.
Lunchtijd! Tussen de middag lunchen we met alle collega’s, om aansluitend een stuk te wandelen. Frisse lucht en even bijpraten. Daarna ga ik met onze accountmanager aan de slag voor een project bij een nieuwe opdrachtgever. Als data architect word ik regelmatig betrokken bij presales of de opstartfase van een project. Als sparringpartner denk ik dan na over wat de beste oplossing is voor de klant. Samen met de accountmanager maak ik een voorstel. Een collega wordt daarna verantwoordelijk voor het gehele project en de uitvoering. Het kan zijn dat de data architect een rol blijft vervullen ter ondersteuning van de consultants en de klant. Tijdens zo’n project moeten bijvoorbeeld verschillende scenario’s getest worden. De uitkomsten leveren vaak weer nieuwe ideeën op voor de verdere ontwikkeling van BDM.
Eén van onze klanten heeft nu een datawarehouse op basis van een Azure Synapse Dedicated SQL pool. De aansturing ervan kan een stuk beter dan nu het geval is. Samen met de senior datawarehouse developer van de klant bedenk ik hoe dit het beste kan. De resultaten worden opgenomen in een van de volgende releases van BDM.
Uiteraard moet er ook goed in de gaten gehouden worden wat er binnen Microsoft Fabric beschikbaar komt. Onze standaard tools moeten voor een deel aangepast worden om op dit platform te kunnen functioneren. Ik denk na over het parallel uitvoeren van verschillende pipelines met de juiste afhankelijkheden en berichten.
Spreken deze werkzaamheden jou aan en wil je meer weten? Neem dan contact op met Yolanda Carton via hr@biyond.nl.
Biyond Decision Manager
Onze oplossing Biyond Decision Manager (BDM) wordt ingezet als orchestration engine bij bestaande en nieuwe klanten voor de aansturingen van ETL-processen. In combinatie met bestaande Microsoft Data Platform technologie worden hiermee processen binnen een schaalbare en robuuste architectuur gerealiseerd. De applicatie verkort de implementatietijd, vereenvoudigt het beheer en maakt kennisuitwisseling en training eenvoudiger.
