In een modern cloud data platform, worden soms grote hoeveelheden data geladen, getransformeerd en gedistribueerd. Dit gebeurt over diverse soorten data stores, waaronder relationele databases, maar ook ongestructureerde stores zoals data lakes of document databases.
In de data pipelines die worden gebouwd binnen zo’n platform, worden steeds meer technieken gebruikt om de data te laden, te transformeren en weer op te slaan, waaronder SQL scripts, maar ook Python scripts, Machine Learning modellen of propriatary cloud ETL tools, zoals Azure Data Factory.
Maar hoe weet je nu of dit soort data pipelines correct werken? En of de steeds groter wordende data stores nog wel consistente en betrouwbare data bevatten? Dit zijn vragen waar jij mee aan de slag gaat.
De opdracht
We scopen deze opdracht op een modern data platform gebouwd met Microsoft Azure componenten, waaronder
- Azure Storage
- Azure Data Factory
- Azure SQL Database
- Azure Databricks
Voor een dergelijk data platform, onderzoek je welke mogelijkheden er zijn voor unit tests, integratietests en data quality tests, allen onderdeel van CI/CD pipelines. Voor een aantal tests ontbreekt vrijwel zeker goede ondersteuning binnen de gebruikte tools en zal er iets bedacht moeten worden om toch te kunnen testen of het data platform goed werkt. Ook dit is onderdeel van je opdracht.
Aan het eind van je opdracht, heb je een zo volledig mogelijk testframework uitgedacht voor een modern Azure data platform en heb je een deel daarvan geïmplementeerd als bewijs dat het framework werkt.
Ga voor deze en andere afstudeeropdrachten naar afstuderenbijinfosupport.com