In dit opdracht ga je als detective op zoek naar bottlenecks, die het groei van ons bedrijf tegenhouden.

Wat je hier leert, is dus voor jouw carrière in data science of data engineering heel waardevol.
En misschien kan je bijdragen aan onze open source software, wat goed staat op je CV en de energietransitie een stuk verder kan helpen.

Onze IoT-gebaseerde platform krijgt veel data binnen, en moet ook data laden om de groenste en goedkoopste schema's uit te rekenen. Om continu te kunnen groeien, is het nodig dat we bottlenecks bij het lezen en opslaan van data vinden en oplossen.

Meer technisch beschreven: Bij ons gaat het om een web-applicatie geschreven in Python, die time series data per API ontvangt, naar het juiste formaat verwerkt en in PostgresDB opslaat. Lezen van deze data gebeurt met SQL, en daarna wordt het nog in de juiste vorm gebracht (in Pandas, bijvoorbeeld moeten we soms een andere resolutie berekenen).

Omo nog een keyword te noemen: Deeldelijk gaat het hier om ETL pipelines (ETL == Extract, transform, load).

In deze opdracht ga je:

1. Een structuur opzetten om te zien waar onze applicatie te veel tijd nodig heeft (bijvoorbeeld met logging, met database analytics, of met Continuous profiling, een moderne aanpak). Dit kan met een kopie van onze database op je eigen computer.
2. De bottlenecks identificeren en beschrijven.
3. Met ons een oplossing bespreken en designen.
4. De een of ander oplossing implementeren en de verbetering meten.

Je werkt hierbij nauw samen met het core team en de founders.

We verwachten:

- Analytisch denkvermogen
- Kennis van Python
- Ervaring met databases en SQL
- Ervaring met grote time series bestanden is zeker een plus
- Ervaring met Docker kan een plus zijn