Momenteel zetten wij LLM in ter ondersteuning van interne processen en datagedreven besluitvorming. Een deel van dit draait in ons datacenter, maar het grootste deel wordt nog afgenomen via externe aanbieders. Dit zorgt voor afhankelijkheid, wisselende performance en oplopende kosten.

Met een combinatie van lokale hardware, containerisatie en bestaande tooling hebben we al een begin gemaakt met het draaien van modellen on premise. Deze omgeving is echter nog niet ingericht als volwaardige, schaalbare productieomgeving en is nog niet geschikt om als dienst aan klanten aan te bieden.

AI-modellen “ergens in de cloud” laten draaien is in veel gevallen makkelijk, maar niet altijd wenselijk. Denk aan dataveiligheid, latency, kosten en controle over de gehele keten. Een lokaal, goed doordacht AI-platform kan deze problemen grotendeels wegnemen, mits het goed ontworpen, goed beheerd en goed gemonitord wordt.

Een gecentraliseerd AI-platform, waarin LLM’s als interne dienst én uiteindelijk als externe dienst beschikbaar zijn, biedt hiervoor een uitkomst. Dit platform stelt ons in staat om modellen lokaal te hosten, te schalen, te monitoren en via een uniforme API beschikbaar te stellen aan interne applicaties of extern.

Gewenste situatie

De inzet van AI-modellen binnen onze organisatie moet net zo vanzelfsprekend worden als het gebruik van een database of een REST-service. Applicaties doen simpelweg een verzoek aan “het AI-platform” en krijgen een snelle, betrouwbare en relevante respons terug, zonder zich druk te hoeven maken over onderliggende hardware, modelkeuze of load-balancing.

In de gewenste situatie:

• Kunnen één of meerdere LLM’s lokaal in het datacenter worden gehost, met hoge verwerkingssnelheid en lage latency.

• Kunnen modellen via een gestandaardiseerde API worden aangesproken door interne systemen.

• Kan RAG (Retrieval-Augmented Generation) worden ingezet om antwoorden te verrijken met domeinspecifieke data, zonder merkbaar performanceverlies.

• Kan het platform meerdere modellen parallel raadplegen en de beste respons selecteren op basis van nauwkeurigheid, context of andere criteria.

• Zijn monitoring, logging, beveiliging, CI/CD en schaalbaarheid standaard onderdeel van de oplossing.

Er moet onderzocht worden welke architectuur, tooling en hardware het meest geschikt zijn om dit te realiseren. Denk hierbij aan GPU/CPU-configuraties, containerplatformen, orchestrators, vector-databases, cachinglagen en messagingtechnologie. Ook moet onderzocht worden hoe het platform op termijn veilig en gecontroleerd extern kan worden aangeboden (authenticatie, rate limiting, multi-tenancy, etc.).

TL;DR

• Onderzoek doen naar architecturen en tools voor het lokaal hosten van LLM’s (on premise) als interne dienst.

• Ontwerpen van een schaalbare infrastructuur inclusief:

  • hardwarekeuze (GPU/CPU, geheugen, netwerk, opslag)

  • containerisatie en deployment

  • monitoring, logging en beveiliging

• Vergelijking maken tussen lokale hosting en cloudhosting (kosten, performance, beheer, risico’s).

• Onderzoek en prototype van RAG-integratie om nauwkeurigheid en contextkwaliteit te verbeteren.

• Ontwerpen van een mechanisme om meerdere modellen parallel te kunnen raadplegen en de beste respons te selecteren.

• Implementeren van een werkend proof-of-concept met:

  • lokaal gehost LLM-model

  • API-toegang voor interne applicaties

  • basis monitoring en metrics (response-tijd, throughput, foutpercentages)

• Schrijven van technische documentatie en een eindrapport met advies voor een productieklare omgeving 

What’s in it for you?

• Professionele begeleiding gedurende de stageperiode, inclusief ondersteuning bij je schoolopdrachten.

• Een inhoudelijk stevige en technisch uitdagende stage rondom AI, Dev/Ops en infrastructuur.

• Ruimte om nieuwe tools, frameworks en technieken te verkennen en in de praktijk te brengen.

• Een MacBook om je opdracht goed te kunnen uitvoeren.

• Goed bereikbaar met het OV of met een xel-fiets.

• Basisvergoeding van 500 EUR + een prestatiebonus.

• Goed gevulde koelkast. Er wordt regelmatig gekookt. Ook in de middag. Ook door de directeur.

• Professionele maar informele werksfeer met korte lijnen.

• Doorgroeimogelijkheden binnen het bedrijf richting AI-engineering, DevOps of infrastructuur.