Je hebt honderden interne documenten: handleidingen, prijslijsten, procedures, contractsjablonen. En je wilt een AI-assistent die daar antwoord uit geeft. De eerste reflex is vaak: “dan trainen we het model toch op onze data?” Dat heet fine-tunen, en voor dit soort vragen is het meestal de verkeerde keuze. Deze gids legt uit waarom, wanneer fine-tunen wél klopt, en hoe je in vijf vragen beslist.
Wat RAG precies is en hoe je het bouwt, lees je elders op deze site: in RAG zonder te bouwen met ChatGPT voor de snelle route, en in een RAG-chatbot met LlamaIndex voor de technische. Hier gaat het alleen om de keuze.
Twee manieren om een model iets te leren
Fine-tunen betekent dat je een bestaand taalmodel verder traint op jouw voorbeelden. De gewichten van het model veranderen. Bij Together AI gebeurt dat standaard met LoRA, waarbij een kleine set adaptergewichten bovenop het bevroren basismodel wordt getraind (Bron: Together AI).
RAG (retrieval-augmented generation) laat het model ongewijzigd. Een zoekstap haalt per vraag de relevante passages uit jouw documenten en stopt die in de prompt. Het idee komt uit een onderzoek van Lewis en collega’s uit 2020 (Bron: arXiv).
Het verschil in één zin: fine-tunen verandert hoe een model antwoordt, RAG verandert wat het op dat moment weet.
Waarom RAG meestal wint voor kennis
Het sterkste argument komt uit onderzoek. Een veelgeciteerde studie vergeleek beide methodes voor het toevoegen van kennis aan een model. Conclusie: ongesuperviseerd fine-tunen leverde bescheiden winst op, terwijl RAG het consequent beter deed, zowel bij kennis die het model al kende als bij volledig nieuwe kennis (Bron: Ovadia et al.).
Daarnaast spelen drie praktische punten:
- Actualiteit. Verandert je prijslijst, dan indexeer je bij RAG één document opnieuw. Een gefinetuned model moet je opnieuw trainen.
- Controleerbaarheid. RAG kan laten zien uit welke passage een antwoord komt. Bij fine-tunen zit de kennis verspreid in de gewichten en is niet na te gaan waarom het model iets zegt.
- Toegang. Met RAG kun je per gebruiker bepalen welke documenten meedoen. Een gefinetuned model “weet” alles wat erin is getraind, voor iedereen.
💡 Beginner-tip: Wil je eerst het principe goed snappen voordat je kiest? De uitleg Wat is RAG? Retrieval-Augmented Generation in gewone taal doet dat zonder code.
Wanneer fine-tunen wél de juiste keus is
Fine-tunen is niet nutteloos, het lost alleen een ander probleem op. OpenAI noemt als voordelen dat je meer voorbeelden kwijt kunt dan in één prompt past, dat je met kortere prompts tokenkosten bespaart, en dat je een kleiner, goedkoper model één taak heel goed kunt laten doen (Bron: OpenAI). Dezelfde gids noemt ook consistente opmaak van antwoorden als toepassing.
Vertaald naar de praktijk: fine-tunen past bij vaste vorm. Denk aan een supportmodel dat altijd in jouw huisstijl schrijft, een classificatie die tickets in exact twaalf categorieën sorteert, of een klein open model dat een vast JSON-formaat uitspuugt tegen een fractie van de kosten van een groot model.
De vergeten derde optie: alles in de prompt
Voor kleine kennisbanken heb je soms helemaal geen RAG nodig. Anthropic schrijft dat je een kennisbank kleiner dan ongeveer 200.000 tokens gewoon integraal in de prompt kunt zetten, en dat prompt caching dat sneller en goedkoper maakt (Bron: Anthropic). Dat zijn grofweg een paar honderd pagina’s tekst. Een handboek van veertig pagina’s hoeft dus geen vectordatabase.
Combineren kan ook
De keuze is niet altijd of-of. Bij RAFT train je een model specifiek om irrelevante opgehaalde documenten te negeren en de ondersteunende passage te citeren (Bron: arXiv). Dat is vooral interessant als je een eigen open model draait en je RAG-antwoorden in een smal vakgebied nog niet scherp genoeg zijn.
⚡ Gevorderden: Voordat je aan fine-tunen begint om RAG te verbeteren, kijk eerst naar de zoekstap. Anthropic mat dat het combineren van contextuele embeddings met BM25 (trefwoordzoeken) het aantal mislukte zoekacties met 49 procent verlaagde, en met reranking erbij met 67 procent (Bron: Anthropic). Betere retrieval is bijna altijd goedkoper dan een model hertrainen.
Beslis in vijf vragen
| Vraag | Ja | Nee |
|---|---|---|
| Gaat het om feiten uit je documenten? | RAG of alles-in-prompt | Lees door |
| Veranderen die documenten vaker dan per kwartaal? | RAG | Beide mogelijk |
| Moet je kunnen aanwijzen waar een antwoord vandaan komt? | RAG | Beide mogelijk |
| Past alles in het contextvenster van je model? | Alles in de prompt | RAG |
| Gaat het om toon, formaat of één smalle taak op grote schaal? | Fine-tunen overwegen | RAG of prompt |
Herken je je vooral in de bovenste vier rijen, dan is RAG je startpunt. Alleen als de onderste rij de kern is, wordt fine-tunen interessant.
Wat het echt kost
De trainingsrun zelf valt bij kleine open modellen vaak mee. De verborgen kosten zitten elders: honderden tot duizenden goede voorbeelden samenstellen, opnieuw trainen bij elke wijziging en je eigen modelversie hosten. Bij Together AI wordt een dedicated endpoint per minuut afgerekend, zolang het draait (Bron: Together AI). RAG kost vooral embeddings en opslag, en die zijn goedkoop: zie de tabel hieronder.
Wil je open modellen fine-tunen, dan is Together AI een toegankelijke plek; onze gids Together AI gebruiken helpt je op weg. Welke open modellen er zijn, staat in ons overzicht van open-weight modellen. Voor een volledig Python-voorbeeld van een RAG-pijplijn met reranking kun je terecht bij RAG zelf bouwen op AI Platform MKB.
Stand van zaken — bijgewerkt 2026-10-07
Alles hierboven blijft staan, ongeacht welk model er draait. De cijfers en versies hieronder zijn de bederfelijke laag.
| Onderwerp | Stand |
|---|---|
| OpenAI self-serve fine-tuning | Wordt afgebouwd. Sinds 7 mei 2026 niet beschikbaar voor organisaties die nooit fine-tuneden; op 6 januari 2027 stoppen nieuwe trainingsjobs voor bestaande klanten. Inferentie blijft tot het basismodel verdwijnt (Bron: OpenAI) |
| OpenAI fine-tune-methodes | SFT en DPO op gpt-4.1 (mini/nano), RFT op o4-mini (Bron: OpenAI) |
| Together AI fine-tuning | LoRA (standaard) en volledige fine-tuning, met SFT of DPO (Bron: Together AI) |
| Together AI prijs | Vanaf $0,34 per miljoen trainingstokens (SFT, Llama 3.1 8B), minimaal $4 per job (Bron: Together AI) |
| Embeddings voor RAG | OpenAI text-embedding-3-small: $0,02 per miljoen tokens (Bron: OpenAI) |
| Alles-in-prompt-grens | Ongeveer 200.000 tokens volgens Anthropic (Bron: Anthropic) |