RAG vs Fine-tuning vs Prompt Engineering - när ska du välja vad?

De tre teknikerna löser olika problem:

• • Prompt engineering - använd när modellen redan kan uppgiften men behöver vägledning för rätt format eller stil.
• • RAG (Retrieval-Augmented Generation) - använd när modellen behöver tillgång till information som inte fanns i träningsdatan (er interna data, färska fakta).
• • Fine-tuning - använd när modellen behöver lära sig ett nytt beteende, format eller stil som inte går att förklara via prompt.

I praktiken används de ofta tillsammans - fine-tuning för stil, RAG för innehåll, prompt engineering för exakt instruktion.

Att skriva bättre prompts är 80 % av effekten i 80 % av AI-projekt. Det är också det billigaste - inga modellkostnader, ingen träningsdata, ingen infrastruktur.

Använd när:

• • Modellen har kunskapen men formaterar svaret fel
• • Ni behöver justera ton eller stil
• • Uppgiften kan förklaras i ord
• • Snabbt PoC innan ni investerar i RAG eller fine-tuning

Begränsningar: Maximal kontextlängd, ingen tillgång till privat data, kostar per token vid varje anrop.

RAG hämtar relevant information från en kunskapsbas (typisk: ert SharePoint-bibliotek, en vektor-databas, ett dokumentarkiv) och stoppar in den i prompten innan modellen svarar. Det är vad de flesta menar med "AI som vet om vår egen data".

Använd när:

• • Svaret kräver specifik intern kunskap (policys, dokumentation, produktinfo)
• • Informationen ändras över tid (du vill kunna uppdatera utan att retrainera modellen)
• • Källhänvisning är ett krav (juridik, medicin, compliance)
• • Mängden information är större än modellens kontextfönster

Komplexitet: Medium. Kräver embedding-modell, vektor-databas, chunking-strategi, retrieval-logik och ofta reranking för kvalitet. Räkna med 4-12 veckor för produktionsklar implementation.

Fine-tuning tränar om modellens beteende på er specifika data. Det är dyrt och fel verktyg för de flesta problem - men rätt verktyg för några specifika fall.

Använd när:

• • Beteendet (inte fakta) är svårt att uttrycka i en prompt
• • Ni vill ha mindre/snabbare modell som matchar prestandan på en större
• • Output-formatet är extremt strikt (JSON-schema, kodgenerering enligt en standard)
• • Klassificeringsuppgift med mycket märkt data

Använd inte för: Att lära modellen ny fakta - det gör RAG bättre och billigare.

Per produktionsklar implementation i ett mellanstort svenskt bolag, ungefärlig kostnad:

Ett moget AI-system kombinerar ofta alla tre: fine-tuned modell för svensk-affärs-ton, RAG för aktuell intern information, prompt engineering för specifik uppgift per anrop. Börja enkelt - prompt först, RAG vid behov, fine-tune sist.

• Behöver svaret refera till er interna data?

  → RAG (eller långsiktigt: RAG + finetuning för ton)

• Behöver modellen lära sig ett specifikt output-format?

  → Försök prompt först. Om det fortfarande inte funkar - fine-tune.

• Vill ni minska kostnaden från GPT-4 till en mindre modell?

  → Fine-tune en mindre modell på GPT-4-output.

• Är problemet 'modellen vet inte hur den ska svara'?

  → Prompt engineering. 80 % av fallen löses här.

• Ska systemet hantera 100+ verktygsanrop i en kedja?

  → Det är agent-arkitektur - alla tre teknikerna är delar av lösningen.