Lokal LLM: analysera myndighetstext utan att data går till tredje part

Plats i flödet: efter inspelning och Whisper-transkribering, som del av I kontakt med myndigheter.

Vad en lokal LLM är bra för i myndighetsärenden

En språkmodell (LLM) ersätter inte juridisk rådgivning. Den är ett arbetshjälpmedel när du redan har inspelning, transkription eller begärda handlingar. Typiska uppgifter:

• Sammanfatta ett långt mötestranskript: beslut, löften, deadlines, oklara punkter.
• Jämföra din transkription med myndighetens tjänsteanteckning och lista skillnader punktvis.
• Föreslå struktur till rättelse, bemötande eller uppföljningsmejl (du skriver om och kontrollerar fakta).
• Översätta till ditt språk men behålla svenska juridiska termer i parentes.
• Hitta tidsfrister och “vad ska jag begära skriftligt?” i en snårig text.

Låt aldrig modellen “hitta på” citat. Be den markera osäkra delar och kontrollera alltid viktiga meningar mot ljudfil eller originalhandling.

Integritetstrappa: tre nivåer

1. Helt lokal (rekommenderas för barn, socialtjänst, vård, migration, polis): modell + chatt körs offline på din maskin. Ingen uppladdning.
2. Isolerad GPU du hyr kort (RunPod Secure Cloud, liknande): data lämnar datorn men går till en pod du kontrollerar, inte till en allmän chatttjänsts träningspipeline. Kräver strikt raderingsrutin (se nedan).
3. Allmän moln-AI (ChatGPT, Claude.ai, Gemini m.fl.): enklast – men känsliga personuppgifter bör maskas hårt eller inte skickas alls. Läs villkoren; anta att indata kan loggas.

Så kör du LLM lokalt

Alternativ A: Ollama (Mac, Windows, Linux) – enklast för många

1. Installera Ollama från ollama.com.
2. Hämta en modell, t.ex. ollama pull llama3.1:8b eller en svensk-/europeiskt finjusterad modell som finns i Ollamas katalog och får plats i ditt minne.
3. Starta chatten: ollama run llama3.1:8b eller använd Ollamas app/webbgränssnitt.
4. Klistra in (eller bifoga) arbetskopian av transkriptionen – inte hela ljudfilen.
5. Arbeta offline: stäng av onödig molnsynk för mappen med känsliga filer.

Alternativ B: LM Studio – grafiskt och bra för nybörjare

1. Installera LM Studio.
2. Ladda ner en GGUF-modell (börja med 7B–8B kvantiserad, t.ex. Q4/Q5).
3. Ladda modellen lokalt. Kontrollera att “local server” / offline är valt och att inget skickas till moln.
4. Använd chatten eller det lokala API:t (ofta localhost) från egen dator.

Alternativ C: GPT4All eller llama.cpp

Fungerar bra på äldre datorer. Samma princip: ladda ner modellfilen en gång, kör offline, håll känsliga texter utanför molnsynk.

Prompts som fungerar i myndighetsärenden

Du är en juridisk språkassistent, inte en advokat. Sammanfatta texten på enkel svenska. Dela upp i: 1) beslut/besked, 2) löften från myndigheten, 3) vad jag ska göra, 4) deadlines, 5) oklara punkter jag bör begära skriftligt. Ändra inte citat. Markera osäkra delar med [osäkert].

Jämför TEXT A (min transkription) med TEXT B (myndighetens anteckning). Lista bara konkreta skillnader: datum, citat, vem som sa vad, saknade punkter. Hitta inte på skillnader. Om något är oklart, skriv “kan inte avgöras”.

Skriv ett kort bemötande/rättelseutkast (max 200 ord) utifrån skillnaderna. Jag ska själv kontrollera varje påstående mot källan innan jag skickar.

Vad datorn behöver prestera

Siffrorna är tumregler för kvantiserade modeller (GGUF Q4/Q5). Full precision kräver mer. Svenska och långa transkript kräver mer arbetsminne (context) än korta chattar.

Mål	Modellstorlek	Minne / GPU	Förväntad känsla
Minimal sammanfattning	~3B–4B	8 GB RAM, ingen GPU	Långsamt men användbart på laptop
Bra vardagsanalys (rekommenderat startläge)	~7B–8B Q4/Q5	16 GB RAM, eller 8 GB VRAM	Acceptabel hastighet på modern laptop/Mac
Långa akter / bättre resonemang	~13B–14B Q4/Q5	32 GB RAM, eller 12–16 GB VRAM	Märkbart bättre kvalitet, tyngre
Tunga modeller / många filer	32B+ eller 70B kvantiserad	48 GB+ RAM eller 24 GB+ VRAM	Ofta bättre på hyrd GPU än hemdator

• Apple Silicon (M1/M2/M3/M4): 16 GB unified memory räcker ofta till 7B–8B. 32 GB ger mer marginal för längre dokument.
• Windows/Linux med NVIDIA: CUDA-stöd i Ollama/LM Studio ger stor hastighetsvinst. 8 GB VRAM ≈ bekvämt 7B–8B; 12–16 GB VRAM öppnar 13B.
• Bara CPU: fungerar, men räkna med minuter per svar vid längre text. Dela upp dokumentet i avsnitt.
• Disk: räkna 4–8 GB per modellfil; ha 20+ GB ledigt.
• Whisper + LLM samtidigt: kör dem i tur och ordning så minnet räcker.

Om datorn inte orkar: använd mindre modell, kortare utdrag, eller tillfällig isolerad GPU (nästa avsnitt) – inte en allmän molnchatt med omaskerad akt.

RunPod och andra isolerade GPU-miljöer – är det integritetssäkert?

Kort svar: Det är säkrare än att klistra in hela akten i ChatGPT, men inte lika säkert som att köra helt lokalt. Data lämnar din dator och behandlas i någon annans datacenter. För många ärenden räcker en välskött Secure Cloud-pod. För skyddade personuppgifter, allvarliga vård-/socialtjänstärenden eller när du vill maximera kontrollen: stanna lokalt eller maskera hårt.

Vad “isolerad pod” betyder i praktiken

• Du hyr en GPU-container (pod) där du startar t.ex. Ollama, text-generation-webui eller vLLM.
• Modellen och din text körs i den containern – inte i en delad konsumentchatt med miljoners användares loggar.
• Hos RunPod skiljer man ofta på Community Cloud (delad värd, billigare) och Secure Cloud (dedikerad/mer isolerad hårdvara hos leverantören). För känsligt material: välj Secure Cloud (eller motsvarande dedikerat alternativ hos annan leverantör).
• Ephemeral disk raderas ofta när poden stoppas. Persistent “network volume” ligger kvar tills du tar bort den – glöm inte radera.

När RunPod (eller liknande) kan vara rimligt

• Din dator saknar minne/GPU för den modell du behöver.
• Du ska analysera många sidor under en kort period (7–70B-modeller).
• Du kan följa raderingsrutinen nedan och undviker att lagra mer än nödvändigt i poden.

När du ska välja bort hyrt GPU

• Skyddade personuppgifter, allvarliga barnärenden, eller när du inte vill att materialet alls lämnar hemmet.
• Du är osäker på region/lagring eller vill ha garanterad “zero data retention” – det får du främst genom att aldrig ladda upp.
• Du behöver bara enkla sammanfattningar – då räcker oftast en 7B–8B-modell lokalt.

Steg-för-steg: tillfällig analyspod (RunPod-liknande)

1. Förbered hemma: skapa en arbetskopia där du maskerat personnummer, kompletta adresser och onödiga namn om ärendet tillåter det. Spara originalet lokalt.
2. Välj Secure Cloud / dedikerad instans i EU-region om det finns och passar dig. Undvik Community/delad host för känsligt material.
3. Starta en pod med Linux-image och tillräckligt VRAM (t.ex. 16–24 GB för 13B–32B kvantiserat).
4. Installera bara det du behöver (Ollama eller en lokal webb-UI). Ladda ner modellen i poden.
5. Ladda upp endast arbetstexten (transkriptutdrag), inte hela hemkatalogen och inte originaljud i onödan.
6. Kör analysen, kopiera resultatet till din egen krypterade disk.
7. Radera: ta bort uppladdade filer, stoppa poden, radera eventuella network volumes/snapshots. Anta inte att “stoppad” = “borta” om du skapat persistent lagring.
8. Stäng av API-nycklar och spara dem inte i osäkra anteckningar.

Andra alternativ i samma klass

• Vast.ai, Salad, TensorDock m.fl.: liknande idé – hyr GPU. Integriteten varierar med om maskinen är community/delad eller dedikerad. Läs villkor och välj isolerad kapacitet.
• Egen VPS med GPU i EU: mer kontroll om du hårdnar servern själv, men mer underhåll.
• Inte samma sak: “private mode” i konsumentchattar – det är fortfarande leverantörens infrastruktur och loggningspolicy.

Checklista innan du skickar text till någon LLM

1. Behöver jag AI alls, eller räcker manuell markering?
2. Kan jag köra lokalt med 7B–8B?
3. Om nej: isolerad pod + Secure Cloud + radering – inte allmän molnchatt.
4. Har jag maskerat det som inte måste analyseras?
5. Har jag sparat resultatet lokalt och rensat bort uppladdningen?
6. Har jag kontrollerat citat mot inspelning/handling innan jag skickar mejl till myndigheten?

Vanliga misstag

• Klistra in hela socialtjänstakten i ChatGPT “bara för att testa”.
• Lita på modellens citat utan att lyssna om.
• Lämna kvar network volume med akten i månader.
• Köra Community Cloud för känsligt material för att spara några kronor.
• Tro att “lokal modell i molnet” är samma sak som offline hemma.

FAQ

Är RunPod lika säkert som egen dator?
Nej. Det kan vara acceptabelt som isolerad tillfällig beräkning om du använder Secure Cloud och raderar allt efteråt. Egen offline-körning ger starkare kontroll.

Måste jag ha grafikkort?
Nej. CPU fungerar för 3B–8B, men långsammare. Apple Silicon med 16 GB fungerar ofta bra utan diskret GPU.

Vilken modell ska jag börja med?
En kvantiserad 7B–8B-modell lokalt. Byt uppåt bara om kvaliteten inte räcker.

Får jag använda resultatet i JO-anmälan?
Ja som eget arbetsunderlag – men bifoga faktiska citat från inspelning/handlingar, inte AI-hallucinationer.

För dig som läser i stress

Guiden är tänkt som stöd när du redan har mycket runt huvudet. Du behöver inte läsa allt på en gång: börja med det avsnitt som matchar där du står idag och återkom när nästa steg blir aktuellt.

Ärenden med myndigheter blir sällan bättre av att du bär allt ensam. Be om hjälp från stödperson, jurist eller anhörig om du kan – särskilt innan beslut som har lång verkning.

Vanliga misstag som gör ärendet svårare

• Lita bara på muntliga löften utan kort skriftlig bekräftelse eller uppföljningsmejl.
• Vänta med att begära ut handlingar tills konflikten redan är låst – då blir det tyngre att visa vad som sagts.
• Skriva så långt och känslostyrt att myndigheten slutar svara på sakfrågan.
• Missa tidsfrister för omprövning eller överklagande för att beslutet inte lästes ordagrant.

Mini-checklista innan du lämnar guiden

1. Har jag datum, diarie-/ärendenummer och namn på den som handlägger (om du vet)?
2. Vet jag vilket nästa steg är: svara, begära ut, påminna, överklaga eller anmäla?
3. Har jag sparat mejl och bilagor på ett ställe där jag hittar dem om en vecka?