Lokal LLM: analizirajte tekst vlasti bez slanja podataka trećim stranama

Pozicija u toku: nakon snimanja i Whisper-transkripcije, kao dio U kontaktu s vlastima.

Za šta je lokalni LLM koristan u poslovima s vlastima

Jezički model (LLM) ne zamjenjuje pravne savjete. On je alat za rad kada već imate snimak, transkripciju ili zatražene dokumente. Tipični zadaci:

• Sažimanje dugog transkripta sastanka: odluke, obećanja, rokovi, nejasne tačke.
• Poređenje vaše transkripcije sa službenom zabilješkom vlasti i popisivanje razlika tačku po tačku.
• Predlaganje strukture za ispravku, odgovor ili prateći email (vi prepravljate i provjeravate činjenice).
• Prevođenje na vaš jezik, ali zadržavanje švedskih pravnih termina u zagradama.
• Pronalaženje rokova i “šta trebam zatražiti pismeno?” u složenom tekstu.

Nikada ne dozvolite modelu da “izmišlja” citate. Zamolite ga da označi nesigurne dijelove i uvijek provjerite važne rečenice u odnosu na audio zapis ili originalni dokument.

Stepenice privatnosti: tri nivoa

1. Potpuno lokalno (preporučuje se za djecu, socijalne službe, zdravstvo, migraciju, policiju): model + chat se pokreću offline na vašem računaru. Nema učitavanja.
2. Izolirani GPU koji kratko iznajmljujete (RunPod Secure Cloud, slično): podaci napuštaju računar, ali idu u pod koji vi kontrolirate, a ne u opštu chat uslugu za treniranje. Zahtijeva strogu rutinu brisanja (vidi dolje).
3. Opšti cloud AI (ChatGPT, Claude.ai, Gemini i dr.): najjednostavnije – ali osjetljive lične podatke treba jako maskirati ili ih uopšte ne slati. Pročitajte uslove; pretpostavite da se ulazni podaci mogu bilježiti.

Kako pokrenuti LLM lokalno

Alternativa A: Ollama (Mac, Windows, Linux) – najjednostavnije za mnoge

1. Instalirajte Ollama sa ollama.com.
2. Preuzmite model, npr. ollama pull llama3.1:8b ili švedski/europski fino podešen model koji se nalazi u Ollama katalogu i stane u vašu memoriju.
3. Pokrenite chat: ollama run llama3.1:8b ili koristite Ollama aplikaciju/web interfejs.
4. Zalijepite (ili priložite) radnu kopiju transkripcije – ne cijeli audio zapis.
5. Radite offline: isključite nepotrebnu cloud sinkronizaciju za mapu sa osjetljivim datotekama.

Alternativa B: LM Studio – grafički i dobro za početnike

1. Instalirajte LM Studio.
2. Preuzmite GGUF model (počnite sa 7B–8B kvantiziranim, npr. Q4/Q5).
3. Učitajte model lokalno. Provjerite da je “local server” / offline odabrano i da se ništa ne šalje u cloud.
4. Koristite chat ili lokalni API (često localhost) sa vlastitog računara.

Alternativa C: GPT4All ili llama.cpp

Dobro radi na starijim računarima. Isti princip: preuzmite datoteku modela jednom, pokrenite offline, držite osjetljive tekstove izvan cloud sinkronizacije.

Prompts koji funkcionišu u poslovima s vlastima

Vi ste pravni jezički asistent, a ne advokat. Sažmite tekst na jednostavnom švedskom. Podijelite na: 1) odluke/obavještenja, 2) obećanja od vlasti, 3) šta trebam uraditi, 4) rokovi, 5) nejasne tačke koje trebam zatražiti pismeno. Ne mijenjajte citate. Označite nesigurne dijelove sa [nesigurno].

Uporedite TEKST A (moja transkripcija) sa TEKSTOM B (zabilješka vlasti). Navedi samo konkretne razlike: datumi, citati, ko je šta rekao, nedostajuće tačke. Ne izmišljajte razlike. Ako je nešto nejasno, napišite “ne može se utvrditi”.

Napišite kratak nacrt odgovora/ispravke (maksimalno 200 riječi) na osnovu razlika. Ja ću sam provjeriti svaku tvrdnju prema izvoru prije nego što pošaljem.

Šta je potrebno da računar postigne

Brojevi su smjernice za kvantizirane modele (GGUF Q4/Q5). Puna preciznost zahtijeva više. Švedski i dugi transkripti zahtijevaju više radne memorije (kontekst) nego kratki chatovi.

Cilj	Veličina modela	Memorija / GPU	Očekivani osjećaj
Minimalni sažetak	~3B–4B	8 GB RAM, bez GPU	Sporo ali korisno na laptopu
Dobra svakodnevna analiza (preporučeni početni nivo)	~7B–8B Q4/Q5	16 GB RAM, ili 8 GB VRAM	Prihvatljiva brzina na modernom laptopu/Mac-u
Dugi dosjei / bolje rezonovanje	~13B–14B Q4/Q5	32 GB RAM, ili 12–16 GB VRAM	Primjetno bolji kvalitet, zahtjevnije
Teški modeli / mnoge datoteke	32B+ ili 70B kvantiziran	48 GB+ RAM ili 24 GB+ VRAM	Često bolje na iznajmljenom GPU nego na kućnom računaru

• Apple Silicon (M1/M2/M3/M4): 16 GB objedinjene memorije često je dovoljno za 7B–8B. 32 GB daje više prostora za duže dokumente.
• Windows/Linux sa NVIDIA: CUDA podrška u Ollama/LM Studio daje veliku brzinsku prednost. 8 GB VRAM ≈ udobno 7B–8B; 12–16 GB VRAM otvara 13B.
• Samo CPU: funkcioniše, ali računajte na minute po odgovoru kod dužeg teksta. Podijelite dokument na odjeljke.
• Disk: računajte 4–8 GB po datoteci modela; imajte 20+ GB slobodnog prostora.
• Whisper + LLM istovremeno: pokrenite ih redom kako bi memorija bila dovoljna.

Ako računar ne može podnijeti: koristite manji model, kraće isječke, ili privremeni izolirani GPU (sljedeći odjeljak) – ne opšti cloud chat sa nemaskiranim dosjeom.

RunPod i druge izolirane GPU okoline – da li su sigurne za privatnost?

Kratak odgovor: To je sigurnije nego umetanje cijelog spisa u ChatGPT, ali nije tako sigurno kao pokretanje potpuno lokalno. Podaci napuštaju vaš računar i obrađuju se u nečijem drugom datacentru. Za mnoge slučajeve dovoljna je dobro održavana Secure Cloud pod. Za zaštićene lične podatke, ozbiljne slučajeve socijalne zaštite ili kada želite maksimizirati kontrolu: ostanite lokalno ili snažno maskirajte.

Šta “izolovana pod” znači u praksi

• Unajmljujete GPU kontejner (pod) gdje vi pokrećete npr. Ollama, text-generation-webui ili vLLM.
• Model i vaš tekst se pokreću u tom kontejneru – ne u zajedničkom potrošačkom chatu sa logovima miliona korisnika.
• Kod RunPod-a često se razlikuje Community Cloud (zajednički host, jeftiniji) i Secure Cloud (posvećeni/više izolirani hardver kod dobavljača). Za osjetljiv materijal: odaberite Secure Cloud (ili odgovarajuću posvećenu opciju kod drugog dobavljača).
• Ephemeral disk se često briše kada se pod zaustavi. Trajni “network volume” ostaje dok ga vi ne uklonite – ne zaboravite obrisati.

Kada RunPod (ili slično) može biti razumno

• Vaš računar nema dovoljno memorije/GPU za model koji vam je potreban.
• Treba da analizirate mnogo stranica u kratkom periodu (7–70B modeli).
• Možete slijediti proceduru brisanja ispod i izbjegavati pohranjivanje više nego što je potrebno u podu.

Kada treba izbjegavati unajmljeni GPU

• Zaštićeni lični podaci, ozbiljni slučajevi sa djecom, ili kada ne želite da materijal uopšte napusti dom.
• Niste sigurni u regiju/pohranu ili želite garantirano “zero data retention” – to dobijate prvenstveno tako što nikada ne učitavate.
• Trebaju vam samo jednostavni sažeci – tada je obično dovoljna 7B–8B model lokalno.

Korak-po-korak: privremeni analizni pod (slično RunPod-u)

1. Pripremite kod kuće: kreirajte radnu kopiju gdje ste maskirali matične brojeve, kompletne adrese i nepotrebna imena ako slučaj to dozvoljava. Sačuvajte original lokalno.
2. Odaberite Secure Cloud / posvećenu instancu u EU regiji ako postoji i odgovara vam. Izbjegavajte Community/zajednički host za osjetljiv materijal.
3. Pokrenite pod sa Linux-imidžom i dovoljno VRAM-a (npr. 16–24 GB za 13B–32B kvantizirano).
4. Instalirajte samo ono što vam treba (Ollama ili lokalni web-UI). Preuzmite model u podu.
5. Učitajte samo radni tekst (izvode transkripta), ne cijelu kućnu mapu i ne originalni zvuk bez potrebe.
6. Pokrenite analizu, kopirajte rezultat na svoj vlastiti šifrirani disk.
7. Obrišite: uklonite učitane datoteke, zaustavite pod, obrišite eventualne network volumes/snapshots. Ne pretpostavljajte da “zaustavljeno” = “izbrisano” ako ste kreirali trajnu pohranu.
8. Isključite API ključeve i ne čuvajte ih u nesigurnim bilješkama.

Drugi alternativi u istoj klasi

• Vast.ai, Salad, TensorDock i dr.: slična ideja – unajmite GPU. Privatnost varira ovisno o tome da li je mašina community/zajednička ili posvećena. Pročitajte uslove i odaberite izolirani kapacitet.
• Vlastiti VPS sa GPU u EU: više kontrole ako sami pojačate server, ali više održavanja.
• Nije isto: “private mode” u potrošačkim chatovima – to je i dalje infrastruktura dobavljača i politika logiranja.

Kontrolna lista prije slanja teksta nekoj LLM

1. Treba li mi AI uopšte, ili je dovoljna ručna oznaka?
2. Mogu li pokrenuti lokalno sa 7B–8B?
3. Ako ne: izolirani pod + Secure Cloud + brisanje – ne opći cloud chat.
4. Jesam li maskirao ono što ne mora biti analizirano?
5. Jesam li sačuvao rezultat lokalno i očistio učitavanje?
6. Jesam li provjerio citate prema snimku/dokumentima prije nego što pošaljem e-mail vlastima?

Uobičajene greške

• Umetanje cijelog spisa socijalne službe u ChatGPT “samo za testiranje”.
• Pouzdanje u citate modela bez ponovnog slušanja.
• Ostavljanje network volume sa spisom mjesecima.
• Korištenje Community Cloud za osjetljiv materijal da bi se uštedjelo nekoliko novčića.
• Vjerovanje da je “lokalni model u oblaku” isto što i offline kod kuće.

FAQ

Je li RunPod jednako siguran kao vlastiti računar?
Ne. Može biti prihvatljivo kao izolirana privremena obrada ako koristite Secure Cloud i obrišete sve nakon toga. Vlastito offline pokretanje pruža jaču kontrolu.

Moram li imati grafičku karticu?
Ne. CPU radi za 3B–8B, ali sporije. Apple Silicon sa 16 GB često radi dobro bez diskretne GPU.

Koji model trebam početi koristiti?
Kvantizirani 7B–8B model lokalno. Pređite na veći samo ako kvaliteta nije dovoljna.

Mogu li koristiti rezultat u prijavi Ombudsmanu?
Da, kao vlastiti radni materijal – ali priložite stvarne citate iz snimaka/dokumenata, a ne AI halucinacije.