Lokal LLM: analizirati tekst tijela vlasti bez slanja podataka trećim stranama

Pozicija u tijeku: nakon snimanja i Whisper-transkripcije, kao dio U kontaktu s vlastima.

Za što je lokalni LLM koristan u poslovima s vlastima

Jezični model (LLM) ne zamjenjuje pravno savjetovanje. On je alat za rad kada već imate snimku, transkripciju ili zatražene dokumente. Tipični zadaci:

• Sažimanje dugog transkripta sastanka: odluke, obećanja, rokovi, nejasne točke.
• Usporedba vaše transkripcije s bilješkom službenika i popisivanje razlika točku po točku.
• Predlaganje strukture za ispravak, odgovor ili praćenje e-pošte (vi prepravljate i provjeravate činjenice).
• Prevođenje na vaš jezik, ali zadržavanje švedskih pravnih pojmova u zagradama.
• Pronalaženje rokova i “što trebam zatražiti pismeno?” u složenom tekstu.

Nikada ne dopustite modelu da “izmišlja” citate. Zamolite ga da označi nesigurne dijelove i uvijek provjerite važne rečenice s audio zapisom ili originalnim dokumentom.

Skala privatnosti: tri razine

1. Potpuno lokalno (preporučuje se za djecu, socijalne službe, zdravstvo, migraciju, policiju): model + chat pokreću se offline na vašem računalu. Nema učitavanja.
2. Izolirani GPU koji kratko iznajmljujete (RunPod Secure Cloud, slično): podaci napuštaju računalo, ali idu u pod koji vi kontrolirate, a ne u opći chat servis za treniranje. Zahtijeva strogu rutinu brisanja (vidi dolje).
3. Opći oblak AI (ChatGPT, Claude.ai, Gemini i dr.): najjednostavnije – ali osjetljive osobne podatke treba jako maskirati ili ih uopće ne slati. Pročitajte uvjete; pretpostavite da se ulazni podaci mogu bilježiti.

Kako pokrenuti LLM lokalno

Alternativa A: Ollama (Mac, Windows, Linux) – najjednostavnije za mnoge

1. Instalirajte Ollama s ollama.com.
2. Preuzmite model, npr. ollama pull llama3.1:8b ili švedski/europski fino podešen model koji se nalazi u Ollama katalogu i stane u vašu memoriju.
3. Pokrenite chat: ollama run llama3.1:8b ili koristite Ollama aplikaciju/web sučelje.
4. Zalijepite (ili priložite) radnu kopiju transkripcije – ne cijelu audio datoteku.
5. Radite offline: isključite nepotrebnu sinkronizaciju oblaka za mapu s osjetljivim datotekama.

Alternativa B: LM Studio – grafički i dobro za početnike

1. Instalirajte LM Studio.
2. Preuzmite GGUF model (počnite s 7B–8B kvantiziranim, npr. Q4/Q5).
3. Učitajte model lokalno. Provjerite je li odabrano “local server” / offline i da se ništa ne šalje u oblak.
4. Koristite chat ili lokalni API (često localhost) s vlastitog računala.

Alternativa C: GPT4All ili llama.cpp

Dobro radi na starijim računalima. Isti princip: preuzmite datoteku modela jednom, pokrenite offline, držite osjetljive tekstove izvan sinkronizacije oblaka.

Prompts koji funkcioniraju u poslovima s vlastima

Vi ste pravni jezični asistent, a ne odvjetnik. Sažmite tekst na jednostavnom švedskom. Podijelite na: 1) odluke/obavijesti, 2) obećanja od vlasti, 3) što trebam učiniti, 4) rokovi, 5) nejasne točke koje trebam zatražiti pismeno. Ne mijenjajte citate. Označite nesigurne dijelove s [nesigurno].

Usporedite TEKST A (moja transkripcija) s TEKSTOM B (bilješka vlasti). Popišite samo konkretne razlike: datumi, citati, tko je što rekao, nedostajuće točke. Ne izmišljajte razlike. Ako nešto nije jasno, napišite “ne može se odrediti”.

Napišite kratki nacrt odgovora/ispravka (maksimalno 200 riječi) na temelju razlika. Sam ću provjeriti svaku tvrdnju s izvorom prije slanja.

Što računalo treba za rad

Brojevi su smjernice za kvantizirane modele (GGUF Q4/Q5). Puna preciznost zahtijeva više. Švedski i dugi transkripti zahtijevaju više radne memorije (kontekst) nego kratki chatovi.

Cilj	Veličina modela	Memorija / GPU	Očekivani osjećaj
Minimalni sažetak	~3B–4B	8 GB RAM, bez GPU	Sporo, ali korisno na laptopu
Dobra svakodnevna analiza (preporučeni početni položaj)	~7B–8B Q4/Q5	16 GB RAM, ili 8 GB VRAM	Prihvatljiva brzina na modernom laptopu/Mac-u
Dugi spisi / bolje razmišljanje	~13B–14B Q4/Q5	32 GB RAM, ili 12–16 GB VRAM	Primjetno bolja kvaliteta, zahtjevnije
Teški modeli / mnoge datoteke	32B+ ili 70B kvantizirani	48 GB+ RAM ili 24 GB+ VRAM	Često bolje na iznajmljenom GPU nego na kućnom računalu

• Apple Silicon (M1/M2/M3/M4): 16 GB objedinjene memorije često je dovoljno za 7B–8B. 32 GB daje više prostora za duže dokumente.
• Windows/Linux s NVIDIA: CUDA podrška u Ollama/LM Studio daje veliku brzinsku prednost. 8 GB VRAM ≈ udobno 7B–8B; 12–16 GB VRAM otvara 13B.
• Samo CPU: funkcionira, ali računajte na minute po odgovoru kod dužeg teksta. Podijelite dokument na odjeljke.
• Disk: računajte 4–8 GB po datoteci modela; imajte 20+ GB slobodnog prostora.
• Whisper + LLM istovremeno: pokrenite ih redom kako bi memorija bila dovoljna.

Ako računalo ne može podnijeti: koristite manji model, kraće isječke, ili privremeni izolirani GPU (sljedeći odjeljak) – ne opći oblak chat s nemaskiranim spisom.

RunPod i druge izolirane GPU okoline – je li sigurno za privatnost?

Kratak odgovor: To je sigurnije nego zalijepiti cijeli spis u ChatGPT, ali nije jednako sigurno kao raditi potpuno lokalno. Podaci napuštaju vaše računalo i obrađuju se u podatkovnom centru nekog drugog. Za mnoge slučajeve dovoljna je dobro održavana Secure Cloud pod. Za zaštićene osobne podatke, ozbiljne slučajeve zdravstvene ili socijalne skrbi ili kada želite maksimizirati kontrolu: ostanite lokalno ili snažno maskirajte.

Što “izolirana pod” znači u praksi

• Unajmljujete GPU-kontejner (pod) gdje vi pokrećete npr. Ollama, text-generation-webui ili vLLM.
• Model i vaš tekst pokreću se u tom kontejneru – ne u dijeljenom potrošačkom chatu s logovima milijuna korisnika.
• Kod RunPod-a često se razlikuje Community Cloud (dijeljeni domaćin, jeftiniji) i Secure Cloud (posvećeni/više izolirani hardver kod dobavljača). Za osjetljive materijale: odaberite Secure Cloud (ili odgovarajuću posvećenu opciju kod drugog dobavljača).
• Ephemeral disk se često briše kada se pod zaustavi. Trajni “network volume” ostaje dok ga vi ne uklonite – ne zaboravite izbrisati.

Kada RunPod (ili slično) može biti razumno

• Vaše računalo nema dovoljno memorije/GPU-a za model koji vam je potreban.
• Treba analizirati mnogo stranica u kratkom razdoblju (7–70B modeli).
• Možete slijediti dolje navedenu rutinu brisanja i izbjegavati pohranjivanje više nego što je potrebno u podu.

Kada izbjegavati unajmljeni GPU

• Zaštićeni osobni podaci, ozbiljni slučajevi s djecom, ili kada ne želite da materijal uopće napusti dom.
• Niste sigurni u regiju/pohranu ili želite zajamčenu “zero data retention” – to dobivate prvenstveno tako da nikada ne učitavate.
• Trebate samo jednostavne sažetke – tada je obično dovoljna 7B–8B model lokalno.

Korak-po-korak: privremeni analizni pod (slično RunPod-u)

1. Pripremite kod kuće: stvorite radnu kopiju gdje ste maskirali osobne brojeve, potpune adrese i nepotrebna imena ako slučaj to dopušta. Spremite original lokalno.
2. Odaberite Secure Cloud / posvećenu instancu u EU regiji ako postoji i odgovara vam. Izbjegavajte Community/dijeljeni host za osjetljive materijale.
3. Pokrenite pod s Linux-imageom i dovoljno VRAM-a (npr. 16–24 GB za 13B–32B kvantizirano).
4. Instalirajte samo ono što vam treba (Ollama ili lokalni web-UI). Preuzmite model u podu.
5. Učitajte samo radni tekst (izvadak transkripta), ne cijelu kućnu mapu i ne originalni zvuk bez potrebe.
6. Provedite analizu, kopirajte rezultat na vlastiti šifrirani disk.
7. Izbrišite: uklonite učitane datoteke, zaustavite pod, izbrišite eventualne network volumes/snapshots. Ne pretpostavljajte da “zaustavljeno” = “izbrisano” ako ste stvorili trajnu pohranu.
8. Isključite API ključeve i ne spremajte ih u nesigurne bilješke.

Drugi alternativi u istoj klasi

• Vast.ai, Salad, TensorDock i dr.: slična ideja – unajmite GPU. Privatnost varira ovisno o tome je li stroj community/dijeljen ili posvećen. Pročitajte uvjete i odaberite izolirani kapacitet.
• Vlastiti VPS s GPU-om u EU: više kontrole ako sami učvrstite server, ali više održavanja.
• Nije isto: “privatni način” u potrošačkim chatovima – to je još uvijek infrastruktura dobavljača i politika logiranja.

Kontrolna lista prije slanja teksta bilo kojem LLM-u

1. Treba li mi uopće AI, ili je dovoljna ručna oznaka?
2. Mogu li raditi lokalno s 7B–8B?
3. Ako ne: izolirani pod + Secure Cloud + brisanje – ne opći cloud chat.
4. Jesam li maskirao ono što ne mora biti analizirano?
5. Jesam li spremio rezultat lokalno i očistio učitavanje?
6. Jesam li provjerio citate prema snimci/dokumentima prije nego što pošaljem e-mail vlastima?

Uobičajene pogreške

• Zalijepiti cijeli spis socijalne službe u ChatGPT “samo za testiranje”.
• Pouzdati se u citate modela bez ponovnog slušanja.
• Ostaviti network volume sa spisom mjesecima.
• Koristiti Community Cloud za osjetljive materijale kako bi se uštedjelo nekoliko kuna.
• Misliti da je “lokalni model u oblaku” isto što i offline kod kuće.

FAQ

Je li RunPod jednako siguran kao vlastito računalo?
Ne. Može biti prihvatljivo kao izolirano privremeno računanje ako koristite Secure Cloud i izbrišete sve nakon toga. Vlastito offline pokretanje daje jaču kontrolu.

Moram li imati grafičku karticu?
Ne. CPU radi za 3B–8B, ali sporije. Apple Silicon s 16 GB često dobro funkcionira bez diskretne GPU.

S kojim modelom trebam početi?
Kvantizirani 7B–8B model lokalno. Pređite na veći samo ako kvaliteta nije dovoljna.

Mogu li koristiti rezultat u prijavi JO-u?
Da, kao vlastiti radni materijal – ali priložite stvarne citate iz snimke/dokumenata, ne AI halucinacije.