
Dodatno sam istrenirao LLM od 0,8B za RAG na 20 jezika: točnost 74% → 94%, 7 sekundi po pitanju na CPU-u
Želim višejezični model za RAG koji radi na CPU-u. Zadaš mu tekst i postaviš pitanje, a on odgovor pronađe u tekstu. Ako u tekstu nema odgovora, ne izmišlja ga, već kaže da odgovora nema. Takav sam model izradio dodatnim treniranjem Qwen3.5 modela od 0,8B (800 milijuna parametara). Obuhvaća 20 jezika.
Najprije zaključak.
- Točnost je porasla s 73,8% na 93,8%. Neistrenirani Qwen3-4B (94,7%) dostignut je na samo jedan bod razlike, uz petinu njegove veličine
- Najviše je pomoglo to što je prestao izmišljati odgovore. Izvorni 0,8B bi za dugačak tekst bez odgovora u gotovo 40% slučajeva ipak ponudio neki odgovor
- Jedno pitanje na CPU-u traje 7 sekundi. Toliko treba da pročita tekst od oko 2.500 tokena i odgovori. Modelu od 4B treba 60 sekundi
- Nisam uspio prijeći 95%. Mijenjao sam stopu učenja, broj prolazaka i količinu podataka, ali rezultat se zaustavio na 94%. Čini se da je to granica veličine od 0,8B
Kako sam mjerio
Napravio sam zadatke na temelju Wikipedije na 20 jezika (japanski, engleski, kineski, hrvatski, hindski i drugi). Za svako pitanje model dobiva četiri vrste teksta.
- Odlomak: kratki odlomak koji sadrži odgovor
- Dugi kontekst: tekst od nekoliko tisuća tokena u kojem je odlomak s odgovorom pomiješan s nepovezanim člancima
- Bez odgovora (kratko i dugo): tekst koji ne sadrži odgovor. Točno je ako model kaže da odgovora nema
Prosjek te četiri vrijednosti nazvao sam „točnošću”. Zadatke je izradio i ocjenjivao Qwen3-32B. Da provjerim nije li ocjenjivanje pristrano prema Qwenu, ponovno sam ih ocijenio drugim modelom, gpt-oss-120b; razlika je bila unutar 0,5 boda.
Provjerio sam i zadatke drugačijeg tipa.
- XQuAD: verzije na 8 jezika pitanja koja su napisali ljudi
- hr0: hrvatski test koji sam ranije izradio drugim modelom
Naime, samo na zadacima izrađenima na isti način kao podaci za treniranje ne može se razlikovati je li se model samo naviknuo na taj format.
Izvorni 0,8B izmišlja priče kad nema odgovora
Mjerenje na Qwen3.5-0.8B prije dodatnog treniranja dalo je sljedeće rezultate (prosjek za 20 jezika).
| Odlomak | Dugi kontekst | Bez odgovora, kratko | Bez odgovora, dugo |
|---|---|---|---|
| 68,9 | 71,0 | 87,9 | 63,2 |
Kad dobije dugačak tekst bez odgovora, u gotovo 40% slučajeva ipak nešto odgovori. Na hindskom je rezultat bio samo 15 bodova. To je problem za RAG.
Što sam isprobao
Treniranje sam proveo na RTX PRO 6000 (96 GB), unajmljenom preko vast.ai.
1. LoRA na RAG podacima za 20 jezika
Podaci za treniranje sadržavali su 20 jezika × 500 pitanja. Iz toga sam izradio primjere s četiri vrste teksta, ukupno 18.025 primjera. Točan je odgovor bio jedna rečenica, a kad odgovora nema, koristio sam uobičajenu formulaciju „nema odgovora” na tom jeziku.
Jedan prolazak s LoRA-om (rank 64) trajao je 1,7 sati.
| Odlomak | Dugi kontekst | Bez odgovora, kratko | Bez odgovora, dugo | |
|---|---|---|---|---|
| Izvorni 0,8B | 68,9 | 71,0 | 87,9 | 63,2 |
| Nakon LoRA-e | 91,7 | 89,0 | 98,4 | 93,4 |
Samo je to odmah znatno podiglo rezultat. Kategorija „bez odgovora, dugo” porasla je s 63 na 93, pa je izmišljanje odgovora gotovo nestalo.
Usput, kad sam prethodno to isprobao s modelom od 2B, čak je i treniranje na samo tri jezika (hrvatskom, njemačkom i turskom) poboljšalo svih 20 jezika. Slabost izvornog modela očito nije bila u znanju ili razumijevanju pročitanog, nego u navici da prema uputi odgovori ili odbije odgovoriti.
2. Na pitanjima koja su napisali ljudi prerano odustaje
Na XQuAD-u s pitanjima koja su napisali ljudi često bi rekao „nema odgovora”, iako odgovor postoji.
Primjerice, pitanje glasi „Kako se još naziva rotor?”, a u odlomku piše samo „rotirajući disk”. Na takvim zadacima, gdje se formulacija pitanja razlikuje od formulacije u odlomku, model odustane.
Uzrok je bio u podacima za treniranje. Qwen3-32B, koji je stvarao pitanja, često je izravno koristio formulaciju iz odlomka. Čini se da je model zato naučio odustati ako ne pronađe iste riječi.
Zato sam dao gpt-oss-120b da izradi i dodao po 400 zadataka po jeziku drugačijeg karaktera.
- Pitanja čija se formulacija razlikuje od odlomka
- Isprekidani ulomci, nalik rezultatima pretraživanja
- Zbunjujući članci koji jesu povezani, ali ne sadrže odgovor
- Dugi konteksti od 1K do 8K tokena
Time je rezultat za odlomke na XQuAD-u porastao sa 79,6 na 83,6, a za dugi kontekst sa 75,5 na 79,2. U ovom je slučaju praktično samo to pomoglo.
Od ove točke trenirao sam sve parametre, a ne LoRA-u. Uz iste podatke rezultati su bili gotovo jednaki u oba slučaja.
3. Što nije pomoglo
| Što sam isprobao | Rezultat |
|---|---|
| Trostruka stopa učenja (1e-5 → 3e-5) | Validation loss se očito pogoršao, pa sam prekinuo treniranje |
| 2 prolaska treniranja | Validation loss se smanjio, ali točnost je ostala ista. XQuAD je malo pao |
| Dvostruko više raznolikih podataka | +0,1 na vlastitim zadacima. XQuAD i hr0 su pali |
| Dodavanje pitanja koja su napisali ljudi (SQuAD i TyDi QA) | Suprotan učinak. Kategorija „bez odgovora, dugo” na XQuAD-u pala je s 99,8 na 91,2 |
Očekivao sam da će pitanja koja su napisali ljudi pomoći, ali dogodilo se suprotno. XQuAD je nastao iz odlomaka SQuAD-a. Čini se da je treniranje na SQuAD-u naučilo model da odlomak nalik SQuAD-u uvijek ima odgovor. Podaci koji su preblizu evaluaciji mogu biti opasni.
4. Kvantizacija na Q4 spušta rezultat za jedan bod
Budući da model radi na CPU-u, pretvorio sam ga u GGUF za llama.cpp i kvantizirao.
Kod 2B modela Q4_K_M gotovo nije smanjio rezultat. No kod 0,8B modela rezultat je pao za oko jedan bod. Manji su modeli osjetljiviji na kvantizaciju. S Q6_K ili Q8_0 rezultat se vratio, a na hrvatskim je zadacima dosegao 95,4.
Rezultati
Usporedio sam završnu verziju od 0,8B s izvornim i većim modelima. Svi su rezultati prosjek četiriju vrsta zadataka, a 0,8B i 2B upotrijebljeni su u obliku za CPU (Q4_K_M).
| Model | Veličina | Zadaci na 20 jezika | XQuAD (pitanja koja su napisali ljudi) | hr0 |
|---|---|---|---|---|
| Qwen3.5-0.8B (izvorni) | — | 73,8 | 74,8 | 72,7 |
| 0,8B (dodatno treniran) | 0,67 GB | 93,8 | 89,9 | 90,0 |
| 2B (dodatno treniran istim postupkom) | 1,56 GB | 96,4 | 92,4 | 93,5 |
| Qwen3-4B-Instruct-2507 (bez dodatnog treniranja) | 2,3 GB | 94,7 | 94,0 | 91,2 |
- 0,8B je porastao za 20 bodova i došao na samo bod od 4B. Model od 2B nadmašuje 4B
- Na pitanjima koja su napisali ljudi (XQuAD) i dalje zaostaje četiri boda za 4B. Slabost prema pitanjima drukčije formulacije još nije potpuno riješena
- Na 64% zadataka koje 0,8B pogriješi, 2B odgovori točno. Preostalo je vjerojatno ograničenje veličine modela. Ako je točnost prioritet, odaberite 2B
Brzina (CPU prijenosnog računala)
Mjerio sam na i7-11800H s 8 dretvi. Budući da se pri duljem radu takt prijenosnog računala spusti otprilike na pola, ovo su sporiji rezultati.
| Učitavanje teksta (4K tokena) | Generiranje | 1 pitanje s dugim kontekstom | |
|---|---|---|---|
| 0,8B | 314 tok/s | 53 tok/s | oko 7 sekundi |
| 2B | 97 tok/s | 21 tok/s | oko 25 sekundi |
| 4B | 42 tok/s | 11 tok/s | oko 60 sekundi |
Samo za odlomak treba manje od jedne sekunde.
Trošak
Ukupno je na vast.ai potrošeno oko 75 USD. To uključuje i treniranje modela od 2B te izradu podataka za evaluaciju.
Sažetak
- Čak i model od 0,8B može dodatnim treniranjem za RAG doseći točnost od oko 94%. Posebno se gotovo potpuno ispravlja izmišljanje odgovora kad odgovora nema
- Pomoglo je povećanje raznolikosti podataka za treniranje. Količina, broj prolazaka i stopa učenja nisu pomogli
- Za točnost je bolji 2B, a za brzinu 0,8B. Mislim da su oba praktičnija od neistreniranog 4B modela



