Ce este o halucinație AI?

De ce contează

Acesta este riscul fundamental de încredere în orice produs AI. Un LLM nu știe ce este adevărat; prezice text care se citește ca fiind probabil dat fiind promptul, iar uneori textul care sună cel mai probabil e pur și simplu greșit. Pericolul stă în încredere: o halucinație arată exact ca un răspuns corect, așa că utilizatorii nu pot face singuri diferența. Dacă livrezi o funcționalitate care inventează detalii de politică sau numere false în fața unui client, pierzi rapid încrederea, motiv pentru care asta trebuie gândită din prima zi, nu peticită mai târziu.

Cum o reduci

Nu poți elimina complet halucinația, dar o poți reduce mult. Fundamentarea modelului cu RAG, ca să răspundă din surse reale, regăsite, este cea mai mare pârghie, pentru că modelul are fapte concrete în față în loc să ghicească. Pe lângă asta, validează rezultatele față de date cunoscute, constrânge formatul ca răspunsurile să fie verificabile și rulează evaluări ca să prinzi regresiile înaintea utilizatorilor. Scopul e ca răspunsurile greșite să fie rare și, când apar, ușor de prins.

Un exemplu concret

Cere unui LLM simplu prețul unui anumit plan și s-ar putea să-ți spună o cifră curată și sigură care nu a fost niciodată reală. Conectează aceeași întrebare la datele tale de preț în timp real prin RAG, iar modelul răspunde din sursa reală sau recunoaște că nu o are. Această diferență e tot motivul pentru care fundamentăm funcționalitățile AI în produsele clienților, în loc să lăsăm modelul să vorbească din memorie.