Când scrii o întrebare într-un chat cu inteligență artificială și primești un răspuns coerent, în română, cu diacritice și cu structură logică, senzația e că undeva „cineva” a înțeles ce ai cerut. Explicația reală e simultan mai puțin spectaculoasă și mai interesantă: sistemul nu înțelege în sensul în care înțelegem noi, dar nici nu copiază propoziții gata făcute dintr-o bază de date. Face altceva, iar acel altceva merită înțeles, pentru că explică aproape toate ciudățeniile pe care le observi în practică.
Ideea centrală: ce urmează după?
Un model de limbaj este, la bază, o mașină de completat. I se dă un fragment de text și estimează ce ar putea veni în continuare. Atât. Toată complexitatea din spate servește această singură operațiune, repetată la nesfârșit.
Ia propoziția „Am scos pâinea din…”. Aproape orice vorbitor de română se așteaptă la „cuptor”. Un model face exact același lucru, dar cu o diferență importantă: nu alege un singur cuvânt, ci calculează o distribuție de probabilități peste toate continuările posibile. „Cuptor” primește o probabilitate mare, „pungă” una mai mică dar rezonabilă, „bicicletă” una practic nulă.
Apoi alege una dintre ele, o adaugă la text și reia întregul calcul, de data asta cu propoziția mai lungă cu un cuvânt. Un răspuns de trei paragrafe înseamnă câteva sute de asemenea decizii înlănțuite, fiecare luată în funcție de tot ce s-a scris până în acel moment.
Aici se ascunde și prima observație utilă: modelul nu are un plan al răspunsului înainte să înceapă. Construiește pe măsură ce scrie. Coerența pe care o vezi vine din faptul că fiecare cuvânt nou este ales în contextul tuturor celor dinainte, nu dintr-o schiță pregătită în prealabil.
Bucățile de text: tokenii
Modelul nu lucrează, de fapt, cu cuvinte întregi. Textul e tăiat în unități numite tokeni, care pot fi un cuvânt scurt, o bucată dintr-un cuvânt lung, un semn de punctuație sau chiar un spațiu.
Împărțirea nu e arbitrară: se aleg bucățile care apar frecvent în datele de antrenare. Cuvintele obișnuite ajung să fie un singur token, iar cele rare se despart în fragmente. Un cuvânt precum „nemaipomenit” poate deveni trei-patru tokeni, în timp ce „și” rămâne unul singur.
Detaliul acesta, aparent tehnic, explică lucruri concrete pe care le observi:
- de ce modelele se descurcă slab când le ceri să numere literele dintr-un cuvânt — ele nu „văd” literele, ci bucăți mai mari;
- de ce limbile mai puțin reprezentate în datele de antrenare consumă mai multe unități pentru același text, ceea ce le face mai costisitor de procesat;
- de ce limita de lungime a unei conversații se măsoară în tokeni, nu în cuvinte sau caractere.
Antrenarea: cum se învață ghicitul bun
La început, modelul are milioane de parametri interni setați la valori întâmplătoare, iar predicțiile lui sunt zgomot pur. Procesul de antrenare constă în a-i arăta cantități enorme de text și a-i cere, mereu, aceeași sarcină: ascunde următorul cuvânt și încearcă să-l ghicești.
De fiecare dată când greșește, un algoritm calculează cât de departe a fost de răspunsul corect și ajustează ușor parametrii în direcția care ar fi dat un rezultat mai bun. O singură ajustare nu înseamnă nimic. Repetată de miliarde de ori, pe texte de o diversitate imensă, produce ceva remarcabil.
Partea contraintuitivă e ce anume învață modelul pe parcurs. Ca să prezici bine următorul cuvânt din „Capitala Franței este…”, trebuie să fi reținut o informație factuală. Ca să continui corect „Dacă toate păsările zboară și vrabia este o pasăre, atunci…”, trebuie să fi prins un tipar de raționament. Ca să închizi corect o paranteză deschisă cu douăzeci de rânduri mai sus, trebuie să urmărești structura. Nimeni nu i-a predat gramatică, geografie sau logică; toate acestea au apărut ca efecte secundare ale unui singur obiectiv, formulat foarte simplu.
Merită subliniat un lucru: modelul nu păstrează textele de antrenare. Ce rămâne după antrenare sunt numerele care descriu relații statistice, nu o arhivă din care se copiază. De aceea poate produce propoziții care nu au existat niciodată, dar și de aceea nu poate cita cu precizie o sursă anume.
Mecanismul de atenție: de ce contează cuvintele îndepărtate
Ce a schimbat radical calitatea acestor sisteme a fost un mecanism numit atenție. Pe scurt, atunci când procesează un cuvânt, modelul cântărește simultan toate celelalte cuvinte din context și decide cât de mult contează fiecare pentru decizia curentă.
În propoziția „Maria i-a spus Anei că ea a câștigat”, ambiguitatea lui „ea” se rezolvă uitându-te la restul frazei. Mecanismul de atenție face exact asta, dar în paralel, pentru fiecare poziție din text și pe mai multe niveluri de abstractizare simultan. Unele niveluri urmăresc acordul gramatical, altele firul narativ, altele tonul.
Această capacitate de a lega elemente aflate departe unul de altul e motivul pentru care un model poate menține coerența pe pagini întregi și poate ține minte, în cadrul aceleiași conversații, o instrucțiune dată la început. Diferența față de generațiile anterioare de sisteme, care se pierdeau după câteva propoziții, vine în mare parte de aici. Dacă vrei o imagine mai largă a familiei din care face parte această tehnologie, distincția dintre sistemele care generează conținut și cele care doar estimează un rezultat așază lucrurile în context.
Momentul generării: de ce nu primești același răspuns de două ori
La fiecare pas, modelul are o listă de continuări posibile cu probabilitățile lor. Ce se întâmplă mai departe depinde de o setare numită de obicei temperatură.
Cu temperatură mică, sistemul alege aproape mereu varianta cea mai probabilă. Rezultatul e previzibil, corect, dar plat și repetitiv. Cu temperatură mai mare, alegerea devine mai aleatoare: sunt luate în calcul și opțiuni mai puțin probabile. Textul devine mai variat și mai creativ, dar crește riscul de derapaj.
De aici vine faptul că primești răspunsuri diferite la aceeași întrebare pusă de două ori. Nu e o defecțiune, e o alegere de proiectare. Aplicațiile de scris creativ folosesc valori mai mari, cele de extras informații din documente folosesc valori mici.
Ultimul strat: de la mașină de completat la asistent
Un model antrenat doar să prezică text nu e încă un asistent util. Dacă îl întrebi ceva, e la fel de probabil să continue cu încă cinci întrebări similare, pentru că așa arată textele din care a învățat.
Transformarea se face în etape suplimentare. Întâi, modelul e antrenat pe exemple de instrucțiuni urmate de răspunsuri bune, ca să învețe formatul conversațional. Apoi, oameni evaluează perechi de răspunsuri și indică pe care îl preferă, iar aceste preferințe sunt folosite pentru a ajusta modelul spre răspunsuri utile, clare și sigure.
Etapa aceasta explică multe dintre comportamentele pe care le observi: politețea constantă, tendința de a structura răspunsurile, refuzul anumitor cereri, obiceiul de a adăuga avertismente. Nu sunt reguli scrise undeva într-un fișier, ci înclinații modelate prin feedback repetat. Pentru o privire practică asupra a ceea ce iese din tot acest proces, articolul despre ce este un chatbot și la ce chiar te ajută zilnic acoperă partea de utilizare curentă.
Ce explică mecanismul despre limitele lui
Odată înțeleasă mecanica, o serie de comportamente încetează să pară misterioase.
- Inventează informații cu aplomb pentru că obiectivul lui e continuarea plauzibilă, nu adevărul verificat. O referință bibliografică falsă are exact aceeași formă statistică cu una reală. Fenomenul e descris pe larg în articolul despre motivele pentru care un chatbot inventează informații.
- Nu știe ce nu știe. Nu există în interiorul lui un indicator separat de certitudine pe care să-l consulte înainte să răspundă.
- Se descurcă inegal la matematică, pentru că prezice pas cu pas, nu calculează. De aceea multe sisteme moderne apelează la un instrument extern pentru calcule.
- Are o limită de context. Peste o anumită lungime, începutul conversației iese din câmpul lui vizual.
- Cunoștințele lui sunt înghețate la momentul antrenării, dacă nu i se dă acces la căutare.
Nimic din toate acestea nu face tehnologia mai puțin utilă. O face doar mai ușor de folosit corect. Un instrument care prezice foarte bine continuarea unui text este excelent la reformulat, rezumat, tradus, structurat idei și explicat concepte — adică exact la sarcinile în care forma contează și în care tu poți verifica fondul. Devine riscant atunci când îi ceri fapte precise pe care nu ai cum să le controlezi. Diferența dintre cele două utilizări nu ține de cât de avansat e modelul, ci de cât de bine înțelegi ce face el, de fapt, atunci când scrie.
