Ideea că un model de limbaj poate funcționa pe calculatorul din sufragerie, fără internet și fără abonament, pare încă exotică pentru majoritatea oamenilor. În realitate, e o practică destul de răspândită de câțiva ani, susținută de modele deschise care se descarcă liber și de programe care le pornesc cu două clicuri.
Întrebarea corectă nu e dacă se poate — se poate — ci dacă are sens pentru tine. Iar răspunsul depinde mai puțin de entuziasmul tehnic și mai mult de ce anume faci cu ele.
Ce înseamnă, concret, „local”
Un model local e un fișier. Unul mare, de câțiva gigabytes, care conține toate valorile numerice învățate în timpul antrenamentului. Îl descarci o dată, iar apoi un program de pe calculatorul tău îl încarcă în memorie și generează răspunsuri folosind procesorul sau placa video.
Nimic nu pleacă spre exterior. Nu există server, nu există cont, nu există istoric stocat de altcineva. După descărcare, poți deconecta complet internetul și modelul funcționează identic.
Programele care fac asta accesibilă au evoluat mult. Ollama, LM Studio și câteva alternative similare au ajuns la nivelul la care instalarea seamănă cu instalarea oricărei aplicații obișnuite: alegi modelul dintr-o listă, apeși descarcă, aștepți și începi să scrii într-o fereastră de chat.
Ce calculator îți trebuie de fapt
Aici se sparg cele mai multe iluzii. Factorul decisiv nu e procesorul, ci memoria — în special memoria plăcii video, dacă ai una dedicată.
- 8 GB RAM, fără placă video dedicată: merg doar modele mici, de 3-4 miliarde de parametri. Sunt utile pentru rezumate scurte, reformulări și sarcini simple, dar greșesc vizibil la raționament.
- 16 GB RAM sau o placă video cu 8 GB: zona rezonabilă. Modelele de 7-9 miliarde de parametri rulează decent și acoperă majoritatea utilizărilor de zi cu zi.
- 32 GB și o placă video cu 16 GB sau mai mult: aici încep să fie interesante modelele de 30 de miliarde de parametri, comparabile cu serviciile online de acum doi-trei ani.
Un caz aparte îl fac calculatoarele Apple cu procesoare din seria M, unde memoria e partajată între procesor și grafică. Un Mac cu 32 GB rulează modele pe care un PC ar avea nevoie de o placă video scumpă ca să le pornească.
Dacă ești pe punctul de a decide dacă merită să investești într-un calculator nou pentru asta, discuția e mai largă și se leagă de momentul în care un calculator vechi nu mai merită reparat.
Cui îi folosește cu adevărat
Prima categorie evidentă sunt profesiile cu obligații de confidențialitate. Un avocat, un medic, un contabil sau un psiholog care vrea să rezume documente fără să le trimită nicăieri are aici singura soluție care elimină complet discuția juridică. Datele nu părăsesc biroul, deci nu există transfer, nu există procesator extern, nu există clauză de încălcat.
A doua categorie sunt dezvoltatorii care integrează AI în produse proprii și vor să testeze fără să plătească pentru fiecare cerere. Un model local face experimentarea gratuită și nelimitată.
A treia, mai puțin evidentă, sunt cei care lucrează în condiții de conectivitate proastă sau în locuri unde politica internă interzice serviciile cloud — instituții publice, industrie, cercetare.
Și, în fine, există categoria celor pe care îi interesează pur și simplu să nu depindă de nimeni. Un serviciu online își poate schimba prețul, poate dispărea sau își poate modifica regulile. Un fișier descărcat pe hard disk rămâne acolo.
Unde sunt limitele, spuse fără menajamente
Un model care rulează pe un laptop nu se compară cu cele mai bune sisteme comerciale. Diferența e reală și se vede la raționament complex, la matematică, la programare avansată și la texte lungi care cer coerență pe zeci de pagini.
Viteza e al doilea compromis. Pe un calculator fără placă video puternică, răspunsurile apar cuvânt cu cuvânt, într-un ritm care poate fi frustrant dacă ești obișnuit cu serviciile online.
Apoi lipsesc funcțiile din jur: căutarea pe internet, analiza fișierelor complexe, generarea de imagini, memoria între conversații. Unele se pot adăuga, dar cu configurări care depășesc răbdarea utilizatorului obișnuit.
Iar limba română merită menționată separat. Modelele deschise sunt antrenate preponderent pe engleză, iar calitatea în română scade sensibil la modelele mici. Un model de 3 miliarde de parametri va face greșeli de acord și va folosi construcții stângace; unul de 30 de miliarde se descurcă onorabil.
Concret, dacă folosești AI ocazional, pentru întrebări generale, un serviciu online rămâne alegerea rațională. Dacă însă lucrezi cu documente pe care nu ai voie să le trimiți nicăieri, sau dacă ideea de a avea instrumentul complet în posesia ta contează pentru tine, o după-amiază de instalare îți dă ceva ce niciun abonament nu poate oferi: independență.
