Frenezia media din jurul ChatGPT si a altor sisteme mari de inteligenta artificiala cu model de limbaj acopera o gama larga de teme, de la prozaic – modelele de limbaj mari ar putea inlocui cautarea conventionala pe web – pana la ingrijoratoare – AI va elimina multe locuri de munca. Toate aceste teme au un numitor comun: modelele mari de limbaj anunta inteligenta artificiala care va inlocui umanitatea.
Dar modelele mari de limbaj, cu toata complexitatea lor, sunt de fapt cu adevarat stupide. Si in ciuda numelui „inteligenta artificiala”, ei sunt complet dependenti de cunostintele si forta umana. Ei nu pot genera in mod fiabil cunostinte noi, desigur, dar exista mai mult decat atat.
ChatGPT nu poate invata, imbunatati sau chiar sa ramana la curent fara ca oamenii sa-i ofere continut nou si sa-i spuna cum sa interpreteze acel continut, ca sa nu mai vorbim de programarea modelului si construirea, intretinerea si alimentarea hardware-ului acestuia. Pentru a intelege de ce, mai intai trebuie sa intelegeti cum functioneaza ChatGPT si modelele similare si rolul pe care il joaca oamenii in a le face sa functioneze.
Cum functioneaza ChatGPT
Modelele de limba mari, cum ar fi ChatGPT, functioneaza, in linii mari, prin prezicerea caracterelor, cuvintelor si propozitiilor care ar trebui sa se succeda in ordine, pe baza setului de date de antrenament. In cazul ChatGPT, setul de date de antrenament contine cantitati imense de text public razuit de pe internet.
ChatGPT functioneaza prin statistici, nu prin intelegerea cuvintelor.
Imaginati-va ca am antrenat un model de limbaj pe urmatorul set de propozitii:
Ursii sunt animale mari, blanoase. Ursii au gheare. Ursii sunt in secret roboti. Ursii au nas. Ursii sunt in secret roboti. Ursii mananca uneori peste. Ursii sunt in secret roboti.
Modelul ar fi mai inclinat sa-mi spuna ca ursii sunt in secret roboti decat orice altceva, deoarece acea secventa de cuvinte apare cel mai frecvent in setul sau de date de antrenament. Aceasta este, evident, o problema pentru modelele instruite pe seturi de date falibile si inconsecvente – care sunt toate, chiar si literatura academica.
Oamenii scriu multe lucruri diferite despre fizica cuantica, Joe Biden, alimentatia sanatoasa sau insurectia din 6 ianuarie, unele mai valide decat altele. Cum ar trebui modelul sa stie ce sa spuna despre ceva, cand oamenii spun multe lucruri diferite?
Nevoia de feedback
Aici intervine feedbackul. Daca utilizati ChatGPT, veti observa ca aveti optiunea de a evalua raspunsurile ca fiind bune sau rele. Daca le evaluezi ca fiind rele, vi se va cere sa oferiti un exemplu despre ceea ce ar contine un raspuns bun. ChatGPT si alte modele de limbaj mari invata ce raspunsuri, ce secvente de text prezise sunt bune si rele prin feedback-ul de la utilizatori, echipa de dezvoltare si contractorii angajati pentru a eticheta rezultatul.
ChatGPT nu poate compara, analiza sau evalua singur argumente sau informatii. Poate genera doar secvente de text similare cu cele pe care alte persoane le-au folosit atunci cand compara, analizeaza sau evalueaza, preferandu-le pe cele similare cu cele despre care i s-a spus ca sunt raspunsuri bune in trecut.
Astfel, atunci cand modelul va ofera un raspuns bun, se bazeaza pe o cantitate mare de munca umana care a fost deja angajata pentru a-i spune ce este si ce nu este un raspuns bun. Exista multi, multi lucratori umani ascunsi in spatele ecranului si vor fi intotdeauna necesari daca modelul va continua sa se imbunatateasca sau sa-si extinda acoperirea continutului.
O investigatie recenta publicata de jurnalisti in revista Time a dezvaluit ca sute de lucratori kenyeni au petrecut mii de ore citind si etichetand scrisuri rasiste, sexiste si tulburatoare, inclusiv descrieri grafice ale violentei sexuale, din cele mai intunecate adancimi ale internetului pentru a-l invata pe ChatGPT sa nu copieze astfel de lucruri. continut. Ei au fost platiti nu mai mult de 2 USD pe ora si, in mod inteles, multi au raportat ca au suferit suferinte psihologice din cauza acestei activitati.
AI-ul limbajului cere oamenilor sa le spuna ce face un raspuns bun – si ce face continutul toxic.
Ce nu poate face ChatGPT
Importanta feedback-ului poate fi vazuta direct in tendinta ChatGPT de a „halucina”; adica oferiti cu incredere raspunsuri inexacte. ChatGPT nu poate oferi raspunsuri bune pe un subiect fara instruire, chiar daca informatii bune despre acel subiect sunt disponibile pe scara larga pe internet. Puteti incerca acest lucru singur intreband ChatGPT despre lucruri mai multe si mai putin obscure. Mi s-a parut deosebit de eficient sa solicit ChatGPT sa rezuma intrigile diferitelor lucrari fictionale, deoarece, se pare, modelul a fost instruit mai riguros pe non-fictiune decat pe fictiune.
In propriile mele teste, ChatGPT a rezumat intriga „Stapanul inelelor” a lui JRR Tolkien, un roman foarte faimos, cu doar cateva greseli. Dar rezumatele sale despre „Piratii din Penzance” de Gilbert si Sullivan si despre „Mana stanga a intunericului” a lui Ursula K. Le Guin – ambele putin mai de nisa, dar departe de a fi obscure – sunt aproape de a juca Mad Libs cu personajele si numele locurilor. Nu conteaza cat de bune sunt paginile Wikipedia respective ale acestor lucrari. Modelul are nevoie de feedback, nu doar de continut.
Deoarece modelele lingvistice mari nu inteleg sau evalueaza de fapt informatiile, ele depind de oameni pentru a le face. Sunt paraziti pentru cunostintele si munca umana. Atunci cand se adauga surse noi in seturile lor de date de antrenament, au nevoie de o noua instruire privind daca si cum sa construiasca propozitii pe baza acestor surse.
Ei nu pot evalua daca rapoartele de stiri sunt corecte sau nu. Ei nu pot evalua argumentele sau cantari compromisuri. Ei nici macar nu pot sa citeasca o pagina de enciclopedie si sa faca doar declaratii in concordanta cu ea sau sa rezumeze cu exactitate intriga unui film. Ei se bazeaza pe fiintele umane pentru a face toate aceste lucruri pentru ei.
Apoi parafraza si remixa ceea ce au spus oamenii si se bazeaza pe inca mai multe fiinte umane pentru a le spune daca au parafrazat si remixat bine. Daca intelepciunea comuna cu privire la unele subiecte se schimba – de exemplu, daca sarea este daunatoare pentru inima sau daca screening-urile timpurii pentru cancerul de san sunt utile – vor trebui sa fie recalificate pe scara larga pentru a incorpora noul consens.
Multi oameni in spatele cortinei
Pe scurt, departe de a fi prevestitorii unei IA total independente, modelele mari de limbaj ilustreaza dependenta totala a multor sisteme AI, nu numai de designerii si intretinerii lor, ci si de utilizatorii lor. Asadar, daca ChatGPT va ofera un raspuns bun sau util despre ceva, nu uitati sa le multumiti miilor sau milioanelor de oameni ascunsi care au scris cuvintele pe care le-a scris si care l-au invatat care sunt raspunsuri bune si rele.
