AI stăpânește limbajul. Ar trebui să avem încredere în ceea ce spune el?
„Cred că ne permite să fim mai atenți și mai deliberați cu privire la problemele de securitate”, spune Altman. „O parte a strategiei noastre este aceasta: schimbarea treptată în lume este mai bună decât schimbarea bruscă. Sau, așa cum a spus VP OpenAI Mira Murati, când am întrebat-o despre munca echipei de securitate care restricționează accesul deschis la software, „Dacă vom învăța cum să implementăm aceste tehnologii puternice, să începem când miza este foarte mică.
În timp ce GPT-3 în sine rulează pe acele 285.000 de nuclee de procesor din clusterul de supercomputere Iowa, OpenAI operează din districtul Mission din San Francisco, într-o fabrică de bagaje renovată. În noiembrie anul trecut, l-am întâlnit pe Ilya Sutskever acolo, încercând să obțin explicația unui profan despre cum funcționează de fapt GPT-3.
— Iată ideea din spatele GPT-3, spuse Sutskever intens, aplecându-se înainte pe scaun. Are un mod intrigant de a răspunde la întrebări: câteva începuturi false — „Pot să-ți dau o descriere care se potrivește aproape cu cea pe care ai cerut-o” — întrerupte de lungi pauze contemplative, de parcă ar fi pus la cale întregul răspuns dinainte.
„Ideea din spatele GPT-3 este o modalitate de a lega o noțiune intuitivă de înțelegere de ceva care poate fi măsurat și înțeles mecanic”, a spus el în cele din urmă, „și aceasta este sarcina de a prezice următorul cuvânt din text. „Alte forme de inteligență artificială încearcă să codifice informații despre lume: strategii de șah de mare maestru, principii de climatologie. Dar inteligența lui GPT-3, dacă inteligența este cuvântul potrivit, vine de jos în sus: prin actul de bază de a prezice următorul cuvânt. Pentru a antrena GPT-3, modelului i se dă un „prompt” – câteva propoziții sau paragrafe de text dintr-un articol de ziar, de exemplu, sau un roman sau o lucrare științifică – și apoi i se cere să sugereze o listă de cuvinte potențiale care ar putea completa secvența, ordonată după probabilitate. În primele etape ale antrenamentului, cuvintele sugerate sunt aiurea. Acordați algoritmului o propoziție de genul „Scriitorul a omis ultimul cuvânt din primul. . . ” și presupunerile vor fi un fel de prostii: ” satelit ” ” cățeluș ” ” Seattle ” ” așa că ”. Dar undeva în listă – poate mii de cuvinte în listă – apare cuvântul corect lipsă: ”paragraf”. Software-ul întărește apoi orice conexiuni neuronale aleatorii care au generat acea sugestie specială și slăbește orice conexiuni care au generat presupuneri incorecte. Și apoi trece la următorul prompt. În timp, cu suficiente iterații, software-ul învață.
În ianuarie anul trecut, OpenAI a adăugat o caracteristică care permitea utilizatorilor să dea instrucțiuni directe GPT-3 ca prompt, mai degrabă decât să îi ceară să dezvolte un exemplu de pasaj text. De exemplu, folosind modul „instruct”, am dat odată GPT-3 promptul: „Scrieți un eseu despre rolul metaficțiunii în opera lui Italo Calvino”. Înapoi, software-ul a furnizat cinci paragrafe specifice, începând după cum urmează. :
Autorul italian Italo Calvino este considerat un maestru al metaficțiunii, un gen de scriere în care autorul dărâmă al patrulea perete pentru a discuta despre actul scrisului în sine. Pentru Calvino, metaficțiunea este o modalitate de a explora natura realității și modul în care poveștile ne pot modela percepțiile despre lume. Romanele sale încorporează adesea structuri jucăușe și labirintice care se joacă cu granițele dintre realitate și ficțiune. În Dacă într-o noapte de iarnă un călător, de exemplu, cititorul este întrerupt constant de discuții la nivel meta despre actul lecturii și natura povestirii. . . .
Puteți oferi GPT-3 exact același prompt din nou și din nou și de fiecare dată va genera un răspuns unic, unele dintre ele mai convingătoare decât altele, dar aproape toate remarcabil de articulate. Instrucțiunile pot lua tot felul de forme: „Dă-mi o listă cu toate ingredientele pentru sosul bolognese”, „Scrie o poezie despre un sat de coastă francez în stilul lui John Ashbery”, „Explică Big Bang-ul într-o limbă și 8 -un ani va înțelege.” Primele ori când am hrănit GPT-3 cu astfel de indicații, am simțit un adevărat frig că mi-a urcat pe coloana vertebrală. Părea aproape imposibil ca o mașină să poată genera un astfel de text lucid și receptiv, bazat în întregime pe antrenamentul elementar de predicție al cuvântului următor.
Dar AI are o istorie lungă de a crea iluzia inteligenței sau a înțelegerii fără a livra efectiv bunurile. Într-o hartie mult discutata publicat anul trecut, profesorul de lingvistică de la Universitatea din Washington, Emily M. Bender, fostul cercetător Google Timnit Gebru și un grup de coautori au spus că marile modele de limbaj sunt doar „papagali stocastici”: adică, software-ul a folosit randomizarea pentru a remixa pur și simplu propoziții. scris de oameni. „Ceea ce s-a schimbat nu este cu un pas peste un prag către „AI””, mi-a spus recent Bender prin e-mail. Mai degrabă, spune ea, ceea ce s-a schimbat sunt „hardware-ul, software-ul și inovațiile economice care permit acumularea și procesarea de seturi uriașe de date” – precum și o cultură tehnologică în care „oamenii care construiesc și vând astfel de lucruri pot scăpa cu construirea. ele pe baze de date necurate.”