PaLM 2 de la Google utilizează de aproape cinci ori mai multe date text decât predecesorul său

PaLM 2 de la Google utilizează de aproape cinci ori mai multe date text decât predecesorul său
  • Modelul lingvistic mare PaLM 2 al Google folosește de aproape cinci ori mai multe date textuale pentru antrenament decât predecesorul său LLM, a aflat CNBC.
  • Anunțând PaLM 2 săptămâna trecută, Google a spus că modelul este mai mic decât PaLM precedent, dar folosește o „tehnică” mai eficientă.
  • Lipsa de transparență în ceea ce privește datele de instruire în modelele AI devine un subiect din ce în ce mai fierbinte în rândul cercetătorilor.

Sundar Pichai, CEO al Alphabet Inc., la Conferința dezvoltatorilor Google I/O din Mountain View, California, miercuri, 10 mai 2023.

David Paul Morris | Bloomberg | Getty Images

Noul model de limbă mare al Google, pe care compania l-a anunțat săptămâna trecută, utilizează de aproape cinci ori mai multe date de antrenament decât predecesorul său din 2022, permițându-i să efectueze sarcini de codificare, matematică și învățare. scriere creativă mai avansată, a aflat CNBC.

PaLM 2, noul model de limbaj cu uz general mare (LLM) al companiei, care a fost dezvăluit la Google I/O, este antrenat pe 3,6 trilioane de jetoane, conform documentației interne văzute de CNBC. Token-urile, care sunt șiruri de cuvinte, reprezintă un element important pentru formarea LLM-urilor, deoarece învață modelul să prezică următorul cuvânt care va apărea într-o secvență.

Versiunea anterioară de la Google a PaLM, care înseamnă Pathways Language Model, a fost lansată în 2022 și instruită pe 780 de miliarde de jetoane.

Deși Google a dorit să arate puterea tehnologiei sale AI și modul în care aceasta poate fi integrată în căutare, e-mail, procesare de text și foi de calcul, compania nu a dorit să publice dimensiunea sau alte detalii ale datelor sale de instruire. OpenAI, creatorul ChatGPT susținut de Microsoft, a ținut, de asemenea, secrete specificul celui mai recent LLM numit GPT-4.

READ  Porsche merge la UBC | EurobuildCEE

Motivul lipsei de dezvăluire, potrivit companiilor, este natura competitivă a afacerii. Google și OpenAI se luptă pentru a atrage utilizatorii care doresc să caute informații folosind chatbot-uri conversaționale, mai degrabă decât motoarele de căutare tradiționale.

Dar, pe măsură ce cursa înarmărilor AI se intensifică, comunitatea de cercetare cere o mai mare transparență.

De la lansarea PaLM 2, Google a spus că noul model este mai mic decât LLM-urile anterioare, ceea ce este important pentru că înseamnă că tehnologia companiei devine mai eficientă în timp ce execută sarcini mai sofisticate. PaLM 2, conform documentelor interne, este antrenat pe 340 de miliarde de parametri, un indiciu al complexității modelului. PaLM inițial a fost antrenat pe 540 de miliarde de parametri.

Google nu a oferit imediat comentarii pentru această poveste.

Google a spus într-o postare de blog pe PaLM 2, modelul folosește o „tehnică nouă” numită „scalarea optimă pentru calcul”. Acest lucru face ca LLM să fie „mai eficient cu o performanță generală mai bună, inclusiv o inferență mai rapidă, mai puțini parametri de servit și costuri mai mici ale serviciului”.

În anunțarea PaLM 2, Google a confirmat rapoartele anterioare ale CNBC că modelul este instruit în 100 de limbi și îndeplinește o gamă largă de sarcini. Este deja folosit pentru a alimenta 25 de funcții și produse, inclusiv chatbot-ul experimental al companiei, Bard. Este disponibil in patru marimi, de la cea mai mica la cea mai mare: Gecko, Vidra, Bizon si Unicorn.

PaLM 2 este mai puternic decât orice model existent bazat pe dezvăluiri publice. LLM de la Facebook a numit LLaMA, pe care el anunţ în februarie, este format pe 1,4 trilioane de jetoane. Ultima dată când OpenAI a împărtășit dimensiunea de instruire a ChatGPT a fost cu GPT-3, când compania a spus că a fost antrenat pe 300 de miliarde de jetoane la acea vreme. OpenAI a lansat GPT-4 în martie și a declarat că a prezentat „performanță la nivel uman” în numeroase teste profesionale.

READ  O multinațională africană preia să cultive 13.700 ha în sudul României

LaMDA, o conversație LLM pe care Google introdus în urmă cu doi ani și prezentat în februarie alături de Bard, a fost format pe 1,5 trilioane de jetoane, conform ultimelor documente văzute de CNBC.

Pe măsură ce noile aplicații AI devin populare rapid, controversele legate de tehnologia subiacentă devin din ce în ce mai aprinse.

El Mahdi El Mhamdi, om de știință senior la Google Research, a demisionat în februarie privind lipsa de transparență a companiei. Marți, CEO-ul OpenAI, Sam Altman, a depus mărturie la o audiere a Subcomisiei judiciare din Senat pentru confidențialitate și tehnologie și a fost de acord cu parlamentarii că este nevoie de un nou sistem de abordare a AI.

„Pentru o tehnologie nou-nouță, avem nevoie de un nou cadru”, a spus Altman. „Cu siguranță, companii ca a noastră poartă o mare responsabilitate pentru instrumentele pe care le oferim lumii.”

– Jordan Novet de la CNBC a contribuit la acest raport.

SPECTACOL: CEO-ul OpenAI, Sam Altman, solicită supravegherea AI

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *