Performanță puternică a DeepMind AlphaCode AI în competițiile de programare

AlphaCode – un nou sistem de inteligență artificială (AI) pentru dezvoltarea codului de computer dezvoltat de DeepMind – poate atinge performanțe medii la nivel uman în rezolvarea concursurilor de programare, raportează cercetătorii.

Dezvoltarea unei platforme de codare asistată de AI care poate crea programe de codare ca răspuns la o descriere la nivel înalt a problemei pe care codul trebuie să o rezolve ar putea avea un impact semnificativ asupra productivității programatorului; ar putea chiar să schimbe cultura programării prin schimbarea muncii umane la formularea de probleme care să fie rezolvate de AI.

Până în prezent, oamenii au fost nevoiți să codifice soluții pentru noile probleme de programare. Deși unele modele recente de rețele neuronale au demonstrat capacități impresionante de generare a codului, ele încă performează slab la sarcini de programare mai complexe care necesită gândire critică și abilități de rezolvare a problemelor, cum ar fi provocările competitive de programare, la care participă adesea programatorii umani.

Aici, cercetătorii DeepMind prezintă AlphaCode, un sistem de codificare asistat de inteligență artificială care poate atinge performanțe aproape la nivel uman atunci când rezolvă probleme de pe platforma Codeforces, care găzduiește în mod regulat competiții internaționale de codare. Folosind învățarea auto-supravegheată și o arhitectură transformatoare de codificator-decodor, AlphaCode a rezolvat probleme de limbaj natural nemaivăzute până acum, prezicând în mod iterativ segmentele de cod pe baza segmentului anterior și generând milioane de soluții potențiale. Aceste soluții candidate au fost apoi filtrate și grupate prin validarea faptului că au trecut din punct de vedere funcțional cazuri de testare simple, rezultând maximum 10 soluții posibile, toate generate fără nicio cunoaștere încorporată a structurii codului computerului.

AlphaCode a funcționat aproximativ la nivelul unui concurent uman mediu atunci când a fost evaluat folosind problemele Codeforces. A atins o clasare medie generală în top 54,3% dintre participanții umani când a fost limitat la 10 soluții trimise per problemă, deși 66% dintre problemele rezolvate au fost rezolvate cu prima trimitere.

„În cele din urmă, AlphaCode funcționează remarcabil de bine la provocările noi de codare, indiferent de gradul în care „adevărat” înțelege sarcina”, scrie J. Zico Kolter dintr-o perspectivă care evidențiază punctele forte și punctele slabe ale „AlphaCode”.

Referință: „Competition-Grade Code Generation with AlphaCode” de Yujia Li, David Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Rémi Leblond, Tom Eccles, James Keeling, Felix Gimeno, Agustin Dal Lago, Thomas Hubert, Peter Choy, Cyprien de Masson d’Autume, Igor Babuschkin, Xinyun Chen, Po-Sen Huang, Johannes Welbl, Sven Gowal, Alexey Cherepanov, James Molloy, Daniel J. Mankowitz, Esme Sutherland Robson, Pushmeet Kohli, Nando de Freitas, Koray Kavukcuoglu și Oriol Vinyls , 8 decembrie 2022, Ştiinţă.
DOI: 10.1126/science.abq1158