Investiții masive în medii pentru dezvoltarea agenților AI
Companiile mari din domeniul tehnologiei au promovat viziuni ale agenților AI capabili să folosească aplicații software pentru a finaliza sarcini în mod autonom. Totuși, agenții AI disponibili pe piață, precum ChatGPT Agent de la OpenAI sau Comet de la Perplexity, demonstrează încă limitări semnificative. Îmbunătățirea acestor agenți ar putea necesita noi tehnici pe care industria le descoperă încă.
Importanța mediilor de învățare prin întărire
O tehnică importantă constă în simularea atentă a spațiilor de lucru unde agenții pot fi antrenați pentru sarcini complexe, cunoscute sub denumirea de medii de învățare prin întărire (RL). Aceste medii sunt considerate esențiale pentru dezvoltarea agenților, la fel cum seturile de date etichetate au fost cruciale în trecut.
Demanda în creștere pentru medii RL
Potrivit unor cercetători și investitori, laboratoarele de AI de top caută acum tot mai multe medii RL, iar numeroase startup-uri își propun să le furnizeze. Jennifer Li, partener general la Andreessen Horowitz, a declarat că toate laboratoarele mari construiesc medii RL interne, dar și că se orientează către furnizori terți capabili să creeze medii și evaluări de înaltă calitate. Investițiile în acest domeniu cresc, cu lideri de la Anthropic discutând despre cheltuieli de peste 1 miliard de dolari pentru medii RL în următorul an.
Startup-uri emergente în domeniul mediilor RL
Startup-uri precum Mechanize și Prime Intellect se conturează ca lideri în acest spațiu. Companii mari de etichetare a datelor, precum Mercor și Surge, investesc de asemenea în dezvoltarea mediilor RL pentru a rămâne competitive. Surge, care a generat 1,2 miliarde de dolari anul trecut, și-a creat o organizație internă dedicată mediilor RL.
Mercor, evaluată la 10 miliarde de dolari, colaborează cu mari laboratoare de AI și își propune să dezvolte medii RL pentru sarcini specifice, precum programare, sănătate și drept. Scale AI, deși a pierdut teren în fața competiției, continuă să se adapteze la noile nevoi ale pieței.
Provocări și perspective pentru mediile RL
Dezvoltarea mediilor RL este complexă, având nevoie de simulări elaborate care să permită agenților utilizarea unor instrumente și aplicații software. Există, de asemenea, îngrijorări legate de scalabilitatea acestor medii, câțiva experți considerând că acestea ar putea suferi de probleme precum „hacking-ul recompenselor”.
În ciuda scepticismului, investițiile în medii RL continuă să crească, iar cercetătorii explorează modul în care aceste tehnici pot propulsa progresele în AI. Este încă neclar dacă mediile RL vor atinge aceleași rezultate de scalabilitate ca metodele anterioare de antrenare AI.
Concluzie
Investițiile în mediile de învățare prin întărire sunt esențiale pentru dezvoltarea agenților AI capabili să îndeplinească sarcini complexe, iar interesul crescut din partea startup-urilor și companiilor mari sugerează un potențial semnificativ pentru inovație în acest domeniu.
