Introducere în Laboratorul de Mașini Gânditoare
Laboratorul de Mașini Gânditoare, condus de Mira Murati, a atras o atenție semnificativă datorită investiției de 2 miliarde de dolari și echipei formate din foști cercetători OpenAI. Recent, laboratorul a publicat un articol de cercetare care oferă o primă privire asupra unuia dintre proiectele sale: crearea de modele de inteligență artificială (IA) cu răspunsuri reproducibile.
Problema non-determinismului în modelele de IA
Articolul de cercetare, intitulat „Învinserea non-determinismului în inferența LLM”, abordează cauza principală a randomizării răspunsurilor modelelor de IA. Modelele actuale sunt considerate sisteme non-deterministe, ceea ce înseamnă că răspunsurile pot varia semnificativ pentru aceeași întrebare. Laboratorul de Mașini Gânditoare consideră că această problemă este rezolvabilă.
Controalele asupra kernel-urilor GPU
Horace He, cercetător la laborator, sugerează că sursa randomizării răspunsurilor modelelor de IA provine din modul în care kernel-urile GPU sunt integrate în procesul de inferență. Controlând cu atenție această orchestrare, este posibilă crearea de modele de IA mai deterministe.
Implicarea în învățarea prin întărire (RL)
Obținerea de răspunsuri reproducibile ar putea îmbunătăți, de asemenea, procesul de învățare prin întărire (RL). Acest proces implică recompensarea modelelor de IA pentru răspunsuri corecte, iar răspunsurile variate pot genera date zgomotoase. Răspunsurile mai consistente ar putea face întregul proces RL „mai lin”, conform lui He. Laboratorul de Mașini Gânditoare intenționează să utilizeze RL pentru a personaliza modelele de IA pentru afaceri.
Produse viitoare și angajamente de transparență
Mira Murati a anunțat că primul produs al laboratorului va fi dezvăluit în următoarele luni, având scopul de a fi util pentru cercetători și startup-uri care dezvoltă modele personalizate. De asemenea, laboratorul a promis să publice frecvent articole de blog, cod și alte informații despre cercetările sale pentru a beneficia publicul și a îmbunătăți cultura de cercetare internă.
Concluzie
Laboratorul de Mașini Gânditoare își propune să abordeze problemele majore din cercetarea IA, cu scopul de a aduce inovații semnificative în domeniu. Rămâne de văzut dacă vor reuși să rezolve aceste provocări și să justifice evaluarea de 12 miliarde de dolari.
