John Schulman: Vědec spojený s vývojem moderních modelů AI

John Schulman patří mezi významné výzkumníky v oblasti umělé inteligence, zejména posilovaného učení a jazykových modelů. Jeho práce pomohla rozvíjet metody, které umožňují systémům učit se z interakcí a přizpůsobovat své výstupy lidským preferencím. Významnou část kariéry spojil se společností OpenAI, kde se podílel na výzkumu i vývoji technologií moderní umělé inteligence.

Výzkum posilovaného učení

Schulman se věnoval posilovanému učení, tedy oblasti strojového učení, v níž se systém učí vybírat vhodné kroky na základě zpětné vazby. Za své rozhodnutí získává odměnu nebo penalizaci a postupně hledá strategii, která vede k lepším výsledkům. Tento přístup se využívá například při trénování autonomních systémů, herních agentů i modelů schopných pracovat s jazykem.

Je spojován také s algoritmem Proximal Policy Optimization (PPO), který byl představen v roce 2017 v rámci společného výzkumu. PPO umožňuje upravovat strategii modelu postupně a omezuje příliš velké změny během trénování. Díky své praktické použitelnosti se stal významnou metodou v oblasti posilovaného učení.

Práce v OpenAI a jazykové modely

V OpenAI se Schulman podílel na výzkumu metod, které pomáhají trénovat systémy umělé inteligence tak, aby jejich odpovědi lépe odpovídaly lidským očekáváním. Patří sem posilované učení z lidské zpětné vazby, známé pod zkratkou RLHF. Při tomto přístupu lidé hodnotí odpovědi modelu a získané hodnocení se následně využívá k jeho dalšímu dolaďování.

Metody tohoto typu přispěly k vývoji konverzačních jazykových modelů, které dokážou reagovat na pokyny, vést dialog a vytvářet souvislé texty. Jejich vývoj však nezávisí na práci jediného člověka: vzniká díky spolupráci výzkumníků, inženýrů a dalších odborníků. Schulmanův přínos spočívá mimo jiné v rozvoji algoritmů a výzkumných postupů, které se při trénování těchto systémů používají.

Význam jeho přínosu

John Schulman patří k vědcům, jejichž práce pomohla propojit teoretický výzkum posilovaného učení s praktickým vývojem moderních modelů AI. Jeho odborná dráha ukazuje, jak mohou metody optimalizace a učení ze zpětné vazby ovlivnit schopnosti systémů, s nimiž lidé komunikují. Vývoj jazykových modelů přitom zůstává kolektivním úsilím a jeho výsledky vycházejí z příspěvků mnoha týmů a výzkumných komunit.