Umělá inteligence za volantem: vývojáři učí AI, jak rychle reagovat a správně vyhodnocovat situace

A právě na e-závodech si vývojáři vyzkoušeli nově vyvinuté algoritmy, které se v budoucnu mohou výrazně podílet na autonomním řízení.

Společnosti Sony a Polyphony Digital, které vyvíjejí celosvětově proslulou hru pro PlayStation: Gran Turismo neboli závodní simulátor, využívají svých možností naplno – stvořily GT Sophy, umělou inteligenci, která závodí proti živým lidem.

„Sophy je opravdu rychlá, zajíždí časy na kolo lepší než spousta nejlepších závodníků,“ překvapeně řekl Takuma Miyazono, japonský mistr světa v e-závodech, který se virtuálnímu závodění věnuje už od čtyř let.

Autonomní vozidla vyhrávají závody s lidmi

Úspěch umělé inteligence v přímém souboji s lidmi není žádným překvapením, různé typy AI už skvělým způsobem zvládly různé deskové hry jako jsou třeba go nebo šachy. To jsou však logické hry, a úspěch počítačů byl svým způsobem snadno pochopitelný. Gran Turismo je však závodní simulátor, kde se jezdí s auty. Abyste dokázali udržet krok se špičkou, musíte mít rychlé reflexy a hlavně neustále a správně vyhodnocovat situace, které na trati v průběhu několika závodních kol, jichž se účastní zhruba deset až patnáct hráčů, vznikají.

Pro umělou inteligenci je proto hra tohoto typu opravdu velkou výzvou – a pro vývojáře skvělým pracovním prostorem, kde se AI může naučit spoustu nových věcí.

Gran Turismo fungovalo pro vývojáře ze Sony a Polyphony Digital jako sandbox, kde se jejich Sophy učila s virtuálním autem reagovat na různé situace v reálném čase. Jezdci musejí ve hře zvládnout bezpečné předjíždění ve vysokých rychlostech, musejí reagovat na aerodynamické změny, musejí se přizpůsobit změnám povrchu – takže naučit umělou inteligenci smysluplně reagovat na všechny podněty ve virtuálních závodech vlastně znamená přiblížit se zase o další krok budoucnosti se samořiditelnými auty.

Projekt GT Sophy: úspěšná mise

Práce na GT Sophy trvala od startu projektu do chvíle, kdy se mohla umělá inteligence postavit proti lidem a začít je porážet, celkem rok a půl. Pro vývojáře byla velmi náročná, neustále naráželi na nové a nové problémy (jedním z prvních velkých problémů byla třeba absolutní neschopnost Sophy jezdit rovně!), a po celou dobu se neúnavně scházeli s týmem z Gran Turisma a prakticky každých čtrnáct dní testovali. Ale dlouhé hodiny, dny, týdny i měsíce pečlivé práce a učení se nakonec vyplatily.

Loni v létě a pak ještě jednou na podzim se konaly dvě série závodů, v nichž GT Sophy jezdila proti těm nejlepším e-závodníkům světa na čtyřech náročných a naprosto odlišných tratích. Do každého závodu společnost nasadila vždy hned několik aut, které řídila Sophy – na startu se od sebe lišily pouze barvou. V průběhu série letních závodů byli živí závodníci cekově úspěšnější, ale na podzim už tým složený ze čtyř „agentů“ umělé inteligence porážel své lidské konkurenty, včetně Takumy Miyazona, na celé čáře.

Umělá inteligence s úspěchem řídící závodní auto samozřejmě vyvolala poprask po celém světě

Steve Alvarez Brown neboli Super GT, youtuber a současně další z e-závodníků Gran Turisma prohlásil, že se na budoucí souboje se Sophy těší. Domnívá se, že Sophy je ve své jízdě neuvěřitelně konzistentní, současně je přiměřeně agresivní a na rozdíl od lidských jezdců dokáže využívat celou šířku trati i různé typy zatáček tím nejlepším možným způsobem. Browna asi nejvíc překvapil fakt, že Sophy díky přesným výpočtům dráhy a reakcím dokáže jezdit tak, že nedostává žádné tresty a současně „řídí“ s přiměřeným respektem k ostatním jezdcům.

Kazunori Yamauchi, jeden z tvůrců hry Gran Turismo, CEO společnosti Polyphony Digital a současně opravdový automobilový závodník říká, že pro něj je nejzajímavější schopnost Sophy závodit, aniž by dostávala časové tresty: „Sophy jezdí takovou závodní stopu, která by reálného jezdce v životě nenapadla použít. Myslím, že budeme muset přepsat knihy o závodění,“ smál se vrcholný manažer, který je ve světě motorsportu i gamingu známý jako Kaz. „Tuhle technologii určitě použijeme do budoucích verzí hry, bude nám pomáhat učit nováčky jezdit, ale také vylepšovat jezdecké dovednosti zkušených jezdců.“

Herní svět sledují i vědci

Umělá inteligence na závodních tratích nefascinuje jen lidi zabývající se motorsportem reálným i virtuálním, ale také vědce, kteří zkoumají možnosti autonomního řízení.

„To, že umělá inteligence dokáže v závodě porazit lidi, znamená pro AI další dosažený milník,“ vyjádřil se v časopise Nature nedávno Chris Gerdes, profesor ze Stanfordu, který se věnuje autonomnímu řízení. Gerdes také potvrzuje, že techniky použité při vývoji Sophy mohou pomoci i při vývoji samořiditelných aut. V současné době autonomní vozy využívají algoritmus postavený na neuronové síti – ten zjednodušeně řečeno GT Sophy využívá k zaznamenávání bílých čar na silnici, ostatních aut a překážek. Software, který auta řídí, je psaný ručně. „Úspěch GT Sophy na závodní trati naznačuje, že neuronové sítě mohou v budoucnu hrát mnohem větší roli než dnes,“ uvedl Gerdes.

Sophy přináší změny v oblasti herního designu i pokroky v oblasti bezpečnosti

Projekt GT Sophy také ukazuje, že v oblasti herního designu nejspíš začne docházet ke změnám – postavy ve hrách se obvykle chovají podle nějakých základních, jednoduchých pravidel. Hráči s umělou inteligencí, kteří se budou ve hře učit sami, budou v budoucnosti pravděpodobně mnohem více podobní reálným postavám, s nimiž budou hrát.

GT Sophy mimo jiné ukazuje, jak důležitá jsou simulovaná prostředí pro vývoj AI. Spousta společností, které vyvíjejí technologie pro autonomní řízení, využívá sofistikovaných počítačových simulací, které pak generují data pro algoritmy. Společnost Waymo (jejímž majitelem je Alphabet, pod nějž patří i Google) například říká, že jejich autonomní vozy už ujely v simulacích zhruba 35 milionů kilometrů (!).

Avinash Balachandran, manažer výzkumného centra v Toyota Research Institute, řekl: „Využití strojového učení a autonomního řízení při závodění je skutečně vzrušující. Toyota pracuje na projektu, v němž se zkušenosti získané v motorsportu budou využívat při vylepšování bezpečnostních systémů.“ Automobilka Toyota aktuálně testuje samořiditelná auta, která jsou schopná jízdy v extrémních rychlostech.

Profesor z univerzity Amherst v Massachusetts, který se věnuje učení pomocí zpětné vazby, je pokroky umělé inteligence nadšen a pokusy se závoděním velmi oceňuje, protožeje vidí jako velký krok na cestě k autonomnímu řízení. Současně se ale domnívá, že přechod z jízdy v prostředí Gran Turisma do skutečného světa bude velmi náročný, protože pro umělou inteligenci není úplně jednoduché zpracovat potenciální dlouhodobé dopady momentálních rozhodnutí – a současně je dost složité garantovat bezpečnost takovýchto algoritmů.

„Pokud chceme umělou inteligenci používat v reálném životě, musíme si být jisti, že je bezpečná. Jedním z hlavních důvodů, proč se ve skladech ani továrnách dosud nepoužívají roboti je právě bezpečnostní hledisko,“ zdrůraznil da Silva.

„Algoritmus umělé inteligence, který byl vyvinut pro GT Sophy, se dá využít i pro jiné stroje – například pro drony a roboty, kteří pracují s lidmi nebo jim pomáhají,“ řekl vedoucí vývoje algoritmu Hiroaki Kitano, CEO Sony AI. „Jeho použití je vhodné vlastně pro všechny systémy, které pracují bok po boku s lidmi.“

Algoritmus byl vyvinut na základě dlouhých hodin testování – podobně jako u jiných druhů algoritmů používaných ve hrách, i tady probíhalo učení tak, že různé reakce fungovaly jako pozitivní nebo negativní feedback. Tomuto způsobu učení se říká  učení pomocí zpětné vazby (reinforcement learning) a je inspirován způsobem, jakým reagují ve skutečném světě zvířata na úspěch a neúspěch. Tato metoda je sice stará desítky let, ale nedávno se začala používat znovu díky počítačům a možnosti využití sofistikovaných algoritmů a tréninkových dat.

Velký krok vpřed

Peter Wurman, ředitel Sony AI America, se domnívá, že zvládnutí Gran Turisma umělou inteligencí je milník důležitý stejně, jako bylo před nějakou dobou ovládnutí šachů nebo go. Wurman je spoluzakladatelem společnosti Kiva Systems, která vyvinula převratné roboty pro Amazon, kteří kompletně proměnili práci ve skladech. Wurman zdůrazňuje: „Každý řidič v Gran Turismu potřebuje vědět, jak porazit ostatní jezdce, aniž by přitom získal nějaké časové tresty nebo se dokonce choval nefér. Tohle Sophy zvládá a právě tady prošlapává cestu robotům – díky tomuto algoritmu se zvládnout mnohem lépe naučit, jak interagovat s lidmi. Když hrajete stolní hry, máte spoustu času na reakce, ale rychlé interakce s lidmi v reálném čase, to je věc, kterou využijeme každý den.“

Zdroj: youtube.com, wired.com, ai.sony, gran-turismo.com