Elon Musk, запечений ботом, б'є людей, що грають у Dota 2, відеоігра

Фотограф: Джастін Саліо / AFP через Getty Images

Дослідницька група зі штучного інтелекту OpenAI заявив, що створено програмне забезпечення, здатне перемогти команди п'яти кваліфікованих гравців у відеоіграх Dota 2, яка є важливою віхою в інформатиці.

Це досягнення ставить на базі Сан-Франциско OpenAI, чиїм підтримкою є мільярдер Елон Маск , випереджаючи інших дослідників штучного інтелекту в розробці програмного забезпечення, яке може освоїти складні ігри, поєднуючи швидкі дії в реальному часі, довгострокову стратегію, недосконалу інформацію та гру в команді.

Здатність до вивчення таких видів відеоігор на людському або надлюдському рівнях важлива для просування АІ, оскільки вони більш наближено визначають невизначеність та складність реального світу, ніж такі ігри, як шахи, які програмне забезпечення IBM освоїло наприкінці 1990-х , або Ідіть, що було підкорив у 2016 році за допомогою програмного забезпечення, створеного DeepMind, лондонською компанією AI, що належить Alphabet Inc.

Дота 2 це багатокористувацька науково-фантастична фентезійна відеоігра, створена компанією Bellevue, штат Вашингтон Valve Corp. У турнірній версії розміщені дві конкуруючі команди з п'яти гравців. Кожній команді присвоюється база на протилежних кінцях карти, про яку можна дізнатися лише шляхом дослідження. Кожен гравець управляє окремим персонажем з унікальними повноваженнями та зброєю. Кожна команда повинна битися, щоб дістатись до території протилежної команди та знищити структуру, яку називають Стародавньої.

Гра з більш ніж 1 мільйоном активних гравців також є однією з найпопулярніших та найприбутковіших у професійному електронному спорті. Міжнародний, головний провідниковий турнір гри, минулого року мав призовий фонд понад 24 мільйони доларів, найбільший для будь-якого електронного спорту на сьогоднішній день.

OpenAI заявив, що його програмне забезпечення в середині червня обіграло напівпрофесійну команду, яка посідає серед перших 1 відсотків гравців Dota 2, а аматорська команда посіла найкращі 10 відсотків - обидва рази вигравши дві гри в одну в кращому -три серії. На початку місяця бот OpenAI розгромив три аматорські команди.

Dota 2 набагато складніше, ніж шахи або Go, де гравці по черзі і мають повну інформацію про стан гри. У будь-який момент гравець у Dota 2 повинен вибирати в середньому близько 1000 дійсних можливих дій, порівняно з 250 у «Go» та «лише 35» у шахах. Стан відеоігри також представлений близько 20 000 точок даних, порівняно з 400 в Go і 70 в Chess.

Програмне забезпечення OpenAI навчилося виключно за допомогою проб і помилок, граючи проти себе. Ця методика відома як навчання підкріплення і її часто порівнюють із способом навчання немовлят. Він також був використаний DeepMind для створення свого Go-play AI. Програмне забезпечення починається з випадкових рухів і повинно навчитися за допомогою серії винагород (як правило, в ігрових умовах), як успішно грати. Ігри найчастіше б / в для наукових досліджень з підкріпленням, оскільки вони мають бали, які можуть слугувати тимчасовими винагородами та явним переможцем чи програшем.

У цьому випадку OpenAI використовував порівняно простий алгоритм навчання посилення, який було випущено минулого року, який спонукає штучний інтелект випробувати нові речі, не відходячи занадто далеко від того, що зараз робить, що, здається, працює. Під час навчання дослідники також поступово продовжували час між винагородами, які отримав AI як спосіб заохочення бота, як тільки він засвоїв основи гри, більше думати про довгострокову стратегію та остаточну перемогу на відміну від короткотермінових виплат .

Ці методи можуть вказувати на великий прогрес у навчанні роботів, автошколів, що керують автомобілями, торгівлі акціями або будь-чого, що можна надійно імітувати, заявив в інтерв'ю Грег Брокман, співзасновник і головний директор з технологій OpenAI. "Що Dota робить, це показати, що сьогоднішні алгоритми можуть піти набагато далі до того, щоб можна було вирішити ті проблеми в реальному світі, ніж люди зрозуміли", - сказав він.

Навчання, що використовується на основі OpenAI, може бути перспективним для вирішення реальних ситуацій, особливо тих, які можна сприймати як ігри - будь то військові ігри у війну чи ті, що призначені для імітації політики чи бізнесу. Джонатан Шефер , фахівець з питань AI та ігор в університеті Альберти в Едмонтоні, Канада.

Але Шеффер сказав, що кількість даних та обчислювальна потужність, необхідна для використання методики, ефективно обмежували її застосування. "Люди мають можливість вчитися за допомогою дуже мало прикладів", - сказав він. "Люди також мають можливість узагальнювати та навчатися на більш високому рівні абстракції, ніж те, що ми бачимо, що це робиться за допомогою комп'ютерних програм".

Для підготовки свого програмного забезпечення Dota 2 OpenAI використав 128000 обчислювальних ядер - центральний процесор у вашому ноутбуці може мати всього чотири ядра - а також 256 графічних процесорних блоків, потужний тип комп'ютерного мікросхеми, спочатку придуманий для візуалізації для відеоігор та анімація. Під час цього тренінгу програмне забезпечення проводило рівноцінні 180-річним іграм проти себе щодня протягом 19-денного навчального циклу.

Заснований у жовтні 2015 року Маск, Сем Альтман, президент технологічного інкубатора «Силіконова долина» Y Combinator, та група інших PayPal Holdings Inc. випускники, OpenAI - це неприбуткова компанія, яка займається створенням того, що він називає "безпечним" штучним загальним інтелектом, і розповсюдженням його "якомога ширше і рівномірніше". Штучний загальний інтелект - це термін, що позначає програмне забезпечення, яке має гнучкість дорівнювати або перевершувати інтелектуальні здібності людини в найрізноманітніших завданнях - на зразок андроїдів, зображених у науково-фантастичних фільмах.

OpenAI заявила, що викличе виклик першокласної північноамериканської професійної команди Dota 2 на матч, який вона пройде в прямому ефірі, 28 липня. Потім він спробує взяти участь у вищому рейтингу світових профі на The International, який запланований з серпня 20 по 25 серпня у Ванкувері, Канада.

Штучний дослідницький підрозділ DeepMind та Facebook Inc. постійно працює над створенням програмного забезпечення для відтворення Starcraft та Starcraft II, науково-фантастичних стратегій відеоігор у реальному часі, вироблених Activision Blizzard Inc., але поки що немає публічно продемонстрував програмне забезпечення, яке може перемогти хороших гравців людини.

Претензія OpenAI на освоєння версії Dota 2 «п’ять проти п’яти» є спробою дослідницького магазину AI завоювати більш просту версію «один на один» минулого року. В рамках цих зусиль Open AI створив програмне забезпечення, яке в офіційній демонстрації перемогло одного з найкращих гравців світу. Але протягом декількох днів дослідники ШІ збентежилися після того, як гравці-аматори виявили способи легко перемогти його програмне забезпечення, сплутавши його з незвичною тактикою, яку люди зазвичай не застосовують у реальній конкуренції.

Шеффер заявив, що навчання підкріплення, ймовірно, відіграє певну роль у наближенні галузі до штучного загального інтелекту. На сьогоднішній день більшість систем ШІ - це "ідіотські диваки", які можуть вирішити лише одну проблему. Це стосується і ботів Dota 2 OpenAI. Вони можуть грати в Dota 2 дуже добре, але, пройшовши тренування, не можуть передати будь-які знання про стратегію чи тактику в інші ігри, які концептуально схожі.