Sony AI совершила прорыв в области искусственного интеллекта и создала так называемого интеллектуального агента, или программу, которая обогнала лучших гонщиков в симуляторе Gran Turismo Sport. Авторы назвали свою разработку Gran Turismo Sophy (GT Sophy). Это первый в мире гоночный ИИ-агент с глубоким пониманием динамики и сил, действующих на автомобиль. Софи умеет ездить далеко за пределы человеческих возможностей, динамично выбирает правильную тактику, но при этом обучена основам спортивного этикета.
GT Sophy — совместная разработка Sony AI, Polyphony Digital и Sony Interactive Entertainment. Он создан с использованием нового метода глубокого обучения с подкреплением (Deep RL), основанного на сложной системе вознаграждений и алгоритме QR-SAC, в котором закодированы правила гонок и специальный режим тренировок, необходимый для освоения всех нюансов вождения. Глубокое RL обычно используется для «прокачки» игрового ИИ в онлайн-стратегиях в реальном времени, поскольку агенты RL просчитывают свои действия далеко вперед, но Sony, кажется, впервые применила эту технику в гоночном симуляторе.
Для обучения GT Sophy компания Sony AI создала веб-платформу DART (распределенное, асинхронное развертывание и обучение), которая имела доступ к тысячам консолей PlayStation 4 и собственной облачной игровой платформе Sony. Каждая консоль собирала данные, необходимые для обучения, или оценивала уже обученную версию GT Sophy. DART позволял запускать сотни симуляций одновременно, каждый раз улучшая взаимодействие ИИ-агента с окружающей средой и улучшая его навыки вождения.
Что может Софи? Во-первых, она хорошо понимает динамику автомобиля и моментально просчитывает идеальную траекторию движения. Во-вторых, за доли секунды он выбирает нужную стратегию: например, использует зону низкого давления за идущей впереди машиной для обгона или блокирует соперника, не давая ему обойти ее. Наконец, Софи обучают основам спортивного этикета. По словам авторов, это означает отсутствие преднамеренных аварий и попыток столкнуть другого гонщика с трассы.
Прошлым летом Софи выиграла две гонки Race Together 2021 Challenge, а в октябре выиграла гонку FIA Gran Turismo. Но развитие не останавливается на достигнутом. Уже объявлено, что ИИ Sony продолжит совершенствовать GT Sophy, а также изучит способы интеграции ИИ-агента в будущие симуляторы серии Gran Turismo.
Источник: Sony AI.
сумасшедшие фантазии
