Обучение агентов ИИ печатать на клавиатуре Брайля

  • Home
  • blog
  • Обучение агентов ИИ печатать на клавиатуре Брайля
blog image

В последние годы компьютерные ученые разработали методы на основе искусственного интеллекта, которые могут выполнять широкий спектр задач. Некоторые из этих методов предназначены для искусственного воспроизведения человеческих чувств, в частности зрения, слуха и осязания.

Исследователи из Бристольского университета недавно провели исследование, которое может помочь в разработке новых подходов к обучению с тактильным подкреплением. В частности, они представили экспериментальную среду и набор задач, предназначенных для обучения агентов ИИ печатать на клавиатуре Брайля с помощью обучения с подкреплением.

Клавиатуры Брайля — это устройства, позволяющие вводить инструкции для компьютеров шрифтом Брайля. Брайль — это известная система чтения и письма, основанная на осязании, которую часто используют слепые. В шрифте Брайля уникальные узоры рельефных точек представляют буквы алфавита или знаки препинания.

«Общая идея, лежащая в основе нашей статьи, заключалась в том, чтобы научить робота выполнять сложную задачу, которую люди могут также изучить своими руками», — сказал Tech Xplore Натан Ф. Лепора, один из исследователей, проводивших исследование. «Мы также хотели показать возможности глубокого обучения с подкреплением, которое известно тем, что учится играть в такие игры, как симуляторы Go или Atari, но также имеет огромный потенциал в робототехнике».

Лепора и его коллеги намеревались научить ИИ-агента выполнять сложную интерактивную задачу, основанную на осязании в реальной физической среде . Они сосредоточились на клавиатуре Брайля — навыке, на освоение которого людям обычно требуется время и о котором никогда раньше не сообщалось в агентах ИИ.

«Алекс, Райя и я потратили много времени на то, чтобы продумать эту демонстрацию — научились печатать на клавиатуре Брайля», — объяснил Лепора. «Мы хотели задачу, которую, как вы понимаете, будет трудно освоить человеку, но ее можно выполнить с помощью одного тактильного пальца на руке робота. Отчасти проблема в том, что мы, люди, являемся экспертами в использовании рук, поэтому большинство задач, связанных с осязанием, кажутся нам легкими, хотя на самом деле они очень трудны для роботов».

Лепора и его коллеги разработали четыре задачи, которые включают набор текста на клавиатуре Брайля. Эти задачи стали более сложными, переходя от набора стрелок к алфавитным клавишам и требующих периодических или непрерывных действий.

Исследователи создали смоделированную и реальную среду, в которой агенты ИИ могут научиться печатать шрифтом Брайля. Затем они обучили современные алгоритмы глубокого обучения для выполнения четырех задач, которые они создали, как в моделируемой, так и в реальной среде (т. Е. С использованием физического робота).

Эти алгоритмы глубокого обучения достигли замечательных результатов, научившись выполнять все четыре задачи в симуляциях и три из четырех задач, когда они были реализованы на реальном роботе. Только одна из задач, представленных в недавней статье, которая требовала от агентов ИИ непрерывно печатать буквы алфавита, оказалась трудной для перевода на реальном роботе.

«Наиболее заметным достижением нашего исследования является то, что робот научился печатать в реальном мире, просто взаимодействуя с клавиатурой Брайля», — сказал Лепора. «Раньше глубокое обучение с подкреплением использовалось в моделировании, например, в играх, или при просмотре сцены издалека зрением, как в демонстрации OpenAI решения куба Рубука с помощью руки робота. Нашему роботу все еще требовалось много времени, чтобы узнать — примерно за день, — но теперь мы можем исследовать способы улучшения методов решения более сложных проблем с помощью прикосновения робота».

Лепора и его коллеги были первыми, кто успешно обучил агентов ИИ печатать на клавиатуре Брайля как в симуляциях, так и в реальном мире. Среды, задачи и другой код, который они создали во время своего исследования, были выпущены и теперь доступны в Интернете. В будущем эта работа может вдохновить на дополнительные исследования, направленные на разработку агентов ИИ или методов глубокого обучения, которые могут хорошо работать в сложных задачах, связанных с сенсорным управлением.

«Мы действительно хотели бы увидеть, чего может достичь глубокое обучение с подкреплением с помощью роботов, которые могут физически взаимодействовать со своей средой», — сказал Лепора. «Как лаборатория, мы сейчас изучаем, как вы можете чувствовать или перемещать повседневные предметы с помощью роботов с осязанием. Если у вас была достаточно хорошая тактильная рука робота и достаточный искусственный интеллект, чтобы научиться управлять этой рукой, тогда в принципе, робот может научиться делать все, что люди могут делать своими руками».