За два с половиной дня пройдут параллельно в нескольких залах один хакатон и несколько воркшопов по робототехнике. Это возможность для вас с головой погрузиться в практику от сборки и программирования роботов, до сложных алгоритмов и искуственного интеллекта.

Вести воркшопы будут профессионалы из ROS сообщества, на занятиях будут как интерактивные лекции так и практическая часть на которой вы будете программировать, на своем ноутбуке, поэтому желательно приходимть со своим ноутбуком с установленной Ubuntu. За время посещения воркшопов у вас будет возможность нетворкинга с коллегами. Воркшопы будут длиться от 1 до 4 часов. За день вы можете посетить несколько на ваш выбор.

Одним из воркшопов будет "Хакатон по сборке и программированию ROS2 робота", который будет отличаться тем что он продлиться два с половиной дня, за его время вам нужно будет спроектировать, собрать и запрограммировать робота, создав по итогу учебные материалы. Будет предоставлен бэйзлайн комплектующих и код которы можно использовать для старта. Но также это может быть полностью ваша разработка, которую вы дооформите за время хакатона. Комплектующие вы покупаете сами и приносите с собой, на месте можно паять, печатать на 3d принтере, резать на лазерном резаке, собирать робота. Возможно некоторые комплектующие будут предоставлены, об этом читайте в ROS чате. Рекомендуемый список комплектующих для покупки описан в таблице. Выполнение задания лучше делать в группе из нескольких человек, вы можете обьедениться как заранее, так и придти 4 апреля один, мы вас сами объеденим в группу. На группу достаточно одного робота, вы можете разделить покупку необходимых комплектующих на участников группы. Также возможно предоставление готовых роботов TurtleBro, для участия в хакатоне на время его проведения, если вы выбрали такой вариант то об этом нужно сообщить в ROS чате. Регламент хакатона можно прочесть в документе.

Хакатон проводиться по инициативе Минцифры, результаты будут использованы в программе «Кода будущего» по робототехнике.

Ведущие: 

Бурмистров Степан, Школа робототехники RobotX

Дементьев Юрий Николаевич, Старший методист ГБОУ «Лицей «Вторая школа» имени В.Ф. Овчинникова», методист в Центр педагогического мастерства, Образовательный центр «Сириус»

Журавлев Павел Романович, Ведущий инженер RTUITLab, МИРЭА

Бурков Алексей Михайлович, Центр робототехники Сбера

Предварительная программа, позже будет изменена

Подробное описание воркшопов

OpenSource робот колесах от гироскутера на ROS2 и stmduino, micro-ROS, stm32

Мы будем делать ROS2 робота используя колеса от гироскутера и raspberry pi как основной компьютер. Напишем прошивку для драйверов колес, агента для raspberry pi реализующего связь с колесами через /cmd_vel и /odom. Всё это используя python и stmduino. Однодневный воркшоп для тех кто хочет поближе познакомиться с архитектурой ROS2 от нижнего уровня микроконтроллеров, до верхнего уровня компьютера и сетей.
Мы поднимем сигнал замыкания контактов на физическом уровне до сообщения в топик ROS2 через microros, а затем по публикации в другой топик зажгем светодиод. Полный стэк всей необходимой архитектуры для создания собственного робота под ROS2

Продолжительность: 8 часов

Ведущие: Щербов Роман. Главный методист компании VoltBro

AI-ускорители для встраиваемых систем

Будем разбираться с AI-ускорителями нейросетей для встраиваемых платформ на примере RockChip NPU. Цель воркшопа: пройти путь от настройки окружения и подготовки нейросети, до создания приложения, использующего NPU для инференса ML-модели на одноплатном компьютере.

План:
Теория: Введение и краткий обзор существующих технологий. Обсудим, какая существует жизнь за пределами NVIDIA с акцентом на одноплатники на базе ARM64.
Теория: Общий пайплайн работы с нейросетями на NPU. Заглянем в документацию библиотеки RKNN и разберем основные моменты по подготовке и использованию нейросетей для Rockchip NPU.
Практика: настройка и проверка рабочего окружения RKNN (бонус: работа с форматом onnx)
Практика: быстрое перемножение матриц.
Практика: подготовка нейросетей для NPU (конвертация в формат для NPU, проверить работоспобность).
Практика: приложение для одноплатника, использующее инференс на NPU.

Продолжительность: 8 часов

Ведущий: Оглезнев Никита Сергеевич — ведущий разработчик ML/CV, ООО "Стилсофт"

Запуск модели машинного обучения в формате ONNX в реальном железе (обратный маятник)

Участники получат представление о ML-моделях, натренированных с помощью Reinforcement Learning, как их запускать в своем роботе, какие входные данные и как часто подкидывать и как пользоваться результатом infer’а этой модели для управления роботом. Получив представление и код примера, участники смогут сами создавать подобные ноды в ROS/ROS2.

Продолжительность: 1 час

Ведущие: Маннанов Руслан Талгатович, сооснователь и главный разработчик стартапа в области машинного обучения роботов fluctio.ai.

Организация ДПО по инженерии и робототехнике в школе

На примере одной из ведущих школ мы покажем как можно организовывать дополнительное образование в инеженерии и робототехнике. Этот год стал юбилейным, мы занмаемся этим напралением уже 10 лет и накопили некоторый опыт, которым готовы делиться.

Продолжительность: 6 часов

Ведущие: Дементьев Юрий Николаевич, Старший методист ГБОУ «Лицей «Вторая школа» имени В.Ф. Овчинникова», методист в Центр педагогического мастерства, Образовательный центр «Сириус»

OpenPlaceRecognition: Иерархическое распознавание места для локализации роботов

Воркшоп будет посвящен методам и приложениям иерархического распознавания места для локализации роботов. На данных реальных роботов покажем и обсудим возможности таких методов. Продемонстрируем, что они полезны для локализации в помещениях, а также могут заменить локализацию роботов на улице, как правило осуществляемую на основе спутниковых навигационных систем. Разберем с помощью разработанной нами библиотеки https://github.com/OPR-Project/Open... конкретные кейсы применения технологии для случаев, когда есть возможность использовать данные нескольких бортовых камер, лидаров, результаты распознавания текстовых надписей и Aruco-меток.

Продолжительность: 4 часа

Ведущие:

Победители конкурса КОД-ИИ Фонда Содействия Инновациям на разработку открытых программных библиотек
Юдин Дмитрий Александрович, кандидат технических наук, заведующий лабораторией интеллектуального транспорта, Центр когнитивного моделирования МФТИ, ведущий научный сотрудник AIRI.
Мелехин Александр Алексеевич, младший научный сотрудник лаборатории интеллектуального транспорта, Центр когнитивного моделирования МФТИ.

Картирование и локализация с использованием графа локаций и технологии Place Recognition

Данный воркшоп посвящен топологическому картированию и локализации, при котором вместо плотной глобальной метрической карты используется граф локаций. На данном воркшопе будет изучен метод топологического картирования и локализации PRISM-TopoMap, который строит граф локаций и локализуется в нем с использованием методов Place Recognition и сопоставления сканов. Метод позволяет избавиться от накопления ошибки одометрии и перерасхода памяти за счет отсутствия глобальных метрических координат и плотной метрической карты. В начале будет презентация метода и его возможностей на 30 минут. Затем настройка и запуск метода PRISM-TopoMap для локализации транспортного средства в предварительно построенной карте на 1.5 часа. Далее — настройка и запуск метода PRISM-TopoMap в режиме одновременного картирования и локализации (SLAM) с нуля внутри помещений, на 1 час. За время воркшопа участники ознакомятся с преимуществами топологического картирования и локализации и научатся выполнять SLAM и локализацию топологическим методом PRISM-TopoMap. Для запуска метода PRISM-TopoMap нужен установленный ROS и библиотека OpenPlaceRecognition.

Продолжительность: 3 часа

Ведущие: Муравьев Кирилл Федорович, м.н.с. ФИЦ ИУ РАН

Много-агентное планирование путей

Координация движений группы мобильных роботов, которые одновременно перемещаются и выполняют задачи в общей среде (например, колесные роботы на складе, беспилотные автомобили на парковке и т. д.), является сложной проблемой, насчитывающей много вариантов постановок. Одна из наиболее широко изученных абстракций этой проблемы известна как многоагентный поиск пути (MAPF). В рамках MAPF делается несколько упрощающих предположений относительно того, как агенты перемещаются, общаются и наблюдают за окружающей средой. В настоящее время существует множество алгоритмов решения задачи MAPF на основе эвристического поиска, которые предоставляют надежные теоретические гарантии полноты и оптимальности полученных решений. Однако подобные методы зачастую плохо масштабирутся на большое число агентов. Для того, чтобы обойти эту проблемы и снять несколько других ограничений, на которые обычно опираются стандартные алгоритмы MAPF на основе поиска, недавно на сцену вышли децентрализованные, основанные на машинном обучении подходы к MAPF. Они используют мощь современного глубокого обучения, обучения с подкреплением, обучения имитацией и т.д. для получения стратегий принятия решений, которые не требуют централизованного контроллера, хорошо работают в условиях частичной наблюдаемости и ограниченной коммуникации и, таким образом, могут больше подходить для крупномасштабных реальных роботизированных приложений, несмотря на отсутствие надежных теоретических гарантий.

В рамках этой мастерской мы предлагаем рассмотреть основную проблему поиска пути несколькими роботами и обобщить недавний прогресс в этой области, особенно в контексте обучаемых и гибридных алгоритмов. Наша цель — дать целостную перспективу, охватывающую теоретические основы, практические алгоритмы и программные инструменты, необходимые для создания современных обучаемых решателей MAPF. Наша целевая аудитория — все, кто заинтересован в координации нескольких мобильных роботов. Поскольку руководство включает демонстрационные сессии с (некоторым) кодированием на Python, базовые знания этого языка будут полезны.

Продолжительность: 6 часов

Ведущие: Яковлев Константин Сергеевич (ФИЦ ИУ РАН, AIRI); Панов Александр Игоревич (AIRI, МФТИ), Скрынник Алексей Александрович (AIRI), Андрейчук Антон Андреевич (AIRI)

Мультимодальные (визуально-языковые) модели для задач манипуляции и навигации

На воркшопе рассмотрим подходы к применению визуально-языковых моделей (VLA) к задачам навигации и манипуляции. Также рассмотрим как VLA могут быть использованы для оценки успешности выполнения действия робота в среде.

Продолжительность: 4 часа

Ведущие:

Ковалёв Алексей Константинович, к.ф.-м.н., старший научный сотрудник, руководитель группы "Воплощенные агенты", AIRI
Староверов Алексей Витальевич, к.ф.-м.н., научный сотрудник, AIRI
Патрацкий Максим Алексеевич, МФТИ

Использование симуляторов для задач робототехники в RL

На воркшопе рассмотрим работу с такими симуляторами как ManiSkill 3,
Isaac Sim и MuJoCo: научимся создавать и настраивать сцены и обучать в них RL агентов.

Продолжительность: 4 часа

Ведущие:

Ковалёв Алексей Константинович, к.ф.-м.н., старший научный сотрудник, руководитель группы "Воплощенные агенты", AIRI
Черепанов Егор Константинович, инженер-исследователь, AIRI
Качаев Никита Эдуардович, инженер-исследователь, AIRI
Макаров Дмитрий Александрович к.ф.-м.н., старший научный сотрудник, МФТИ

Применение управления с прогнозирующими моделями и стохастической оптимизацией в задаче навигации мобильного робота

В рамках воркшопа будет проведено знакомство с принципами работы алгоритмами семейства Model Predictive Path Integral (MPPI) и рассмотрены возможности применения этих алгоритмов в задачах, связанных с навигацией мобильных роботов.

Алгоритм Model Predictive Path Integral основан на итеративной схеме нахождения управления с прогнозирующими моделями (Model Predictive Control, MPC), однако использует стохастическую оптимизацию, что расширяет возможности его прмиенения относительно классичесткого MPC, в том числе, в задачах связанных с планированием движения мобильных роботов. Более того, реализация MPPI уже доступна в навигационном стэке Nav2 в ROS2.

Первая часть воркшопа будет посвящена обсуждению принципов работы алгоритма MPPI, а так же рассмотрены основные аспекты применения этого алгоритма в задачах навигации.

Вторая часть будет включать набор небольших заданий, где слушателям будет предложено на практике познакомится с алгоритмом, особенностями его настройки и возможностями его применения.

Продолжительность: 3 часа

Ведущие: Дергачев Степан Алексеевич, младший научный сотрудник ФИЦ ИУ РАН

Основы Reinforcement Learning

Цель воркшопа познакомить участников митапа с фундаментальными понятиями RL, а также показать на практике, как обучать агентов. Дополнительно обсудить основные среды и понятия, которыми оперирует современный RL.

Продолжительность: два дня, по 2 часа

Ведущие: Наумов Антон Николаевич, ML инженер, Сибур Диджитал, аспирант МГТУ им. Н.Э. Баумана по направлению Робототехника и мехатроника, участник кружка по обучению роботов при Центре робототехники Сбер и Центре молодежной робототехники МГТУ им. Н.Э. Баумана

Введение в управления на низком уровне четвероногим роботом Unitree в симуляторе и реале

Поработаем с нуля с четвероногими роботами в симуляторе и на реальном роботе управляя моторами напрямую. Напишем простую программу вставания робота с пола.

Продолжительность: 2 часа

Ведущие: Подопригорова Наталья Сергеевна, участник кружка по обучению роботов при Центре робототехники Сбер и Центре молодежной робототехники МГТУ им. Н.Э. Баумана

Обучение четвероного робота хождению с посмощью RL

1 часть — рассказываем про обучение робота в айзеке и предлагаем участникам самим обучить go1 прыжкам (или другому несложному трюку) 
2 часть — рассказываем про инфернес сетки на роботе (в это время идет обучение политики)
3 часть — запускаем веса участников на реальном роботе

Участникам предлагается обучить робота-собаку несложным трюкам и воспроизвести свою политику управления на реальном роботе. На мастер классе познакомимся с reinforcement learning в задачах локомоции, поработаем в симуляторе Isaac Gym и натюним награды под нужные нам задачи, а затем углубимся в инференс политики управления на роботе Unitree Go1. 
Для участия в мастер классе необходимы ноутбуки с видеокартой не менее 1080 Ti и операционной системой Ubuntu версии 20 -22. Также просим заранее создать виртуальную среду и установить библиотеку torch нужной версии: 
1. Create a new python virtual env with python 3.6, 3.7 or 3.8 (3.8 recommended)
2. Install pytorch 1.10 with cuda-11.3:
pip3 install torch==1.10.0+cu113 torchvision==0.11.1+cu113 torchaudio==0.10.0+cu113 -f download.pytorch.org/whl/cu113/torc...
Isaac Gym будет предоставленам участникам в начале мастер класса.

Продолжительность: 3 часа

Ведущие:

Шаргин Иван Андреевич, Лаборатория волновых процессов и систем управления, МФТИ
Панов Семён Станиславович, Лаборатория волновых процессов и систем управления, МФТИ
Севьян Рубен Андреевич, стажер Центра робототехники Сбера
Чайковская Екатерина Матвеевна, Лаборатория волновых процессов и систем управления, МФТИ"Екатерина Чайковская, МФТИ

Регистрация заранее для участия строго обязательна, количество мест ограничено, на входе в здание нужно будет предъявить паспорт.

Мероприятие бесплатное, но по ответам в форме регистрации вам может быть отказано в участие, поэтому к подробному и правдивому заполнению отнеситесь внимательно. Для выполнения практических заданий вам нужно будет принести свой ноутбук с предустановленным необходимым програмным обеспечением. Если вы участвуете в хакатоне по сборке робота, то компоненты покупаете самостоятельно или кооперируетесь в ROS чате.

Территориально воркшопы будут проходить на территории университета МИРЭА, возможно подключение дополнительных площадок в других университетах.

Мероприятие организуется ROS сообществом при поддержке Университета 2035, МИРЭА, Центра молодежной робототехники МГТУ им. Н.Э. Баумана, ИТМО и Центра робототехники Сбера.