Нейросеть определяет болезнь, распознает хулиганство и учит робота работать

Федор Кондратенко в 16 лет придумал, как с помощью браслета точно диагностировать у людей болезнь Паркинсона. Теперь его нейросеть способна распознавать на улицах хулиганов. Математик уверен: в ближайшие пять лет его команда разработает систему, способную по видео выявлять любые нарушения двигательных функций человека.

Лаборант Научно-образовательного центра «Газпромнефть-Политех» Санкт-Петербургского политехнического университета Петра Великого Федор Кондратенко впервые взял в руки паяльник, когда ему было шесть. К девяти годам он уже готовил приниципиальные схемы для генераторов и раций, в 12 — создал модель автоматизированного робота-погрузчика и выиграл с ней в районном конкурсе, а в 14 — собрал себе робота-гексапода с шестью лапами.

Федор признается, что каждый раз испытывает «охотничий азарт», когда перед ним ставят еще не решенную проблему. «Я берусь за нее, ломаю об нее зубы, но не сдаюсь. Мне кажется, что с каждой задачей, для которой найдено решение, мы приближаем светлое будущее с новыми технологиями», — говорит он.

В 2018 году изобретатель познакомился с нейрохирургом Артуром Биктимировым. Это произошло на образовательном интенсиве «Остров 10–21», который был организован во Владивостоке на базе ДВФУ.

Врач поделился с Федором проблемой: ему хотелось бы уйти от человеческого фактора в диагностике болезни Паркинсона. Чтобы выявить у пациента это расстройство, вызывающее нарушение двигательных и когнитивных функций, врачу нужно под собственным наблюдением проводить моторные тесты: например, просить человека повернуть руку или ногу. А дальше субъективно оценивать, есть ли у пациента нарушения и насколько они серьезны.

Федор принялся искать решение. На интенсиве он собрал команду из девяти человек и устроил мозговой штурм. Изобретатели долго перебирали все существовавшие тогда технологии — и спустя два дня нашли выход.

От чудо-браслета — к видеокамере

Команда Федора разработала прототип браслета — устройство с акселерометром, гироскопом и специальными датчиками, которые надеваются на руку. Эти датчики отслеживали траекторию перемещения руки в пространстве и собирали данные, которые потом сравнивались с усредненными показателями здорового человека.

«Мы знаем координаты конца пальца, каждого сустава, можем посчитать угол между пальцами, — описывает Федор. — И можем сказать, есть ли в полученном сигнале какие-то прерывания, изменения частоты, остановки. Это позволяет нам определить, что у пациента болезнь Паркинсона определенной стадии».

Изобретение решало озвученную нейрохирургами проблему, но было неудобным, замечает Федор. Чтобы воспользоваться устройством, пациенту пришлось бы закатывать рукава костюма, крепить на себя электроды…

К доработке браслета российских исследователей подтолкнули их коллеги из Массачусетса. Они придумали архитектуру нейронной сети, которая могла определять точки на теле человека. Команда Федора взяла сеть за основу, переделала ее под свои нужды и получила технологию, которая может диагностировать болезнь Паркинсона по видеокамере — считывая через эти точки каждое движение человека. Системой уже пользуются пациенты нескольких медицинских организаций.

От медицины — к управлению роботами

Придуманная студентами Политеха и ДВФУ система оказалась применима не только в медицине. Разработчики поняли: с ее помощью можно управлять роботами.

Речь, разумеется не о «глупых» роботах, заточенных на однотипные операции на заводах, объясняет Федор. Для того, чтобы взять деталь, макнуть ее в ванну с краской и поставить на конвейер, не нужно ничего сверхъестественного. «Но как вы будете настраивать робота, которому нужно нанести рисунок на деталь очень сложной формы? Задавать вручную положение всех его углов? Нажимать кнопку, которая разблокирует все суставы робота, а потом вручную гнуть их, как вам надо?» — спрашивает ученый.

Технология может не только воспринимать движения человека, агрегировать данные и сопоставлять их с нормой. Ее научили передавать собранные данные роботу — и он, как зеркало, сумел повторить всё за человеком.

В 2021 году такого робота-манипулятора представили на ПМЭФ. За стеклом вокруг машины заманчиво лежали игрушки. Чтобы схватить одну, гостям форума нужно было всего лишь покрутить рукой в воздухе и не ошибиться с траекторий, — робот в точности повторял за окружающими. Этот стенд вместе с Федором Кондратенко готовила компания Kawasaki.

От роботов — к «всевидящему оку»

Технология управления роботами пока не применяется в производстве. Как говорит ученый, интересующиеся компании есть — но с ними еще идут переговоры. Зато нейросетью активно интересуются в другом ее амплуа. В будущем технологию смогут использовать в сфере безопасности, уверены разработчики.

Представьте себе видеокамеры, которые способны не просто следить за территорией, но еще и видеть людей, идентифицируя их действия. «Мы учим нейросеть распознавать, что на месте, за которым она наблюдает, происходит какое-то правонарушение. Да, она будет играть роль некоего большого брата, который следит за тобой, — я понимаю, это может звучать неэтично. Но это задача, которую еще никто не решал», — объясняет Федор.

Другое возможное направление — адаптация системы под задачи спорта. Исследователи хотят научить ее определять правильность движения бегуна, балерины или другого спортсмена и говорить, что нужно изменить для достижения идеала.

Это далеко не единственный проект Федора Кондратенко. Но на просьбу поделиться своей мечтой 21-летний парень отвечает так: «Ключевая цель — создать систему, которая сможет по видео определить любые отклонения в работе опорно-двигательного аппарата человека. Я бы не сказал, что это мечта, потому что мечта — это нечто недостижимое. Это реальная цель, которую можно добиться через 4–5 лет».