Как нелинейная динамика раскрывает тайны ИИ

Наталия Станкевич, доцент кафедры фундаментальной математики, ведущий научный сотрудник Лаборатории топологических методов в динамике факультета информатики, математики и компьютерных наук НИУ ВШЭ в Нижнем Новгороде, рассказывает о совместном проекте лаборатории и научного коллектива Института физики Университета Белграда (Сербия) «Машинное обучение и нелинейная динамика: пересечение, взаимодействие и синтез / Machine learning and nonlinear dynamics: intersection, interplay and synthesis».

— Как возникла идея этого проекта и в чем она состоит?

— Идея проекта продиктована временем, в котором мы живем. Сейчас мы находимся в такой точке, когда нейронные сети и машинное обучение получили скачок в развитии и появились примеры того, где это действительно эффективно работает. Наука развивается циклично. Появляется какой-то интересный результат, и он вызывает скачок интереса, его активно развивают, развивают на основе него технологии. Выясняются его недостатки, границы применимости, камни преткновения; на поиск «обходных маневров» уходит какое-то время, интерес постепенно затухает. Как только обход найден — снова скачок интереса и т.д. С искусственным интеллектом и нейронными сетями такая же история, и сейчас мы находимся в третьем или четвертом цикле волны интереса к этой тематике. Удалось преодолеть трудности, связанные с вычислительными мощностями расчетов, и, как мы видим, во многих задачах использование нейронных сетей дает хорошие результаты. Но остается вопрос, как работают эти сети, по каким признакам сеть сделала тот или иной вывод, и тут уже нужно разбираться в их функционале. Именно такова одна из целей нашего проекта. И для ее достижения мы хотим рассмотреть возможности нашей традиционной науки — нелинейной динамики и увидеть, как свойства динамических систем проявляются в нейронных сетях. А также попробовать применить методы машинного обучения к динамическим системам и попытаться с их помощью решать задачи нелинейной динамики.

— Какие существуют подходы к машинному обучению? И какие проблемы в этой области сегодня выходят на первый план?

— Это направление очень динамично развивается, при этом уже существуют, если так можно сказать, классические методы машинного обучения, применяющиеся в зависимости от задачи и доступных данных. Основные подходы — это обучение с учителем, когда модель обучается на размеченных данных, и обучение без учителя, когда данные не размечены. В последнем случае ключевая идея состоит в выявлении скрытых структур в данных и группировке данных по кластерам. Другие методы: обучение с подкреплением, полунадзорное обучение, обучение с трансфером, глубокое обучение и т.д.

Есть ряд проблем, которые типичны для задач, ориентированных на машинное обучение. Это, в частности, проблема этичности и предвзятости моделей: важно избегать дискриминации и несправедливых решений. Проблема объяснимости и интерпретируемости: необходимо делать модели прозрачными, чтобы было ясно, как они принимают решения. Есть и другие проблемы, такие как скорость обработки больших объемов данных и их качество, т.е. обеспечение актуальности и достоверности данных; защита данных и их приватности — предотвращение утечек и злоупотреблений личной информацией и т.д.

Эти вызовы требуют постоянных исследований и внедрения новых решений в развитие методов машинного обучения.

— Как устроено сотрудничество между командами НИУ ВШЭ и Института физики Белграда?

— С коллегами из Института физики Белграда мы знакомы уже давно. Одна из первых моих встреч с руководителем проекта со стороны партнера, Игорем Франовичем, состоялась на конференции, которая проводилась на корабле в 2017 году. Существует такой формат конференций, в стиле круиза, когда участники на круизном теплоходе перемещаются из одного города в другой, но вместо развлекательной программы на палубах проходят лекции, семинары, различные научные активности. На самом деле, это очень продуктивный формат работы конференции: все участники находятся в небольшом замкнутом пространстве и активно общаются, в результате появляется много новых научных контактов и новых идей. В связи с пандемией такой формат был поставлен на паузу, но в этом году такая конференция возобновляет работу. Надо сказать, что в обновленном варианте конференции уделено большое внимание машинному обучению. Один из членов нашего коллектива собирается представить там наши первые результаты по проекту.

Уже в 2017 году Игорь Франович подсказал несколько интересных идей для моей модели, которую я представляла в постере, и тогда я даже написала отдельную статью с учетом его рекомендаций. В дальнейшем мы много раз пересекались на конференциях и обсуждали возможные направления сотрудничества, наконец появилась возможность реализовать эти планы. Один из участников нашего коллектива, Владимир Клиньшов, имеет большой опыт совместной работы с коллегами из Института физики Белграда и большое количество совместных публикаций, он и стал нашим главным мостиком.

В рамках проекта запланированы различные формы взаимодействия. Во-первых, визит части нашей группы в Институт физики Белграда, где мы организуем совместный научный семинар, на котором обсудим задачи и направления совместной работы, а также результаты, которые будут получены к тому времени. Также мы планируем провести несколько онлайн-семинаров и участвовать в конференциях друг друга. Наши партнеры готовятся приехать на конференцию, которую мы организуем у нас в Вышке.

— Какие результаты вы рассчитываете получить в рамках этого проекта?

— Наш проект имеет достаточно широкое название: «Машинное обучение и нелинейная динамика: пересечение, взаимодействие и синтез». Традиционная область наших научных интересов — это нелинейная динамика. В ней есть определенные задачи, которые достаточно сложно решаются численным моделированием. Использование машинного обучения применительно к некоторым из этих задач могло бы дать новые результаты.

В рамках проекта мы выделяем четыре основных направления. Во-первых, это исследование нелинейных свойств динамических систем. Данное направление является для нас привычным, мы здесь все хорошо понимаем, и в рамках этого направления мы хотим уточнять и верифицировать определенные свойства систем, с тем чтобы потом переносить их в модели, полученные методами машинного обучения. Второе направление — это адаптация методов машинного обучения к задачам нелинейной динамики. Здесь наша задача — создать новые методы исследования динамических систем. Третье направление — реконструкция динамических систем по временно́му ряду с помощью методов машинного обучения. Это одна из самых перспективных задач с точки зрения развития приложений. Наконец, четвертое направление — исследование нелинейных эффектов в искусственных нейронных сетях. Результаты по данному направлению будут способствовать развитию алгоритмов машинного обучения.

В первую очередь мы планируем разработать новый инструментарий, позволяющий решать задачи, которые сегодня требуют каких-то сложных, неоднозначных подходов. Так, например, я надеюсь, что с помощью машинного обучения нам удастся получить унифицированные методы поиска дискретных и сингулярных аттракторов Шильникова, которые могут проявляться как атипичная колебательная активность в моделях физиологических нейронов.

Еще одна очень интересная и амбициозная задача — создание математических моделей по временны́м рядам. Если получится разработать хорошую, качественную методологию создания таких моделей, то откроется множество различных направлений прикладного характера.

— Каков потенциал прикладного применения результатов проекта?

— Как я уже говорила, на данном этапе наиболее перспективной с точки зрения прикладного применения является, по моему мнению, задача создания математических моделей по временны́м рядам с помощью машинного обучения. Такие модели могут быть востребованы в различных областях науки и техники. Данной задачей мы начали заниматься в рамках молодежного проекта РНФ совместно с Павлом Купцовым, который также принимает участие в нашем проекте. Мы ставили задачу с помощью моделей машинного обучения по сигналам трансмембранного потенциала клеточных культур определить блокировку калиевых каналов. По итогам той работы было получено много интересных результатов, но также и осталось много открытых вопросов, которые на данный момент не дают возможности получить точную модель конкретной клетки. Поэтому мы решили сделать шаг назад и реализовать эту задачу на более простых объектах нелинейной динамики. Также разработанные нами решения с точки зрения машинного обучения являются достаточно простыми: модели были получены обучением двухслойного персептрона. Мы планируем протестировать различные варианты сетей, в том числе глубоких и сверточных сетей, и к таким задачам мы будем привлекать молодых исследователей, уже имеющих некоторые успехи в IT-сфере. В дальнейшем мы рассчитываем вернуться к более сложным объектам, таким как клеточные культуры, которые будут востребованы для различных биомедицинских приложений.

— Каковы перспективы дальнейшего развития вашего проекта?

— В случае успешного выполнения поставленных задач перспективы очень интересные. Я уже вижу темы для плодотворного сотрудничества с биологами, нейрофизиологами, медиками. Ряд контактов у нас уже установлен, и даже имеется своя база данных сигналов электрической активности клеточных культур, на которых можно апробировать разрабатываемые нами модели. Мне бы очень хотелось установить контакты со специалистами в области тканевой инженерии. У меня уже есть некоторые представления о возможных партнерах, дело за малым — адаптировать наш метод получения математической модели для экспериментальных временны́х рядов. Нашими партнерами из Сербии были предложены интересные подходы, которые мы планируем с ними обсудить и по возможности также применить.

15 октября