Научное исследование направлено на разработку универсальных методов создания мультимодальных моделей: обучение на мультимодальных данных, использование адаптеров для добавления модальностей и др. и применение методов смешивания моделей различных модальностей (единое пространство представлений, единая модель и архитектура.
В ходе работы Центра по данной тематике планируется исследовать и интегрировать специализированные доменные энкодеры данных наряду с обычными энкодерами для объединения точности специализированных нейросетевых методов с обширными априорными знаниями предообученных LLM, исследовать методы рассуждений для последовательного разбора изображений и видео с одновременной оценкой качества решения, применяя мультимодальные LLM в специализированных областях, таких как анализ медицинских изображений и данных видеонаблюдения.

Руководитель проекта: Конушин Антон Сергеевич

Научное исследование направлено на разработку эффективных алгоритмов обучения, дообучения и дистилляции больших языковых моделей (LLM).
В ходе работы Центра по данной тематике планируется разработать новые методы оптимизации обучения и вывода (использование разреженности внутреннего представления в LLM) для сокращения вычислительных затрат, исследование методов использования графов знаний для борьбы с галлюцинациями, разработать новых методы обучения энкодеров на неразмеченных данных (self-supervised representation learning) на основе адаптивных стратегий маскирования и аугментации.

Руководитель проекта: Конушин Антон Сергеевич

Научное исследование направлено на развитие существующих и новых SOTA (state-of-the-art) методов генерации несимвольных данных (диффузные модели и др.) и совершенствование методов промптинга генеративных моделей.
В ходе работы Центра по данной тематике планируется улучшить качество и контролируемость генерации изображений и видео без необходимости дообучения самих моделей генерации (training-free), повысить вычислительную эффективность генерации за счёт разработки методов кэширования промежуточных вычислений.

Руководитель проекта: Конушин Антон Сергеевич

Научное исследование направлено на развитие существующих и новых SOTA методов генерации не символьных данных (диффузные модели и др.), а именно обработку и улучшение качества видео для генерации видеоконтента высокого качества.
Планируемые задачи по данной тематике включают в себя разработку метода повышения разрешения видео, метода конвертации в HDR, метода устранения размытия, методов построения оптического потока, методов построения карт зрительского внимания.

Руководитель проекта: Ватолин Дмитрий Сергеевич

Научное исследование направлено на исследование применения архитектуры «трансформер» к различным задачам обработки последовательностей данных. Адаптация существующих архитектур языковых моделей и разработка доменных текстовых представлений для отраслевых задач (в химии и материаловедении) позволят продвинуться в их решении, расширить область применимости передовых алгоритмов искусственного интеллекта, и, потенциально, обогатить базовый инструментарий: например, в области препроцессинга данных и предобучения. Также в рамках данной тематики планируется проведение исследования и создание фундаментальных моделей для различных классов мультимодальных задач, а именно расширение области применимости мультимодальных языковых моделей путем их использования для перехода между ранее не задействованными в подобном контексте модальностями (огрубленные представления кристаллической структуры и электронные свойства). Кроме того, также в рамках научного исследования по данной тематике планируется развитие метода переноса знания для малоресурсных задач. Предполагается, что дообучение моделей на данных, размеченных отраслевыми экспертами, будет способствовать более широкому использованию инструментов искусственного интеллекта в химии и материаловедении, упрощая обработку и интерпретацию данных. Создание фреймворка для цифрового дизайна функциональных материалов с использованием гибридных алгоритмов и квантовохимических методов позволит ускорить процесс разработки новых веществ и материалов.

Руководитель проекта: Королев Вадим Викторович

Научное исследование способствуют развитию исследования применения архитектуры «трансформер» к задачам обработки последовательностей данных, таких как ДНК и белки, через интеграцию искусственного интеллекта с физическими методами моделирования. Разработка нейронных сетей на базе трансформеров для анализа белок-белковых комплексов, предсказания их аффинности, а также предсказания структуры и последовательности нуклеиновых кислот в комплексе с белками позволит улучшить точность методов исследования взаимодействий и функций биомолекул.
Использование генеративных моделей и методов совместной диффузии для создания аллостерически регулируемых белков расширит потенциал трансформеров для решения сложных биологических задач. Эти подходы обеспечат новые перспективы в биоинформатике и фармакологии, улучшая понимание молекулярных механизмов и создавая эффективные инструменты для модификации биомолекул, разработки новых белков, их комплексов с заданным функциями, изучения морфологического ответа клеток в результате воздействия химических соединений. Это позволит выявить новые лекарственные препараты и улучшить существующие методы терапии.

Руководитель проекта: Шайтан Алексей Константинович

Научное исследование также направлено на исследование применения архитектуры «трансформер» к различным задачам обработки последовательностей данных. В рамках данной тематики планируется исследовать возможности языковых моделей (таких как scGPT) для работы с данными scRNA-Seq, многоканальной флуоресцентной микроскопии и скрытыми представлениями химических соединений. Кроме того, исследования в рамках данной тематики также направлены на приоритетную исследовательскую задачу по созданию диффузионных моделей для задач химии, биологии, фармацевтики и других областей науки. В ходе работы планируется разработка диффузионной генеративной модели на основе концепций, реализованных в модели STVAE, для получения синтетических и полусинтетических данных scRNA-Seq и многоканальной флуоресцентной микроскопии.

Руководитель проекта: Раменский Василий Евгеньевич

Научное исследование направлено на исследование и создание фундаментальных моделей для различных классов мультимодальных задач. Работы по данной приоритетной исследовательской задаче обеспечат существенное улучшение точности и удобства взаимодействия пользователя с нейроинтерфейсом, позволяя эффективно комбинировать анализ функциональных паттернов ЭЭГ с языковыми моделями, минимизировать ошибки и ускорять ввод информации. Эти разработки также закладывают основу для дальнейшего использования гибридных BCI-LLM систем в реабилитации и управлении цифровыми интерфейсами.

Руководитель проекта: Лебедев Михаил Альбертович

Научное исследование направлено на исследование и создание мультиагентных архитектур на основе фундаментальных моделей (LLM agentic workflow): Actor-Critic, ролевые модели и др. В ходе работы Центра по данной тематике планируется исследовать новые мультиагентные архитектуры и создать мультиагентную систему, в которой разные мультимодальные агенты решают свои подзадачи, например, по реконструкции сцены в целом и отдельных объектов, исследовать способы интеграции специализированных нейросетевых моделей для распознавания 3D-данных с LLM для повышения их точности, методы рассуждений для последовательной обработки сцен с возможностью коррекции ошибок, реализовать взаимодействие агентов через единое пространство представлений или LLM-agentic workflow.

Руководитель проекта: Конушин Антон Сергеевич

Научное исследование направлено на создание эффективным методов контекстного обучение с подкреплением (Contextual-RL). В ходе работы Центра по данной тематике планируется развить контекстное RL (Contextual-RL), позволяющее агентам дообучаться на новых мультимодальных данных 15 без разметки действиями, таких как видео; исследовать методы, позволяющие агентам адаптироваться к новым доменам.

Руководитель проекта: Конушин Антон Сергеевич

Научное исследование направлено на исследование возможностей агентам обмениваться знаниями, а также на разработку методов управления вычислительной инфраструктурой, предоставляющей сервис «вычисление по требованию» на основе мультиагентного подхода и алгоритмов обучения с подкреплением. В ходе работы Центра по данной тематике планируется создание двухконтурного мультиагентного метода для балансировки транспортных потоков; разработка нейросетевых методов прогнозирования состояния транспортных потоков и доменных мультиагентных методов для балансировки транспортных потоков.

Руководитель проекта: Смелянский Руслан Леонидович

Научное исследование направлено на разработку фундаментальных основ и новых алгоритмов машинного обучения, а именно, разработку вычислительно эффективных методов искусственного интеллекта, применимых к анализу больших данных. В ходе работы Центра по данной тематике планируется исследование задачи и алгоритмов онлайн мультикритериальной оптимизации, а также исследование новых алгоритмов и задач бандитской оптимизации и их приложения в технологиях хранения данных (AI for Storage) и рекомендательных системах. В ходе работы Центра по данной тематике также планируется исследование алгоритмов оптимизации порядка исполнения сложных запросов в системах баз данных, а также новых алгоритмов на базе онлайн оптимизации для задачи управления буфером памяти системы баз данных. Кроме того, в рамках данной тематики также будет проведено исследование робастных рекомендательных систем, иммунизированных от ошибок предсказания ML-моделей, алгоритмов переоценки CTR с помощью многоруких бандитов с учетом предсказаний ML-оракула для cold-start товаров, контекстных алгоритмов реранкинга для рекламной выдачи и онлайн алгоритмов честного (fairness) распределения оплаченного рекламного трафика.

Руководитель проекта: Дорн Юрий Владимирович

Научное исследование направлено на разработку методов объединения сильных сторон, машинного обучения и точных математических моделей, а также разработку алгоритмов под специализированные аппаратные комплексы и вычислительные устройства. В рамках данного исследования также планируются работы 17 по оптимизации вычислений для известных архитектур нейросетей. Создание кросс-платформенного программного обеспечения на базе разработанных методов обеспечит доступность эффективных реализаций ИИ-моделей и моделей компьютерной графики на широком спектре вычислительных устройств.

Руководитель проекта: Фролов Владимир Александрович

Научное исследование направлено на теоретическое обоснование моделей глубокого обучения и разработку вычислительно эффективных методов искусственного интеллекта, применимых к анализу больших данных. В рамках данного исследования будут решены задачи по изучению предельных циклов в однородных нейронных сетях и классов сложности оптимизационных задач, что позволит оценить потенциал нейронных сетей для решения оптимизационных задач. Кроме того, планируется расширить область применимости графовых нейронных сетей и создать на их основе вычислительно эффективные методы решения оптимизационных задач, возникающих при анализе больших динамически изменяемых графов. Подобные методы позволят сократить вычислительные ресурсы для создания новых моделей искусственного интеллекта для анализа больших данных и повысить их качество.

Руководитель проекта: Боков Григорий Владимирович

Научное исследование направлено на разработку методов объединения сильных сторон машинного обучения и точных математических моделей. Особое внимание планируется уделить работе в переходных режимах, которые крайне редки и не имеют должного объема данных, а также гарантия качества (обобщающей способности) методов. Также в рамках данной тематики планируется провести исследование применения архитектуры типа «трансформер» к различным задачам обработки последовательности данных. В ходе работы по данной тематике будет рассмотрен спектр прикладных задач в которых подобного рода архитектуры исследованы слабо, либо показывают недостаточно хорошие результаты.

Руководитель проекта: информация появится позже

Научное исследование направлено на разработку фундаментальных основ и новых алгоритмов машинного обучения, в том числе, разработку алгоритмов под специализированные аппаратные комплексы и вычислительные устройства. Предлагаемые исследования призваны ответить на вопрос — каким образом можно обеспечить ускорение обучения/инференса алгоритмов ИИ с помощью аппаратных средств в т. ч. на основе методов нейроморфной фотоники. Вторая задача научной работы по данной тематике направлена на исследование возможности обеспечения ускорения/повышения энергоэффективности обработки изображений за счет использования предобученной пассивной дифракционной оптической нейронной сети, выполняющей работу первых крупных слоев, например, сверточной нейронной сети, облегчая последующую обработку, в том числе сенсорами с низким разрешением, в том числе в условиях квазикогерентного (естественного) освещения.

Руководитель проекта: Четвертухин Артем Вячеславович

Научное исследование направлено на совершенствование универсальных механизмов извлечения формализованных знаний из LLM и совместное использование инструментов машинного обучения, символьного искусственного интеллекта и компьютерного моделирования. В ходе работы Центра по данной тематике планируется разработать прототип «гибридной» системы управления научными знаниями (LLM + информационный поиск + базы знаний+ логический движок); апробировать методы science-informed ML на примерах из прикладных областей (публикации, патенты, научные гипотезы). Такие гибридные системы управления знаниями востребованы в государственном управлении, науке и образовании, а также в сфере информационных технологий.

Руководитель проекта: Воронцов Константин Вячеславович

Научное исследование направлено на создание систем искусственного интеллекта для автономных роботов, а также универсальных моделей для физических действий агента: манипуляция 16 объектами, перемещение в различных условиях и развитие методов переноса обучения между реальными и виртуальными средами. В ходе работы по данной тематике планируетсяреализовать мультимодальную систему, способную объединять зрение, LIDAR-данные и символьные описания среды для управления движением автомобиля; использовать виртуальные симуляторы (3D-окружения) для обучения и тестирования, с последующим переносом в реальную среду (Sim2Real).

Руководитель проекта: Конушин Антон Сергеевич