За последний год мы стали свидетелями множества релизов моделей с открытым исходным кодом: DeepSeek V3, Kimi K2, Qwen3-Next и другие. Эти модели теперь конкурентоспособны с GPT-5 и Claude на многих бенчмарках, а команды разработчиков открыто делятся своими методами. В статьях описываются несколько прорывов, которые меняют наше представление о предварительном обучении.

В этом докладе Владислав расскажет об основных идеях, появившихся в 2025 году: обучение FP8 в масштабе 600 миллиардов параметров, новые оптимизаторы, такие как Muon, которые наконец-то появились, чтобы бросить вызов AdamW, и другие достижения в повышении эффективности обучения и архитектуре MoE.

Растущая сложность современных научных проблем и экспоненциальный рост объёма данных создают фундаментальные проблемы для традиционных методов исследования. Ограничения человеческого познания и временные ограничения становятся существенным фактором, замедляющим темпы открытий. Перспективным подходом к преодолению этих барьеров является разработка кооперативных агентов искусственного интеллекта. Такие системы предназначены для автономного проведения исследований, что позволяет проводить более глубокий и систематический анализ сложных предметных областей.

В нашем докладе мы расскажем о наших достижениях в области агентов искусственного интеллекта для науки, об участии в конкурсе Google DeepMind Concordia NeurIPS'24 по кооперативным агентам, где мы вошли в топ-5, и о нашей статье на NeurIPS'24, посвященной эмоциональным предубеждениям у агентов LLM, влияющим на рациональность принятия решений.

undefined

Большие языковые модели (БЛМ) все чаще используются для генерации синтетических текстовых данных для обучения более мелких специализированных моделей. Однако сравнение различных стратегий генерации для языковых условий с ограниченными ресурсами отсутствует. Хотя были предложены различные стратегии подсказок — такие как демонстрации, резюме на основе меток и самокоррекция — их сравнительная эффективность остается неясной, особенно для языков с ограниченными ресурсами. В этой статье мы систематически оцениваем производительность этих стратегий генерации и их комбинаций на 11 типологически разнообразных языках, включая несколько языков с крайне ограниченными ресурсами. Используя три задачи обработки естественного языка и четыре БЛМ с открытым исходным кодом, мы оцениваем производительность моделей на сгенерированных данных по сравнению с эталонными данными. Наши результаты показывают, что стратегические комбинации методов генерации — в частности, демонстрации на целевом языке с коррекцией на основе БЛМ — обеспечивают высокую производительность, сокращая разрыв с реальными данными до 5% в некоторых условиях. Мы также обнаружили, что интеллектуальные методы подсказок могут уменьшить преимущество больших БЛМ, подчеркивая эффективность стратегий генерации синтетических данных в условиях ограниченных ресурсов с использованием меньших моделей.

В этой презентации рассматривается применение больших языковых моделей (БЛМ) для улучшения реагирования на инциденты в Microsoft Azure, одной из крупнейших в мире облачных платформ. В ней анализируются несколько инициатив, основанных на искусственном интеллекте, включая сортировку инцидентов и автоматизированное устранение последствий. Хотя более общие решения, такие как автоматически генерируемые сводки инцидентов, улучшили пользовательский опыт, измеримое сокращение времени на устранение инцидентов было достигнуто в основном за счет узкоспециализированных, ориентированных на конкретные команды решений.
Ключевые выводы и результаты подчеркивают важность контекста и высококачественных данных, а также риски «галлюцинаций» БЛМ. Хотя ориентированный на команду агентный подход продемонстрировал эффективность, успешное внедрение требует продуманной реализации и глубокой интеграции с существующими рабочими процессами.

В данной статье представлен AI Super Agent — самоорганизующаяся многоагентная система, предназначенная для автономного декомпозирования, планирования и выполнения сложных задач в мультимодальных областях.

В её основе лежит когнитивное ядро ​​— единая архитектура управления, которая интегрирует восприятие, рассуждения, память и управление целями в непрерывный цикл «Планирование–Выполнение–Управление» (PEC). Это ядро ​​динамически координирует работу серверов протокола контекста модели (MCP), поддерживая согласованность между процессами рассуждений, выполнением действий и долговременной памятью.

В структуру входит графовая память (GraphRAG), дополненная алгоритмами глубокого исследования, что позволяет осуществлять контекстный поиск, семантическое рассуждение на основе графов и итеративный синтез знаний. Механизм графов действий представляет и управляет причинно-следственными зависимостями задач, позволяя агентам строить, оценивать и совершенствовать стратегии в реальном времени.

Благодаря этой архитектуре AI Super Agent демонстрирует способность к самоорганизации, созданию специализированных субагентов и адаптивному обучению на основе мультимодальной обратной связи. Экспериментальные оценки в таких областях, как автоматизация бизнес-процессов, финансовая аналитика и исследовательская разведка, показывают существенное улучшение глубины рассуждений, скорости выполнения задач и эффективности координации по сравнению с традиционными многоагентными базовыми моделями.

Помимо технических достижений, AI Super Agent закладывает основу для автономных когнитивных экосистем — систем, способных к совместной эволюции с участием людей, обеспечивая масштабируемое решение проблем, непрерывное открытие и расширение коллективного интеллекта.

undefined

Большие языковые модели (БЛМ) являются неотъемлемой частью современных систем искусственного интеллекта в областях обработки естественного языка, компьютерного зрения и обучения с подкреплением. Однако быстро растущая сложность БЛМ, характеризующаяся увеличением в 450 раз, приводит к расширению разрыва между размером модели и возможностями оборудования, а также к увеличению накладных расходов на передачу данных во время распределенного обучения, тонкой настройки и вывода. Для решения этих проблем ведущие производители оборудования внедряют поддержку низкобитных форматов в новое поколение аппаратного обеспечения. Однако такие методы с потерями, как квантование и разреживание, уменьшают объем передаваемых данных, но приводят к значительному снижению качества. Сжатие без потерь является многообещающей альтернативой для уменьшения объема данных без ухудшения качества, но оно требует значительных вычислительных ресурсов. Сжатие низкобитных значений является сложной задачей из-за высокой энтропии этих данных и отсутствия простых повторяющихся шаблонов. Для решения этой проблемы и повышения сжимаемости низкобитных данных мы фокусируемся на преобразованиях данных на основе энтропии. Группировка блоков данных с похожими энтропийными свойствами и кластеризация данных с использованием энтропии без потерь являются перспективными подходами в этой области. Эти преобразования являются вычислительно недорогими и неизменно улучшают коэффициенты сжатия без потерь для низкобитных данных LLM в различных современных компрессорах, тем самым снижая накладные расходы на сквозную передачу данных в распределенных рабочих процессах.

Добыча руды – это отправная точка металлургической промышленности. Качество металлических изделий напрямую зависит от качества руды. Добыча руды – сложный процесс, до сих пор осуществляемый вручную. В компании Severstal Digital мы стремимся к полной цифровизации производства. В данной работе мы представляем решение для интеллектуального мониторинга рудных проходов. Такая технология обеспечивает более автоматизированный контроль над добычей, предотвращает простои производства и повышает качество руды. Разработанная система доказала свою экономическую эффективность и в настоящее время используется на заводах компании Severstal.

В этом докладе представлена ​​комплексная система для анализа инцидентов в реальном времени с использованием нескольких камер, работающая в условиях жестких ограничений по задержке и ресурсам, характерных для промышленных периферийных развертываний. Ключевой особенностью системы является ее способность одновременно обрабатывать 100 потоков видео с камер в режиме реального времени на одном графическом процессоре A100-80GB и обнаруживать конкретный инцидент: выпадение груза рабочими или погрузчиками во время погрузки/разгрузки. Система непрерывно сканирует видеопоток, находит 40-кадровый сегмент, содержащий инцидент падения груза, передает его оператору для проверки и записывает в специальный отчет для статистического анализа и последующего принятия решений.

Сначала мы опишем практические проблемы, возникающие при обработке и анализе таких потоков:

A) Поток независимых каналов камер, которые необходимо синхронизировать в реальном времени с учетом пропускной способности сети;

B) Ограничения памяти графического процессора;

C) Обсуждение разреженных, нестационарных и смещенных данных, которые исключают возможность использования известных метрик на начальном этапе проекта;

D) Явления дрейфа камеры, требующие вспомогательных нейронных сетей для перенастройки датчиков;

E) Проблема определения строгой границы между «хорошим» и «плохим» качеством видеокадров;

F) Модель взаимодействия человека с обратной связью, работающая со скоростью менее секунды, с подробным описанием каркасов пользовательского интерфейса и конвейера обратной связи.

Во-вторых, мы предлагаем нейронный конвейер, который разделяет входящие кадры, классифицирует их по наличию действий, извлекает области интереса на уровне тайлов и применяет нейронную сеть с разделением каналов в качестве альтернативы 3D-сверткам для окончательной классификации тайлов, обеспечивая сквозную задержку менее 200 мс на экземпляре 10G MIG на одном графическом процессоре A100-80G.

В-третьих, мы подробно описываем рабочий процесс обработки данных: обучение сегментатора на полных кадрах, маркировка объектов на уровне тайлов с помощью пользовательского веб-инструмента и замыкание цикла активного обучения в замкнутом корпоративном контуре.

Наконец, мы определяем и непрерывно отслеживаем как бизнес-метрики (регрессия инцидента к ущербу, стоимость ложноотрицательных результатов, NPS оператора), так и технические метрики (например, процент выпадения кадров), одновременно отслеживая дрейф модели.

Доклад будет интересен как инженерам компьютерного зрения, так и представителям бизнеса, желающим доказать экономическую эффективность такой системы.

ИИ-агенты демонстрируют замечательные успехи в решении различных краткосрочных задач и быстро совершенствуются в задачах с более длительным горизонтом планирования, что создает необходимость оценки возможностей ИИ в сложных задачах, требующих высокой автономности. Оценки, включающие длительные задачи из «реального мира», могут быть лучшими аналогами для прогнозирования общей производительности, но их создание, выполнение и сравнение с базовыми показателями человека обходятся дорого. Кроме того, эти задачи часто зависят от большого, взаимосвязанного набора навыков агентов, что затрудняет прогнозирование развития их возможностей. Мы предполагаем, что предшествующие возможности, такие как «настойчивость», «ловкость» и «адаптивность», предшествуют надежной автономной производительности в задачах с длительным горизонтом планирования, и разрабатываем простые процедурно сгенерированные «прокси»-оценки для оценки этих предшествующих возможностей. Затем мы используем производительность агентов в наших прокси-оценках для калибровки предварительного метода прогнозирования возможностей в более сложной задаче: SWE-Bench. Наши предварительные результаты показывают, что производительность в некоторых прокси-оценках может быть необычайно предсказуемой для производительности в других оценках. Мы обнаружили, что простой прокси-тест адаптивности, основанный на психологии развития, коррелирует с результатами SWE-bench, а три других прокси-теста коррелируют с SWE-bench при r > 0,8. Прокси-тест, занимающий всего 10 шагов, сильно коррелирует с результатами многих других тестов, которые в противном случае занимают гораздо больше времени (сотни шагов). Для нашей прогностической модели наши первоначальные результаты правильно предсказывают оценки агентов в SWE-bench, но имеют большие погрешности, что предполагает, что — протестировав больше моделей на большем количестве синтетических тестов — мы можем быстро и дешево предсказывать результаты в важных задачах с долгосрочным горизонтом.

Модели преобразования текста в изображение (T2I) популярны благодаря внедрению методов обработки изображений, таких как редактирование, слияние изображений, заполнение пропущенных областей и т. д. Одновременно с этим, на основе моделей T2I строятся модели преобразования изображения в видео (I2V) и текста в видео (T2V). Мы представляем Kandinsky 3, новую модель T2I, основанную на скрытом диффузионном преобразовании, обеспечивающую высокий уровень качества и фотореализма. Ключевой особенностью новой архитектуры является простота и эффективность ее адаптации для многих типов задач генерации. Мы расширяем базовую модель T2I для различных приложений и создаем многофункциональную систему генерации, которая включает в себя заполнение/выполнение пропущенных областей с помощью текста, слияние изображений, слияние текста и изображений, генерацию вариаций изображений, генерацию I2V и T2V. Мы также представляем упрощенную версию модели T2I, оценивающую вывод в 4 шага обратного процесса без снижения качества изображения и в 3 раза быстрее, чем базовая модель. Мы развернули удобную демонстрационную систему, в которой все функции можно протестировать в открытом доступе. Кроме того, мы опубликовали исходный код и контрольные точки для модели Кандинского 3 и её расширенных версий. Оценки пользователей показывают, что модель Кандинского 3 демонстрирует один из самых высоких показателей качества среди систем генерации с открытым исходным кодом.

Модели генерации текста в изображения приобрели популярность среди пользователей по всему миру. Однако многие из этих моделей демонстрируют сильную предвзятость в отношении англоязычных культур, игнорируя или искажая уникальные особенности других языковых групп, стран и национальностей.
Отсутствие культурной осведомленности может снизить качество генерации и привести к нежелательным последствиям, таким как непреднамеренные оскорбления и распространение предрассудков. В отличие от области обработки естественного языка, культурная осведомленность в компьютерном зрении не была исследована столь широко. В этой статье мы стремимся сократить этот пробел. Мы предлагаем бенчмарк RusCode для оценки качества генерации текста в изображения, содержащей элементы русского культурного кода. Для этого мы формируем список из 19 категорий, которые наилучшим образом представляют особенности русской визуальной культуры. Наш окончательный набор данных состоит из 1250 текстовых подсказок на русском языке и их переводов на английский. Задания охватывают широкий спектр тем,
включая сложные понятия из области искусства,
популярной культуры, народных традиций, имен известных людей,
природных объектов, научных достижений и т. д. Мы представляем результаты оценки человеком
параллельного сравнения
представлений российских визуальных концепций с использованием
популярных генеративных моделей.

Экстремальные погодные явления, такие как сильные дожди, грозы и град, играют огромную роль в различных сферах человеческой жизни: авиации, сельском хозяйстве, повседневной жизни и т. д. Мы решили сосредоточиться на задаче краткосрочного прогнозирования гроз по двум причинам: (1) грозы часто сопровождаются сильными дождями и градом, поэтому они оказывают большое влияние на промышленность и повседневную жизнь, и (2) грозы часто развиваются быстро, поэтому полезно и необходимо прогнозировать их с малой временной дискретизацией, которая в нашем случае составляет 10 минут. Мы разработали модель на основе визуального трансформера, которая использует данные в реальном времени с метеорологических радаров и геостационарных спутников для прогнозирования районов с высокой вероятностью молний, ​​а также для краткосрочного прогнозирования осадков. Полученное качество нашей модели лучше, чем у классических подходов к этой задаче, таких как численное прогнозирование погоды и оптический поток, с точки зрения F1-меры и IoU, а также с точки зрения визуальной оценки. Предложенная модель интегрирована в сервис Yandex Weather в качестве производственной модели.

Learning diffusion bridge models is easy; making them fast and practical is an art. Diffusion bridge models (DBMs) are a promising extension of diffusion models for applications in image-toimage translation. However, like many modern diffusion and flow models, DBMs suffer from the problem of slow inference. To address it, we propose a novel distillation technique based on the inverse bridge matching formulation and derive the tractable objective to solve it in practice. Unlike previously developed DBM distillation techniques, the proposed method can distill both conditional and unconditional types of DBMs, distill models in a one-step generator, and use only the corrupted images for training. We evaluate our approach for both conditional and unconditional types of bridge matching on a wide set of setups, including super-resolution, JPEG restoration, sketch-to-image, and other tasks, and show that our distillation technique allows us to accelerate the inference of DBMs from 4x to 100x and even provide better generation quality than used teacher model depending on particular setup.

Генеративный ИИ уже меняет подход дизайнеров к работе — ускоряя генерацию идей и открывая путь к творчеству с меньшими ограничениями. Однако современные инструменты по-прежнему охватывают лишь часть творческого процесса. В этом докладе мы рассмотрим, как появляются новые рабочие процессы в дизайне, что ИИ уже делает хорошо, и в чем он все еще отстает от потребностей творческих специалистов.

В Recraft мы сосредоточены на создании моделей и других технологий, которые дают творческим специалистам полный контроль над своим видением. Достижение этой цели требует решения ряда сложных технологических задач, которые мы также обсудим в ходе этого доклада.

Понимание и рассуждение о пространстве — фундаментальная задача в компьютерном зрении и искусственном интеллекте. Графы сцен — это структурированные представления, которые отражают объекты и их взаимосвязи, обеспечивая мощную основу для решения этой задачи. В этом докладе мы рассмотрим, как методы, основанные на графах сцен, позволяют роботам и автономным транспортным средствам интерпретировать сложные динамические 3D-сцены, поддерживать рассуждения о взаимодействии объектов и повышать производительность в таких задачах, как визуальные ответы на вопросы, навигация и роботизированное манипулирование. В презентации будут рассмотрены ключевые концепции, последние достижения и реальные примеры применения, иллюстрирующие, как графы сцен объединяют восприятие и рассуждения в интеллектуальных системах.

В этом докладе представлен всесторонний обзор моделей «зрение-язык-действие» (VLA) — передовых систем, которые связывают визуальное восприятие и естественный язык с физическими действиями. Мы рассмотрим современное состояние дел, включая их архитектуру, методы обучения и применение в робототехнике и автономных системах. Затем обсуждение перейдет к будущему, затронув ключевые проблемы, такие как безопасность, обобщение и внедрение в реальных условиях, а также обозначив захватывающие перспективы для действительно универсального воплощенного ИИ.

Надежное обучение с подкреплением (RRL) — это перспективная парадигма обучения с подкреплением (RL), направленная на обучение моделей, устойчивых к неопределенности или возмущениям, что делает их более эффективными для реальных приложений. В рамках этой парадигмы неопределенность или возмущения интерпретируются как действия второго враждебного агента, и, таким образом, задача сводится к поиску стратегий агентов, устойчивых к любым действиям противника. В данной статье впервые предлагается рассматривать проблемы RRL в рамках позиционной дифференциальной теории игр, что помогает нам получить теоретически обоснованное понимание для разработки централизованного подхода к Q-обучению. А именно, мы доказываем, что при условии Айзекса (достаточно общем для динамических систем реального мира) одна и та же Q-функция может быть использована в качестве приближенного решения как минимаксного, так и максиминного уравнений Беллмана. На основе этих результатов мы представляем алгоритмы глубокой Q-сети Айзекса и