В настоящий момент в России зарегистрирован всего 21 медицинский программный продукт с ИИ, при этом более половины из них посвящены радиологии. Есть ли во всем многообразии типов медицинских исследований другие перспективные направления для автоматизации с помощью ИИ?
Рассматриваются особенности различных клинических задач, факторы успеха и ограничения для автоматизации на примере 13 исследовательских проектов, выполненных в 2021-2022 для ведущих научных медицинских исследовательских центров.

Комплексное тестирование ML моделей является одним из обязательных шагов в соответствии с концепцией "Responsible AI". Поговорим о тестах систем машинного обучения, которые выходят далеко за рамки простой оценки метрик на тестовой выборке. Обсудим: pre-train тесты, post-train тесты (вкл. поведенческое тестирование, метаморфическое тестирование и т.д.), виды дрейфа данных и тесты по их детекции.
Представим пайплайн тестирования моделей NLP, который используем в Газпромбанке и поговорим об инструментах тестирования ML систем (вкл. список библиотек).

Врачи-рентгенологи часто кардинально расходятся во мнениях, когда размечают медицинские снимки. Потенциальных причин немало - человеческий фактор, разный уровень квалификации, нечёткие инструкции. Некоторые из этих причин можно и нужно устранять, но иногда у врачей действительно просто разное мнение по поводу диагноза. В своём докладе я хочу рассказать вам о разных способах работы с такими расхождениями, а главное - предложить метод, который позволяет нейронным сетям запоминать стиль конкретного разметчика.

Реальный опыт внедрения 22 алгоритмов от 12 вендоров в работу клиник Европейского Союза

Одним из критериев эффективности терапии у больных ревматоидным артритом является отсутствие рентгенологического прогрессирования. В научных исследованиях и клинических испытаниях наиболее распространенным методом количественной оценки поражения суставов является метод Sharp/van der Heijde. Однако, он трудозатратный и требует большого опыта врачей-рентгенологов. Мы предлагаем новый метод на основе глубоких сверточных сетей для автоматической оценки суставов кистей, а также представляем прототип веб-приложения, который может быть использован врачами рентгенологами для ускорения формирования протокола исследования.

В рамках темы "Распознавание патологий с использованием нескольких проекций" планируется обсуждение методов компьютерного зрения для работы с медицинскими исследованиями на снимках разных проекций одной области интереса. Затронем следующие модальности: маммография, рентгенография органов грудной клетки и др.
Обсудим геометрические методы соответствия находок на разных проекциях и архитектуры нейросетей, позволяющие одновременно учитывать информацию с нескольких проекций.

В отчете Всемирного экономического форума (WEF) за 2015 год "Переломные моменты технологий и влияние на общество" представлен прогноз, что уже к 2026 году первая система с искусственным интеллектом займет место в корпоративном совете директоров. Первое официальное объявление о работе системы искусственного интеллекта в совете директоров было опубликовано еще в 2014 году. Функция корпоративного директора является одной из немногих, законодательно закрепленных для исполнения именно "натуральным", а не "искусственным" лицом. Основные предпосылки развития систем полной автоматизации управленческих решений, принимаемых на уровне совета директоров, формируются в области корпоративного права, машинного обучения, и соблюдения правил недискриминации, прозрачности, и подотчетности принимаемых решений и применяемых алгоритмов.

Применение технологий ИИ для решения юридических задач - это сложная, но вполне реализуемая задача. В ходе выступления Игната Постного будет рассказано о том, как была на практике разработана система по автоматическому анализу юридических документов (исковых заявлений), позволяющая:

- анализировать комплект входящих документов (судебные документы);

- подготовить для должностного лица справку обо всех недостатках полученного комплекта документов;

- подготовить по указанию пользователя пакет необходимых ответных документов.

Иногда создание ML-модели требует значительных ресурсов, такая модель может получиться уникальной. Права разработчика надо как-то защитить и для этого имеются средства правовой охраны. Кроме того, в ходе рабочего применения ML-модели может быть причинен вред, поэтому необходимо разработать методику поиска причинителя вреда, когда такой вред причинен приложениями искусственного интеллекта.

В рамках доклада расскажу о способах контроля качества и о том как выстроить пайплайн разметки внутри компании. Рассмотрим основные ошибки при организации процесса разметки и как их можно избежать.
• Отличия между Data-Centric и Model-Centric подходами
• Итеративный подход к разметке: плюсы и минусы
• Построение эффективного процесса обучения разметчиков
• Методы контроля качества
• Основные ошибки в менеджменте разметчиков

We present AI service for synthetic data generation - SyntData. The service provides relevant, valid synthetic data, generated with deep insights from real data. Synthetic data guarantees safety of clients data, and providing DEVs, QA, DS opportunity to work with data similar to real data.

Доклад содержит в себе обзор результатов разработки и внедрения no-code платформы для создания поисковых микросервисов в компании ГАРАНТ.

Text Style Transfer is an important task in NLP, which aims to control certain attributes in the generated text, and to generate or paraphrase text in a specific style. This talk concentrates on a specific style transfer approach known as controllable text style transfer, where one aims to generate a text in a specific style by controlling the generation of a language model so that the generated text is written in a desired style. The presentation gives the broad overview of the controllable text style transfer methods, covering such approaches as CTLR, GeDi, ParaGeDI, FUDGE, DExperts, and CIAF, highlighting possible ways of the developing of this area of research.

Процесс создание скрипта голосового робота-оператора предполагает ряд рутинных операций, которые выполняют обученные специалисты. Наш опыт создания подобных скриптов позволяет утверждать, что практически весь путь создания скрипта робота можно автоматизировать до магической кнопки "Создать скрипт", которая позволит без специальных знаний программировать робота для решения задач коммуникаций по телефону. Расскажем об экспериментах с AI генератором по автоматизации создания скрипта на базе реальных диалогов живых операторов с абонентами.

We apply topological data analysis (TDA) to speech classification problems and to the introspection of a pretrained transformer models, namely, BERT and RoBERTa in NLP area, and HuBERT for Speech data. Our results demonstrate that TDA is a promising new approach for speech and language analysis, especially for tasks that require structural prediction. We also show that topological features are able to reveal functional roles of Transformer heads; e.g., we find the heads capable to distinguish between pairs of sample sources (natural/synthetic) or voices without any downstream fine-tuning.

Практическое применение генеративных нейронных сетей в практике работы компаний должно получать конкретные прикладные реализации. В своем докладе мы показываем на примере работы крупного Digital агентства, каким образом современные генеративные нейронные сети, будучи дообученными на исторических, маркетинговых, аналитических и финансовых данных компании, могут стать нативным инструментарием для самых различных ролей внутри компании, будучи интегрированным во внутреннюю ERP систему. Покажем реальный опыт внедрения и постараемся оценить результат и оказанный эффект на бизнес компании, порассуждаем о развитии инструментария.

«Делайте снимки и делитесь самыми прекрасными моментами» — это слоган Instagram, в котором говорится, что изображения являются доминирующим средством коммуникации в современных социальных сетях. Мы представляем технологию генерации изображений для социальных сетей, которая может помочь блогерам, которым ежедневно приходится создавать огромное количество визуального контента, чтобы поддерживать высокий уровень вовлеченности блога. Современные технологии генерации изображений в большинстве своем работают на основе на простого текстового (и/или визуального) «prompt»'а, который не позволяет учесть множество деталей, определяющих стиль блога и его тематику. Разработанный нами подход позволяет выполнять детальный анализ контента блога и использовать все полученные данные для создания нового контента, который семантически близок к оригиналу, с возможностью варьирования близости стилей оригинального и сгенерированного визуального контента.

Доклад представляет опыт, полученный в ходе разработки робота для сбора яблок. Особое внимание уделяется системе компьютерного зрения для обнаружения яблок. Также поговорим о системе позиционирования относительно камеры и робота манипулятора. При этом сравнивается несколько стерео камер, такие как Intel Real Sense Depth Camera D415/D455 и ZED2. Какая погрешность при оценке координат, зачем здесь Интернет вещей и как удалось добиться полноты на уровне 95%. Будет и про проблемы, и про сложности, а также про радость от первого сорванного яблока.

This talk will explore the ways in which generative artificial intelligence (AI) is being used to augment and enhance the creative process in a variety of industries. The talk will cover the basics of generative AI, including some history, key concepts, and current state of the art. We will discuss specific applications of generative AI in fields such as music, film, and video games. I'll share some nuances of adapting conventional ML lifecycle to fit the requirements of creative industries, and how we overcame them at Deepcake. Overall, I'll try to provide a comprehensive understanding of the role of generative AI in the creative industries and its potential to shape the future of creativity and innovation from perspective of AI startup in the field.

The talk will cover one of the main topics in the international AI community - Creative Artificial Intelligence. First, I will speak about the task itself and its history, how we started with classic CV tasks and proceeded to text2image models. Further I will describe the main trends in multimedia data synthesis in 2022-2023 and observe current SoTA architectures, giving a brief description of our diffusion-based text2image model Kandinsky 2.0. After that we will speak about different applications of Creative AI today and in the nearest future in terms of my vision. And finally I will show how we proceed in Creative AI for high fidelity face swap on images and video, describe our current SoTA solution - the GHOST model, and show our marketing applications in movie production, advertising, etc.

Расскажу про реализацию системы восприятия на основе лидаров и камер в нашем беспилотном грузовике. Расскажу, как мы преодолели ограничения промышленного вычислителя для эксплуатации на объектах заказчиков.

The development of self-driving cars has been a major focus in the field of artificial intelligence. To achieve this goal, large amounts of data are required for training machine learning algorithms. However, collecting and labeling real-world data can be time-consuming and expensive. To overcome these challenges, this paper proposes using synthetic data for learning self-driving cars, including the ability to generate unlimited amounts of diverse and controllable data. We developed a solution for efficient and stable integration of RLLib with Carla simulator. We present end2end solution for learning self-driving cars in Carla simulation environment with GYM-interface. The results demonstrate the effectiveness of using synthetic data in training RL-agents for autonomous vehicles. The findings suggest that synthetic data has the potential to significantly accelerate the deployment of self-driving cars by providing a cost-effective and scalable solution for training machine learning models.

This presentation provides an overview of the current state of robotics and the latest developments in the application of large sequential models (such as GPT-3) to the field. The focus is on how these models can enhance the capabilities of robots and enable them to perform a wider range of tasks and interact with humans in new ways. The talk covers the latest trends in the field, including new models, such as SayCan, that are designed to enable more natural human-robot interaction, as well as the potential benefits and challenges of using large language models in robotics. The presentation concludes by exploring some of the future directions and opportunities in this rapidly evolving field.

Reinforcement Learning is a field of Machine Learning that solves interactive tasks via continuously learning an agent to pick actions that should be optimal in the long-term interaction horizon. This is a broad problem setup and many different tasks (both theoretical and practical) can be formulated in terms of RL. However, Reinforcement Learning algorithms (especially out-of-box solutions) often lose in terms of efficiency to the specialized ML or optimization methods. Nevertheless, there are also plenty of successful cases of applying RL to a variety of tasks. This talk is devoted to Reinforcement Learning and its applications in real-life tasks. We will briefly talk about common reinforcement learning approaches. Then, we will discuss some successful cases of RL applications both for real-life and digital twins tasks and also the challenges of developing robust solutions with RL.

Начиная с 2019 г. на Международной космической станции работает российско-итальянский эксперимент "УФ атмосфера" (Mini-EUSO), основным инструментом которого является широкоугольный телескоп, направленный в надир. Главной целью эксперимента является получение карты излучения ночной атмосферы Земли в ультрафиолетовом (УФ) диапазоне, что является необходимым элементом подготовки крупномасштабного эксперимента по изучению космических лучей предельно высоких энергий с помощью орбитального телескопа. Как и более ранний эксперимент ТУС, прибор "УФ атмосфера" регистрирует сигналы разнообразных процессов, происходящих в атмосфере в УФ диапазоне, и среди них - свечение метеоров. Мы описываем две простые нейронные сети, которые позволяют эффективно выделять сигналы метеоров в общем потоке данных. Реализованный подход может быть применён для поиска трекоподобных сигналов различной природы в данных флуоресцентных и черенковских телескопов.

We are covering an approach to marketing of AI-assisted mapping solution with customization. This allows to improve the results for particular customer's problem, but requires workflow optimized for faster dataset preparation and model tuning.

Высокоточное моделирование систем является одним из основных направлений промышленного анализа данных. Модели систем, их цифровые двойники, используются для прогнозирования их поведения в различных условиях. Мы разработали модель системы хранения данных с использованием генеративных методов машинного обучения. Система состоит из нескольких типов компонентов: HDD и SSD дисков, массивов дисков с различными RAID схемами и кэш-памяти. Каждый компонент представляется вероятностной моделью, описывающей распределение значений параметров производительности в зависимости от их конфигурации и параметров внешней нагрузки. Машинное обучение помогает получить высокоточную модель системы, затрачивая меньше времени и ресурсов, чем другие аналоги. Подход позволяет быстро прогнозировать производительность системы, что значительно ускоряет разработку новых систем хранения данных. Также сравнение прогнозов модели с реальными показателями помогает диагностировать сбои и аномалии в системе, повышая ее надежность.

В настоящее время актуальность вопросов обеспечения информационной безопасности промышленных систем автоматизации и управления (ПСАиУ) уже не вызывает сомнений. В нашем докладе мы расскажем о разработанном способе выявления аномалий в таких системах на основе анализа копии сетевого трафика. Подход совместим с любыми ПСАиУ, не требует информации о топологии, особенностях применяемых сетевых протоколов и алгоритмов. Предложен алгоритм APRE, позволяющий выделять заголовки пакетов неизвестных сетевых протоколов и определять их семантику без априорных знаний о структуре протокола на основе изменения энтропии и взаимной информации байт пакета. Для обнаружения аномалий в работе ПСАиУ используется подход многоагентного моделирования. Для каждого компонента системы выполняется формирование агента, способного предсказывать его реакцию на входные сигналы, выделенные из копии сетевого трафика на предыдущем этапе. Предложены несколько способов представления и обучения агентов в форме различных типов автоматов.

В последнее время можно наблюдать тенденцию увеличения количества работ и исследований, посвященных применению нейронных сетей и глубокого обучения для диагностики оборудования. Есть недавние работы, которые показывают, что нейронные сети достигают SOTA результатов в задачах обнаружения аномалий, превосходящих традиционные алгоритмы и методы. В своем докладе я проведу обзор работ и архитектур, относящихся к задаче поиска аномалий в промышленных временных рядах.

Одним из наиболее эффективных алгоритмов глубокого обучения с подкреплением для решения задач с непрерывным пространством действий является Normalized Advantage Functions (NAF). Основная идея NAF состоит в аппроксимации Q-функции функциями, квадратичными по переменной действия. Именно эта идея позволяет применить алгоритм к задачам обучения с подкреплением c непрерывными пространствами действий, но, с другой стороны, она ставит вопрос о классах задач, в которых такие аппроксимации приемлемы. В представленной работе описывается один из таких классов. Мы рассматриваем задачи обучения с подкреплением, полученные путем дискретизации по времени определенных задач оптимального управления. Основываясь на идее NAF, мы вводим новое семейство квадратичных функций и доказываем его подходящие аппроксимационные свойства. Принимая во внимание эти свойства, мы предлагаем несколько способов улучшения NAF. Результаты экспериментов подтверждают эффективность наших модификаций.

Exploring principles of multi-agent simulation, collaborative decision making and experiential learning to active portfolio management relying on crypto-finance as a reference.

FusionBrain — это исследовательский проект, основными задачами которого являются разработка эффективных мультизадачных и мультимодальных моделей и применение их для решения широкого круга практических задач. Общая цель и идея проекта — научиться создавать модели, которые смогут как можно более эффективно извлекать дополнительные важные знания из большого количества модальностей и задач при обучении и за счет этого лучше решать другие задачи. Исследования проводятся во многих модальностях: тексты, изображения, аудио, видео, языки программирования, графы (например, молекулярные структуры), временные ряды. Список решаемых задач очень большой: от классических задач CV и NLP до задач, вовлекающих разные модальности: VideoQA, Visual Commonsense Reasoning, IQ tests (эти задачи сложны даже для человека). Изучается также способность моделей решать задачи, сформулированные на естественном языке (в частности, в формате инструктивной генерации с применением методов RLHF), и даже справляться со скрытыми задачами (для которых в обучающей выборке отсутствовали примеры). Исследования сосредоточены в том числе на сокращении данных, человеческих и вычислительных ресурсов, необходимых для обучения и инференса различных моделей. В рамках доклада будут рассказаны результаты исследований: в частности, речь пойдет о некоторых разработанных архитектурах, таких как ruCLIP, ruDALL-E (Kandinsky), Kandinsky 2.0, RUDOLPH, а также о проведенных соревнованиях, таких как FusionBrain Challenge и FusionBrain Challenge 2.0, и о разработке мультимодального бенчмарка

Описан метод интерпретируемого обнаружения аномалий с использованием сетей глубокого обучения автокодировщиков, RBM. Рассматривается вопрос обеспечения интерпретируемости показаний модели с использованием анализа значений нейронов скрытого слоя автокодировщика. Приводятся результаты применения модели на синтетических данных и на открытых датасетах.

Внедрение искусственного интеллекта (ИИ) и машинного обучения в горнодобывающей промышленности обеспечивает множество экономических преимуществ для горнодобывающих предприятий за счет снижения затрат, повышения производительности и управляемости, снижения рисков опасных условий труда, сохранения непрерывности производства. Однако внедрение этих технологий столкнулось с экономическими, финансовыми, технологическими, кадровыми и социальными проблемами. В этом докладе представлен обзор текущего состояния ИИ и внедрения машинного обучения в горнодобывающей промышленности и рассматриваются потенциальные направления перспективного применения. В докладе также представлены примеры кейсов внедрения этих технологий и какие шаги необходимы для успешного внедрения.

Мониторинг цепных конвейеров – одна из технически сложных CV задач, решаемых в Северстали. Мы опишем препятствия, с котороми пришлось бороться, как мы разбирались с недостатком данных, какой ML-пайплайн получился, как развернуто и работает приложение на 39 камерах в 3 цехах.

Одним из наиболее эффективных алгоритмов глубокого обучения с подкреплением для решения задач с непрерывным пространством действий является Normalized Advantage Functions (NAF). Основная идея NAF состоит в аппроксимации Q-функции функциями, квадратичными по переменной действия. Именно эта идея позволяет применить алгоритм к задачам обучения с подкреплением c непрерывными пространствами действий, но, с другой стороны, она ставит вопрос о классах задач, в которых такие аппроксимации приемлемы. В представленной работе описывается один из таких классов. Мы рассматриваем задачи обучения с подкреплением, полученные путем дискретизации по времени определенных задач оптимального управления. Основываясь на идее NAF, мы вводим новое семейство квадратичных функций и доказываем его подходящие аппроксимационные свойства. Принимая во внимание эти свойства, мы предлагаем несколько способов улучшения NAF. Результаты экспериментов подтверждают эффективность наших модификаций.

Training acceleration is one of the prominent research directions in the field of deep learning. Among other directions in this field, Hebbian learning is considered to be a highly prospective approach. Although Hebbian learning does not produce models of accuracy comparable to training with a traditional backpropagation approach, there is an emerging trend of applying Hebbian learning as a part of mixed training strategies that might include various backpropagation methods. Also, Hebbian learning is plausible for neuromorphic hardware due to its locality and highly parallel nature. In this paper, we overview existing approaches of applying Hebbian learning to training one of the largest and most demanded classes of deep neural networks - Convolutional Neural Networks. We analyze the availability of existing software solutions for Hebbian learning. More importantly, we investigate various approaches to the implementation of Hebbian learning to convolutional and linear layers as they are foundational for modern deep neural networks. This paper will be interesting both for researchers who want to accelerate training and for engineering practitioners who might be interested in exploring new ways of training Convolutional Neural Networks on new types of hardware.

Несмотря на высокий объем работ и высокую долю ВВП, производительность в строительной отрасли росла медленнее, чем в других сферах (в среднем, 1% ежегодно за последние 20 лет). За счет цифровизации, Самолету уже удалось увеличить производительность на 60% и впереди еще много работы в этом направлении

Разработан программный продукт для прогнозирования потребления электроэнергии на каждый час следующих суток. На основе метода машинного обучения Huber regressor разработана новая, полезная и качественная математическая модель, связывающая потребление электроэнергии с выявленными факторами. Регрессионная модель позволяет получать прогнозные оценки на каждый час следующих суток с ошибкой 3,03% на тестовой выборке данных и прогнозировать на каждый до трех суток c относительной ошибкой в 4,82%.

Нейронные сети, обучаемые с помощью метода backprop подвержены катастрофическому забыванию.
Условно говоря, если мы сначала сеть обучим распозновать котов, а потом начнем учить
распознавать собак, то она все забудет о котах. Данная проблема особенна проявляется,
когда во время работы нейронной сети появляются новые данные, которым нужно ее обучить.
Данная подобласть машинного обучения носит название Continual Learning.
Существует большое разнообразие подходов к этой проблеме, начиная от самых
простых таких как запоминание всех предыдущих данных, до хитроумных обновлений
весов, которые уменьшают потерю выученных знаний. Об этих и других методах мы поговорим
подробнее в докладе.

Доклад посвящен актуальным и перспективным разработкам в области реализации алгоритмов машинного зрения и нейронных сетей в медицине, промышленности и других сферах человеческой деятельности, построенных на базе отечественных процессоров НТЦ Модуль.

DeepPavlov Dream is an open-source multiskill AI assistant platform emerged after the DeepPavlov's DREAM team participation in Amazon Alexa Prize Socialbot Grand Challenges 3 & 4 in 2019-2021. While we used various large language models at DeepPavlov, like DialoGPT, GPT-2, BlenderBot etc., recent developments like ChatGPT and GPT3.5 (davinci-003) made us re-think our design approach to the development of the AI assistants. In this talk you will learn how you can tame the wild power of the generative AI and build your own generative assistants with large language models and DeepPavlov Dream.

Доклад о кейсе разработки голосового ассистента для кофейных автоматов компании Unicum. Ассистент отвечает на вопросы пользователей, позволяет принимать заказ и оплачивать напитки с использованием голоса.

В докладе будет приведено описание диффузионных моделей, являющихся одной из наиболее перспективных технологий генеративного моделирования. Мы обсудим диффузионную модель с разных точек зрения и обсудим ее преимущества перед аналогами. Будет рассмотрен ряд фактов из теории стохастических дифференциальных уравнений, которые позволят лучше понять логику работы диффузионной модели и ее свойства. В заключительной части будет представлено обобщение модели, позволяющее работать с негауссовскими шумами, что может быть полезно, когда в задаче присутствуют дополнительные структурные ограничения на данные.

Many NLP tasks benefit from using large language models (LLMs) that often have more than 100 billion parameters. With the release of BLOOM-176B and OPT-175B, everyone can download pretrained models of this scale. Still, using these models requires high-end hardware unavailable to many researchers. In some cases, LLMs can be used more affordably via RAM offloading or hosted APIs. However, these techniques have innate limitations: offloading is too slow for interactive inference, while APIs are not flexible enough for research. In this work, we propose Petals − a system for inference and fine-tuning of large models collaboratively by joining the resources of multiple parties trusted to process client's data. We demonstrate that this strategy is more than 10x faster than offloading for 100B+ models, running inference of BLOOM-176B on consumer GPUs with ≈ 1 step per second. Unlike most inference APIs, Petals also natively exposes the hidden states of served models, allowing its users to train and share custom model extensions based on efficient fine-tuning methods.

Таксономия методов Federation Learning, обзор существующих платформ и основных игроков, существующих вызовов и трендов развития индустрии

Всё многообразие инструментов лексического анализа и тематизации в кейсах речевой аналитики традиционно сводится к поиску вручную подготовленных списков ключевых слов или фраз. При этом рост объемов и темпов создания данных, а также усложнение кейсов, решаемых аналитиками контактных центров, приводят к повышению требований как к производительности алгоритмов, так и к сложности принимаемых ими решений. Когда простой полнотекстовый поиск уже не справляется с решением большинства задач, на помощь аналитикам приходят современные ML и DL алгоритмы тематизации. В рамках доклада поговорим о том, какие новые алгоритмы появляются в современных системах речевой аналитики, и для решения каких задач их стоит использовать

A key enabling factor in the innovative AI work you see from organizations such as DeepMind, FAIR, OpenAI is powerful computing infrastructure available to their DL researchers to train large scale neural networks. We believe that this kind of computing infrastructure should be not restricted only to a few privileged companies. Rather, such infrastructure should be available to startups, researchers, universities and non-profits at low costs and without the system engineering chops required. Scaletorch speeds up your deep learning training between 10x-1000x by leveraging GPU capacity across multiple clouds in a fault-tolerant manner. With Scaletorch accelerate your AI training by 100x and at a 98% lower cost with ZERO CODE CHANGES.

Современные системы искусственного интеллекта (ИИ), основанные на
архитектуре фон Неймана и классических нейронных сетях, имеют ряд
принципиальных ограничений по сравнению с мозгом. В докладе мы обсудим
эти ограничения и способы их преодоления. Далее будет представлен
обзор доступных в настоящее время проектов нейроморфных систем ИИ, в
которых эти ограничения преодолеваются за счет привнесения
особенностей мозга в функционирование и организацию вычислительных
систем (TrueNorth, Loihi, Tianjic, SpiNNaker, BrainScaleS, NeuronFlow,
DYNAP, Akida, Mythic). В докладе также будет предложен принцип
классификации нейроморфных систем ИИ по используемым ими свойствам
мозга: коннекционизм, параллелизм, асинхронность, импульсный характер
передачи информации, обучение на устройстве, локальное обучение,
разреженность, аналоговые вычисления и вычисления в памяти.

Since multimodality became popular, lots of engineers are trying to make a domain-universal search. Search engines which can find an image by textual query, the HTML file by a piece of audio, and so on. So here is our (Unum) approach with a bias towards multilingual models, GPU accelerating inference (for underlying models), and passion to distribute everything.

Throughout recent decades, natural language processing (NLP) tasks have uncovered many sophisticated problems in the machine learning (ML) domain, leading to the rapid development of NLP techniques. The object of research in the NLP domain is a spoken or, more commonly, written text in natural language. In contrast, the research objectives vary depending on the specific NLP tasks: text classification, text generation, question answering (QA), summarization, and many others. However, these models often fail to incorporate specific linguistic knowledge about the texts. In such cases structural approaches for language processing can come to the fore. In this work, we overview modern NLP domain and the ways to combine them with structural techniques in order to boost the models' performance.

В докладе будет приведено описание диффузионных моделей, являющихся одной из наиболее перспективных технологий генеративного моделирования. Мы обсудим диффузионную модель с разных точек зрения и обсудим ее преимущества перед аналогами. Будет рассмотрен ряд фактов из теории стохастических дифференциальных уравнений, которые позволят лучше понять логику работы диффузионной модели и ее свойства. В заключительной части будет представлено обобщение модели, позволяющее работать с негауссовскими шумами, что может быть полезно, когда в задаче присутствуют дополнительные структурные ограничения на данные.

Доклад посвящен основным технологическим аспектам создания систем искусственного интеллекта (ИИ) следующего поколения, основанных на нейроморфном подходе и обладающих энергоэффективностью, высоким быстродействием и адаптивностью. В качестве одного из компонентов экосистемы нейроморфного ИИ рассмотрена Kaspersky Neuromorphic Platform – открытая программно-аппаратная платформа для работы с импульсными (спайковыми) нейронными сетями. Предложен концепт нейроморфной системы машинного зрения для энергоэффективного анализа быстрых процессов. В состав системы входит нейроморфный видеосенсор (DVS-камера), нейроморфный чип «Алтай» и программное обеспечение, реализующее импульсную нейронную сеть на чипе «Алтай». Работа стендового прототипа системы продемонстрирована на практических примерах.

Нейроморфные системы – область ИИ, родившаяся в результате взаимовлияния таких направлений как импульсные нейронные сети и не-фоннеймановские вычислители, сейчас рассматривается многими исследователями как технология, перспективная с точки зрения как создания разнообразных автономных интеллектуальных устройств, так и построения больших вычислительных систем для реализации сильного ИИ. Подобно нейронным ансамблям мозга, нейроморфные системы оперируют информацией, представленной не в виде чисел, а как последовательности атомарных событий – спайков. Однако на пути к технологическому прорыву на основе нейроморфных систем имеются пока не преодоленные препятствия. Самое значительное из них – отсутствие ясного понимания, как строить вычислительные процессы не на основе чисел, а на основе спайков. Данному вопросу – вычислениям, обучению, предсказанию, запоминанию, реализуемым как операции со спайками, и посвящен настоящий доклад.

Библиотека ExplainitAll предназначена для интерпретации выходов нейросетей трансформер. Основным преимуществом реализуемого в библиотеке подхода является то, что интерпретация будет работать и для сетей-эмбеддеров, и для генеративных задач в сеттинге QA (Вопросно-ответных систем). Результат работы может быть сгруппирован и обобщен на семантические кластеры. Также разработчики и пользователи ExplainitAll смогут использовать готовые метрики надежности ответов трансформеров, а также создавать свои собственные, с визуализацией внимания.

В докладе представлен проект по созданию первого в России нейроморфного процессора AltAI,
предназначенного для высокоэффективного исполнения импульсных нейронных сетей.
Рассмотрены технические и рыночные аспекты проекта, приведены сведения о текущих результатах и планах дальнейшего развития.

In the talk, we will cover the changing landscape of the language models and their applications in 2023: the technical approaches and problems, tasks that are now possible and the economic value of the LLMs.

В ходе доклада расскажу о создании нашей новой ML-платформы, а именно о том, как мы организовали управление NLP-сервисами и моделями, стандартизировали встраивание собственных и open-source решений, побеждали проблемы некачественной классификации интентов на сложных выборках и выучили свой управляемый парафраз для помощи пользователям.

My talk is about open-source tool to experiment with SOTA NLP models and algorithms. You can easily construct your own model or use pre-train checkpoints on many languages. Also, there are data processing pipeline toll and fast C++ server for inference available.

Как автоматизировать и сократить время создания скрипта для робота на основе исходных записей живых операторов и абонентов?

Real-world data has form, and form "makes a difference". However, standard machine learning methods often do not take into account the shape of the data. In turn, modern topological data analysis methods precisely analyze the form of the data as its most important property. In the presentation, we will discuss how topological data analysis works. We will show how topological features make it possible to describe the shape of data and significantly increase the efficiency of machine learning models. Based on a new topological measure of similarity, an approach will be described for constructing a low-dimensional description of a data shape that has the property of "disentanglement", i.e., when various parameters of this description are automatically responsible for different properties of the data, which makes it possible to increase the interpretability of machine learning models.