Иван, если можно, несколько слов о том, что Вы делаете с точки зрения создания базы для развития искусственного интеллекта и оптимизации модели.
И.Оселедец: Во-первых, Владимир Владимирович, спасибо за личную похвалу. Это очень приятно. Я постараюсь коротко сказать, что мы делаем, чтобы было понятно, за что похвала.
На самом деле сейчас развитие искусственного интеллекта идёт от большого количества маленьких частных моделей как слабого искусственного интеллекта к большим моделям, которые обучены на десятках, сотнях миллиардов примеров, они имеют сотни миллиардов параметров, но зато способны решать большое количество различных когнитивных задач.
Для обучения таких моделей используются суперкомпьютеры. Например, суперкомпьютер «Кристофари». Энергопотребление суперкомпьютера «Кристофари» соответствует энергопотреблению примерно города с 10 тысячами жителей. Но даже на таком суперкомпьютере обучение модели Kandinsky заняло четыре месяца.
Также можно сказать, что совокупная мощность всех ЦОДов «Сбера» – это примерно энергопотребление города Видное, крупного города. Представьте себе целый город из компьютеров, который потребляет электроэнергию.
То есть четыре месяца – это много. А почему так происходит? Мы оцениваем текущую эффективность открытого программного обеспечения обучения модели примерно в 30 процентов. Мы хотим увеличить эту цифру примерно вдвое. Что мы делаем в этом направлении? Год назад в рамках федерального проекта поддержки центров искусственного интеллекта, поддержанного Минэкономразвития и «Сбером», мы начали проект «Зелёный искусственный интеллект», как раз одной из целей которого является повышение энергоэффективности обучения модели. И уже в кратчайшие сроки был получен первый результат. Мы снизили память и время на обучение модели примерно на 15 процентов. Это переводится на самом деле в десятки и сотни миллиардов рублей.
Как мы это сделали? При обучении модели используются сотни миллиардов параметров, которые необходимо обновлять. И одно число, которое мы храним, занимает примерно 32 бита – это, для понимания, просто семь знаков после запятой. Ну казалось бы, зачем такая точность? Можно хранить два знака, и всё будет хорошо. Но оказывается, что, если хранить только два знака, качество финальной модели серьёзно упадёт.
Что мы сделали? Используя математику, используя фундаментальные математические подходы, мы нашли те места в сложном процессе обучения, где мы можем 32 бита заменить на три, память в этом месте сократить в восемь раз, а общее время – на 15 процентов. Понятно на самом деле, как я уже сказал, цель-то наша всё-таки не 15 процентов, а в два раза [повысить эффективность], и поэтому мы начали разработку собственного отечественного программного обеспечения, основанного на самом деле на принципиально других принципах.
Приведу такой, наверное, понятный пример. Предположим, у нас есть большая семья, много обуви: большие сапоги, маленькие детские ботиночки – их нужно разложить по коробкам. Всё равно в коробках останется пустое место, и это пустое место соответствует неэффективности использования вычислительной системы.
Как мы решаем эту проблему? Очень просто: берём вычислительные блоки, режем на кусочки. Обувь мы порезать на кусочки не можем, а вычислительные блоки можем порезать на кусочки. Таким образом, у нас есть уже предварительные результаты. Мы ожидаем, что получим собственное ПО, и эффективность действительно существенно вырастет.
Но вместо четырёх месяцев будет два – всё равно достаточно долго для обучения одной модели. Для этого нужно увеличивать вычислительные мощности. Стандартный способ увеличения вычислительных мощностей – закупать больше компьютеров, но они все основаны на микропроцессорной технологии, а она уже подошла к своему пределу. Размер одного транзистора составляет порядка десяти размеров атомов, то есть пять лет – и дальнейшее увеличение в этой области совершенно невозможно. Поэтому компании и государства во всём мире смотрят в направлении перспективных вычислительных систем.
На самом деле для того, чтобы понять, что такое перспективная вычислительная система – это может быть на самом деле абсолютно произвольная физическая система, – фантазируя, можно сказать: у нас есть аквариум с водорослями, мы светим светом, происходит химическая реакция, по результату химической реакции мы считываем результат. То есть задача современного учёного на самом деле разработать, подобрать такую физическую систему и написать для неё программу.
Естественно, одно из наиболее перспективных направлений – здесь показан знаменитый кот Шрёдингера – является квантовое вычисление, которое построено на принципе суперпозиции: мы не знаем, жив кот или нет, пока мы не открыли коробку.
Квантовая система, в которой 50 квантовых бит, требует на классическом компьютере два в 50-й [степени] байт – это один петабайт. Это память самого мощного суперкомпьютера в мире. В MIT уже создан прототип квантового компьютера, в котором 256 квантовых бит. Для его описания потребовались бы все атомы во Вселенной. Это очень перспективная технология.
Основная проблема с этой перспективной технологией кроме проблем с «железом» состоит в том, что необходимо писать для неё алгоритмы, и эти алгоритмы нужно писать уже сейчас. Фактически всё, что мы делаем, мы пишем алгоритмы для ещё не существующего «железа», для того чтобы, когда это «железо» будет создано, мы не оказались в коробке, над которой мы не знаем, что делать.
Вчера была премия «Сбера», в частности, академик [Александр] Холево получил за квантовую теорию информации. Основы квантовых вычислений были заложены Юрием Маниным, Холево в Советском Союзе, кстати. Не физиками, а именно у математиков эта идея появилась.
На самом деле ключевой задачей сейчас, на мой взгляд, Владимир Владимирович, являются широкомасштабные инвестиции в разработку отечественного программного обеспечения, но, что очень важно, в плотной связке с разработчиками аппаратной базы по всему спектру этих перспективных вычислительных систем: квантовые вычислители, фотонные вычислители, нейроморфные.
Сейчас мы не знаем, какие из них будут следующим поколением, но то государство, те компании, которые первые получат алгоритмы и вычислители – вот эту связку, они получат существенное преимущество в вычислительной гонке. Это приведёт к развитию науки, к развитию экономики и, на мой взгляд, очевидно, повысит качество жизни людей.