Команда ученых из Шанхайского университета ЦзяоТун и Университета Цинхуа разработала оптический вычислительный чип, который по скорости и энергоэффективности для генеративных задач — например, создание видео и синтез изображений — более чем в сто раз превосходит ведущее аппаратное обеспечение для ИИ от Nvidia.
Устройство, получившее название LightGen, описано в журнале Science. В нем интегрировано более 2 миллионов фотонных нейронов, и это впечатляющее количество может быть больше — по словам доцента ЦзяоТун Чэнь Итун, руководившей разработкой, возможно масштабирование.
«Это открывает новый путь для внедрения передовых архитектур чипов в повседневные сложные задачи ИИ без ущерба для производительности, но с на порядки более высокой скоростью и эффективностью — ради устойчивого развития ИИ», — заявила она.
Стремительный прогресс в области искусственного интеллекта впечатляет — генеративные модели научились создавать реалистичные изображения и даже видео, но это требует огромных вычислительных мощностей и колоссальных затрат энергии. По мере приближения традиционных электронных чипов к своим физическим пределам, ученые обратились к фотонным вычислениям.
Фотоны вместо электронов
Обычные компьютеры для передачи и обработки информации полагаются на поток электронов, а фотонные вычисления используют вместо них лазерные импульсы, выполняя операции со скоростью света. Оптические сигналы отличаются также минимальным энергопотреблением и практически мгновенным откликом на запросы пользователя.
Однако до сих пор фотонные вычислительные системы не справлялись со сложными генеративными задачами ИИ — такими как синтез изображений или создание видео — из-за ограничений в своей архитектуре и недостаточно развитых алгоритмов обучения.
Разработка LightGen была сосредоточена на трех направлениях: создание новой архитектуры, разработка инновационного алгоритма обучения и достижение высокой плотности компоновки элементов на чипе.
- В архитектурном плане команда создала «скрытое оптическое пространство» — нечто вроде масштабируемого «хаба-развязки» для света, — где данные в максимально сжатой форме могут передаваться с высокой скоростью, что обеспечивает эффективное сжатие и восстановление информации.
- Составлен генеративный алгоритм обучения, который, в отличие от традиционных версий, не требует массивных размеченных наборов данных. Вместо этого использовали алгоритм обучения без учителя, позволивший LightGen обучаться и творить, распознавая статистические закономерности в данных, — подобно тому, как это делает человек.
- Наконец, более 2 миллионов фотонных «нейронов» разместили на чипе площадью 136,5 кв. мм, создав сложную сеть, способную генерировать изображения высокого разрешения.
Впечатляющие результаты
Эксперименты продемонстрировали возможности LightGen, включая генерацию изображений животных с разрешением 512×512 пикселей в различных категориях, с разными цветами, выражениями и фонами, которые отличаются богатой детализацией и смысловой согласованностью.
По консервативным оценкам, LightGen достиг системной вычислительной скорости 3,57·10⁴ триллионов операций в секунду (TOPS) и энергоэффективности 6,64·10² TOPS/ватт.
Это означает, что его общая производительность более чем в сто раз превышает показатели ведущих электронных чипов, таких как флагманский продукт Nvidia A100.
Фото: SJTU
Примеры изображений, сгенерированных LightGen, и его архитектура
«Улучшение вычислительной скорости и энергоэффективности LightGen хорошо коррелирует с экспериментально измеренным сокращением временных и энергетических затрат, когда LightGen экспериментально достиг качества генерации, сопоставимого с реальными электронными моделями ИИ на Nvidia A100», — резюмировали исследователи.
Подписывайтесь и читайте «Науку» в
Telegram