Материнская компания Google Alphabet Inc. (GOOGL.O) во вторник опубликовала новые подробности о своих суперкомпьютерах, которые она использует для обучения своих моделей искусственного интеллекта, заявив, что эти системы быстрее и более энергоэффективные, чем аналогичные системы от Nvidia Corp. (NVDA.O), передает Bizmedia.kz.
Компания Google разработала собственный чип под названием Tensor Processing Unit, или TPU. Эти чипы используются для более чем 90% работы компании по обучению искусственного интеллекта, процесса подачи данных через модели, чтобы сделать их полезными в таких задачах, как ответ на запросы с человекоподобным текстом или генерация изображений.
TPU Google находится уже в четвертом поколении. Во вторник Google опубликовала научную статью, в которой подробно описано, как она объединила более 4000 чипов в суперкомпьютер, используя оптические переключатели собственной разработки для соединения отдельных машин.
Усовершенствование этих соединений стало ключевым моментом конкуренции среди компаний, создающих суперкомпьютеры искусственного интеллекта, поскольку так называемые большие языковые модели, на которых работают такие технологии, как Bard от Google или ChatGPT от OpenAI, увеличились в размерах, что означает, что они слишком велики для хранения данных лишь на одном чипе.
Вместо этого модели должны быть разделены на тысячи чипов, которые затем должны работать вместе в течение недель или даже более долгого периода для обучения модели. Модель PaLM компании Google, самая большая из публично раскрытых языковых моделей на сегодняшний день, была обучена путем разделения на два суперкомпьютера с 4000 чипами в течение 50 дней.
По словам Google, суперкомпьютеры позволяют перенастраивать соединения между чипами на лету, что помогает избежать проблем и оптимизировать их для повышения производительности.
«Коммутация цепей позволяет легко обходить неисправные компоненты», — написали в блоге научный сотрудник Google Норм Джоуппи и инженер Google Дэвид Паттерсон о системе. «Такая гибкость даже позволяет нам изменять топологию межсоединений суперкомпьютера для ускорения работы моделей машинного обучения».
Хотя Google только сейчас раскрывает подробности о своем суперкомпьютере, внутри компании он использовался с 2020 года в центре обработки данных в округе Майес, штат Оклахома. Google также сообщил, что стартап Midjourney использовал эту систему для обучения своей модели, которая генерирует свежие изображения после подачи нескольких слов текста.
В статье Google отмечает, что по сравнению с системами сопоставимого размера, их чипы TPU 4-го поколения работают на 1,7 раза быстрее и энергоэффективнее в 1,9 раз, чем системы, основанные на чипе A100 от Nvidia, который был представлен на рынке одновременно с TPU 4-го поколения.
Представитель Nvidia отказался от комментариев.
Компания Google заявила, что не сравнивала свой чип четвертого поколения с текущим флагманским чипом H100 от Nvidia, потому что H100 появился на рынке после чипа Google и сделан по более новой технологии.
Google намекнул, что он работает над новым TPU, который будет конкурировать с Nvidia H100, но не предоставил никаких подробностей, при этом Джоуппи сказал Reuters, что у Google есть «здоровый конвейер будущих чипов».
Читайте по теме:
- Личные данные пользователей чат-бота ChatGPT утекли из-за ошибки в работе ИИ компании OpenAI
- Российская компания Sistemma запускает свой аналог модели искусственного интеллекта ChatGPT
- ChatGPT запустил бум в электронных книгах, написанных с помощью искусственного интеллекта на Amazon
- Инвестиции в разработку искусственного интеллекта обрушились по всему миру
- ИИ — Bing и Bard — большая проблема для Google и Mircosoft на миллиарды долларов
