И опять о мегачипах

1500py470 — 23.08.2021 Компания Tesla давеча про роботов антропоморфных Tesla Bot презентацию делала, а нынче представила свой новый специализированный процессор Tesla D1 для машинного обучения ИИ. 50 млрд транзисторов, 400 Вт мощности и возможность объединения их в мультичип сборку по 25 штук. Процессор производится по технологическим нормам 7 нм. Площадь при этом составляет 645 кв. мм, что относительно много по нынешним временам, хотя и меньше чем например у Nvidia, и много-много-много меньше чем у Cerebras у которой их Wafer Scale Engine занимает всю 300-мм пластину!




Tesla D1 оснащён 354 обучающими узлами на базе 64-разрядного суперскалярного процессора с четырьмя ядрами. Решение поддерживает инструкции FP32, BFP16, CFP8, INT32, INT16 и INT8. Производительность в вычислениях с одинарной точностью (FP32) составляет 22,6 TFLOPS, а в случае режима BF16/CFP8 речь идёт о 362 TFLOPS. Такие результаты достигаются при TDP 400 Вт.



Так как для машинного обучения важна масштабируемость, Tesla разработала специализированный интерфейс с пропускной способностью 10 ТБ/с. Кольцо ввода-вывода включает 576 полос, каждая из которых имеет пропускную способность в 112 ГБит/с. В итоге Tesla может собирать чипы D1 в мультичип сборки по 25 процессоров Tesla D1 в каждой. И такие сборки также можно соединять между собой. Tesla продемонстрировала такую мультичип сборку с процессорами, работающими на частоте 2 ГГц. Производительность такого решения составила 9 PFLOPS (BF16/CFP8).



Также у Tesla есть планы по созданию суперкомпьютера на основе процессоров D1. Система ExaPOD будет собрана из 120 плиток-мультичипсборок с 3000 процессоров на борту. Жрать этот ExaPOD будет по нынешним зелёным временам умерено, всего 1,8 МВт без системы охлаждения :) Итоговая производительность достигнет 1,1 ExaFLOPS (FP16/CFP8). После постройки система будет самым мощным суперкомпьютером для обучения ИИ. В сравнении с нынешними суперкомпьютерами Tesla на основе GPU Nvidia такая система предложит в четыре раза большую производительность и в 1,3 раза большую производительность на ватт при пятикратном снижении занимаемой площади.



Разумеется по сравнению с мегачипами от Cerebras эти самые Tesla D1 по гамбургскому счёту сосут, но они могут оказаться и намного успешнее. Cerebras Wafer Scale Engine Generation 2. Второе поколение WSE содержит 850000 ядер AI, что более чем в два раза превышает их в WSE-1. Число транзисторов увеличивается с 1,2 трлн. до 2,6 трлн. Для сравнения, NVIDIA GA100 GPU содержит 54 млрд. транзисторов на площади 826 мм². Второе поколение WSE производится по 7-нм техпроцессу на заводах TSMC, вместо 16-нм в WSE-1. И по-прежнему чип занимает всю 300-мм подложку.



Весьма вероятно, что цена и выход годных D1 будет лучше чем у WSE-1 и WSE-2.



И глядя на всё это хочется задаться вопросом, а когда все эти мегачипы будут смотрятся также архаично как эта старая советская техника внизу?







ЗЫ Добавить нужно будет пост про мультичип сборки от НИИЦЭВТ как-нибудь.

Оставить комментарий

Популярные посты:

• Ранее
• По теме
• Архив