Из комментариев (не у меня)

dibr — 03.05.2023 Из комментариев (не у меня)
"...и до кучи. нейронки нам дарят GPU, то есть вычислители с массивным распараллеливанием, которое маскирует барьеры доступа к памяти и позволяет виртуально выравнивать вычисления и оперирование результатами оных. Понятно, что нанометры роляют, но без массивного параллелизма для линейных вычислений нейронки бы всё так же стояли практически на уровне нулевых годов.
я бы даже сказал, что современные нейронки — это детище биткоина. С той точки зрения, что именно биткоин стал драйвером роста вычислительных мощностей именно в сфере, подходящей для нейронок"
(с) https://kvisaz.livejournal.com/1347324.html?thread=9543676#t9543676

Вообще, забавно конечно. Неисповедимы пути. "Нам не дано предугадать".
Испокон веков в типичном компьютере имелся центральный процессор (CPU), обычно один. А компьютерные задачи тех времён не испытывали большого желания распараллеливаться: во первых, это сложно (да и не всегда возможно), а во вторых, непонятно зачем - процессор-то один фиг один. Ну а раз уж задачи в массе своей были однопоточны, производители центральных процессоров гнали вперёд один показатель: однопоточную производительность. И гнали, так сказать, любой ценой: ценой сложности, ценой энергоэффективности, ценой собственно цены - ясно, что если мы "турбируем" до предела какой-то один показатель, это делается ценой ухудшения других и удорожания системы в целом.

Тем временем разработчики компьютерных игр сообразили, что одна из самых ресурсоёмких задач в 3D играх - рендер картинки на экране - отлично параллелится хоть на десять, хоть на сто, хоть на тысячу потоков, и что считать это на CPU - примерно как пахать на гоночном спорткаре: визгу много, толку мало, при этом пять мотоблоков будут в сумме стоить дешевле спорткара, и хотя каждый мотоблок пашет медленно, пять мотоблоков вспашут поле быстрей, дешевле, и эффективней по расходу бензина/солярки. В результате появились видеокарты с графическими процессорами (GPU), имеющие много относительно простых и медленных, зато энергоэффективных и дешевых, ядер. И пока производители CPU медленно но верно вдавливали себя в технологический предел кремниевой технологии в виде "четырёх-с-небольшим гигагерц" и пытались выжать ещё немного однопоточной производительности за счёт кратного усложнения архитектуры, производители видеокарт рутинно допилили свои чипы до ТЫСЯЧ ядер на одно GPU, и по суммарной многопоточной производительности, цене и энергоэффективности окончательно уделали CPU. Которые к тому времени тоже начали отращивать себе ядра (вперёд-то расти уже не очень получается, так хоть вширь), но далеко не в таких количествах.

Но поскольку хорошо параллелящиеся задачи всё-таки существуют, и это не только игры, неигровые программисты в какой-то момент тоже заметили, что некоторые задачи намного эффективнее считать на видеокартах. Специально для них даже появились артефакты "видеокарта без видеовыхода": хотя определяющим свойством видеокарты, казалось бы, является способность выводить на дисплей картинку, для счётных задач картинка обычно выводится где-то в другом месте, поэтому вот вам видео без видео, зато оно считает хорошо.

Но на "игрунах" и "расчётчиках", хотя они и были тем локомотивом, который вытащил видеокарты вперед, дело не остановилось. Появился биткойн, народ начал МАЙНИТЬ, и - поскольку майнинг параллелится даже лучше чем рендер 3D картинки - майнить стали на видеокартах. Поскольку для игрунов это всего лишь хобби, для расчётчиков - всего лишь работа, а для майнеров это ДЕНЬГИ, спрос на видеокарты резко возрос, в индустрию пошли деньги, для удовлетворения спроса появились новые мощности по выпуску чипов и новые, ещё-более-ядерные чипы, и видеокарт стало МНОГО. Правда, они стали дороже - см. напр. классическую литературу Адама Смита про кривые спроса и предложения.

А когда майнинг наконец сдулся, видеокарты внезапно подешевели, в силу всё тех же кривых. И вот тут-то и появился наш любимый "искусственный интеллект" в виде ChatGPT, обсчитываемый именно на видеокартах, потому что нейросети неплохо параллелятся.

А если бы игрунов в своё время устроила графика уровня "тетриса", и они не попёрли бы в максимально реалистичное 3D, то майнеры майнили бы на CPU (после чего, минуя видеокарты, спрыгнули бы на ASIC'и), и сегодняшний ИИ тоже обсчитывался бы на CPU. А поскольку CPU хорош только в одном - в однопоточной производительности, которая нафиг не сдалась нейронкам, мы бы так и топтались на уровне "перцептронов" образца 60-х годов, разве что в 1000 раз более быстрых.

Вот так игруны и майнеры способствовали торжеству ИИ, фактически оплатив создание платформы для его развития. И мне очень хочется приплести к этому ещё и порно, которое тоже наверняка способствовало, но не соображу как. Хотя нет, соображу: поскольку основная часть интернет-трафика - видео (так было конечно не всегда, но как только интернет в принципе стал пригоден для передачи видео - вскоре видео захватило лидирующее место), а значительная часть видео - это порно, то порно в какой-то мере являлось локомотивом развития интернета. Ну, а интернет - сырьё для корма нейросетей, главное - не отпускать плохо обученную нейросеть на свободный выпас, мало ли что она оттуда притащит... :-)

Оставить комментарий

Популярные посты:

• Ранее
• Архив