Проблемы с памятью тормозят развитие ИИ-ускорителей

По мнению экспертов, современные ИИ-ускорители достигли стадии, где пропускная способность памяти становится ограничивающим фактором для дальнейшего роста производительности. Ша Рабии, сооснователь Majestic Labs, отметил, что хотя вычислительные ускорители значительно улучшились, скорость памяти осталась на прежнем уровне. Это создает барьер для быстродействия больших языковых моделей. Переход к инференсу также увеличивает потребность в памяти, что ведет к росту спроса. Дженсен Хуанг, основатель Nvidia, подчеркивал необходимость увеличения объемов выпуска памяти, так как дефицит заставляет цены расти. Переход AMD и Nvidia на HBM4 не решит полностью проблему, так как ограничения HBM по количеству каналов и высоте стека остаются. Разработчики исследуют альтернативные решения, такие как вычисления внутри микросхем памяти, чтобы повысить эффективность. Ожидается, что HBM4 увеличит производительность в полтора раза по сравнению с HBM3E, а внедрение CXL обеспечит 50% увеличение загрузки и снижение энергопотребления на 20-30%.