RedactorИзвестный разработчик Джон Кармак, основатель стартапа Keen Technologies, выдвинул оригинальную идею замещения DRAM при инференсе нейросетей. В его концепции веса модели будут храниться не в памяти, а в оптоволоконной петле, где информация передаётся в виде световых сигналов. По его расчетам, экстремально высокие скорости передачи, достигшие 256 Тб/с на расстоянии до 200 км, могут обеспечить 32 ГБ данных с пропускной способностью в 32 ТБ/с.
Кармак считает, что при инференсе требуемые паттерны обращения к весам известны заранее, что позволяет непосредственно подавать данные из оптоволоконного кольца в кэш L2 процессора, полностью исключив DRAM. Он называет эту технологию «современным аналогом ртутных линий задержки», использовавшейся в 40-х годах.
Для моделей с триллионом параметров потребуется много оптоволоконных петель, но Кармак уверен, что со временем эта идея станет жизнеспособной. В качестве более реального решения он предлагает использовать множество недорогих чипов флеш-памяти, которые при оптимизации интерфейса могут обеспечить необходимые скорости. Пост в социальных сетях собрал 1,3 миллиона просмотров за два дня, что подчеркивает актуальность поиска альтернатив памяти на фоне нехватки и роста цен на HBM-память.
Вопрос-ответ
Какая идея замены DRAM предложена Кармаком и как она работает на концептуальном уровне?
Кармак предлагает хранение весов нейросетей не в DRAM, а в оптоволоконной петле, по которой данные передаются световыми сигналами. Веса serían поступают непосредственно в кэш L2 процессора из кольца, минуя традиционную память. Концепция основана на сверхвысоких скоростях передачи света — до 256 Тб/с на расстоянии до 200 км — что должно обеспечить достаточную пропускную способность и снизить задержки по сравнению с современной DRAM.
Почему Кармак считает, что инференс может воспользоваться заранее известными паттернами обращения к весам?
Во время инференса работающей нейросети характерно повторение одних и тех же паттернов обращения к весам. Это позволяет заранее подготавливать и подавать данные из оптоволоконного кольца в кэш L2, минимизируя задержки и объём динамической памяти, необходимый для динамических обновлений весов во время выполнения. Такая предсказуемость паттернов может снизить требования к оперативной памяти и ускорить инференс по сравнению с традиционной архитектурой с DRAM.
Какие альтернативы и реалистичные варианты рассматриваются на данный момент?
Кармак упоминает как более близкую к реализации альтернативу использование множества недорогих чипов флеш-памяти, которые при правильном интерфейсе и оптимизации могут достигать требуемой скорости доступа к весам. Это предлагается как дорожка к жизнеспособному решению в условиях нехватки и роста цен на HBM-память, хотя такие решения требуют значительных инноваций в архитектуре и интероконнекта.
