RedactorАндрей Карпати, экс-директор по искусственному интеллекту компании Tesla, достиг впечатляющего результата: его новая модель превзошла GPT-2 согласно бенчмарку CORE, затратив на обучение всего $73 и три часа работы на одном из восьми GPU H100. Для сравнения, OpenAI обучила оригинальную GPT-2 (с 1,5 миллиарда параметров) в 2019 году за $43 000 на 32 TPU v3 в течение недели. Данная экономия в 600 раз за семь лет обусловлена несколькими факторами: более быстрая аппаратная база (H100 вместо TPU v3), усовершенствованный софт (Flash Attention 3, torch.compile), передовые алгоритмы (например, оптимизатор Muon) и высококачественные данные (FineWeb-edu). Карпати отмечает, что стоимость обучения GPT-2 уменьшается примерно на 40% каждый год. Проект, названный nanochat, включает около 1000 строк кода и использует 768 миллионов параметров с 24 слоями. Также он запустил лидерборд для соперничества по обучению моделей до уровня GPT-2, текущий рекорд составляет 3,04 часа.
Самосвальные полуприцепы: техника для стройки и добычи инертных материалов
Строительные площадки, карьеры и дорожные работы формируют один из самых требовательных сегментов рынка грузовой техники — здесь полуприцепы работают в жёстких условиях: бездорожье, абразивные материалы, интенсивная эксплуатация и частые циклы…
