RedactorАндрей Карпати, создатель AI-образовательного проекта Eureka Labs, обнародовал microGPT — полную реализацию обучения и инференса GPT, состоящую всего из 243 строк кода на Python без каких-либо внешних зависимостей. Из импортов используются только стандартные библиотеки: math, random, os и argparse.
В файл включены все компоненты для функционирования языковой модели: оригинальный движок автоматического дифференцирования (похожий на micrograd), токенизатор, работающий с BOS/EOS-токенами, архитектура Transformer с multi-head attention, а также техники нормализации и активации.
Карпати пояснил, что проект является «арт-проектом» и содержит все необходимое для тренировки GPT. Хотя он обучается на специфическом датасете, его код может работать с любой текстовой выборкой. Это продолжение серии его образовательных инициатив, среди которых можно выделить micrograd и minGPT.
Хотя microGPT не предназначен для реального использования из-за высокой вычислительной нагрузки, он наглядно демонстрирует, как можно уместить весь механизм LLM в районе двух экранов кода, и уже нашел отклик на GitHub.
