NVIDIA представляет NVFP4: революция в обучении языковых моделей

Компания NVIDIA презентовала новый формат чисел под названием NVFP4, который предназначен для обучения больших языковых моделей. Он использует всего четыре бита для представления числа, что является значительным уменьшением по сравнению с традиционными восьми- и шестнадцатибитными форматами. Это нововведение позволяет почти не терять точность вычислений, увеличивая скорость обучения в два-три раза и снижая потребление памяти на пятьдесят процентов. В ходе эксперимента NVIDIA обучила 12-миллиардный Mamba Transformer на десяти триллионах токенов, и результаты модели с использованием NVFP4 оказались сопоставимы с FP8 как в тестах MMLU Pro, так и в задачах программирования MBPP+. Структура NVFP4 организует данные в блоки по шестнадцать чисел, что позволяет эффективно хранить масштабные значения, обеспечивая стабильность обучения. Формат уже поддерживается в Transformer Engine и новых GPU Blackwell, где операции с FP4 выполняются значительно быстрее, при минимальных потерях точности. NVFP4 открывает новые горизонты для исследований в области искусственного интеллекта.