Удвоение плотности способностей больших языковых моделей каждые 3,5 месяца

В научной статье, опубликованной в Nature Machine Intelligence, представлена концепция «закона уплотнения», согласно которой максимальная плотность способностей языковых моделей удваивается каждые 3,5 месяца. Вводится новая метрика, которая позволяет сравнивать реальное количество параметров модели с количеством, необходимым для достижения аналогичного качества у референсной модели. Анализ нескольких бенчмарков, таких как MMLU и BBH, показывает стабильный экспоненциальный рост этой плотности. При фиксированном качестве число параметров, необходимых для модели, снижается, что ведёт к значительному удешевлению инференса. Это открывает путь к локальному использованию мощных моделей на потребительском оборудовании, в то время как традиционные подходы к увеличению параметров теряют свою актуальность. Важно сместить фокус на оптимизацию плотности и применение новых методов, повышающих качество моделей без значительного увеличения их размеров.