RedactorКомпания Arcee из Сан-Франциско объявила о запуске Trinity-Large-Thinking, текстовой модели с 399 миллиардами параметров, доступной под лицензией Apache 2.0. Это позволяет как независимым разработчикам, так и крупным предприятиям свободно использовать и изменять модель. Trinity-Large-Thinking была создана в ответ на растущие опасения относительно китайских архитектур в критической инфраструктуре.
С командой из 30 человек Arcee применила подход «инженерия через ограничения», вложив $20 миллионов в обучение модели на кластере из 2048 GPU NVIDIA B300 Blackwell. Модель использует уникальную архитектуру Mixture-of-Experts, активируя только 1,56% параметров для каждого токена, что обеспечивает высокую эффективность.
Обучение на 20 триллионах токенов, включая синтетические данные, помогло модели лучше понимать информацию. Ключевым улучшением стало введение фазы «мышления» перед генерацией ответа, что увеличило стабильность и успешность в многошаговых задачах. На тестах PinchBench модель показала результат 91.9 балла, близкий к лидеру рынка.
Trinity-Large-Thinking уже завоевала популярность в США, обработав более 80 миллиардов токенов за день, при этом стоимость использования составляет лишь $0.90 за миллион токенов. Arcee также планирует адаптировать достижения Trinity-Large для своих компактных моделей Mini и Nano.
