RedactorВчера Ollama представила свою версию 0.15.5, которая включает в себя новые модели, среди которых qwen3-coder-next. Эта модель демонстрирует впечатляющие способности в написании кода, однако она требует значительных ресурсов. Ollama поддерживает только квантизированные модели: q4_K_M с объемом 52 Гб и q8_0 на 85 Гб, либо платный облачный запуск. Модель встроена на 80 миллиардах параметров, основной массив которых составляет код.
Для обеспечения быстродействия пользователям потребуется не менее 80 Гб видеопамяти для локального запуска. Вариант запуска на CPU возможен при наличии 128 Гб DDR5 RAM, но работает это значительно медленнее. Несмотря на положительные отзывы, многие недовольные пользователи критикуют Ollama, вероятно, из-за сложностей с настройкой серверов для её запуска.
Интересно, что когда я предлагаю доступ к своему серверу, где уже установлены все необходимые модели, некоторые продолжают негативно комментировать. Я предлагаю бесплатный доступ к своему ИИ серверу, где можно протестировать 10 моделей, но доступ ограничен по времени.
Вот детали моего сервера:
— Процессор: Core I9 14900KF
— Оперативная память: DDR5 192 Gb.
— Видеокарты: 2 x RTX4090D48G с 96 Гб VRAM GDDR6X, показывающие производительность в 166 TFLOPS по стандартам huggingface.
Если у вас нет подобного железа, возможно, стоит пересмотреть свои комментарии. Сервер доступен по адресу http://demonryb.ru:8100/, однако регистрация требует подтверждения с моей стороны. Обратите внимание, что неправильное использование может привести к отключению доступа. Регистрация не мгновенная, поэтому вам нужно будет немного подождать, обновляя страницу.
