Axolotl

Бесплатный фреймворк с открытым исходным кодом для тонкой настройки LLM

🎉 Последние обновления

• 2026/08:
  • В Axolotl добавлена поддержка новых моделей: Muse Glimmer, North Micro Vision Instruct и Shieldstral.
• 2026/07:
  • Теперь поддерживается обучение LoRA для MoE в формате NVFP4 (4-бит) через ScatterMoE (W4A16) и SonicMoE (W4A4), включая слияние адаптеров обратно в обычный чекпоинт NVFP4.
• 2026/06:
  • Экспертный параллелизм (EP) для распределённого обучения MoE через DeepEP, удалённое обучение через API, совместимые с Tinker, контекстный параллелизм для гибридных SSM-моделей (Nemotron-H, Falcon-H1, Bamba), тонкая настройка BitNet 1.58-бит и исправление маскировки потерь для мультимодальных ассистентов.
• 2026/04:
  • В Axolotl добавлена поддержка новых моделей: Mistral Medium 3.5 и Gemma 4.
  • Новые алгоритмы RL и ядра: Async GRPO (до 58% ускорение шагов), Flash Attention 4, NeMo Gym и EBFT.
  • Axolotl теперь использует uv в первую очередь и поддерживает SonicMoE с объединённым LoRA.
• 2026/03:
  • В Axolotl добавлена поддержка новых моделей: Mistral Small 4, Qwen3.5, Qwen3.5 MoE, GLM-4.7-Flash, GLM-4.6V и GLM-4.5-Air.
  • Поддержка квантования экспертов MoE (через quantize_moe_experts: true) значительно снижает использование VRAM при обучении MoE-моделей (совместимо с FSDP2).

Раскрыть старые обновления

• 2026/02:
• Поддержка ScatterMoE LoRA. Тонкая настройка LoRA непосредственно на весах экспертов MoE с использованием пользовательских ядер Triton.
• В Axolotl теперь поддерживаются SageAttention и GDPO (Generalized DPO).
• 2026/01:
• Новая интеграция для EAFT (Entropy-Aware Focal Training), взвешивание потерь по энтропии распределения top-k логитов, и Scalable Softmax, улучшающий длинный контекст в механизме внимания.
• 2025/12:
• Axolotl now includes support for Kimi-Linear, Plano-Orchestrator, MiMo, InternVL 3.5, Olmo3, Trinity, and Ministral3.
• Distributed Muon Optimizer support has been added for FSDP2 pretraining.
• 2025/10: New model support has been added in Axolotl for: Qwen3 Next, Qwen2.5-vl, Qwen3-vl, Qwen3, Qwen3MoE, Granite 4, HunYuan, Magistral 2509, Apertus, and Seed-OSS.
• 2025/09: Axolotl now has text diffusion training. Read more here.
• 2025/08: QAT has been updated to include NVFP4 support. See PR.
• 2025/07:
• ND Parallelism support has been added into Axolotl. Compose Context Parallelism (CP), Tensor Parallelism (TP), and Fully Sharded Data Parallelism (FSDP) within a single node and across multiple nodes. Check out the blog post for more info.
• Axolotl adds more models: GPT-OSS, Gemma 3n, Liquid Foundation Model 2 (LFM2), and Arcee Foundation Models (AFM).
• FP8 finetuning with fp8 gather op is now possible in Axolotl via torchao. Get started here!
• Voxtral, Magistral 1.1, and Devstral with mistral-common tokenizer support has been integrated in Axolotl!
• TiledMLP support for single-GPU to multi-GPU training with DDP, DeepSpeed and FSDP support has been added to support Arctic Long Sequence Training. (ALST). See examples for using ALST with Axolotl!
• 2025/06: Magistral with mistral-common tokenizer support has been added to Axolotl. See docs to start training your own Magistral models with Axolotl!
• 2025/05: Quantization Aware Training (QAT) support has been added to Axolotl. Explore the docs to learn more!
• 2025/04: Llama 4 support has been added in Axolotl. See docs to start training your own Llama 4 models with Axolotl's linearized version!
• 2025/03: Axolotl has implemented Sequence Parallelism (SP) support. Read the blog and docs to learn how to scale your context length when fine-tuning.
• 2025/03: (Beta) Fine-tuning Multimodal models is now supported in Axolotl. Check out the docs to fine-tune your own!
• 2025/02: Axolotl has added LoRA optimizations to reduce memory usage and improve training speed for LoRA and QLoRA in single GPU and multi-GPU training (DDP and DeepSpeed). Jump into the docs to give it a try.
• 2025/02: Axolotl has added GRPO support. Dive into our blog and GRPO example and have some fun!

• 2025/01: В Axolotl добавлена поддержка тонкой настройки с использованием модели вознаграждения (Reward Modelling) и модели вознаграждения процесса (Process Reward Modelling). См. документацию.

✨ Обзор

Axolotl — это бесплатный инструмент с открытым исходным кодом, предназначенный для упрощения пост-обучения и тонкой настройки новейших больших языковых моделей (LLM).

Возможности:

• Поддержка нескольких моделей: Обучение различных моделей, таких как GPT-OSS, LLaMA, Mistral, Mixtral, Pythia и многих других моделей, доступных на Hugging Face Hub.
• Мультимодальное обучение: Тонкая настройка визуально-языковых моделей (VLM), включая LLaMA-Vision, Qwen2-VL, Pixtral, LLaVA, SmolVLM2, GLM-4.6V, InternVL 3.5, Gemma 3n, PaddleOCR-VL, Muse Glimmer, а также аудиомоделей, таких как Voxtral, с поддержкой изображений, видео и аудио.
• Методы обучения: Полная тонкая настройка, LoRA, QLoRA, GPTQ, QAT (int8/int4/FP8/NVFP4/MXFP4), обучение со смешанной точностью FP8, NVFP4/MXFP4 MoE LoRA, настройка предпочтений (DPO, IPO, KTO, ORPO), обучение с подкреплением (GRPO, GDPO) и модели вознаграждения (RM) / модели вознаграждения процесса (PRM).
• Простая конфигурация: Используйте один YAML-файл конфигурации на всём этапе тонкой настройки: предобработка данных, обучение, оценка, квантизация и инференс.
• Оптимизации производительности: Multipacking, Flash Attention 2/3/4, Xformers, Flex Attention, SageAttention, Liger Kernel, Cut Cross Entropy, ScatterMoE, Параллелизм последовательностей (SP), Оптимизации LoRA, Многопоточное обучение на нескольких GPU (FSDP1, FSDP2, DeepSpeed), Многомашинное обучение (Torchrun, Ray) и многое другое!
• Гибкая работа с данными: Загрузка данных из локальных источников, HuggingFace и облачных хранилищ (S3, Azure, GCP, OCI).
• Готовность к облаку: Мы предоставляем Docker-образы и пакеты PyPI для использования на облачных платформах и локальном оборудовании.

🚀 Быстрый старт — тонкая настройка LLM за несколько минут

Требования:

• NVIDIA GPU (архитектура Ampere или новее для bf16 и Flash Attention) или AMD GPU
• Python >=3.11 (рекомендуется 3.12)
• PyTorch ≥2.11.0 (рекомендуется 2.12.1)

Google Colab

Установка

# install uv if you don't already have it installed (restart shell after)
curl -LsSf https://astral.sh/uv/install.sh | sh

# change depending on system
export UV_TORCH_BACKEND=cu130

# create a new virtual environment
uv venv --python 3.12
source .venv/bin/activate

uv pip install torch==2.12.1 torchvision
uv pip install --no-build-isolation axolotl[deepspeed]

# Download example axolotl configs, deepspeed configs
axolotl fetch examples
axolotl fetch deepspeed_configs  # OPTIONAL

Использование Docker

Установка с помощью Docker может быть менее подвержена ошибкам, чем установка в вашей собственной среде.

docker run --gpus '"all"' --ipc=host --rm -it axolotlai/axolotl:main-latest

Другие подходы к установке описаны здесь.

Облачные провайдеры

• RunPod
• Vast.ai
• PRIME Intellect
• Modal
• Novita
• JarvisLabs.ai
• Latitude.sh

Ваша первая тонкая настройка

# Fetch axolotl examples
axolotl fetch examples

# Or, specify a custom path
axolotl fetch examples --dest path/to/folder

# Train a model using LoRA
axolotl train examples/llama-3/lora-1b.yml

Вот и всё! Ознакомьтесь с нашим руководством по началу работы для более подробного ознакомления.

📚 Документация

• Варианты установки — подробные инструкции по настройке для различных сред
• Матрица поддержки — поддержка функций, совместимость и известные ограничения
• Руководство по конфигурации — полный список параметров конфигурации и примеры

• Загрузка датасетов — Загрузка датасетов из различных источников
• Руководство по датасетам — Поддерживаемые форматы и способы их использования
• Обучение на нескольких GPU
• Обучение на нескольких узлах
• Мультипаккинг
• Справочник API — Автоматически сгенерированная документация к коду
• Часто задаваемые вопросы — Ответы на распространённые вопросы

Поддержка ИИ-агентов

Axolotl поставляется с встроенной документацией, оптимизированной для ИИ-агентов кодирования (Claude Code, Cursor, Copilot и др.). Эта документация включена в пакет pip, клонирование репозитория не требуется.

# Show overview and available training methods
axolotl agent-docs

# Topic-specific references
axolotl agent-docs sft                 # supervised fine-tuning
axolotl agent-docs grpo                # GRPO online RL
axolotl agent-docs preference_tuning   # DPO, KTO, ORPO, SimPO
axolotl agent-docs reward_modelling    # outcome and process reward models
axolotl agent-docs pretraining         # continual pretraining
axolotl agent-docs --list              # list all topics

# Dump config schema for programmatic use
axolotl config-schema
axolotl config-schema --field adapter

Если вы работаете с исходным репозиторием, документация для агентов также доступна в каталоге docs/agents/, а обзор проекта — в файле AGENTS.md.

🤝 Получение помощи

• Присоединяйтесь к нашему Discord-сообществу для поддержки
• Изучите наш каталог Примеры
• Прочитайте наше Руководство по отладке
• Нужна выделенная поддержка? Свяжитесь с нами по адресу ✉️wing@axolotl.ai для уточнения вариантов

🌟 Участие в разработке

Мы приветствуем вклад! Подробности смотрите в нашем Руководстве по участию.

📈 Телеметрия

В Axolotl реализована телеметрия с возможностью отказа, которая помогает нам понимать, как используется проект, и расставлять приоритеты в улучшениях. Мы собираем базовую информацию о системе, типы моделей и показатели ошибок, но никогда не собираем личные данные или пути к файлам. Телеметрия включена по умолчанию. Чтобы отключить её, установите переменную окружения AXOLOTL_DO_NOT_TRACK=1. Подробнее см. в документации по телеметрии.

❤️ Спонсоры

Заинтересованы в спонсорстве? Свяжитесь с нами по адресу wing@axolotl.ai

📝 Цитирование Axolotl

Если вы используете Axolotl в своих исследованиях или проектах, пожалуйста, цитируйте его следующим образом:

@software{axolotl,
  title = {Axolotl: Open Source LLM Post-Training},
  author = {{Axolotl maintainers and contributors}},
  url = {https://github.com/axolotl-ai-cloud/axolotl},
  license = {Apache-2.0},
  year = {2023}
}

📜 Лицензия

Этот проект распространяется под лицензией Apache 2.0 — подробности см. в файле LICENSE.