Axolotl

<picture>
    <source media="(prefers-color-scheme: dark)" srcset="https://raw.githubusercontent.com/axolotl-ai-cloud/axolotl/887513285d98132142bf5db2a74eb5e0928787f1/image/axolotl_logo_digital_white.svg">
    <source media="(prefers-color-scheme: light)" srcset="https://raw.githubusercontent.com/axolotl-ai-cloud/axolotl/887513285d98132142bf5db2a74eb5e0928787f1/image/axolotl_logo_digital_black.svg">

Бесплатный и открытый фреймворк для тонкой настройки больших языковых моделей (LLM)

🎉 Последние обновления

• 2026/04:
• В Axolotl добавлена поддержка новых моделей: Mistral Medium 3.5 и Gemma 4.
• Axolotl теперь ориентирован на uv и поддерживает слияние LoRA SonicMoE.
• 2026/03:
• В Axolotl добавлена поддержка новых моделей: Mistral Small 4, Qwen3.5, Qwen3.5 MoE, GLM-4.7-Flash, GLM-4.6V и GLM-4.5-Air.
• Добавлена поддержка квантизации экспертов MoE (с quantize_moe_experts: true), что значительно снижает потребление видеопамяти при обучении моделей MoE (совместимо с FSDP2).
• 2026/02:
• Поддержка ScatterMoE LoRA. Дообучение LoRA напрямую на весах экспертов MoE с использованием пользовательских ядер Triton.
• Axolotl теперь поддерживает SageAttention и GDPO (обобщенный DPO).
• 2026/01:
• Новая интеграция EAFT (Entropy-Aware Focal Training) — взвешивание функции потерь по энтропии распределения топ-k логитов, и Scalable Softmax — улучшение работы с длинным контекстом в механизме внимания.
• 2025/12:
• Axolotl теперь включает поддержку моделей: Kimi-Linear, Plano-Orchestrator, MiMo, InternVL 3.5, Olmo3, Trinity и Ministral3.
• Добавлена поддержка Распределенного оптимизатора Muon для предобучения в FSDP2.
• 2025/10: В Axolotl добавлена поддержка новых моделей: Qwen3 Next, Qwen2.5-vl, Qwen3-vl, Qwen3, Qwen3MoE, Granite 4, HunYuan, Magistral 2509, Apertus и Seed-OSS.

Развернуть более ранние обновления

• 2025/09: Axolotl теперь поддерживает обучение диффузионного текста. Подробнее здесь.
• 2025/08: QAT обновлен и теперь включает поддержку NVFP4. См. PR.
• 2025/07:
• В Axolotl добавлена поддержка ND-параллелизма. Комбинируйте контекстный параллелизм (CP), тензорный параллелизм (TP) и полную шардированную параллельную обработку данных (FSDP) в пределах одного узла и между несколькими узлами. Ознакомьтесь с блог-постом для получения дополнительной информации.
• Axolotl добавляет больше моделей: GPT-OSS, Gemma 3n, Liquid Foundation Model 2 (LFM2) и Arcee Foundation Models (AFM).
• Теперь в Axolotl возможен дообучение в FP8 с операцией fp8 gather через torchao. Начните здесь!
• В Axolotl интегрированы Voxtral, Magistral 1.1 и Devstral с поддержкой токенизатора mistral-common.
• В Axolotl добавлена поддержка TiledMLP для обучения на одной GPU до нескольких GPU с использованием DDP, DeepSpeed и FSDP, что поддерживает Arctic Long Sequence Training (ALST). Ознакомьтесь с примерами использования ALST с Axolotl!
• 2025/06: В Axolotl добавлена поддержка Magistral с токенизатором mistral-common. Смотрите документацию, чтобы начать обучать свои собственные модели Magistral с помощью Axolotl!
• 2025/05: В Axolotl добавлена поддержка Quantization Aware Training (QAT). Ознакомьтесь с документацией для получения дополнительной информации!
• 2025/04: В Axolotl добавлена поддержка Llama 4. Смотрите документацию, чтобы начать обучать свои собственные модели Llama 4 с помощью линеаризованной версии Axolotl!
• 2025/03: Axolotl реализовал поддержку параллелизма последовательностей (SP). Прочитайте блог и документацию, чтобы узнать, как масштабировать длину контекста при дообучении.
• 2025/03: (Бета) В Axolotl теперь поддерживается дообучение мультимодальных моделей. Ознакомьтесь с документацией, чтобы дообучить свои собственные модели!
• 2025/02: Axolotl добавил оптимизации LoRA для снижения потребления памяти и повышения скорости обучения для LoRA и QLoRA в режимах обучения на одной GPU и нескольких GPU (DDP и DeepSpeed). Переходите в документацию, чтобы попробовать.
• 2025/02: Axolotl добавил поддержку GRPO. Загляните в наш блог и пример GRPO и хорошо проводите время!
• 2025/01: Axolotl добавил поддержку дообучения с помощью Reward Modelling / Process Reward Modelling. Смотрите документацию.

✨ Обзор

Axolotl — это бесплатный и инструмент с открытым исходным кодом, предназначенный для упрощения пост-обучения и дообучения новейших больших языковых моделей (LLM).

Возможности:

• Поддержка множества моделей: Обучайте различные модели, такие как GPT-OSS, LLaMA, Mistral, Mixtral, Pythia и многие другие модели, доступные в Хабе Hugging Face.
• Мультимодальное обучение: Дообучайте модели для работы с языком и зрением (VLM), включая LLaMA-Vision, Qwen2-VL, Pixtral, LLaVA, SmolVLM2, GLM-4.6V, InternVL 3.5, Gemma 3n, и аудиомодели, такие как Voxtral, с поддержкой изображений, видео и аудио.
• Методы обучения: Полное дообучение, LoRA, QLoRA, GPTQ, QAT, настройка предпочтений (DPO, IPO, KTO, ORPO), RL (GRPO, GDPO) и наградное моделирование (RM) / Процессуальное наградное моделирование (PRM).
• Простая конфигурация: Переиспользуйте один YAML-файл конфигурации на протяжении всего пайплайна дообучения: предобработка данных, обучение, оценка, квантизация и инференс.
• Оптимизации производительности: Мультипакинг, Flash Attention 2/3/4, Xformers, Flex Attention, SageAttention, Liger Kernel, Cut Cross Entropy, ScatterMoE, Параллелизм последовательностей (SP), Оптимизации LoRA, Мульти-GPU обучение (FSDP1, FSDP2, DeepSpeed), Мульти-нодовое обучение (Torchrun, Ray) и многое другое!
• Гибкая работа с наборами данных: Загружайте данные из локальных источников, HuggingFace и облачных хранилищ (S3, Azure, GCP, OCI).
• Готовность к облаку: Мы предоставляем Docker-образы и также пакеты PyPI для использования на облачных платформах и локальном оборудовании.

🚀 Быстрый старт — Дообучение LLM за считанные минуты

Требования:

• GPU NVIDIA (Ampere или новее для bf16 и Flash Attention) или GPU AMD
• Python >=3.11 (рекомендуется 3.12)
• PyTorch ≥2.11.0

Google Colab

Установка

# установите uv, если у вас его ещё нет (перезапустите оболочку после)
curl -LsSf https://astral.sh/uv/install.sh | sh

# измените в зависимости от системы
export UV_TORCH_BACKEND=cu130

# создайте новое виртуальное окружение
uv venv --python 3.12
source .venv/bin/activate

uv pip install torch==2.12.0 torchvision
uv pip install --no-build-isolation axolotl[deepspeed]

# Скачать примеры конфигураций axolotl, конфигураций deepspeed
axolotl fetch examples
axolotl fetch deepspeed_configs  # ОПЦИОНАЛЬНО

Использование Docker

Установка с помощью Docker может быть менее подвержена ошибкам, чем установка в собственном окружении.

docker run --gpus '"all"' --ipc=host --rm -it axolotlai/axolotl:main-latest

Другие варианты установки описаны здесь.

Облачные провайдеры

• RunPod
• Vast.ai
• PRIME Intellect
• Modal
• Novita
• JarvisLabs.ai
• Latitude.sh

Ваша первая точная настройка

# Получить примеры axolotl
axolotl fetch examples

# Или указать пользовательский путь
axolotl fetch examples --dest path/to/folder

# Обучить модель с использованием LoRA
axolotl train examples/llama-3/lora-1b.yml

Вот и всё! Ознакомьтесь с нашим Руководством по началу работы для более подробного описания.

📚 Документация

• Варианты установки - Подробные инструкции по настройке для различных окружений
• Руководство по конфигурации - Полные параметры конфигурации и примеры
• Загрузка наборов данных - Загрузка наборов данных из различных источников
• Руководство по наборам данных - Поддерживаемые форматы и их использование
• Мульти-GPU обучение
• Мульти-узловое обучение
• Мультипакинг
• Справочник API - Автоматически сгенерированная документация по коду
• Часто задаваемые вопросы (FAQ) - Часто задаваемые вопросы

Поддержка ИИ-агентов

Axolotl поставляется с встроенной документацией, оптимизированной для ИИ-агентов для кодирования (Claude Code, Cursor, Copilot и т.д.). Эти документы включены в pip-пакет — клонирование репозитория не требуется.

# Показать обзор и доступные методы обучения
axolotl agent-docs

# Тематические справки
axolotl agent-docs sft                 # контролируемая точная настройка (supervised fine-tuning)
axolotl agent-docs grpo                # онлайн-обучение с подкреплением GRPO
axolotl agent-docs preference_tuning   # DPO, KTO, ORPO, SimPO
axolotl agent-docs reward_modelling    # модели наград по результату и процессу
axolotl agent-docs pretraining         # непрерывное предобучение
axolotl agent-docs --list              # список всех тем

# Вывести схему конфигурации для программного использования
axolotl config-schema
axolotl config-schema --field adapter

Если вы работаете с исходным репозиторием, документы для агентов также доступны в docs/agents/, а обзор проекта находится в AGENTS.md.

🤝 Получение помощи

• Присоединяйтесь к нашему сообществу в Discord для получения поддержки
• Ознакомьтесь с каталогом наших Примеров
• Прочитайте наше Руководство по отладке
• Нужна выделенная поддержка? Пожалуйста, свяжитесь с ✉️wing@axolotl.ai для обсуждения вариантов

🌟 Участие в разработке

Мы приветствуем вклад! Пожалуйста, ознакомьтесь с нашим Руководством по участию в разработке для получения подробной информации.

📈 Телеметрия

Axolotl использует телеметрию с возможностью отключения, которая помогает нам понять, как используется проект, и определять приоритеты для улучшений. Мы собираем базовую информацию о системе, типы моделей и частоту ошибок — никогда персональные данные или пути к файлам. Телеметрия включена по умолчанию. Чтобы отключить её, установите AXOLOTL_DO_NOT_TRACK=1. Для получения дополнительной информации ознакомьтесь с нашей документацией по телеметрии.

❤️ Спонсоры

Интересует спонсорство? Свяжитесь с нами по адресу wing@axolotl.ai

📝 Цитирование Axolotl

Если вы используете Axolotl в своих исследованиях или проектах, пожалуйста, цитируйте его следующим образом:

@software{axolotl,
  title = {Axolotl: Open Source LLM Post-Training},
  author = {{Axolotl maintainers and contributors}},
  url = {https://github.com/axolotl-ai-cloud/axolotl},
  license = {Apache-2.0},
  year = {2023}
}

📜 Лицензия

Этот проект лицензирован в соответствии с лицензией Apache 2.0 — см. файл LICENSE для получения подробной информации.