LocalAI

by mudler (open source) · Linux, macOS, Windows, Docker — CPU/GPU (CUDA, ROCm, Metal)

Assistant AI Assistants Open Source ★ Must have v4.5.6 · 30.06.2026 активный

Самохостируемая OpenAI-совместимая REST API для запуска LLM, изображений, аудио и эмбеддингов локально. Заменяет OpenAI API без изменений в коде — достаточно поменять base URL. Возможности: - Полная совместимость с OpenAI API (chat, completions, embeddings, images, audio) - Поддержка llama.cpp, whisper.cpp, stable-diffusion.cpp, bark - Галерея моделей: установка одной командой - GPU ускорение: CUDA, ROCm, Metal (Apple), Vulkan - Function calling, vision, TTS, STT из коробки - Docker-образ с батарейками - Работает без интернета, данные остаются локально

GitHub Website
llm open-source docker self-hosted openai-compatible local ai-assistant ai-assistants
Версии
v4.5.6
30.06.2026 current
Добавлен 19.06.2026 · Обновлён 19.06.2026 · AI Assistants
Установка 
# Docker (быстрый старт):
docker run -p 8080:8080 \
  -v $PWD/models:/build/models \
  localai/localai:latest-aio-cpu

# С GPU (CUDA):
docker run --gpus all -p 8080:8080 \
  localai/localai:latest-aio-gpu-nvidia-cuda-12

# Загрузить модель через галерею:
curl http://localhost:8080/models/apply -d '{"id": "gpt4all-j"}'

# Использовать как OpenAI API:
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8080/v1", api_key="none")
response = client.chat.completions.create(
    model="gpt-4",
    messages=[{"role": "user", "content": "Hello"}]
)
переведено ИИ




LocalAI stars LocalAI License

Follow LocalAI_API Join LocalAI Discord Community

mudler%2FLocalAI | Trendshift

Deutsch | Español | français | Японский | Корейский | Português | Русский | Китайский

LocalAI — это движок ИИ с открытым исходным кодом. Запускайте любые модели — LLM, зрение, голос, изображения, видео — на любом оборудовании. GPU не требуется.

Маленькое ядро, а не связка. Каждый бэкенд оборачивает лучший в своём классе движок (llama.cpp, vLLM, whisper.cpp, stable-diffusion, MLX...) в собственный образ, загружаемый только при необходимости модели. Вы ничего не устанавливаете, если вам это не нужно.

  • Составная архитектура по дизайну: бэкенды разделены и загружаются по требованию, поэтому вы устанавливаете только то, что нужно вашей модели.
  • Открытость и расширяемость: загружайте любые модели или создавайте собственный бэкенд на любом языке по открытому интерфейсу.
  • Совместимость API «из коробки»: API OpenAI, Anthropic и ElevenLabs для каждого бэкенда.
  • Любая модель, любая модальность: LLM, зрение, голос, изображения и видео за одним API.
  • Любое оборудование: NVIDIA, AMD, Intel, Apple Silicon, Vulkan или только CPU.
  • Готовность к многопользовательской работе: аутентификация API-ключами, квоты пользователей, ролевой доступ.
  • Встроенные ИИ-агенты: автономные агенты с использованием инструментов, RAG, MCP и навыками.
  • Приватность прежде всего: ваши данные никогда не покидают вашу инфраструктуру.

Маленькое ядро LocalAI с подключёнными по отдельности по требованию бэкендами (llama.cpp, vLLM, MLX, whisper.cpp, stable-diffusion, kokoro, parakeet.cpp...))

Создано Ettore Di Giacinto и поддерживается командой LocalAI.

:book: Документация | :speech_balloon: Discord | 💻 Быстрый старт | 🖼️ Модели | ❓ FAQ

Экскурсия

https://github.com/user-attachments/assets/08cbb692-57da-48f7-963d-2e7b43883c18

Нажмите, чтобы увидеть больше!

Пользователи и авторизация

https://github.com/user-attachments/assets/228fa9ad-81a3-4d43-bfb9-31557e14a36c

Агенты

https://github.com/user-attachments/assets/6270b331-e21d-4087-a540-6290006b381a

Метрики использования для каждого пользователя

https://github.com/user-attachments/assets/cbb03379-23b4-4e3d-bd26-d152f057007f

Дообучение и квантизация

https://github.com/user-attachments/assets/5ba4ace9-d3df-4795-b7d4-b0b404ea71ee

WebRTC

https://github.com/user-attachments/assets/ed88e34c-fed3-4b83-8a67-4716a9feeb7b

Быстрый старт

macOS

Download LocalAI for macOS

Примечание: DMG не подписан Apple. После установки выполните: sudo xattr -d com.apple.quarantine /Applications/LocalAI.app. Подробности см. в #6268.

Контейнеры (Docker, podman, ...)

Уже запускали LocalAI ранее? Используйте docker start -i local-ai для перезапуска существующего контейнера.

Только CPU:

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest

GPU NVIDIA:

# CUDA 13
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-13

# CUDA 12
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12

# NVIDIA Jetson ARM64 (CUDA 12, для AGX Orin и аналогичных)
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-nvidia-l4t-arm64

# NVIDIA Jetson ARM64 (CUDA 13, для DGX Spark)
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-nvidia-l4t-arm64-cuda-13

GPU AMD (ROCm):

docker run -ti --name local-ai -p 8080:8080 --device=/dev/kfd --device=/dev/dri --group-add=video localai/localai:latest-gpu-hipblas

GPU Intel (oneAPI):

docker run -ti --name local-ai -p 8080:8080 --device=/dev/dri/card1 --device=/dev/dri/renderD128 localai/localai:latest-gpu-intel

GPU Vulkan:

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-gpu-vulkan

Загрузка моделей

# Из галереи моделей (список доступных моделей: `local-ai models list` или на https://models.localai.io)
local-ai run llama-3.2-1b-instruct:q4_k_m
# Из Huggingface
local-ai run huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf
# Из реестра OCI Ollama
local-ai run ollama://gemma:2b
# Из YAML-конфига
local-ai run https://gist.githubusercontent.com/.../phi-2.yaml
# Из стандартного реестра OCI (например, Docker Hub)
local-ai run oci://localai/phi-2:latest

Чтобы протестировать работающий сервер LocalAI из терминала, откройте интерактивную сессию чата в другом шелле. Внутри подсказки /models выводит установленные модели, а /model <имя> переключает между ними.

# Терминал 1
local-ai run llama-3.2-1b-instruct:q4_k_m

# Терминал 2
local-ai chat --model llama-3.2-1b-instruct:q4_k_m

Автоматическое определение бэкенда: LocalAI автоматически определяет возможности вашего GPU и загружает соответствующий бэкенд. Дополнительные параметры см. в разделе Ускорение на GPU.

Подробнее смотрите в Руководстве по началу работы.

Последние новости

Старые новости и полные заметки о выпусках смотрите на GitHub Releases и на странице Новости.

Возможности

Поддерживаемые бэкенды и ускорение

LocalAI поддерживает более 60 бэкендов, включая llama.cpp, vLLM, SGLang, transformers, whisper.cpp, diffusers, MLX, MLX-VLM и многие другие. Аппаратное ускорение доступно для NVIDIA (CUDA 12/13), AMD (ROCm), Intel (oneAPI/SYCL), Apple Silicon (Metal), Vulkan и NVIDIA Jetson (L4T). Все бэкенды могут быть установлены на лету из Галереи бэкендов.

Смотрите полную Таблицу совместимости бэкендов и моделей и Руководство по ускорению на GPU.

Бэкенды, разработанные нами

Большинство бэкендов оборачивают лучший в своём классе движок. Несколько из них — это нативные C/C++/GGML-движки (без Python при выводе), разработанные и поддерживаемые самим проектом LocalAI:

Бэкенд Что делает
parakeet.cpp C++/GGML-порт ASR NVIDIA NeMo Parakeet (tdt/ctc/rnnt/hybrid) с транскрипцией, aware-кэша
voxtral.c Voxtral Realtime 4B speech-to-text на чистом C
vibevoice.cpp Нативный порт Microsoft VibeVoice для TTS (клонирование голоса) и длинного ASR с диаризацией говорящих
rf-detr.cpp Нативное обнаружение объектов и сегментация экземпляров RF-DETR
locate-anything.cpp Обнаружение объектов с открытым словарем и визуальный граундинг (LocateAnything-3B)
depth-anything.cpp Одномерная метрическая карта глубины Depth Anything 3 + оценка позы камеры
privacy-filter.cpp Автономный GGML-движок классификации токенов для PII/NER, поддерживающий функцию LocalAI по редактированию PII
LocalVQE Совместное подавление акустического эха, шума и реверберации
local-store Локальная векторная база данных для эмбеддингов (включена в дерево исходного кода)

Ресурсы

Команда

LocalAI поддерживается небольшой командой людей, совместно с более широким сообществом контрибьюторов.

Огромное спасибо всем, кто вносит код, рецензирует PR, создаетзадачи и помогает пользователям в Discord — LocalAI — это проект, движимый сообществом, и он не существовал бы без вас. Смотрите полный список контрибьюторов.

Цитирование

Если вы используете этот репозиторий, данные в проекте, пожалуйста, рассмотрите возможность его цитирования:

@misc{localai,
  author = {Ettore Di Giacinto},
  title = {LocalAI: The free, Open source OpenAI alternative},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/go-skynet/LocalAI}},

Спонсоры

Вы находите LocalAI полезным?

Поддержите проект, став спонсором или бекером. Ваш логотип будет отображен здесь со ссылкой на ваш сайт.

Огромное спасибо нашим щедрым спонсорам, поддерживающим этот проект и покрывающим расходы CI, и наш список спонсоров:

Прошлые спонсоры


Индивидуальные спонсоры

Отдельное спасибо индивидуальным спонсорам, полный список на GitHub и buymeacoffee. Особый респект drikster80 за щедрость. Спасибо всем!

История звёзд

LocalAI Star history Chart

Лицензия

LocalAI — проект, движимый сообществом, созданный Ettore Di Giacinto и поддерживаемый командой LocalAI.

MIT - Автор Ettore Di Giacinto mudler@localai.io

Благодарности

LocalAI не мог бы быть создан без помощи отличного программного обеспечения, уже доступного от сообщества. Спасибо!

  • llama.cpp
  • https://github.com/tatsu-lab/stanford_alpaca
  • https://github.com/cornelk/llama-go за первоначальные идеи
  • https://github.com/antimatter15/alpaca.cpp
  • https://github.com/EdVince/Stable-Diffusion-NCNN
  • https://github.com/ggerganov/whisper.cpp
  • https://github.com/rhasspy/piper
  • exo за реализацию автоматического параллельного шардинга MLX

Контрибьюторы

Это проект сообщества, особая благодарность нашим контрибьюторам!

Комментарии
Войдите, чтобы оставить комментарий