Assistant
AI Assistants
Open Source
★
by mudler (open source)
✔ Linux, macOS, Windows, Docker — CPU/GPU (CUDA, ROCm, Metal)
Самохостируемая OpenAI-совместимая REST API для запуска LLM, изображений, аудио и эмбеддингов локально. Заменяет OpenAI API без изменений в коде — достаточно поменять base URL. Возможности: …
Установка
# Docker (быстрый старт):
docker run -p 8080:8080 \
-v $PWD/models:/build/models \
localai/localai:latest-aio-cpu
# С GPU (CUDA):
docker run --gpus all -p 8080:8080 \
localai/localai:latest-aio-gpu-nvidia-cuda-12
# Загрузить модель через галерею:
curl http://localhost:8080/models/apply -d '{"id": "gpt4all-j"}'
# Использовать как OpenAI API:
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8080/v1", api_key="none")
response = client.chat.completions.create(
model="gpt-4",
messages=[{"role": "user", "content": "Hello"}]
)