AI Toolkit

2 инструментов Сбросить

LiteLLM

v1.90.0

Framework Dev Tools Open Source ★

by BerriAI (open source)

✔ Python, 100+ LLM провайдеров

Единый OpenAI-совместимый API для 100+ LLM-провайдеров. Переключай модели одной строкой без изменения кода — плюс прокси, балансировка нагрузки, fallback и мониторинг. Возможности: - Единый интерфейс: …

GitHub Docs

# pip: pip install litellm # Пример: from litellm import completion # OpenAI: completion(model="gpt-4o", messages=[{"role": "user", "content": "Hi"}]) # Anthropic — та же функция: completion(model="claude-opus-4-5", messages=[{"role": "user", "content": "Hi"}]) # Ollama: completion(model="ollama/llama3", messages=[...]) # Запустить прокси: litellm --model anthropic/claude-opus-4-5 # → слушает на http://0.0.0.0:4000 (OpenAI-совместимый)

admin

LocalAI

v4.5.6

Assistant AI Assistants Open Source ★

by mudler (open source)

✔ Linux, macOS, Windows, Docker — CPU/GPU (CUDA, ROCm, Metal)

Самохостируемая OpenAI-совместимая REST API для запуска LLM, изображений, аудио и эмбеддингов локально. Заменяет OpenAI API без изменений в коде — достаточно поменять base URL. Возможности: …

GitHub Website

# Docker (быстрый старт): docker run -p 8080:8080 \ -v $PWD/models:/build/models \ localai/localai:latest-aio-cpu # С GPU (CUDA): docker run --gpus all -p 8080:8080 \ localai/localai:latest-aio-gpu-nvidia-cuda-12 # Загрузить модель через галерею: curl http://localhost:8080/models/apply -d '{"id": "gpt4all-j"}' # Использовать как OpenAI API: from openai import OpenAI client = OpenAI(base_url="http://localhost:8080/v1", api_key="none") response = client.chat.completions.create( model="gpt-4", messages=[{"role": "user", "content": "Hello"}] )

admin

Категории

Сортировка

Тип

Доступ