AI Toolkit

v2.5.0

Framework AI Assistants Open Source

by Mirascope (open source)

✔ Python 3.10+, OpenAI, Anthropic, Gemini, Mistral, Groq, Ollama

Mirascope — элегантная Python-библиотека для работы с LLM с минимальным абстрагированием. Использует декораторы и типизацию вместо сложных цепочек. Совместима со всеми major провайдерами через единый …

GitHub Docs

# pip: pip install mirascope # С поддержкой конкретного провайдера: pip install "mirascope[anthropic]" pip install "mirascope[gemini]" pip install "mirascope[groq]" # Пример: from mirascope.core import anthropic, prompt_template @anthropic.call("claude-sonnet-4-6") @prompt_template("Summarize the following text: {text}") def summarize(text: str): ... response = summarize("Long text here...") print(response.content)

admin

Ollama

v0.32.4

Framework Dev Tools Open Source

by Ollama

✔ Llama, DeepSeek, Qwen, Gemma и др. открытые модели

Запускает большие языковые модели локально одной командой — без ручной настройки окружения, драйверов и весов. Скачивает, квантует и обслуживает модели через простой CLI и OpenAI-совместимый …

GitHub

curl -fsSL https://ollama.com/install.sh | sh ollama run llama3.2 ollama pull deepseek-r1 # OpenAI-совместимый API на localhost:11434

admin

Outlines

v1.3.1

Framework AI Assistants Open Source

by dottxt-ai (open source)

✔ Python 3.9+, локальные модели (llama.cpp, vllm, transformers), OpenAI API

Библиотека для structured generation — генерации структурированного вывода из языковых моделей с гарантированным форматом. Использует grammar-based sampling: модель физически не может выдать невалидный JSON или …

GitHub Docs

# pip: pip install outlines # С поддержкой transformers: pip install "outlines[transformers]" # С llama.cpp: pip install "outlines[llamacpp]" # Пример — Pydantic schema: from pydantic import BaseModel import outlines class Person(BaseModel): name: str age: int model = outlines.models.transformers("mistralai/Mistral-7B-v0.1") generator = outlines.generate.json(model, Person) result = generator("Extract: John is 30 years old") # Person(name="John", age=30)

admin

RAGFlow

v0.26.4

Framework Dev Tools Open Source

by InfiniFlow

✔ OpenAI, локальные модели, множество форматов документов

RAG-движок с по-настоящему глубоким пониманием документов: корректно разбирает сложные PDF, таблицы, сканы и многостраничные отчёты, а не просто режет текст на чанки вслепую. Совмещает классический …

GitHub

git clone https://github.com/infiniflow/ragflow.git cd ragflow/docker docker compose -f docker-compose.yml up -d # Веб-интерфейс на localhost

admin

ell

v0.0.7

Framework AI Assistants Open Source

by MadcowD / William Guss (open source)

✔ Python 3.9+, OpenAI, Anthropic, любой OpenAI-compatible API

ell — prompt engineering language: рассматривает промпты как функции, а не строки. Позволяет писать, версионировать, тестировать и оптимизировать промпты как полноценный код с инструментами разработчика. …

GitHub Website

# pip: pip install ell-ai # С поддержкой антропика: pip install "ell-ai[anthropic]" # Пример: import ell ell.init(store="./logdir", autocommit=True) @ell.simple(model="gpt-4o-mini") def summarize(text: str): """Summarize the following text in one sentence.""" return f"Text: {text}" result = summarize("Long text here...") # Запустить ELL Studio: ell-studio --storage ./logdir

admin

instructor

v1.15.4

Framework Dev Tools Open Source

by Jason Liu (community)

✔ Python, любые OpenAI-совместимые LLM

Python-библиотека для получения структурированных данных из LLM. Использует Pydantic-модели как схему — модель возвращает валидированный Python-объект вместо сырого текста. Возможности: - Автоматическая валидация через Pydantic …

GitHub Docs

# pip: pip install instructor # Пример: import instructor from anthropic import Anthropic from pydantic import BaseModel client = instructor.from_anthropic(Anthropic()) class User(BaseModel): name: str age: int user = client.messages.create( model="claude-opus-4-5", max_tokens=1024, messages=[{"role": "user", "content": "Извлеки данные: Иван, 30 лет"}], response_model=User, ) print(user) # name="Иван" age=30

admin

llama.cpp

Framework Dev Tools Open Source

by ggml-org / Georgi Gerganov

✔ GGUF-модели (Llama, Mistral, Qwen и др.), CPU/CUDA/Metal/Vulkan

Инференс LLM на чистом C/C++ без тяжёлых зависимостей — работает буквально везде: от смартфона и Raspberry Pi до серверных GPU-кластеров. Формат GGUF и квантование, которые …

GitHub

git clone https://github.com/ggml-org/llama.cpp cd llama.cpp cmake -B build -DGGML_CUDA=ON # убрать флаг для CPU-only сборки cmake --build build --config Release ./build/bin/llama-cli -m model.gguf -p "Привет" ./build/bin/llama-server -m model.gguf # HTTP-сервер с веб-интерфейсом

admin

llamafile

v0.10.3

Framework Dev Tools Open Source

by Mozilla

✔ Windows, macOS, Linux, FreeBSD

Формат дистрибуции LLM от Mozilla: один исполняемый файл содержит и модель, и веб-сервер, и CLI. Работает на любой платформе без установки зависимостей — просто скачать …

GitHub Сайт

# Скачать готовый llamafile (пример: Mistral 7B) curl -LO https://huggingface.co/Mozilla/Mistral-7B-Instruct-v0.2-llamafile/resolve/main/mistral-7b-instruct-v0.2.Q4_0.llamafile chmod +x mistral-7b-instruct-v0.2.Q4_0.llamafile ./mistral-7b-instruct-v0.2.Q4_0.llamafile # Откроет браузер с чатом на localhost:8080 # Также доступен OpenAI-совместимый API

admin

lm-evaluation-harness

v0.4.12

Tool Dev Tools Open Source

by EleutherAI (open source)

✔ Python, HuggingFace, OpenAI, любые LLM

Стандартный фреймворк для оценки и бенчмаркинга LLM. Используется исследователями для сравнения моделей — 400+ датасетов из коробки, единый интерфейс. Возможности: - 400+ встроенных задач: MMLU, …

GitHub

# pip: pip install lm-eval # Запуск оценки (HuggingFace модель): lm_eval --model hf \ --model_args pretrained=mistralai/Mistral-7B-v0.1 \ --tasks mmlu,hellaswag \ --device cuda:0 \ --batch_size 8 # OpenAI: lm_eval --model openai-completions \ --model_args model=gpt-4o \ --tasks gsm8k # Результаты сохраняются в results.json

admin

promptfoo

v0.121.17

Framework Dev Tools Open Source

by promptfoo (open source)

✔ Node.js, Python, любые LLM через API

Инструмент для тестирования, оценки и red-teaming LLM-приложений. Позволяет сравнивать провайдеров, тестировать промпты на наборе тест-кейсов и автоматически находить уязвимости (джейлбрейки, prompt injection). Возможности: - Eval: …

GitHub Website Docs

# npm: npm install -g promptfoo # Инициализация проекта: promptfoo init # Запуск оценки: promptfoo eval # Просмотр результатов в браузере: promptfoo view # Red team тест: promptfoo redteam run

admin

vLLM

v0.26.0

Framework Dev Tools Open Source

by vLLM Project (UC Berkeley)

✔ OpenAI API, HuggingFace models, множество GPU-бэкендов

Инференс-движок для больших языковых моделей с экстремальной пропускной способностью: ключевая технология — PagedAttention, управляющая памятью GPU как виртуальной памятью ОС, что позволяет обслуживать в разы …

GitHub

pip install vllm vllm serve meta-llama/Llama-3.1-8B-Instruct # Поднимает OpenAI-совместимый API на localhost:8000

admin

Категории

Сортировка

Тип

Доступ