AI Toolkit

v0.3.2

Framework AI Assistants Open Source

by guidance-ai / Microsoft (open source)

✔ Python 3.8+, transformers, llama.cpp, OpenAI, Azure

Guidance — фреймворк для контролируемой генерации текста с языковыми моделями. Позволяет интерливать генерацию и логику: ветвления, циклы, констрейнты — всё как часть одной программы на …

GitHub

# pip: pip install guidance # С поддержкой llama.cpp: pip install "guidance[llamacpp]" # Пример: import guidance from guidance import models, gen, select lm = models.LlamaCpp("model.gguf") with guidance.system(): lm += "You are a helpful assistant." with guidance.user(): lm += "Is the sky blue? Answer yes or no." with guidance.assistant(): lm += select(["yes", "no"], name="answer") print(lm["answer"]) # "yes"

admin

Marvin

v3.2.7

Framework AI Assistants Open Source

by Prefect (open source)

✔ Python 3.10+, OpenAI, Anthropic, Azure OpenAI

Marvin — прагматичный AI toolkit от Prefect для добавления AI-функций в Python-приложения. Акцент на типизированные AI-функции: extract, classify, transform, generate — без лишнего boilerplate. Возможности: …

GitHub Docs

# pip: pip install marvin # Настройка: export OPENAI_API_KEY="sk-..." # или для Claude: export ANTHROPIC_API_KEY="sk-ant-..." export MARVIN_LLM_BACKEND=anthropic # Пример: import marvin from pydantic import BaseModel class Location(BaseModel): city: str country: str locations = marvin.extract( "I visited Paris and Tokyo last year", target=list[Location] ) # [Location(city="Paris", country="France"), ...]

admin

Mirascope

v2.5.0

Framework AI Assistants Open Source

by Mirascope (open source)

✔ Python 3.10+, OpenAI, Anthropic, Gemini, Mistral, Groq, Ollama

Mirascope — элегантная Python-библиотека для работы с LLM с минимальным абстрагированием. Использует декораторы и типизацию вместо сложных цепочек. Совместима со всеми major провайдерами через единый …

GitHub Docs

# pip: pip install mirascope # С поддержкой конкретного провайдера: pip install "mirascope[anthropic]" pip install "mirascope[gemini]" pip install "mirascope[groq]" # Пример: from mirascope.core import anthropic, prompt_template @anthropic.call("claude-sonnet-4-6") @prompt_template("Summarize the following text: {text}") def summarize(text: str): ... response = summarize("Long text here...") print(response.content)

admin

Open Interpreter

v0.4.2

Framework AI Assistants Open Source

by Open Interpreter Foundation

✔ Windows, macOS, Linux

Open-source реализация интерпретатора кода для LLM. Позволяет языковым моделям запускать код (Python, Shell, JavaScript) на вашей машине — аналог ChatGPT Code Interpreter, но без ограничений. …

GitHub Website Docs

# Установка: pip install open-interpreter # Запуск с Claude: interpreter --model claude-opus-4-5 # Запуск с локальной моделью (Ollama): interpreter --model ollama/llama3 # Python API: from interpreter import interpreter interpreter.chat("Открой браузер и найди цену BTC")

admin

Outlines

v1.3.1

Framework AI Assistants Open Source

by dottxt-ai (open source)

✔ Python 3.9+, локальные модели (llama.cpp, vllm, transformers), OpenAI API

Библиотека для structured generation — генерации структурированного вывода из языковых моделей с гарантированным форматом. Использует grammar-based sampling: модель физически не может выдать невалидный JSON или …

GitHub Docs

# pip: pip install outlines # С поддержкой transformers: pip install "outlines[transformers]" # С llama.cpp: pip install "outlines[llamacpp]" # Пример — Pydantic schema: from pydantic import BaseModel import outlines class Person(BaseModel): name: str age: int model = outlines.models.transformers("mistralai/Mistral-7B-v0.1") generator = outlines.generate.json(model, Person) result = generator("Extract: John is 30 years old") # Person(name="John", age=30)

admin

ell

v0.0.7

Framework AI Assistants Open Source

by MadcowD / William Guss (open source)

✔ Python 3.9+, OpenAI, Anthropic, любой OpenAI-compatible API

ell — prompt engineering language: рассматривает промпты как функции, а не строки. Позволяет писать, версионировать, тестировать и оптимизировать промпты как полноценный код с инструментами разработчика. …

GitHub Website

# pip: pip install ell-ai # С поддержкой антропика: pip install "ell-ai[anthropic]" # Пример: import ell ell.init(store="./logdir", autocommit=True) @ell.simple(model="gpt-4o-mini") def summarize(text: str): """Summarize the following text in one sentence.""" return f"Text: {text}" result = summarize("Long text here...") # Запустить ELL Studio: ell-studio --storage ./logdir

admin

Категории

Сортировка

Тип

Доступ