✔ Python 3.9+, локальные модели (llama.cpp, vllm, transformers), OpenAI API
Библиотека для structured generation — генерации структурированного вывода из языковых моделей с гарантированным форматом. Использует grammar-based sampling: модель физически не может выдать невалидный JSON или …
# pip:
pip install outlines
# С поддержкой transformers:
pip install "outlines[transformers]"
# С llama.cpp:
pip install "outlines[llamacpp]"
# Пример — Pydantic schema:
from pydantic import BaseModel
import outlines
class Person(BaseModel):
name: str
age: int
model = outlines.models.transformers("mistralai/Mistral-7B-v0.1")
generator = outlines.generate.json(model, Person)
result = generator("Extract: John is 30 years old")
# Person(name="John", age=30)