AI Toolkit

2 инструментов Сбросить

Guidance

v0.3.2

Framework AI Assistants Open Source

by guidance-ai / Microsoft (open source)

✔ Python 3.8+, transformers, llama.cpp, OpenAI, Azure

Guidance — фреймворк для контролируемой генерации текста с языковыми моделями. Позволяет интерливать генерацию и логику: ветвления, циклы, констрейнты — всё как часть одной программы на …

GitHub

# pip: pip install guidance # С поддержкой llama.cpp: pip install "guidance[llamacpp]" # Пример: import guidance from guidance import models, gen, select lm = models.LlamaCpp("model.gguf") with guidance.system(): lm += "You are a helpful assistant." with guidance.user(): lm += "Is the sky blue? Answer yes or no." with guidance.assistant(): lm += select(["yes", "no"], name="answer") print(lm["answer"]) # "yes"

admin

Outlines

v1.3.1

Framework AI Assistants Open Source

by dottxt-ai (open source)

✔ Python 3.9+, локальные модели (llama.cpp, vllm, transformers), OpenAI API

Библиотека для structured generation — генерации структурированного вывода из языковых моделей с гарантированным форматом. Использует grammar-based sampling: модель физически не может выдать невалидный JSON или …

GitHub Docs

# pip: pip install outlines # С поддержкой transformers: pip install "outlines[transformers]" # С llama.cpp: pip install "outlines[llamacpp]" # Пример — Pydantic schema: from pydantic import BaseModel import outlines class Person(BaseModel): name: str age: int model = outlines.models.transformers("mistralai/Mistral-7B-v0.1") generator = outlines.generate.json(model, Person) result = generator("Extract: John is 30 years old") # Person(name="John", age=30)

admin

Категории

Сортировка

Тип

Доступ