AI Toolkit

MCP серверы, LSP, скиллы, плагины, AI-модели и другие инструменты

1 инструментов Сбросить

Guidance

v0.3.2
Framework AI Assistants Open Source

by guidance-ai / Microsoft (open source)

✔ Python 3.8+, transformers, llama.cpp, OpenAI, Azure

Guidance — фреймворк для контролируемой генерации текста с языковыми моделями. Позволяет интерливать генерацию и логику: ветвления, циклы, констрейнты — всё как часть одной программы на …

# pip: pip install guidance # С поддержкой llama.cpp: pip install "guidance[llamacpp]" # Пример: import guidance from guidance import models, gen, select lm = models.LlamaCpp("model.gguf") with guidance.system(): lm += "You are a helpful assistant." with guidance.user(): lm += "Is the sky blue? Answer yes or no." with guidance.assistant(): lm += select(["yes", "no"], name="answer") print(lm["answer"]) # "yes"