AI Toolkit

v0.4.2

Framework AI Assistants Open Source

by Open Interpreter Foundation

✔ Windows, macOS, Linux

Open-source реализация интерпретатора кода для LLM. Позволяет языковым моделям запускать код (Python, Shell, JavaScript) на вашей машине — аналог ChatGPT Code Interpreter, но без ограничений. …

GitHub Website Docs

# Установка: pip install open-interpreter # Запуск с Claude: interpreter --model claude-opus-4-5 # Запуск с локальной моделью (Ollama): interpreter --model ollama/llama3 # Python API: from interpreter import interpreter interpreter.chat("Открой браузер и найди цену BTC")

admin

Outlines

v1.3.1

Framework AI Assistants Open Source

by dottxt-ai (open source)

✔ Python 3.9+, локальные модели (llama.cpp, vllm, transformers), OpenAI API

Библиотека для structured generation — генерации структурированного вывода из языковых моделей с гарантированным форматом. Использует grammar-based sampling: модель физически не может выдать невалидный JSON или …

GitHub Docs

# pip: pip install outlines # С поддержкой transformers: pip install "outlines[transformers]" # С llama.cpp: pip install "outlines[llamacpp]" # Пример — Pydantic schema: from pydantic import BaseModel import outlines class Person(BaseModel): name: str age: int model = outlines.models.transformers("mistralai/Mistral-7B-v0.1") generator = outlines.generate.json(model, Person) result = generator("Extract: John is 30 years old") # Person(name="John", age=30)

admin

RAGFlow

v0.26.4

Framework Dev Tools Open Source

by InfiniFlow

✔ OpenAI, локальные модели, множество форматов документов

RAG-движок с по-настоящему глубоким пониманием документов: корректно разбирает сложные PDF, таблицы, сканы и многостраничные отчёты, а не просто режет текст на чанки вслепую. Совмещает классический …

GitHub

git clone https://github.com/infiniflow/ragflow.git cd ragflow/docker docker compose -f docker-compose.yml up -d # Веб-интерфейс на localhost

admin

browser-use

v0.13.3

Framework Dev Tools Open Source

by browser-use (open source)

✔ Python, Playwright, любые LLM через LangChain

Фреймворк для управления браузером AI-агентом. Агент видит страницу, кликает, заполняет формы, навигирует — как настоящий пользователь, но управляемый LLM. Возможности: - Playwright под капотом: Chrome, …

GitHub Docs

# pip: pip install browser-use playwright playwright install chromium # Пример: from browser_use import Agent from langchain_anthropic import ChatAnthropic import asyncio agent = Agent( task="Найди цену iPhone 16 на amazon.com", llm=ChatAnthropic(model="claude-opus-4-5"), ) result = asyncio.run(agent.run()) print(result)

admin

ell

v0.0.7

Framework AI Assistants Open Source

by MadcowD / William Guss (open source)

✔ Python 3.9+, OpenAI, Anthropic, любой OpenAI-compatible API

ell — prompt engineering language: рассматривает промпты как функции, а не строки. Позволяет писать, версионировать, тестировать и оптимизировать промпты как полноценный код с инструментами разработчика. …

GitHub Website

# pip: pip install ell-ai # С поддержкой антропика: pip install "ell-ai[anthropic]" # Пример: import ell ell.init(store="./logdir", autocommit=True) @ell.simple(model="gpt-4o-mini") def summarize(text: str): """Summarize the following text in one sentence.""" return f"Text: {text}" result = summarize("Long text here...") # Запустить ELL Studio: ell-studio --storage ./logdir

admin

fabric

v1.4.455

Framework Dev Tools Open Source ★

by Daniel Miessler (community)

✔ Windows, macOS, Linux

Фреймворк для "дополнения человека с помощью AI" через систему паттернов. Каждый паттерн — промпт для конкретной задачи: суммаризация, извлечение идей, создание контента, анализ угроз безопасности. …

GitHub

# Go (рекомендуется): go install github.com/danielmiessler/fabric@latest # Первоначальная настройка: fabric --setup # Примеры: # Суммаризовать YouTube видео: yt https://youtube.com/watch?v=... | fabric -p extract_wisdom # Анализ текста: echo "текст" | fabric -p summarize # Список паттернов: fabric -l

admin

instructor

v1.15.4

Framework Dev Tools Open Source

by Jason Liu (community)

✔ Python, любые OpenAI-совместимые LLM

Python-библиотека для получения структурированных данных из LLM. Использует Pydantic-модели как схему — модель возвращает валидированный Python-объект вместо сырого текста. Возможности: - Автоматическая валидация через Pydantic …

GitHub Docs

# pip: pip install instructor # Пример: import instructor from anthropic import Anthropic from pydantic import BaseModel client = instructor.from_anthropic(Anthropic()) class User(BaseModel): name: str age: int user = client.messages.create( model="claude-opus-4-5", max_tokens=1024, messages=[{"role": "user", "content": "Извлеки данные: Иван, 30 лет"}], response_model=User, ) print(user) # name="Иван" age=30

admin

llama.cpp

Framework Dev Tools Open Source

by ggml-org / Georgi Gerganov

✔ GGUF-модели (Llama, Mistral, Qwen и др.), CPU/CUDA/Metal/Vulkan

Инференс LLM на чистом C/C++ без тяжёлых зависимостей — работает буквально везде: от смартфона и Raspberry Pi до серверных GPU-кластеров. Формат GGUF и квантование, которые …

GitHub

git clone https://github.com/ggml-org/llama.cpp cd llama.cpp cmake -B build -DGGML_CUDA=ON # убрать флаг для CPU-only сборки cmake --build build --config Release ./build/bin/llama-cli -m model.gguf -p "Привет" ./build/bin/llama-server -m model.gguf # HTTP-сервер с веб-интерфейсом

admin

llamafile

v0.10.3

Framework Dev Tools Open Source

by Mozilla

✔ Windows, macOS, Linux, FreeBSD

Формат дистрибуции LLM от Mozilla: один исполняемый файл содержит и модель, и веб-сервер, и CLI. Работает на любой платформе без установки зависимостей — просто скачать …

GitHub Сайт

# Скачать готовый llamafile (пример: Mistral 7B) curl -LO https://huggingface.co/Mozilla/Mistral-7B-Instruct-v0.2-llamafile/resolve/main/mistral-7b-instruct-v0.2.Q4_0.llamafile chmod +x mistral-7b-instruct-v0.2.Q4_0.llamafile ./mistral-7b-instruct-v0.2.Q4_0.llamafile # Откроет браузер с чатом на localhost:8080 # Также доступен OpenAI-совместимый API

admin

promptfoo

v0.121.17

Framework Dev Tools Open Source

by promptfoo (open source)

✔ Node.js, Python, любые LLM через API

Инструмент для тестирования, оценки и red-teaming LLM-приложений. Позволяет сравнивать провайдеров, тестировать промпты на наборе тест-кейсов и автоматически находить уязвимости (джейлбрейки, prompt injection). Возможности: - Eval: …

GitHub Website Docs

# npm: npm install -g promptfoo # Инициализация проекта: promptfoo init # Запуск оценки: promptfoo eval # Просмотр результатов в браузере: promptfoo view # Red team тест: promptfoo redteam run

admin

smolagents

v1.26.0

Framework Dev Tools Open Source

by Hugging Face (open source)

✔ Python 3.10+, любые LLM через HF или API

Минималистичный фреймворк для создания AI-агентов от HuggingFace. Философия: минимум абстракций, максимум гибкости. Агент как одна функция, а не граф из сотни классов. Особенности: - CodeAgent: …

GitHub Docs

# pip: pip install smolagents # Пример CodeAgent: from smolagents import CodeAgent, tool, HfApiModel @tool def multiply(a: int, b: int) -> int: """Умножает два числа.""" return a * b agent = CodeAgent( tools=[multiply], model=HfApiModel("Qwen/Qwen2.5-Coder-32B-Instruct") ) agent.run("сколько будет 123 * 456?")

admin

vLLM

v0.26.0

Framework Dev Tools Open Source

by vLLM Project (UC Berkeley)

✔ OpenAI API, HuggingFace models, множество GPU-бэкендов

Инференс-движок для больших языковых моделей с экстремальной пропускной способностью: ключевая технология — PagedAttention, управляющая памятью GPU как виртуальной памятью ОС, что позволяет обслуживать в разы …

GitHub

pip install vllm vllm serve meta-llama/Llama-3.1-8B-Instruct # Поднимает OpenAI-совместимый API на localhost:8000

admin

Категории

Сортировка

Тип

Доступ