AI Toolkit

2 инструментов Сбросить

Ouroboros

v0.51.14

MCP MCP Servers Open Source

by Q00 (community)

✔ Claude Desktop, Claude Code, OpenCode, Codex CLI, Gemini CLI, Copilot, Kiro, macOS, Linux

Agent OS: агент становится умнее сам по себе через interview-gated staged evaluation и budgeted evolution loop, без утечки эталонного результата в контракт успеха. MCP-сервер, 13 …

GitHub

# Основной способ (одна команда, всё определяется автоматически) curl -fsSL https://raw.githubusercontent.com/Q00/ouroboros/main/scripts/install.sh | OUROBOROS_INSTALL_REF=readme bash # Одноразовая настройка после установки (внутри агента-кодера или терминала) ooo setup # Альтернатива: pipx pipx install 'ouroboros-ai[mcp]' ouroboros setup # Альтернатива: Homebrew (macOS/Linux) brew tap q00/tap brew install ouroboros-ai ouroboros setup

admin ★ 5.6k

lm-evaluation-harness

v0.4.12

Tool Dev Tools Open Source

by EleutherAI (open source)

✔ Python, HuggingFace, OpenAI, любые LLM

Стандартный фреймворк для оценки и бенчмаркинга LLM. Используется исследователями для сравнения моделей — 400+ датасетов из коробки, единый интерфейс. Возможности: - 400+ встроенных задач: MMLU, …

GitHub

# pip: pip install lm-eval # Запуск оценки (HuggingFace модель): lm_eval --model hf \ --model_args pretrained=mistralai/Mistral-7B-v0.1 \ --tasks mmlu,hellaswag \ --device cuda:0 \ --batch_size 8 # OpenAI: lm_eval --model openai-completions \ --model_args model=gpt-4o \ --tasks gsm8k # Результаты сохраняются в results.json

admin ★ 13.1k

Категории

Сортировка

Тип

Доступ