AI Toolkit

v0.14.0

Framework Dev Tools Бесплатно

by AG2 Community

✔ Python 3.9+, OpenAI, Azure, Gemini, Anthropic, Ollama

Мультиагентный фреймворк для создания систем, где несколько LLM-агентов ведут диалог и совместно решают задачи. Поддерживает человека в цикле (human-in-the-loop), выполнение кода в изолированной среде, групповой …

GitHub (AG2) Документация Сайт

# pip (AG2 — активно поддерживаемый форк) pip install ag2 # Или оригинальный пакет Microsoft pip install pyautogen # С поддержкой Docker-санбокса для выполнения кода pip install 'ag2[docker]' # С поддержкой всех LLM-провайдеров pip install 'ag2[openai,anthropic,gemini,ollama]' # Пример: два агента решают задачу from autogen import AssistantAgent, UserProxyAgent assistant = AssistantAgent( name="assistant", llm_config={"model": "gpt-4o-mini", "api_key": "YOUR_KEY"} ) user_proxy = UserProxyAgent( name="user_proxy", human_input_mode="NEVER", code_execution_config={"work_dir": "coding", "use_docker": False} ) user_proxy.initiate_chat( assistant, message="Write a Python script that finds prime numbers up to 100" )

admin

Axolotl

v0.17.0

Framework Dev Tools Open Source

by OpenAccess AI Collective

✔ Llama, Mistral, Falcon, Phi, Gemma, Qwen

Фреймворк для дообучения (fine-tuning) языковых моделей. Поддерживает LoRA, QLoRA, полный файн-тюнинг, DPO, RLHF и другие техники. Конфигурация через YAML-файлы, встроенная интеграция с HuggingFace, поддержка мультиGPU …

GitHub Документация

pip install axolotl # или из источника git clone https://github.com/axolotl-ai-cloud/axolotl cd axolotl && pip install -e ".[flash-attn,deepspeed]" # Запуск обучения по конфигу axolotl train config.yaml # Примеры конфигов: examples/llama-3/

admin

Context7

v1.0.30

MCP MCP Servers Open Source

MCP-сервер для доступа к актуальной документации библиотек прямо в контексте LLM. Вместо устаревших обучающих данных — живые, версионированные docs.

GitHub Сайт

# Авто-настройка (рекомендуется): npx ctx7 setup # Claude Desktop — claude_desktop_config.json: { "mcpServers": { "context7": { "command": "npx", "args": ["-y", "@upstash/context7-mcp"] } } } # Claude Code (CLI): claude mcp add context7 -- npx -y @upstash/context7-mcp # OpenCode — ~/.config/opencode/opencode.json: { "mcp": { "context7": { "type": "local", "command": ["npx", "-y", "@upstash/context7-mcp"] } } }

admin

Continue

v2.0.0-vscode

Plugin Dev Tools Open Source ★

by Continue.dev

✔ VSCode, JetBrains, Claude, GPT-4, Llama

Continue — open-source AI code assistant для VSCode и JetBrains. Подключает любую LLM (Claude, GPT-4, Ollama) прямо в IDE. - Автодополнение (Tab) на базе LLM …

GitHub continue.dev

# VSCode: Extensions -> Continue -> Install # JetBrains: Settings -> Plugins -> Continue # ~/.continue/config.json: {"models":[{"title":"Claude","provider":"anthropic","model":"claude-sonnet-4-6"}]}

kassavir

CrewAI

v1.15.1

Framework Dev Tools Бесплатно

by crewAI Inc

✔ Python 3.10+, OpenAI, Anthropic, Ollama, LiteLLM

Фреймворк для оркестрации автономных AI-агентов, работающих совместно как команда. Каждый агент получает роль, цель и набор инструментов; CrewAI координирует их взаимодействие, делегирование задач и последовательность …

GitHub Документация Сайт

# pip pip install crewai # pip с дополнительными инструментами (поиск, scraping и т.д.) pip install 'crewai[tools]' # Проверка установки crewai --version # Создать новый проект crewai create crew my_crew cd my_crew # Запустить команду агентов crewai run # Пример минимального кода # pip install crewai langchain-openai from crewai import Agent, Task, Crew, Process researcher = Agent( role='Researcher', goal='Find and summarize information', backstory='Expert at finding relevant information', verbose=True ) task = Task( description='Research the latest trends in AI agents', expected_output='A bullet-point summary of 5 key trends', agent=researcher ) crew = Crew(agents=[researcher], tasks=[task], process=Process.sequential) result = crew.kickoff() print(result)

admin

DSPy

v3.2.1

Framework Dev Tools Open Source

by Stanford NLP (open source)

✔ Python 3.10+, любые LLM через API

Фреймворк для программирования языковых моделей вместо их промптирования. Вместо написания промптов вручную — описываете задачу через сигнатуры и пайплайны, а DSPy оптимизирует промпты автоматически. Концепции: …

GitHub Docs

# pip: pip install dspy # Пример: import dspy lm = dspy.LM("anthropic/claude-opus-4-5") dspy.configure(lm=lm) class QA(dspy.Signature): """Ответ на вопрос.""" question: str = dspy.InputField() answer: str = dspy.OutputField() qa = dspy.ChainOfThought(QA) print(qa(question="Что такое RAG?").answer)

admin

Dify

v1.16.0

Framework Dev Tools Open Source

by LangGenius

✔ OpenAI, Anthropic, локальные модели через Ollama/vLLM и др.

Открытая платформа для визуальной разработки agentic-приложений на LLM: конструктор workflow, RAG-пайплайны, управление промптами и моделями — всё в едином рабочем пространстве без необходимости писать инфраструктурный …

GitHub

git clone https://github.com/langgenius/dify.git cd dify/docker cp .env.example .env docker compose up -d # Веб-интерфейс на localhost

admin

Guidance

v0.3.2

Framework AI Assistants Open Source

by guidance-ai / Microsoft (open source)

✔ Python 3.8+, transformers, llama.cpp, OpenAI, Azure

Guidance — фреймворк для контролируемой генерации текста с языковыми моделями. Позволяет интерливать генерацию и логику: ветвления, циклы, констрейнты — всё как часть одной программы на …

GitHub

# pip: pip install guidance # С поддержкой llama.cpp: pip install "guidance[llamacpp]" # Пример: import guidance from guidance import models, gen, select lm = models.LlamaCpp("model.gguf") with guidance.system(): lm += "You are a helpful assistant." with guidance.user(): lm += "Is the sky blue? Answer yes or no." with guidance.assistant(): lm += select(["yes", "no"], name="answer") print(lm["answer"]) # "yes"

admin

LLM Course

Skill AI Assistants Open Source ★

by Maxime Labonne (community)

✔ Python, Google Colab, Jupyter

Лучший бесплатный курс по LLM в формате GitHub-репо: от основ трансформеров до деплоя production-моделей. Более 200 ресурсов, Colab-ноутбуки, roadmap. Три трека: - LLM Scientist: архитектура, …

GitHub Website

# Открыть в браузере: # https://github.com/mlabonne/llm-course # Клонировать ноутбуки: git clone https://github.com/mlabonne/llm-course # Запустить ноутбук в Google Colab: # открыть .ipynb файл → File → "Open in Colab" # Локально (Jupyter): pip install jupyter jupyter notebook

admin

Letta

v0.16.8

Framework Dev Tools Open Source

by Letta AI

✔ OpenAI, Anthropic и другие LLM-провайдеры

Платформа для агентов с настоящей долговременной памятью (бывший MemGPT): управляет контекстным окном LLM подобно тому, как ОС управляет виртуальной памятью — автоматически выгружая и подгружая …

GitHub

pip install letta letta server # либо через Docker: docker run -p 8283:8283 letta/letta:latest

admin

LiteLLM

v1.90.0

Framework Dev Tools Open Source ★

by BerriAI (open source)

✔ Python, 100+ LLM провайдеров

Единый OpenAI-совместимый API для 100+ LLM-провайдеров. Переключай модели одной строкой без изменения кода — плюс прокси, балансировка нагрузки, fallback и мониторинг. Возможности: - Единый интерфейс: …

GitHub Docs

# pip: pip install litellm # Пример: from litellm import completion # OpenAI: completion(model="gpt-4o", messages=[{"role": "user", "content": "Hi"}]) # Anthropic — та же функция: completion(model="claude-opus-4-5", messages=[{"role": "user", "content": "Hi"}]) # Ollama: completion(model="ollama/llama3", messages=[...]) # Запустить прокси: litellm --model anthropic/claude-opus-4-5 # → слушает на http://0.0.0.0:4000 (OpenAI-совместимый)

admin

LocalAI

v4.5.6

Assistant AI Assistants Open Source ★

by mudler (open source)

✔ Linux, macOS, Windows, Docker — CPU/GPU (CUDA, ROCm, Metal)

Самохостируемая OpenAI-совместимая REST API для запуска LLM, изображений, аудио и эмбеддингов локально. Заменяет OpenAI API без изменений в коде — достаточно поменять base URL. Возможности: …

GitHub Website

# Docker (быстрый старт): docker run -p 8080:8080 \ -v $PWD/models:/build/models \ localai/localai:latest-aio-cpu # С GPU (CUDA): docker run --gpus all -p 8080:8080 \ localai/localai:latest-aio-gpu-nvidia-cuda-12 # Загрузить модель через галерею: curl http://localhost:8080/models/apply -d '{"id": "gpt4all-j"}' # Использовать как OpenAI API: from openai import OpenAI client = OpenAI(base_url="http://localhost:8080/v1", api_key="none") response = client.chat.completions.create( model="gpt-4", messages=[{"role": "user", "content": "Hello"}] )

admin

Категории

Сортировка

Тип

Доступ