MetaLLM v2.0 — Фреймворк для тестирования безопасности ИИ/МО

MetaLLM — это фреймворк для тестирования безопасности, вдохновлённый Metasploit, специально разработанный для систем ИИ и машинного обучения. Он предоставляет 61 рабочий модуль, охватывающий атаки на промпты LLM, отравление RAG, эксплуатацию агентного ИИ, компрометацию инфраструктуры MLOps, тестирование безопасности API и сетевые атаки на уровне МО — всё это управляется через интерактивный CLI с автодополнением, отслеживанием сессий и структурированными отчётами, сопоставленными с MITRE ATLAS и OWASP LLM Top 10 2025.

Что отличает MetaLLM

Существуют и другие инструменты для тестирования безопасности ИИ. Вот чем MetaLLM отличается от них:

MetaLLM не заменяет ни один из этих инструментов. Он заполняет пробел: фреймворк, ориентированный на оператора, для практических красных команд ИИ, который охватывает всю поверхность атаки — от сетевой разведки до эксплуатации модели и сбора трофеев после эксплуатации.

Быстрый старт

Требования

• Python 3.10 или выше
• pip

Установка

git clone https://github.com/perfecXion-ai/MetaLLM.git
cd MetaLLM

python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate

pip install -r requirements.txt

Запуск

python metallm.py

Базовый рабочий процесс

metalllm> use exploit/llm/prompt_injection
metalllm exploit(prompt_injection)> show options
metalllm exploit(prompt_injection)> set TARGET_URL http://target.example.com/api/chat
metalllm exploit(prompt_injection)> set PROVIDER openai
metalllm exploit(prompt_injection)> set MODEL gpt-4
metalllm exploit(prompt_injection)> run

metalllm> sessions -l          # List active sessions
metalllm> sessions -i 1        # Interact with session 1
metalllm> report generate       # Generate assessment report

Команды CLI

Категории модулей

Модули эксплуатации (44)

LLM — 12 модулей

Agent / MCP — 10 модулей

Инфраструктура MLOps — 9 модулей

API — 3 модуля

Сеть — 5 модулей

Вспомогательные модули (16)

Сканер — 5 модулей

Фингерпринтинг — 4 модуля

Поиск — 3 модуля

Тестирование DoS — 3 модуля

Вспомогательные модули LLM — 2 модуля

Обзор архитектуры

MetaLLM/
├── metallm.py                  # Entry point -- launches interactive CLI
├── cli/
│   ├── console.py              # REPL with tab completion and command history
│   ├── commands.py             # Command implementations
│   ├── completer.py            # Tab completion engine
│   └── formatter.py            # Output formatting
├── metallm/
│   ├── base/                   # Base classes: Module, Target, Result, Option
│   └── core/
│       ├── module_loader.py    # Dynamic module discovery and loading
│       ├── session.py          # Session manager (active sessions, loot)
│       ├── db.py               # SQLite target database
│       ├── llm_client.py       # Unified LLM client (OpenAI, Anthropic, Ollama, Google, generic HTTP)
│       └── reporting.py        # Report generation with MITRE ATLAS + OWASP mapping
├── modules/
│   ├── exploits/               # 44 exploit modules
│   │   ├── llm/                # Prompt injection, jailbreaks, extraction
│   │   ├── rag/                # Vector injection, poisoning, corruption
│   │   ├── agent/              # Goal hijacking, MCP poisoning, RCE
│   │   ├── mlops/              # Pickle deser, MLflow, Jupyter, W&B
│   │   ├── api/                # Key extraction, excessive agency
│   │   └── network/            # Model extraction, adversarial examples
│   ├── auxiliary/              # 16 auxiliary modules
│   │   ├── scanner/            # API scanning, port scanning
│   │   ├── fingerprint/        # Model detection, filter detection
│   │   ├── discovery/          # Vector DB, registry, infra discovery
│   │   ├── dos/                # Token exhaustion, rate limits
│   │   └── llm/                # Fingerprinting, fuzzing
│   └── post/                   # 1 post-exploitation module
└── tests/                      # 120 unit + 17 integration tests

Ключевые компоненты

Унифицированный клиент LLM — Модули не выполняют прямые HTTP-запросы. LLMClient обрабатывает форматирование запросов для конкретных провайдеров: OpenAI, Anthropic, Ollama, Google (Gemini) и любых совместимых с OpenAI конечных точек. Модули вызывают client.send(prompt) и получают текст в ответ.

Менеджер сессий — После успешной эксплуатации создаётся сессия с хранилищем трофеев. Операторы могут просматривать список сессий, взаимодействовать с ними, переводить их в фоновый режим и закрывать — точно так же, как в Metasploit.

База данных целей — Постоянное хранение на основе SQLite для целей, заданий, находок и трофеев. Позволяет возобновить работу без повторного ввода информации о целях.

Движок отчётности — Генерирует самодостаточные отчёты в форматах HTML, Markdown и JSON. Каждая находка сопоставляется с техниками MITRE ATLAS (49 идентификаторов техник) и категориями OWASP LLM Top 10 2025.

Тестирование

MetaLLM включает 137 тестов: 120 юнит-тестов, покрывающих базовые классы, загрузку модулей и основной фреймворк, а также 17 интеграционных тестов, выполняющих реальные эксплойты против работающего экземпляра Ollama.

Запуск юнит-тестов

pytest tests/test_base.py -v

Запуск интеграционных тестов (требуется локальный Ollama с моделью llama3.2:1b)

ollama pull llama3.2:1b
pytest tests/test_integration_ollama.py -v -s -m integration

Интеграционные тесты проверяют работоспособность модулей от начала до конца:

• Извлечение системного промпта — Запускает все техники извлечения против известного системного промпта. Проверяет, что модуль извлекает распознаваемый контент (например, ключевые слова из целевого промпта).
• Обход кодировок — Тестирует base64, ROT13, шестнадцатеричные, юникод и другие техники кодирования. Проверяет выполнение всех техник без ошибок.
• FlipAttack — Тестирует реверсирование слов, сегментов и все техники переворота. Проверяет выполнение нескольких техник и оценку результатов.
• Адаптивный джейлбрейк — Запускает стратегии крещендо и наращивания контекста в течение нескольких ходов беседы. Проверяет управление состоянием в многоходовых диалогах и чередование сообщений пользователя и ассистента.
• Клиент LLM — Прямые тесты против Ollama: базовая отправка, влияние системного промпта, история беседы и время отклика.

Это не мок-тесты. Каждый тест отправляет реальные промпты реальной модели и проверяет реальные ответы.

Ответственное использование

MetaLLM — это инструмент для тестирования безопасности. Он предназначен исключительно для авторизованного использования.

Требования к использованию: - Получите явное письменное разрешение перед тестированием любой системы, которая вам не принадлежит - Проводите тестирование только в авторизованных средах - Следуйте практике скоординированного раскрытия уязвимостей для любых находок - Соблюдайте все применимые законы и нормативные акты - Используйте результаты для улучшения защиты, а не для причинения вреда

Не используйте MetaLLM для: - Несанкционированного доступа к любым системам - Атак на производственные системы без разрешения - Кражи или эксфильтрации данных - Любой деятельности, нарушающей применимое законодательство

Авторы не несут ответственности за неправомерное использование. Пользователи несут полную ответственность за соблюдение всех применимых законов и нормативных актов.

Участие в разработке

Приветствуются любые вклады. Чтобы добавить модуль:

1. Сделайте форк репозитория
2. Создайте ветку для новой функции
3. Напишите модуль, следуя существующим шаблонам в modules/exploits/base.py
4. Добавьте тесты
5. Отправьте пулл-реквест

Все модули должны определять: name, description, author, options и реализовывать метод run(). Модули эксплойтов также должны реализовывать метод check() для неразрушающей проверки уязвимостей.

Лицензия

Лицензия MIT. Подробности в файле LICENSE.

Благодарности

Автор: Scott Thornton Контакт: scott@perfecxion.ai