Promptfoo: Оценка и тестирование на проникновение LLM

promptfoo — это CLI и библиотека для оценки и тестирования на проникновение LLM-приложений. Прекратите метод проб и ошибок — начните выпускать безопасные и надежные ИИ-приложения.

Сайт · Начало работы · Тестирование на проникновение · Документация · Discord

Promptfoo теперь является частью OpenAI. Promptfoo остается открытым исходным кодом с лицензией MIT. Прочитайте обновление компании.

Быстрый старт

Требуется Node.js ^20.20.0 или >=22.22.0 для использования npm и npx.

npm install -g promptfoo
promptfoo init --example getting-started

Также доступно через brew install promptfoo и pip install promptfoo. Вы также можете использовать npx promptfoo@latest для запуска любой команды без установки.

Большинство провайдеров LLM требуют ключ API. Установите его как переменную окружения:

export OPENAI_API_KEY=sk-abc123

После перехода в директорию с примером выполните оценку и просмотрите результаты:

cd getting-started
promptfoo eval
promptfoo view

Подробнее в разделе Начало работы (оценки) или Тестирование на проникновение (сканирование уязвимостей).

Что можно делать с Promptfoo?

• Тестировать промпты и модели с помощью автоматизированных оценок
• Обеспечивать безопасность LLM-приложений с помощью тестирования на проникновение и сканирования уязвимостей
• Сравнивать модели бок о бок (OpenAI, Anthropic, Azure, Bedrock, Ollama и другие)
• Автоматизировать проверки в CI/CD
• Просматривать pull request на предмет проблем безопасности и соответствия, связанных с LLM, с помощью сканирования кода
• Делиться результатами со своей командой

Вот как это выглядит в действии:

Это также работает в командной строке:

Он также может генерировать отчеты об уязвимостях безопасности:

Почему Promptfoo?

• Ориентирован на разработчиков: Быстрый, с такими функциями, как перезагрузка в реальном времени и кэширование
• Конфиденциальный: Оценки LLM выполняются на 100% локально — ваши промпты никогда не покидают ваш компьютер
• Гибкий: Работает с любым LLM API или языком программирования
• Проверенный временем: Используется в LLM-приложениях, обслуживающих 10 миллионов+ пользователей в продакшене
• На основе данных: Принимайте решения на основе метрик, а не интуиции
• Открытый исходный код: Лицензия MIT, активное сообщество

Узнайте больше

• Начало работы
• Полная документация
• Руководство по тестированию на проникновение
• Использование CLI
• Пакет для Node.js
• Поддерживаемые модели
• Руководство по сканированию кода

Вклад

Мы приветствуем вклад! Ознакомьтесь с нашим руководством по вкладу, чтобы начать.

Присоединяйтесь к нашему сообществу Discord для получения помощи и обсуждений.