Bifrost AI Gateway

Самый быстрый способ создания AI-приложений, которые никогда не выходят из строя

Bifrost — это высокопроизводительный AI-шлюз, который объединяет доступ к 23+ провайдерам (OpenAI, Anthropic, AWS Bedrock, Google Vertex и другим) через единый API, совместимый с OpenAI. Разверните за секунды без конфигурации и получите автоматическое переключение при сбоях, балансировку нагрузки, семантическое кэширование и функции корпоративного уровня.

Быстрый старт

Перейдите от нуля к готовому к производству AI-шлюзу менее чем за минуту.

Шаг 1: Запустите Bifrost Gateway

# Install and run locally
npx -y @maximhq/bifrost

# Or use Docker
docker run -p 8080:8080 maximhq/bifrost

Шаг 2: Настройте через веб-интерфейс

# Open the built-in web interface
open http://localhost:8080

Шаг 3: Совершите первый API-вызов

curl -X POST http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4o-mini",
    "messages": [{"role": "user", "content": "Hello, Bifrost!"}]
  }'

Вот и всё! Ваш AI-шлюз запущен с веб-интерфейсом для визуальной настройки, мониторинга в реальном времени и аналитики.

Полные руководства по настройке:

• Настройка шлюза — развёртывание HTTP API
• Настройка Go SDK — прямая интеграция

Корпоративные развёртывания

Bifrost поддерживает корпоративные частные развёртывания для команд, запускающих производственные AI-системы в больших масштабах. В дополнение к частным сетям, пользовательским средствам контроля безопасности и управлению, корпоративные развёртывания открывают доступ к расширенным возможностям, включая адаптивную балансировку нагрузки, кластеризацию, защитные механизмы, MCP-шлюз и другие функции, разработанные для масштабируемости и надёжности корпоративного уровня.

Изучить корпоративные возможности

Ключевые возможности

Основная инфраструктура

• Единый интерфейс — единый API, совместимый с OpenAI, для всех провайдеров
• Поддержка нескольких провайдеров — OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure, Cerebras, Cohere, Mistral, Ollama, Groq и другие
• Автоматическое переключение при сбоях — бесшовное переключение между провайдерами и моделями без простоев
• Балансировка нагрузки — интеллектуальное распределение запросов между несколькими API-ключами и провайдерами

Расширенные возможности

• Протокол контекста модели (MCP) — позволяет моделям AI использовать внешние инструменты (файловую систему, веб-поиск, базы данных)
• Семантическое кэширование — интеллектуальное кэширование ответов на основе семантического сходства для снижения затрат и задержек

• Поддержка мультимодальности - Поддержка текста, изображений, аудио и потоковой передачи через единый интерфейс.
• Пользовательские плагины - Расширяемая архитектура промежуточного ПО для аналитики, мониторинга и пользовательской логики.
• Управление доступом - Отслеживание использования, ограничение частоты запросов и детализированный контроль доступа.

Корпоративные решения и безопасность

• Управление бюджетом - Иерархический контроль затрат с помощью виртуальных ключей, команд и бюджетов клиентов.
• Управление пользователями (OIDC) - Вход через OAuth 2.0 / OIDC с фоновой синхронизацией каталогов для команд, ролей и бизнес-подразделений.
• Наблюдаемость - Встроенные метрики Prometheus, распределённая трассировка и комплексное логирование.
• Управление секретами - Безопасное управление API-ключами с помощью переменных окружения и секретов развёртывания.

Опыт разработчика

• Запуск без конфигурации - Мгновенный старт с динамической конфигурацией провайдеров.
• Замена без изменений - Замена API OpenAI/Anthropic/GenAI одной строкой кода.
• Интеграции с SDK - Встроенная поддержка популярных AI SDK без изменений кода.
• Гибкость конфигурации - Варианты конфигурации через веб-интерфейс, API или файлы.

Структура репозитория

Bifrost использует модульную архитектуру для максимальной гибкости:

bifrost/
├── npx/                 # NPX script for easy installation
├── core/                # Core functionality and shared components
│   ├── providers/       # Provider-specific implementations (OpenAI, Anthropic, etc.)
│   ├── schemas/         # Interfaces and structs used throughout Bifrost
│   └── bifrost.go       # Main Bifrost implementation
├── framework/           # Framework components for data persistence
│   ├── configstore/     # Configuration storage backends
│   ├── logstore/        # Request logging storage backends
│   └── vectorstore/     # Vector storages
├── transports/          # HTTP gateway and other interface layers
│   └── bifrost-http/    # HTTP transport implementation
├── ui/                  # Web interface for HTTP gateway
├── plugins/             # Extensible plugin system
│   ├── governance/      # Budget management and access control
│   ├── jsonparser/      # JSON parsing and manipulation utilities
│   ├── logging/         # Request logging and analytics
│   ├── maxim/           # Maxim's observability integration
│   ├── mocker/          # Mock responses for testing and development
│   ├── semanticcache/   # Intelligent response caching
│   └── telemetry/       # Monitoring and observability
├── docs/                # Documentation and guides
└── tests/               # Comprehensive test suites

Варианты начала работы

Выберите метод развёртывания, который подходит вашим нуждам:

1. Шлюз (HTTP API)

Лучше всего подходит для: Интеграции, не зависящей от языка программирования, микросервисов и промышленных развёртываний.

# NPX - Get started in 30 seconds
npx -y @maximhq/bifrost

# Docker - Production ready
docker run -p 8080:8080 -v $(pwd)/data:/app/data maximhq/bifrost

Возможности: Веб-интерфейс, мониторинг в реальном времени, управление несколькими провайдерами, запуск без конфигурации.

Подробнее: Руководство по настройке шлюза

2. Go SDK

Лучше всего подходит для: Прямой интеграции с Go для максимальной производительности и контроля.

go get github.com/maximhq/bifrost/core

Возможности: Нативные API Go, встраиваемое развёртывание, интеграция пользовательского промежуточного ПО.

Подробнее: Руководство по Go SDK

3. Замена без изменений

Лучше всего подходит для: Миграции существующих приложений без изменений кода.

# OpenAI SDK
- base_url = "https://api.openai.com"
+ base_url = "http://localhost:8080/openai"

# Anthropic SDK
- base_url = "https://api.anthropic.com"
+ base_url = "http://localhost:8080/anthropic"

# Google GenAI SDK
- api_endpoint = "https://generativelanguage.googleapis.com"
+ api_endpoint = "http://localhost:8080/genai"

Подробнее: Руководства по интеграции

Производительность

Bifrost добавляет практически нулевую нагрузку к вашим AI-запросам. В продолжительных тестах на 5 000 запросов в секунду шлюз добавлял всего 11 мкс задержки на запрос.

Основные показатели производительности:

• Идеальная успешность - 100% успешных запросов даже при 5k RPS.
• Минимальные накладные расходы - Менее 15 мкс дополнительной задержки на запрос.
• Эффективная очередь - Среднее время ожидания менее микросекунды.
• Быстрый выбор ключей - ~10 нс для выбора взвешенных API-ключей.

Полные бенчмарки: Анализ производительности

Документация

Полная документация: https://docs.getbifrost.ai

Быстрый старт

• Настройка шлюза - Развёртывание HTTP API за 30 секунд.
• Настройка Go SDK - Прямая интеграция с Go.
• Конфигурация провайдеров - Настройка нескольких провайдеров.

Возможности

• Поддержка нескольких провайдеров - Единый API для всех провайдеров.
• Интеграция MCP - Вызов внешних инструментов.

• Семантическое кэширование — Интеллектуальное кэширование ответов
• Резервные варианты и балансировка нагрузки — Функции обеспечения надёжности
• Управление бюджетом — Контроль затрат и управление

Интеграции

• OpenAI SDK — Прямая замена OpenAI
• Anthropic SDK — Прямая замена Anthropic
• AWS Bedrock SDK — Интеграция с AWS Bedrock
• Google GenAI SDK — Прямая замена GenAI
• LiteLLM SDK — Интеграция с LiteLLM
• LangChain SDK — Интеграция с LangChain

Корпоративные решения

• Пользовательские плагины — Расширение функциональности
• Кластеризация — Развёртывание на нескольких узлах
• Управление секретами — Безопасное хранение ключей
• Промышленное развёртывание — Масштабирование и мониторинг

Нужна помощь?

Присоединяйтесь к нашему Discord для получения поддержки сообщества и обсуждений.

Помощь доступна по следующим вопросам:

• Быстрая настройка и устранение неполадок
• Рекомендации по настройке и лучшие практики
• Обсуждения в сообществе и поддержка
• Оперативная помощь с интеграциями

Участие в разработке

Мы приветствуем любые виды вклада! Ознакомьтесь с нашим Руководством по участию, чтобы узнать:

• Как настроить среду разработки
• Соглашения по коду и лучшие практики
• Как отправлять pull-запросы
• Сборка и тестирование локально

Требования к разработке и инструкции по сборке доступны в Руководстве по настройке среды разработки.

Лицензия

Этот проект распространяется под лицензией Apache 2.0 — подробности см. в файле LICENSE.

Создано с ❤️ командой Maxim