🤖 Jarvis — локальный голосовой ассистент

Английская версия

Голосовой ассистент на французском языке, который работает на твоей машине. Скажи « Hey Jarvis », говори естественно: он рассуждает с помощью LLM, использует расширяемый набор инструментов (умный дом, ПК, веб, телефон…) и отвечает тебе вслух. Два режима на выбор, одной строкой конфигурации: облако (Claude + ElevenLabs) или 100 % локально офлайн (Ollama + Piper).

🧠 Jarvis + Hermes. Для глубоких размышлений и исследований Jarvis делегирует задачи Hermes — делиберативному агенту, который работает локально (Docker-контейнер). Доктрина ясна: Hermes оркестрирует и думает; Jarvis владеет ключами и телом — действия всегда выполняет Jarvis, никогда Hermes, и в окружении Hermes нет никаких учётных данных (он читает Vault и безопасные инструменты, записывает только черновики).

Личный проект, публикуется как есть. Целевая платформа — Windows 11, требуется микрофон и (в облачном режиме) API-ключ Anthropic. Большинство интеграций опциональны и корректно отключаются, если не настроены.

✨ Возможности

• 🎙️ Всё голосом — активационное слово (openWakeWord), локальная транскрипция (Whisper), устные ответы
• 👁️ Видение экрана — «что это за ошибка?», «прочитай это», «переведи» (скриншот → LLM)
• 💡 Умный дом — Philips Hue (включение, яркость, цвет), световые атмосферы/сцены
• 🎬 Стриминг — управление OBS (эфир, запись, сцены, повторы)
• 🖥️ Управление ПК — запуск приложений, медиа/громкость, статистика GPU/CPU/RAM в реальном времени
• 📅 Календарь — Google Календарь по всем твоим календарям (включая подписки iCal), создание/удаление с подтверждением
• 📧 Почта — сводки Gmail и составление писем
• 💬 Discord — упоминания + сводка сообщений за день
• 📸 Instagram — подписчики и просмотры видео в сравнении со вчера (несколько аккаунтов)
• 🍽️ Бронирование через веб — бронирует рестораны/встречи через настоящий браузер (Playwright)
• 🌐 Браузерный ассистент — резюмирует/переводит активную вкладку, управляет вкладками, действует на страницах (твой настоящий Chrome)
• 📞 Телефонные звонки — Twilio: проиграть сообщение или провести настоящую беседу в реальном времени
• 🧠 Долговременная память — помнит твои предпочтения, близких людей, проекты
• 📱 Мост iPhone — отправляй идеи/заметки и команды из приложения «Быстрые команды» (Siri как пульт дистанционного управления)
• 🎭 Личности — саркастичный дворецкий, нейтральный, лаконичный — переключаются голосом
• 🏠 Присутствие — пингует твой телефон, запускает сцены, когда ты уходишь/возвращаешься
• 🌤️ Утилиты — погода, таймеры, дата/время
• 🔌 Сервер MCP — открывает инструменты умного дома/ПК для любого MCP-клиента (Claude Desktop, Hermes…)
• 🎬 Хаб контента — хранилище вдохновения из Insta/TikTok (скачивает, транскрибирует, индексирует), генерируемые идеи и сценарии, приём видео с YouTube (docs/hub_contenu.md)
• 🗂️ Отслеживание контента — видеоконвейер идея → сценарий → съёмка → монтаж → опубликовано, связанный с твоим календарём; «на каком я этапе?» (docs/suivi_contenu.md)
• 🤝 Делегирование Hermes — поручай размышления / глубокие исследования делиберативному агенту локально (доктрина: Jarvis держит ключи и тело, Hermes думает) (docs/hermes.md)
• 🧭 Локальная веб-панель (/panneau) — модели (LLM Ollama + Whisper, рекомендации в зависимости от VRAM), состояние цепочки, права доступа — доступна только локально (docs/panneau.md)
• 🔐 Многоуровневая безопасность — уровни N1/N2/N3 для каждого инструмента, отзываемое «всегда разрешать», бюджет LLM по каждому поставщику
• 💸 Маршрутизация и бюджеты — 4 бэкенда (локальный / гибридный / качество), учёт расходов день/месяц по каждому провайдеру (Claude, ElevenLabs, Twilio, Hermes), лимиты с голосовым оповещением на 80 % и автоматическое переключение в локальный режим при достижении лимита (docs/costs.md)
• ⏻ Выключение / пробуждение ПК — корректное выключение голосом (подтверждение N3, отменяемая задержка); пробуждение через умную розетку или Wake-on-LAN (docs/wol.md)
• ✋ Жесты руки — управление светом / медиа / OBS одним жестом через веб-камеру, 100 % локально (MediaPipe в изолированном подпроцессе, ни одно изображение не покидает компьютер) (docs/gestes.md)
• 🎵 Распознавание музыки — «что это за музыка?» (микрофон комнаты или звук из видео/reel через loopback), только по запросу (docs/musique.md)
• 🪟 Оверлей ответов — мини-плавающее окно, которое отображает письменно то, что говорит Jarvis, никогда не перехватывая фокус (поверх всех окон, прозрачное для кликов, невидимое при стриме), настраиваемый второй экран + визуальный беззвучный режим (docs/overlay.md)
• 🏠 Google Home / Nest — (⚠️ экспериментально) список устройств Nest + их состояние (docs/google_home.md)
• 🔵 Alexa / Echo — (через неофициальный API) объявления/TTS, медиа и управление устройствами через Рутины («включи кондиционер», «выключи телевизор») (docs/alexa.md)

🎬 Демо

📺 Видео / GIF демо появятся позже — заглушка.

🏗️ Архитектура

flowchart LR
Mic([🎙️ Micro]) --> WW[openWakeWord<br/>« Hey Jarvis »]
WW --> STT[faster-whisper<br/>STT — local]
STT --> LLM{{LLM<br/>Claude ☁️ OU Ollama 🏠}}
    LLM <-->|appels d'outils| TOOLS[🧰 Outils]
LLM --> TTS{{TTS<br/>ElevenLabs ☁️ OU Piper 🏠}}
    TTS --> SPK([🔊 Haut-parleurs])

    TOOLS -.-> HOME[💡 Hue / 🎬 OBS / 🖥️ PC]
    TOOLS -.-> NET[📅 Agenda / 📧 Mail / 💬 Discord / 📸 Instagram]
    TOOLS -.-> CDP[🌐 Chrome via CDP]
    TOOLS -.-> TW[📞 Appels Twilio]
TOOLS -.->|délègue la réflexion| HERMES[🧠 Hermes<br/>agent délibératif local]
    TOOLS -.-> MCP[[🔌 Serveur MCP]]
    HERMES -.->|lit les outils sûrs| MCP
    MCP -.-> EXT[Claude Desktop / autres clients]
PANEL[🧭 Panneau web local<br/>modèles · état · permissions] -.-> TOOLS

Jarvis держит ключи и тело (он исполняет); Hermes думает (размышления, поиск, анализ Vault). Hermes видит только безопасные инструменты, предоставляемые MCP-сервером Jarvis.

☁️ Облако vs 🏠 Локально

Переключение одной строкой: mode: local, hybride (по умолчанию) или qualite — или голосом «переключись в локальный». См. docs/local.md и docs/costs.md для честной оценки надёжности (модель 7B хорошо справляется с инструментами умного дома/ПК; функции с компьютерным зрением, такие как браузер и бронирования, всё же рекомендуются запускать в облаке).

Локальное железо (честно): Whisper medium ≈ 2–3 ГБ VRAM, qwen3.5:4b (Q4) ≈ 3 ГБ — карта на 6 ГБ (RTX 2060/3060) комфортно тянет обе модели. Для qwen3.5:9b (~6 ГБ) нужен больший запас. Piper работает в реальном времени на CPU. python scripts/doctor.py посоветует модель под вашу VRAM.

🚀 Быстрый старт

Предварительные требования: Python 3.13, uv, Windows 11, микрофон.

uv sync
uv run playwright install chromium        # pour les réservations / le navigateur
copy config.example.yaml config.yaml      # puis remplis ce dont tu as besoin
uv run python jarvis14.py

Скажи «Hey Jarvis». Единственная строго обязательная настройка — anthropic.cle (режим облака) или локальная модель (локальный режим). Всё остальное опционально.

Полный новичок? Посмотри INSTALL_WITH_AI.md — вставь его в любую бесплатную ИИ, и она установит всё шаг за шагом. Или запусти интерактивный установщик: python scripts/setup.py. Возникла проблема? python scripts/doctor.py проведёт диагностику.

🤝 Получить помощь от ИИ (бесплатно)

Для УСТАНОВКИ (никаких знаний не требуется) — вариант без каких-либо сложностей: открой любой бесплатный чатбот (Claude.ai, ChatGPT, Gemini), вставь содержимое INSTALL_WITH_AI.md и следуй указаниям.

Для ИЗМЕНЕНИЯ / доработки кода есть несколько бесплатных вариантов:

• 🏠 Cline или Aider + Ollama — ассистент для написания кода 100 % локальный и бесплатный, в дух проекта. Идеальный вариант, если хочешь оставаться офлайн.
• Gemini CLI — бесплатный, щедрые лимиты, агентный режим в терминале.
• GitHub Copilot Free — бесплатный уровень в VS Code.
• Cursor (бесплатный тариф) — удобен для знакомства, но ограничен.
• Claude Code — если он у тебя есть (именно он создал этот проект).

Никакой инструмент не навязывается: выбирай тот, который тебе подходит.

⚙️ Конфигурация

Всё находится в единственном config.yaml без версионирования (копируется из config.example.yaml, где документирован каждый ключ). Новые секции в конфиге: hermes (делегирование), integrations/hub (Vault + генерация), suivi (конвейер контента), securite.toujours (запомненные разрешения N2), budget.prix (стоимость LLM), serveur/pont_iphone. Руководства по интеграциям:

🛡️ Этика и безопасность

Доверие заложено изначально, а не добавлено поверх:

• Голосовое подтверждение перед любым необратимым действием (отправка письма, бронирование, удаление, звонок…).
• Звонки представляются честно: «Здравствуйте, я автоматизированный голосовой ассистент [имя]…» — никогда не выдаёт себя за человека.
• Никогда не вводятся пароли и банковские данные, никаких автоматических платежей.
• Защищённые домены (банк, налоги, здоровье) в твоём настоящем браузере = только чтение.
• Секреты и личные данные никогда не попадают в версионный контроль (config.yaml, память, логи, транскрипции звонков, OAuth-токены — всё добавлено в gitignore).
• По телефону Jarvis подтверждает только то, что ты одобрил до звонка.
• Уровни разрешений N1/N2/N3: у каждого инструмента свой уровень — N1 безопасный (автоматически, локально + iPhone), N2 чувствительный (подтверждение; «всегда разрешать» можно отозвать), N3 критичный (подтверждение каждый раз, никогда не запоминается, никогда удалённо). Выключение ПК, почта, звонки, бронирования = N3.
• Мост iPhone: удалённо выполняются только безопасные (N1) инструменты; любое чувствительное действие отклоняется («сделать голосом дома»). Украденный токен способен лишь включать/выключать свет.
• Изоляция Hermes: Hermes читает Vault и инструменты в режиме только чтения, записывает только черновики — никаких учётных данных в его окружении.

🗺️ Дорожная карта

• [x] Делегирование Hermes (локальный делиберативный агент) + шлюз Telegram (строгий белый список)
• [x] Хаб контента: хранилище вдохновения + генерация идей/сценариев + приём контента с YouTube
• [x] Отслеживание контента: пайплайн «идея → опубликовано», сверяется с календарём
• [x] Локальная веб-панель: модели · состояние цепочки · разрешения N1/N2/N3 · бюджет LLM
• [x] Корректное выключение ПК (N3, задержка с возможностью отмены) — пробуждение через умную розетку / Wake-on-LAN
• [ ] Управление видеолампами Godox (сейчас только Hue)
• [x] Заметки / идеи (+ мост iPhone через «Быстрые команды») — запланированные напоминания появятся позже
• [ ] Прямое управление умной розеткой через Jarvis (rallumer_pc со страховочной проверкой ping)
• [ ] Потоковый TTS фраза за фразой (см. docs/latency.md)
• [ ] Полностью локальный цикл управления браузером: зрение qwen3.5 уже читает текст кнопок (проверено) — осталось подтвердить полноценное управление
• [ ] Автообновление токенов Instagram между перезапусками (сейчас частично)

🤝 Участие в разработке

Добавить инструмент = один файл в tools/ с декоратором @outil(...) — он обнаруживается автоматически, никакой ручной привязки. Issues и PR приветствуются. Пожалуйста, никогда не коммитьте настоящие секреты (см. .gitignore).

📄 Лицензия

MIT — см. LICENSE.