AI Toolkit

2 инструментов Сбросить

LocalAI

v4.5.6

Assistant AI Assistants Open Source ★

by mudler (open source)

✔ Linux, macOS, Windows, Docker — CPU/GPU (CUDA, ROCm, Metal)

Самохостируемая OpenAI-совместимая REST API для запуска LLM, изображений, аудио и эмбеддингов локально. Заменяет OpenAI API без изменений в коде — достаточно поменять base URL. Возможности: …

GitHub Website

# Docker (быстрый старт): docker run -p 8080:8080 \ -v $PWD/models:/build/models \ localai/localai:latest-aio-cpu # С GPU (CUDA): docker run --gpus all -p 8080:8080 \ localai/localai:latest-aio-gpu-nvidia-cuda-12 # Загрузить модель через галерею: curl http://localhost:8080/models/apply -d '{"id": "gpt4all-j"}' # Использовать как OpenAI API: from openai import OpenAI client = OpenAI(base_url="http://localhost:8080/v1", api_key="none") response = client.chat.completions.create( model="gpt-4", messages=[{"role": "user", "content": "Hello"}] )

admin

whisper.cpp

v1.9.1

Skill AI Assistants Open Source ★

by Georgi Gerganov (open source)

✔ Linux, macOS, Windows, Raspberry Pi, Android — CPU/GPU

Высокопроизводительная C++ реализация модели OpenAI Whisper для распознавания речи (STT) без зависимостей. Работает полностью локально, поддерживает все размеры моделей от tiny до large-v3. Возможности: - …

GitHub

# Сборка из исходников: git clone https://github.com/ggerganov/whisper.cpp cd whisper.cpp && make # Загрузить модель: bash ./models/download-ggml-model.sh base # Распознать аудио: ./main -m models/ggml-base.bin -f audio.wav # С субтитрами SRT: ./main -m models/ggml-base.bin -f audio.mp4 -osrt # Python-пакет: pip install pywhispercpp # С GPU (CUDA): make GGML_CUDA=1

admin

Категории

Сортировка

Тип

Доступ