MCP серверы, LSP, скиллы, плагины, AI-модели и другие инструменты
by ggml-org / Georgi Gerganov
✔ GGUF-модели (Llama, Mistral, Qwen и др.), CPU/CUDA/Metal/Vulkan
Инференс LLM на чистом C/C++ без тяжёлых зависимостей — работает буквально везде: от смартфона и Raspberry Pi до серверных GPU-кластеров. Формат GGUF и квантование, которые …