MCP серверы, LSP, скиллы, плагины, AI-модели и другие инструменты
by vLLM Project (UC Berkeley)
✔ OpenAI API, HuggingFace models, множество GPU-бэкендов
Инференс-движок для больших языковых моделей с экстремальной пропускной способностью: ключевая технология — PagedAttention, управляющая памятью GPU как виртуальной памятью ОС, что позволяет обслуживать в разы …