Glafira for LLM Inference

Проверка, мониторинг и аудит открытого LLM-инференса в вашей сети.

Подключайтесь к серверам vLLM, SGLang и Ollama, проверяйте их, смотрите метрики GPU и их историю, объединяйте серверы и реплики в группы и проводите аудит того, что работает в вашей сети.

Скачать

Установщики этой версии ещё переезжают на новую площадку. Пока смотрите страницу релизов: glafira-tools/glafira-inference-releases