Glafira for LLM Inference
Проверка, мониторинг и аудит открытого LLM-инференса в вашей сети.
Подключайтесь к серверам vLLM, SGLang и Ollama, проверяйте их, смотрите метрики GPU и их историю, объединяйте серверы и реплики в группы и проводите аудит того, что работает в вашей сети.
Скачать
Установщики этой версии ещё переезжают на новую площадку. Пока смотрите страницу релизов: glafira-tools/glafira-inference-releases