Glafira for LLM Inference
Offene LLM-Inferenz im eigenen Netz prüfen, überwachen und auditieren.
Verbinden Sie sich mit vLLM-, SGLang- und Ollama-Servern, prüfen Sie sie, beobachten Sie GPU-Metriken und ihren Verlauf, fassen Sie Server und Replikate zu Gruppen zusammen und auditieren Sie, was in Ihrem Netz läuft.
Herunterladen
Die Installer ziehen gerade auf die neue Plattform um. Bis dahin finden Sie sie auf der Release-Seite: glafira-tools/glafira-inference-releases