Glafira for LLM Inference

Offene LLM-Inferenz im eigenen Netz prüfen, überwachen und auditieren.

Verbinden Sie sich mit vLLM-, SGLang- und Ollama-Servern, prüfen Sie sie, beobachten Sie GPU-Metriken und ihren Verlauf, fassen Sie Server und Replikate zu Gruppen zusammen und auditieren Sie, was in Ihrem Netz läuft.

Herunterladen

Die Installer ziehen gerade auf die neue Plattform um. Bis dahin finden Sie sie auf der Release-Seite: glafira-tools/glafira-inference-releases