Llamaport für MAC

Llamaport ist eine kleine Mac-App zum Ausführen und Herunterladen lokaler GGUF-Sprachmodelle. Sie baut auf llama-server aus dem Projekt llama.cpp auf: Sie listet die Modelle in deinem Modellordner, startet eines mit dem vollständigen Befehl sichtbar, bevor du auf Start drückst, zeigt während des Laufs, was es kostet, und lädt neue Modelle von Hugging Face mit Downloads, die nach einem Abbruch oder Neustart weiterlaufen. Sie liest die GGUF-Header direkt, sodass die Liste die echte Quantisierung, Kontextlänge und Mixture-of-Experts-Struktur zeigt statt Vermutungen aus dem Dateinamen.

Llamaport stammt von Muhammad Kamran und ist kostenlos und quelloffen unter der MIT-Lizenz. Version 0.7.0 ist die erste nach einer Neugestaltung, mit einer Seitenleiste für Library, Discover, Downloads, Activity Monitor und Settings und dem neuen Discover-Bildschirm zum Durchsuchen der GGUF-Repositorys auf Hugging Face. Es gibt zwei Downloads: einen für Apple Silicon und einen universellen für Macs mit Apple Silicon und Intel. Laut Entwickler wurde die Universal-Version noch nie auf einem Intel-Mac ausgeführt.

Llamaport ist eine Beta und nicht von Apple signiert, daher blockiert macOS den ersten Start; nutze „Dennoch öffnen“ unter Systemeinstellungen, Datenschutz & Sicherheit. llama.cpp ist nicht enthalten: Du brauchst ein installiertes llama-server, etwa über Homebrew (brew install llama.cpp). Die App führt jeweils ein Modell aus, hat kein eigenes Chatfenster (sie öffnet die Web-UI von llama.cpp) und greift nur auf öffentliche Hugging-Face-Repositorys zu.

Die wichtigsten Funktionen

Llamaport erspart das ständige Neutippen beim Ausführen lokaler Modelle mit llama-server.

• Modellbibliothek: Listet deine GGUF-Modelle mit echter Quantisierung, Kontextlänge und Größe.
• Sichtbarer Startbefehl: Zeigt den vollständigen llama-server-Befehl, bevor ein Modell startet.
• Voreinstellungen: Default, Best speed und Model suggested setzen die Werte, die niemand von Hand einstellen will.
• Test model: Prüft Prozess, Port, Health-Endpunkt, Modellliste und eine echte Chat-Antwort.
• Speicherberechnung: Berechnet den Bedarf von Gewichten und KV-Cache gegenüber dem, was die GPU wirklich nutzen kann.
• Fortsetzbare Downloads: Vier Range-Verbindungen, sha256-Prüfung und Fortsetzen nach Abbruch oder Neustart.
• Discover: GGUF-Repositorys auf Hugging Face durchsuchen, mit einer passend zu deinem Mac gewählten Quantisierung.
• Activity Monitor: Zeigt jeden llama-server auf dem Mac mit Speicher- und CPU-Nutzung.

Llamaport 0.7.0 ist das erste Release nach der Neugestaltung und das erste mit Discover.

• Discover durchsucht die GGUF-Repositorys auf Hugging Face live, mit Listen für Trends, meiste Downloads und meiste Likes, Filtern und Suche, und wählt eine Quantisierung, die in deine GPU passt.
• Neue Seitenleiste mit Library, Discover, Downloads, Activity Monitor und Settings sowie drei Voreinstellungen auf jedem Modellbildschirm.
• Activity Monitor listet jeden llama-server auf dem Mac mit Speicher und CPU.
• Darstellungseinstellungen mit fünf Paletten, hell oder dunkel, und einer durchscheinenden Seitenleiste.
• Netzwerkbefehle und das llama-server-Programm laufen nicht mehr im Haupt-Thread, und die Web-Ansicht der App hat eine Content Security Policy.