Llamaport pour MAC

Llamaport est une petite app Mac pour exécuter et télécharger des modèles de langage GGUF en local. Elle s’appuie sur llama-server, du projet llama.cpp : elle liste les modèles de votre dossier de modèles, en lance un avec la commande complète affichée avant d’appuyer sur Start, montre ce qu’il consomme pendant qu’il tourne et télécharge de nouveaux modèles depuis Hugging Face avec des téléchargements qui reprennent après un arrêt forcé ou un redémarrage. Elle lit directement les en-têtes GGUF, si bien que la liste affiche la quantification, la longueur de contexte et la structure mixture-of-experts réelles, et non des suppositions tirées du nom du fichier.

Llamaport est réalisé par Muhammad Kamran et est gratuit et open source sous licence MIT. La version 0.7.0 est la première après une refonte, avec une barre latérale pour Library, Discover, Downloads, Activity Monitor et Settings, et le nouvel écran Discover pour parcourir les dépôts GGUF de Hugging Face. Deux téléchargements sont proposés : l’un pour Apple Silicon, l’autre universel pour les Mac Apple Silicon et Intel. Le développeur précise que la version universelle n’a jamais été lancée sur un Mac Intel.

Llamaport est une bêta et n’est pas signé par Apple, donc macOS bloque le premier lancement ; utilisez Ouvrir quand même dans Réglages Système, Confidentialité et sécurité. llama.cpp n’est pas inclus : il vous faut llama-server installé, par exemple avec Homebrew (brew install llama.cpp). L’app exécute un modèle à la fois, n’a pas de fenêtre de chat à elle (elle ouvre la Web UI de llama.cpp) et n’accède qu’aux dépôts publics de Hugging Face.

Fonctionnalités principales

Llamaport évite de retaper sans cesse les commandes pour exécuter des modèles locaux avec llama-server.

• Bibliothèque de modèles : Liste vos modèles GGUF avec leur quantification, longueur de contexte et taille réelles.
• Commande visible : Affiche la commande llama-server complète avant de lancer un modèle.
• Préréglages : Default, Best speed et Model suggested fixent les valeurs que personne ne veut régler à la main.
• Test model : Vérifie le processus, le port, le point de santé, la liste des modèles et une vraie réponse de chat.
• Calcul de la mémoire : Évalue les besoins des poids et du cache KV face à ce que le GPU peut réellement utiliser.
• Téléchargements avec reprise : Quatre connexions par plages, vérification sha256 et reprise après arrêt forcé ou redémarrage.
• Discover : Parcourez les dépôts GGUF de Hugging Face avec une quantification choisie pour votre Mac.
• Activity Monitor : Affiche chaque llama-server du Mac avec sa mémoire et son processeur.

Llamaport 0.7.0 est la première version après la refonte et la première avec Discover.

• Discover parcourt en direct les dépôts GGUF de Hugging Face, avec les listes tendances, plus téléchargés et plus aimés, des filtres et une recherche, et choisit une quantification adaptée à votre GPU.
• Nouvelle mise en page avec une barre latérale pour Library, Discover, Downloads, Activity Monitor et Settings, et trois préréglages sur l’écran de chaque modèle.
• Activity Monitor liste chaque llama-server du Mac avec sa mémoire et son processeur.
• Réglages d’apparence avec cinq palettes, clair ou sombre, et une barre latérale translucide.
• Les commandes réseau et le binaire llama-server ne tournent plus sur le fil principal, et la vue web de l’app a une Content Security Policy.