Llamaport para MAC

Llamaport es una pequeña app para Mac que ejecuta y descarga modelos de lenguaje GGUF locales. Funciona sobre llama-server, del proyecto llama.cpp: muestra los modelos de tu carpeta de modelos, abre uno con el comando completo visible antes de pulsar Start, indica lo que consume mientras funciona y descarga modelos nuevos de Hugging Face con descargas que se reanudan tras forzar el cierre o reiniciar. Lee directamente las cabeceras GGUF, así que la lista muestra la cuantización, la longitud de contexto y la estructura mixture-of-experts reales, no suposiciones a partir del nombre del archivo.

Llamaport está hecho por Muhammad Kamran y es gratuito y de código abierto con licencia MIT. La versión 0.7.0 es la primera tras un rediseño, con una barra lateral para Library, Discover, Downloads, Activity Monitor y Settings, y la nueva pantalla Discover para explorar los repositorios GGUF de Hugging Face. Hay dos descargas: una para Apple Silicon y otra universal para Mac con Apple Silicon e Intel. El desarrollador indica que la versión universal nunca se ha ejecutado en un Mac con Intel.

Llamaport es una beta y no está firmado por Apple, así que macOS bloquea el primer arranque; usa Abrir igualmente en Ajustes del Sistema, Privacidad y seguridad. No incluye llama.cpp: necesitas tener instalado llama-server, por ejemplo con Homebrew (brew install llama.cpp). Ejecuta un modelo cada vez, no tiene ventana de chat propia (abre la Web UI de llama.cpp) y solo accede a repositorios públicos de Hugging Face.

Funciones principales

Llamaport te ahorra volver a escribir comandos para ejecutar modelos locales con llama-server.

• Biblioteca de modelos: Muestra tus modelos GGUF con su cuantización, longitud de contexto y tamaño reales.
• Comando visible: Muestra el comando completo de llama-server antes de iniciar un modelo.
• Ajustes predefinidos: Default, Best speed y Model suggested fijan los valores que nadie quiere ajustar a mano.
• Test model: Comprueba el proceso, el puerto, el endpoint de salud, la lista de modelos y una respuesta de chat real.
• Cálculo de memoria: Calcula lo que necesitan los pesos y la caché KV frente a lo que la GPU puede usar de verdad.
• Descargas reanudables: Cuatro conexiones por rangos, comprobación sha256 y reanudación tras forzar el cierre o reiniciar.
• Discover: Explora repositorios GGUF de Hugging Face con una cuantización elegida para tu Mac.
• Activity Monitor: Muestra cada llama-server del Mac con su uso de memoria y CPU.

Llamaport 0.7.0 es la primera versión tras el rediseño y la primera con Discover.

• Discover explora en directo los repositorios GGUF de Hugging Face, con listas de tendencias, más descargados y más valorados, filtros y búsqueda, y elige una cuantización que cabe en tu GPU.
• Nuevo diseño con barra lateral para Library, Discover, Downloads, Activity Monitor y Settings, y tres ajustes predefinidos en la pantalla de cada modelo.
• Activity Monitor muestra cada llama-server del Mac con su memoria y CPU.
• Ajustes de apariencia con cinco paletas, modo claro u oscuro y una barra lateral translúcida.
• Los comandos de red y el binario de llama-server ya no se ejecutan en el hilo principal, y la vista web de la app tiene una Content Security Policy.