Llamaport para MAC

O Llamaport é um pequeno app para Mac que executa e baixa modelos de linguagem GGUF locais. Ele funciona sobre o llama-server, do projeto llama.cpp: lista os modelos da sua pasta de modelos, inicia um com o comando completo visível antes de você clicar em Start, mostra quanto ele consome enquanto roda e baixa novos modelos do Hugging Face com downloads que continuam depois de um encerramento forçado ou de uma reinicialização. Ele lê os cabeçalhos GGUF diretamente, então a lista mostra a quantização, o tamanho de contexto e a estrutura mixture-of-experts reais, e não palpites a partir do nome do arquivo.

O Llamaport é feito por Muhammad Kamran e é gratuito e de código aberto sob a licença MIT. A versão 0.7.0 é a primeira depois de um redesenho, com uma barra lateral para Library, Discover, Downloads, Activity Monitor e Settings, e a nova tela Discover para explorar os repositórios GGUF do Hugging Face. Há dois downloads: um para Apple Silicon e um universal para Macs com Apple Silicon e Intel. O desenvolvedor diz que a versão universal nunca foi executada em um Mac com Intel.

O Llamaport é um beta e não é assinado pela Apple, então o macOS bloqueia a primeira abertura; use Abrir Mesmo Assim em Ajustes do Sistema, Privacidade e Segurança. Ele não inclui o llama.cpp: você precisa ter o llama-server instalado, por exemplo com o Homebrew (brew install llama.cpp). Ele executa um modelo por vez, não tem janela de chat própria (abre a Web UI do llama.cpp) e só acessa repositórios públicos do Hugging Face.

Principais recursos

O Llamaport poupa você de redigitar comandos para rodar modelos locais com o llama-server.

• Biblioteca de modelos: Lista seus modelos GGUF com quantização, tamanho de contexto e tamanho reais.
• Comando visível: Mostra o comando completo do llama-server antes de iniciar um modelo.
• Predefinições: Default, Best speed e Model suggested definem os ajustes que ninguém quer configurar à mão.
• Test model: Verifica o processo, a porta, o endpoint de saúde, a lista de modelos e uma resposta de chat real.
• Cálculo de memória: Calcula o que os pesos e o cache KV precisam em relação ao que a GPU pode realmente usar.
• Downloads retomáveis: Quatro conexões por intervalos, verificação sha256 e retomada após encerramento forçado ou reinicialização.
• Discover: Explore repositórios GGUF do Hugging Face com uma quantização escolhida para o seu Mac.
• Activity Monitor: Mostra cada llama-server do Mac com seu uso de memória e CPU.

O Llamaport 0.7.0 é a primeira versão depois do redesenho e a primeira com o Discover.

• O Discover explora ao vivo os repositórios GGUF do Hugging Face, com listas de tendências, mais baixados e mais curtidos, filtros e busca, e escolhe uma quantização que cabe na sua GPU.
• Novo layout com barra lateral para Library, Discover, Downloads, Activity Monitor e Settings, e três predefinições na tela de cada modelo.
• O Activity Monitor lista cada llama-server do Mac com sua memória e CPU.
• Ajustes de aparência com cinco paletas, modo claro ou escuro e uma barra lateral translúcida.
• Os comandos de rede e o binário do llama-server agora rodam fora da thread principal, e a visualização web do app tem uma Content Security Policy.