llama.cpp
Inferência de LLMs em C/C++, eficiente até em CPU comum.
Motor de inferência em C/C++ para modelos de linguagem, com quantização e suporte a CPU, GPU e Apple Silicon; base de várias ferramentas locais.
Quando usar
Para controle fino e máximo desempenho ao rodar modelos locais em hardware variado.
Quando evitar
Se quer algo simples de instalar e usar; Ollama e LM Studio embalam isso melhor.
Alternativas
Fazem um trabalho parecido. Compare antes de escolher.
Roda modelos de linguagem na sua máquina com um comando.
CLIOpen source★ 185,4 mil
Relacionadas
Da mesma área, com propósito próximo.
Aplicativo gráfico para baixar e conversar com modelos locais.
AppGrátisFramework para encadear LLMs, ferramentas e dados.
FrameworkOpen source★ 148,7 milCliente de API open source que guarda coleções em arquivos, no Git.
AppOpen source★ 48 milKit TypeScript para apps com IA, com streaming e vários provedores.
BibliotecaOpen source★ 27,6 mil