l

llama.cpp✓

Local Georgi Gerganov

Port of Facebook's LLaMA model in C/C++. The foundational project that enables running LLMs on consumer hardware (Mac, Windows, Linux, Android) with high performance.

Official Site ↗ Back to Directory
Free Limits
Hardware dependent性能
Community Votes
283

■ Available Models

Any GGUF Model

■ Tags

CoreActionPerformanceC++

■ Related Providers

O
Ollama
本地 AI 的标准。直接在 Mac、Linux 或 Windows 机器上运行 Llama 3、Mistral、Gemma 和数百...
Local
L
LM Studio
发现、下载和运行本地大语言模型的最简单方式。拥有精美的 UI、GPU 卸载功能，以及内置的模拟 OpenAI API 的本地服务器...
Local
J
Jan.ai
在桌面上本地运行开源 AI。Jan 是一个 100% 离线运行的 ChatGPT 替代品，注重隐私，提供 OpenAI 兼容的本地...
Local
G
GPT4All
免费使用、本地运行、注重隐私的聊天机器人。无需 GPU 或网络，使用 CPU 量化技术在主流消费级硬件上运行。...
Local