标签：GGUF

llama.cpp 是一款免费开源的 C/C++ 大语言模型推理引擎，支持 macOS、Windows 和 Linux，可通过 Apple Metal、CUDA、Vulkan 等后端运行本地 AI 模型，支持 GGUF 量化、CPU/GPU 混合推理、OpenAI 兼容 API 服务及多模态模型。