llama.cpp

llama.cpp 是由 Georgi Gerganov 发起并由 ggml-org 社区维护的开源大语言模型推理项目，主要目标是在不同硬件平台上，以较低的部署门槛和较高的运行效率执行大语言模型（LLM）及视觉语言模型（VLM）。

与依赖云端 API 的 AI 服务不同，llama.cpp 可以直接在本地计算机运行模型。用户下载兼容的模型文件后，即可通过命令行启动模型，进行文本生成、对话、向量嵌入等任务。

项目以 C/C++ 实现，核心依托 ggml 张量计算库，并针对不同处理器和显卡提供多种硬件加速后端。其中，Apple Silicon 用户可以利用 ARM NEON、Accelerate 和 Metal 框架运行模型。 llama.cpp 尤其适合希望在 Mac 上部署本地 AI、研究大语言模型推理、搭建私有 AI 服务以及开发 AI 应用的用户。

主要功能

本地运行大语言模型

llama.cpp 支持在个人电脑和服务器上运行兼容模型，不需要将每次推理请求发送到第三方云端 AI 服务。 用户可以根据设备的内存、显存和处理能力选择合适的模型，在本地完成文本生成、问答、代码辅助及其他推理任务。 模型运行在本地时，输入内容和生成结果可以留在自己的设备上，但如果模型本身需要联网获取资源，或用户主动连接外部服务，则不属于完全离线场景。

GGUF 模型格式与量化

GGUF 是 llama.cpp 生态中广泛使用的模型文件格式，支持保存模型权重及相关元数据，方便模型加载和管理。 项目支持多种量化精度，包括 1.5-bit、2-bit、3-bit、4-bit、5-bit、6-bit 和 8-bit 等。 量化能够减少模型占用的内存空间，并在一定程度上提升推理效率，使部分原本难以在普通电脑上运行的大模型能够在资源有限的设备上执行。 不同量化等级会影响模型体积、运行速度和输出质量，用户需要根据硬件条件和使用需求进行选择。

Apple Silicon 与 Metal GPU 加速

llama.cpp 将 Apple Silicon 作为重点支持的平台之一，针对 ARM NEON、Accelerate 和 Metal 进行了优化。 在搭载 M 系列芯片的 Mac 上，软件可以利用 Metal 后端调用 Apple GPU 执行模型推理，并结合统一内存架构管理模型权重和计算资源。 对于 Mac 用户而言，这意味着可以在不依赖 NVIDIA 独立显卡的情况下运行本地大语言模型。

多种 GPU 与 CPU 加速后端

除了 Apple Metal，llama.cpp 还支持多种硬件加速方案：

• CUDA： 支持 NVIDIA GPU。
• HIP： 支持 AMD GPU。
• Metal： 支持 Apple Silicon。
• Vulkan： 支持兼容 Vulkan 的 GPU。
• SYCL： 支持 Intel GPU。
• MUSA： 支持摩尔线程 GPU。
• CANN： 支持华为昇腾 NPU。
• CPU： 支持多种处理器指令集优化。

不同后端需要对应的编译配置和运行环境，并不是所有硬件都能直接使用所有加速功能。

CPU 与 GPU 混合推理

对于模型体积超过显卡显存容量的情况，llama.cpp 支持将部分模型层放在 GPU 上运行，其余部分由 CPU 处理。 这种 CPU+GPU 混合推理方式能够更灵活地利用设备资源，让用户在显存有限的硬件上尝试运行更大的模型。 不过，混合推理的实际速度取决于模型大小、内存带宽、GPU 性能及层分配方式。

llama-server：本地 AI API 服务

llama.cpp 不仅可以通过命令行运行模型，还提供 llama-server，用于启动本地 HTTP 服务。 它提供 OpenAI 兼容的 API 接口，支持聊天补全、Responses、Embeddings 等功能，同时提供 Anthropic Messages API 兼容接口。 开发者可以将本地运行的模型作为 API 服务接入自己的程序、AI 客户端或自动化工作流。 服务器还支持并行解码、连续批处理、函数调用、工具使用、受约束的 JSON 输出以及部分多模态能力。

多模态模型支持

除了纯文本大语言模型，llama.cpp 也支持部分视觉语言模型及多模态推理能力。 根据模型架构和对应支持情况，用户可以处理图像输入等任务，并通过兼容接口将多模态能力接入本地应用。 需要注意，多模态支持与具体模型及接口有关，并非所有 GGUF 模型都支持图像、音频或视频输入。

macOS 安装与使用

Mac 用户可以通过官方提供的预编译程序、源码编译或 llama.app 安装入口使用 llama.cpp。 官方快速安装入口： https://llama.app/ 如果已经安装 Homebrew，也可以通过以下命令安装：

brew install llama.cpp

安装后，可以从 Hugging Face 下载兼容的 GGUF 模型并启动。 例如：

llama-cli -hf ggml-org/Qwen3.5-0.8B-GGUF

如果希望将本地模型作为 API 服务运行，可以使用：

llama-server -hf ggml-org/Qwen3.5-0.8B-GGUF

启动后，可以通过本地 HTTP 接口访问模型服务。具体命令和参数以当前版本官方文档为准。

⠀适合哪些用户？

• 本地 AI 爱好者： 希望在 Mac 或个人电脑上运行大语言模型。
• Apple Silicon 用户： 希望利用 M 系列芯片和 Metal 加速本地 AI 推理。
• AI 开发者： 需要将本地模型封装为 API，接入自己的应用。
• 模型研究人员： 希望测试不同量化等级、模型架构和推理参数。
• 隐私敏感用户： 希望减少对第三方云端 AI 服务的依赖。

lama.cpp 是什么软件？

llama.cpp 是一款免费开源的 C/C++ 大语言模型推理引擎，由 ggml-org 社区维护，支持在 macOS、Windows、Linux 等平台运行本地 AI 模型。

llama.cpp 支持 GGUF 模型格式、多种量化精度以及 CPU、GPU 混合推理，并针对 Apple Silicon 提供 Metal 加速，也支持 NVIDIA CUDA、AMD HIP 和 Vulkan 等硬件后端。

除了本地模型运行，llama.cpp 还提供 llama-server，可以启动兼容 OpenAI API 和 Anthropic Messages API 的本地模型服务，方便其他应用调用本地 AI 能力。

对于 Mac 用户来说，llama.cpp 是一款适合在 Apple Silicon 设备上部署本地大语言模型的底层推理工具，能够用于本地 AI 对话、代码辅助、模型测试和 AI 应用开发。