llama.cpp

llama.cpp

原作者	Georgi Gerganov
开发者	Georgi Gerganov与社群
首次发布	2023年3月10日​（2023-03-10）
源代码库	github.com/ggml-org/llama.cpp
编程语言	C++、C
类型	大型语言模型函数库
许可协议	MIT许可证

llama.cpp是用来在多种大型语言模型（例如LLaMA）上执行推理的开放源代码函数库。此函数库中也包含了命令行工具以及接口简易的网络应用程序服务器。

背景

2022年9月底，Georgi Gerganov开始开发GGML函数库，这是实现张量代数的C语言函数库。Gerganov开发GGML函数库的目的是实现严格的存储器管理与多线程。GGML的建立则是受到法布里斯·贝拉开发LibNC的启发。

在开发llama.cpp之前，Gerganov曾经开发过类似的函数库，为使用OpenAI语音转文字模型Whisper的whisper.cpp。

开发

Georgi Gerganov从2023年3月开始开发llama.cpp，llama.cpp是LLaMA推理代码的无外部依赖关系纯C/C++实现。llama.cpp改善了在没有图形处理器或其他专用硬件的电脑上的性能，这也是此项目的其中一个目标。因为可以仅在中央处理器上执行（甚至可以在Android上运作），llama.cpp得到了缺乏专用硬件的用户青睐。虽然一开始是为CPU设计的，但后来还是新增了GPU推理支持。

2024年3月，Justine Tunney为x86与ARM CPU引入新的优化矩阵乘法核心至此项目，改善了FP16与8位量化数据类型的提示词评估性能。Tunney也制作了llamafile这套工具，这套工具把模型与llama.cpp集成到单一个文件中，并可透过同样由Tunney开发的Cosmopolitan Libc函数库在多个操作系统上执行。

架构

llama.cpp支持多种硬件目标，包含x86、ARM、CUDA、Metal、Vulkan（1.2或更新版本）与SYCL。这些后端构成了GGML张量函数库，并供llama.cpp中不同模型的代码使用。llama.cpp支持提前而非即时量化模型。llama.cpp也使用了多种CPU扩展指令集优化性能：x86-64的AVX、AVX2与AVX-512，以及ARM上的Neon。Apple芯片也是此项目的重要目标。

GGUF文件格式

GGUF

扩展名	.gguf
开发者	Georgi Gerganov与社群
首次发布	2023年8月22日​（2023-08-22）
最新版本	v3
格式类型	机器学习张量

GGUF（GGML通用文件）文件格式是二进制格式，将张量与元数据存储在同一个文件中，用以快速存储与加载模型资料。此文件格式是llama.cpp项目于2023年8月开始使用，在新增对其他模型架构的支持时也维持向后兼容性。

GGUF文件通常是透过转换以PyTorch等其他机器学习函数库开发的模型所建立的。

设计

此格式着重于量化，亦即降低模型权重的精确度。如此可以降低存储器使用量，提升速度，缺点是会降低模型精度。

GGUF支持2比特至8位的量化整数类型，以及常见的浮点资料格式（如float32、float16与bfloat16）与1.56比特量化。