llama.cpp

llama.cpp

原作者	Georgi Gerganov
开发者	Georgi Gerganov与社群
首次发布	2023年3月10日​（2023-03-10）
源代码库	github.com/ggml-org/llama.cpp
编程语言	C++、C
类型	大型语言模型函式库
许可协议	MIT许可证

llama.cpp是用来在多种大型语言模型（例如LLaMA）上执行推理的开放源代码函式库。此函式库中也包含了命令列工具以及介面简易的网络应用程序伺服器。

背景

2022年9月底，Georgi Gerganov开始开发GGML函式库，这是实作张量代数的C语言函式库。Gerganov开发GGML函式库的目的是实现严格的记忆体管理与多执行绪。GGML的建立则是受到法布里斯·贝拉开发LibNC的启发。

在开发llama.cpp之前，Gerganov曾经开发过类似的函式库，为使用OpenAI语音转文字模型Whisper的whisper.cpp。

开发

Georgi Gerganov从2023年3月开始开发llama.cpp，llama.cpp是LLaMA推理程式码的无外部依赖关系纯C/C++实作。llama.cpp改善了在没有图形处理器或其他专用硬体的电脑上的效能，这也是此专案的其中一个目标。因为可以仅在中央处理器上执行（甚至可以在Android上运作），llama.cpp得到了缺乏专用硬体的使用者青睐。虽然一开始是为CPU设计的，但后来还是新增了GPU推理支援。

2024年3月，Justine Tunney为x86与ARM CPU引入新的最佳化矩阵乘法核心至此专案，改善了FP16与8位元量化资料类型的提示词评估效能。Tunney也制作了llamafile这套工具，这套工具把模型与llama.cpp整合到单一个档案中，并可透过同样由Tunney开发的Cosmopolitan Libc函式库在多个作业系统上执行。

架构

llama.cpp支援多种硬体目标，包含x86、ARM、CUDA、Metal、Vulkan（1.2或更新版本）与SYCL。这些后端构成了GGML张量函式库，并供llama.cpp中不同模型的程式码使用。llama.cpp支援提前而非即时量化模型。llama.cpp也使用了多种CPU扩充指令集最佳化效能：x86-64的AVX、AVX2与AVX-512，以及ARM上的Neon。Apple晶片也是此专案的重要目标。

GGUF档案格式

GGUF

扩展名	.gguf
开发者	Georgi Gerganov与社群
首次发布	2023年8月22日​（2023-08-22）
最新版本	v3
格式类型	机器学习张量

GGUF（GGML通用档案）档案格式是二进位格式，将张量与元数据储存在同一个档案中，用以快速储存与载入模型资料。此档案格式是llama.cpp专案于2023年8月开始使用，在新增对其他模型架构的支援时也维持向后相容性。

GGUF档案通常是透过转换以PyTorch等其他机器学习函式库开发的模型所建立的。

设计

此格式著重于量化，亦即降低模型权重的精确度。如此可以降低记忆体使用量，提升速度，缺点是会降低模型精度。

GGUF支援2位元至8位元的量化整数类型，以及常见的浮点资料格式（如float32、float16与bfloat16）与1.56位元量化。