ラマ.cpp

ラマ.cpp

原作者	ゲオルギ・ゲルガノフ
開発者	ゲオルギ・ゲルガノフとコミュニティ
初回リリース	2023年3月10日; 21ヶ月前[1] ( 2023-03-10 )
リポジトリ	github.com/ggerganov/llama.cpp
書かれた	C++、C
タイプ	大規模言語モデル用ライブラリ
ライセンス	MITライセンス[2]

llama.cppは、 Llamaなどのさまざまな大規模言語モデルで推論を実行するオープンソース ソフトウェアライブラリです。^[3]これは、汎用テンソルライブラリであるGGMLプロジェクトと共同開発されています。^[4]

ライブラリにはコマンドラインツールが含まれており、 ^[5]シンプルなWebインターフェースを備えたサーバーも含まれています。^[6]

2022年9月末に、ゲオルギ・ゲルガノフはテンソル代数を実装したCライブラリであるGGMLライブラリの開発に着手した。ゲルガノフは厳密なメモリ管理とマルチスレッド化を意図してこのライブラリを開発した。GGMLの開発はファブリス・ベラールのLibNCに関する研究に触発されたものである。^[7]

llama.cppの前に、Gerganovは、 OpenAIの音声テキスト変換モデルであるWhisperを実装したwhisper.cppと呼ばれる同様のライブラリに取り組んでいました。^[8]

ゲルガノフは医学物理学のバックグラウンドを持ち、ソフィア大学の物理学部に所属していた。^{[9] 2006年に}国際物理オリンピックで銀メダルを獲得した。^{[10] [11]} 2008年にはブルガリアソフトウェア企業協会、PCマガジン、ブルガリアのソフトウェアサービス企業であるMusala Softが主催したプログラミングコンテストで優勝した。^[12]

llama.cppは、依存性のない純粋なC / C ++で書かれたLlama推論コードの実装として、2023年3月にGeorgi Gerganovによって開発が開始されました。これにより、プロジェクトの目標であったGPUやその他の専用ハードウェアのないコンピューターでのパフォーマンスが向上しました。 ^{[3] [13] [14] llama.cppは、} Androidデバイスを含むCPUだけで実行できるため、専用のハードウェアを持たないユーザーの間で人気を博しました。 ^{[13] [15] [16]}当初はCPU向けに設計されていましたが、後にGPU推論のサポートが追加されました。^[17] 2024年11月現在、GitHubで67,000を超えるスターが付いています。^[18]

2024年3月、ジャスティン・タニーはx86およびARM CPU向けに最適化された新しい行列乗算カーネルを導入し、FP16および8ビット量子化データ型の迅速な評価パフォーマンスを改善しました。^[19]これらの改善はllama.cppにアップストリームでコミットされました。^[19]タニーはまた、モデルとllama.cppを1つのファイルにバンドルするllamafileと呼ばれるツールを作成しました。このツールは、タニーが作成したCosmopolitan Libcライブラリを介して複数のオペレーティングシステムで実行され、C / C++をオペレーティングシステム間でより移植可能にします。^[19]

llama.cpp は、 x86、ARM、CUDA、Metal、Vulkan、SYCLなど、複数のハードウェア ターゲットをサポートしています。^{[20] [21] [22] [23]}これらのバックエンドは、フロントエンドのモデル固有の llama.cpp コードで使用される GGML テンソル ライブラリを構成します。^[24] llama.cpp は、オンザフライの量子化ではなく、事前のモデル量子化をサポートしています。 ^{[25] llama.cpp は、最適化のために、} X86-64の場合はAVX、AVX2、AVX-512、ARM の場合はNeonなど、いくつかの CPU 拡張機能を使用します。Appleシリコンは、このプロジェクトの重要なターゲットです。^{[18] [26]} JSONとして文法ベースの出力フォーマットをサポートしています。^[14]

ググフ

ファイル名拡張子	.gguf
魔法の数字	0x47 0x47 0x55 0x46
開発者	ゲオルギ・ゲルガノフとコミュニティ
初回リリース	2023年8月22日; 15ヶ月前[27] ( 2023-08-22 )
最新リリース	v3 [28]
フォーマットの種類	機械学習 テンソル

GGUF（GGMLユニバーサルファイル）^[29]ファイル形式は、テンソルとメタデータの両方を1つのファイルに保存するバイナリ形式で、モデルデータの高速保存と読み込みを目的として設計されています。^[30]これは、他のモデルアーキテクチャのサポートが追加された際に下位互換性をより適切に維持するために、2023年8月にllama.cppプロジェクトによって導入されました。^{[17] [31]}これは、GGMLなどのプロジェクトで以前に使用されていた形式を引き継いだものです。

GGUFファイルは通常、 PyTorchなどの別の機械学習ライブラリで開発されたモデルを変換することによって作成されます。^[30]

このフォーマットは量子化、つまりモデルの重みの精度を下げることに重点を置いています。これによりメモリ使用量が削減され、モデルの精度は低下しますが速度は向上します。^{[32] [31]}

GGUFは2ビットから8ビットの量子化整数型^{[33] 、} float32、float16、bfloat16などの一般的な浮動小数点データ形式、および1.56ビットの量子化^{[5]をサポートしています。}

このファイル形式には、トークナイザー語彙、コンテキスト長、テンソル情報、その他の属性など、GPTのような言語モデルを実行するために必要な情報が含まれています。^[34]