PasLLM - eine LLM Inference Engine, vollständig in Object Pascal

[BeRo]

PasLLM ist nun endlich veröffentlicht, eine LLM-Inference-Engine, die vollständig in Object Pascal geschrieben ist. PasLLM ermöglicht es, Modelle wie Llama 3.x, Qwen 2.5, Qwen 3, Phi-3, Mixtral, Gemma 1, DeepSeek R1 und andere lokal auszuführen, ohne Python oder externe Abhängigkeiten zur Inferenzlaufzeit.

PasLLM ist mit Delphi 11.2+ und FreePascal 3.3.1+ auf allen wichtigen modernen Betriebssystemzielen kompatibel. Ich habe eigene 4-Bit-Quantisierungsformate implementiert, die qualitativ sehr nah an voller Präzision liegen, während die Modellgrößen handhabbar bleiben. CLI- und GUI-Versionen sind enthalten (FMX, VCL, LCL). Vorgequantisierte Modelle stehen zum Download bereit. PasLLM kann zudem als Unit direkt in eigene Object-Pascal-Projekte eingebunden werden.

PasLLM läuft derzeit ausschließlich auf der CPU. GPU-Beschleunigung über PasVulkan ist geplant, wird aber erhebliche Zeit in Anspruch nehmen. Ich teste hauptsächlich nur 64-Bit-Builds, das Kompilieren für 32-Bit könnte funktionieren, wird jedoch nicht offiziell unterstützt und kann bei größeren Modellen auf Speichergrenzen stoßen.

Das Repository befindet sich unter https://github.com/BeRo1985/pasllm (synchronisiert von meinem privaten Server, auf dem die Entwicklung stattfindet). Es ist unter der AGPL 3.0 für Open-Source-Nutzung lizenziert, mit kommerziellen Lizenzen bei Bedarf.

[Jorg3000]

Hi!
Danke für deine außergewöhnliche Arbeit!

Schade, dass es nicht mit FPC 3.2.2 läuft.
Grüße, Jörg