Ich möchte eine kleine Vorankündigung machen. Ich werde wahrscheinlich am Sonntag auf der Pascal Konferenz in Sundern-Hagen ein Vortrag über mein Projekt PALM halten, was eine LLM-Interfernce-Engine in Pascal ist. Es umfasst auch eine GUI, die es erlaubt, mit einem LLM zu chatten. Das ganze Projekt enthaltet:
- die LLM-Interference-Engine namens PALM selbst an sich in Pascal, samt AVX2/FMA3 Inline Assembler Code für die Performance-kritischen Teile. Es ist kompatibel mit vielen LLM Modellen, wie z.B. LLaMA2, LLaMA3.x, Mistral (ohne und mit Mixed Of Experts), Qwen2.5, Qwen3 (ohne und mit Mixed Of Experts), Phi, Gemma, und so weiter. Im Grunde genommen mit allen LLM Modellen, welche die LLaMa2/LLaMA3 Grundarchitektur mit paar möglichen kleinen Abweichungen (verschiedene Layer-Normalization Varianten, verschiedene Activation Funktionen, verschiedene ROPE Varianten, und so weiter) verwenden.
- eine eigene Jinja2-kompatible Template Engine namens Pinja in Pascal für die Verarbeitung von Prompt Templates der jeweiligen LLM Modelle.
- eine eigene LCL/VCL/FMX-kompatible MarkDown/BasicHTML Rendering Engine in Pascal, um die Chat-Ausgaben der LLMs ansprechend darzustellen, wo der MarkDown-Text erstmal intern in einfaches HTML umgewandelt wird, und dann in der GUI mithilfe dieses einfachen HTML mit einer eigenen minimalen HTML Rendering Engine ansprechend gerendert wird.
- und sowie eine eigene GUI, welche in drei Varianten vorliegt: LCL (Lazarus), VCL (Delphi) und FMX (Delphi) umd die es erlaubt, mit den LLMs zu chatten, und so weiter. Am einwandfreiesten läuft die LCL Variante, wohingegen die FMX Variante die modernste ist, aber auch von FMX selbst her bedingt noch einige Macken hat. Die VCL Variante liegt irgendwo dazwischen.
Ob das ganze Projekt später Open Source wird, ist noch nicht entschieden. Es gibt da einige Überlegungen, die ich noch anstellen muss. Aber ich werde auf jeden Fall den Vortrag auf der Pascal Konferenz halten. Und je nachdem, wie das Feedback ist, werde ich dementsprechend dann weitersehen.
Und ein kleines Preview-Video von der LCL Variante der GUI gibt es hier:
https://youtu.be/K6HY_vxY6a4 sozusagen als Teaser
Also bis dann. Man sieht sich auf der Pascal Konferenz in Sundern-Hagen
Verein
Links
Suche