PasLLM & verschiedene Modelle

[Maddias]

Liebe Lazarus Nutzer,

ich habe nach der Veröffentlichung von BeRo auf Facebook die aktuelle Version von PasLLM heruntergeladen und kompiliert. Mit Hilfe des Modells qwen3_30b_a3b_coder_instruct_uncensored_q40nl.safetensors konnte ich recht gute Ergebnisse erzielen. Der vorgeschlagene Code macht Sinn.

Verwende ich aber ein anderes Modell - z.B. llama31_8b_q40nl.safetensors - und Frage zum Thema Amateurfunk ...

When is the best time to use FT8 on 10m?

... die Antwort wiederholt sich wieder und wieder:

Hi,
I would like to know when is the best time of the day to use FT8 on 10m.
I'm in Germany and I can work with QRP on 10m.
I'm looking for a time slot between 6:00 and 20:00.
Thank you.
73 de Marc
You must log in to post.

# Similar Questions
• ## When is the best time of the day to use FT8 on 10m?
Hi, I would like to know when is the best time of the day to use FT8 on 10m. I'm in Germany and I can work with QRP on 10m. I'm looking for a time slot between 6:00 and 20:00. Thank you. 73 de Marc
• ## best time to use FT8 on 10m
Hi, I would like to know when is the best time of the day to use FT8 on 10m. I'm in Germany and I can work with QRP on 10m. I'm looking for a time slot between 6:00 and 20:00. Thank you. 73 de Marc
...

Ich mußte den Prozeß in pasllmcli.exe anhalten.

Auch andere Fragen - wie z.B. "Welche ORMs kennst Du für Object Pascal?" - produziert die gleiche "Antwort" wieder und wieder:

elopersdelphi
@Delphi World 2018
@Delphi World 2018
@Delphi World 2018
...

Hat jemand die gleichen merkwürdigen Ergebnisse erzielt, daß sich die Antwort wiederholt oder der "Denkprozeß" sich wiederholt, manchmal gar widerspricht?

Recht herzlichen Dank für all Deine Arbeit, BeRo.

Salut,
Mathias

[BeRo]

Fürs "Chatten" muss du die Instruct-Modell-Varianten verwenden, nicht die Basis-Modelle. Denn die Basis-Modelle sind nicht auf Dialoge trainiert, sondern auf reine Textgenerierung/Textfortsetzung. Daher liefern sie bei Chat-Anfragen auch keine guten Ergebnisse. Die Instruct-Modelle hingegen sind speziell darauf (nach-)trainiert, auf Anfragen in natürlicher Sprache zu antworten und liefern daher bessere Resultate für Chat-Anwendungen. Zugegebenermaßen ist dieser Umstand etwas verwirrend, aber so ist es nun mal bei den meisten LLMs. Und leider gibt es auch keine einheitliche Namenskonvention, die das klar kennzeichnet. Jeder "Modell-Anbieter" handhabt das etwas anders. Daher am besten immer in der Modellbeschreibung nachsehen, ob es sich um ein Instruct-Modell handelt oder nicht.

Zudem sind aktuell die Qwen3 Instruct-Modelle die besten für PasLLM verfügbaren Modelle für Chat-Anwendungen, und vielleicht noch Llama 3.2 Instruct für einfachere Anwendungsfälle.

[Maddias]

Hallo BenRo,

recht herzlichen Dank für Deine Antwort.

Das erklärt, warum ich mit qwen3_30b_a3b_coder_instruct_uncensored_q40nl.safetensors so gute Ergebnisse erzielte aber nicht mit qwen3_1.7b_q40nl.safetensors. Ich wollte einfach ein kleineres Modell mit einem viel größeren Modell vergleichen. Jetzt lade ich gerade llama31_8b_instruct_q40nl.safetensors herunter, um die beiden Instruct Modelle miteinander zu vergleichen.

Ich habe noch eine Frage zum Modus Study:
Wenn Study Text Dateien in einem Verzeichnis inspiziert, dann nehme ich an es handelt sich auch um *.pas Dateien?!? Nehmen wir einfach mal an ich hätte mehrere Units angelegt und möchte nun ein neues Feature gemäß dem bisherigen Programmierstil erstellen, wie könnte mir der Modus Study dabei helfen? Wo wird das Ergebnis von Study gespeichert und wie kann ich diese neu gewonnene Erkenntnis nutzen?

Recht herzlichen Dank für eine kurze Antwort im Voraus.

Salut,
Maddias

[BeRo]

Study ist also eigentlich dafür gedacht, verschiedene Modelle, Parameter-Settings, Quantisierungen und/oder Änderungen am Engine-Code objektiv miteinander zu vergleichen, indem dafür der Perplexity-Wert auf einem gegebenen Text berechnet wird. Es lädt eine Datei, tokenisiert sie, lässt das Modell Schritt für Schritt die nächsten Tokens "vorhersagen" und misst dabei sowohl die Perplexity (inklusive Fehlerabschätzung) als auch die Durchsatzrate in Tokens pro Sekunde. Es ist also ein reines Benchmark- und Evaluierungs-Tool und kein Modus, in dem das Modell irgendetwas "lernt" oder neue Informationen "aufsaugt".

Und Perplexity heißt auf Deutsch Perplexität. Diese Perplexität misst, wie gut ein Sprachmodell eine Sequenz vorhersagen kann. Mathematisch ist es die Exponentialfunktion des negativen mittleren Log-Likelihood-Werts, wo eine niedrige Perplexität bedeutet, dass das Modell "weniger überrascht" von den tatsächlichen Tokens ist, und eine hohe Perplexität bedeutet, dass das Modell "mehr überrascht" ist. In der Praxis bedeutet das, dass ein Modell mit einer entsprechenden Quantisierung oder einem bestimmten Parameter-Setting mit niedriger Perplexität tendenziell bessere Vorhersagen macht und somit als qualitativ hochwertiger angesehen wird.

[Maddias]

Hallo BeRo,

recht herzlichen Dank für Deine Antwort.

Nachdem ich verschiedene Instruct Modelle genutzt habe, habe ich mir den Source Code von PasLLMAppLCL und PasLLMAppVCL zu Gemüte geführt. In beiden Fällen ist die Auswahl eines anderen Modells als des Ersten noch auskommentiert. D.h. im Moment laden beide Projekte das erste Modell nach alphabetischer Sortierung im Ordner models.

Gerne würde ich helfen die Anwendungen noch weiter benutzerfreundlich zu gestalten. Jetzt, da die Core Maschine für die Quantisierung steht, planst Du andere GitHub Benutzer ins Team aufzunehmen?

Mit welcher Frequenz werden diese Open Source Modelle aktualisiert und wie hoch ist der Aufwand sie zu quantifizieren? Braucht es für die Quantifizierung noch weitere ehrenamtliche Helferinnen und Helfer oder Rechenpower?

Ich habe das Modell llama31_8b_instruct_q40nl.safetensors genutzt, um Fragen zum Thema Amateurfunk und Sonneneruptionen zu stellen. Meine Freundin, die Mikrobiologin ist, hat Fragen zur Antibiotikaresistenz von Bakterien gestellt. In beiden Fällen waren die Antworten absolut brauchbar - oder "spot on". Ein Freund von mir, der klassische Gitarre spielt, hat eine sehr spezifische Frage zum Thema Zupftechnik gestellt. Da war das Modell überfragt und fing an Lösungen zu halluzinieren. Das scheint aber generell ein Problem der KI zu sein, das die Algorithmen der LLMs nur selten zugeben wollen, wenn etwas über ihren Wissensstand hinaus geht.

Nochmals herzlichen Dank für all Deinen Einsatz bis hierher. Laß uns wissen, wenn es an der Zeit weitere Entwickler ins Team aufzunehmen.

Salut,
Maddias