AI macht Programmierende langsamer

[Niesi]

Das ist auch mal interessant:

«Wenn Entwickler KI-Tools nutzen dürfen, benötigen sie 19 Prozent länger für die Bearbeitung von Aufgaben – eine deutliche Verlangsamung, die den Erwartungen der Entwickler und Expertenprognosen widerspricht.»

quelle: metr.org

Eine Zusammenfassung vom METR:

https://metr.org/blog/2025-07-10-early- ... dev-study/

Der komplette Originalreport vom METR:

https://arxiv.org/pdf/2507.09089

Ist das dann die Rechtfertigung, warum Programmierer die Mehrwertsteuer auf ihrer Rechnung ausweisen?

Das hat Dir die KI gesagt ...

'kommt häufig vor im Kontext von'

Deshalb ein kleiner Tipp: Man erhält u.U. besseren Quellcode, wenn man in seiner Fragestellung nach einem "robusten, sicheren, modularen, funktionierenden, fehlerfreien, produktionsfähigen Quellcode" fragt, denn zum gelernten Kontext gehört auch, welche Wörter im Umfeld des Erlernten standen (Self Attention Mechanism).
Deshalb ist es LLMs möglich, sprachlich verschiedene Färbungen zu reproduzieren - und dazu gehört ggf. auch die Wahrscheinlichkeit entwender von Murks aus Foren oder getestetem Code aus Veröffentlichungen.

Die Frage ist: Funktioniert das wirklich?

Wer kann / will / soll das prüfen?

Wie kann das geprüft werden?

Letztendlich bleibt es dabei: Wer ein KI verwendet, muss das Ergebnis sehr genau überprüfen - und das werden die, die aufgrund ihrer natürlichen Blödheit auf künstliche Intelligenz angewiesen sind, bei komplexeren Aufgaben nicht können, Ich sehe keine Vereinfachung bei der Entwicklung durch die Verwendung von KI - exakt so, wie es die Studie zur allgemeinen Überraschung gezeigt hat ...

[m.fuchs]

LLMs kennen kein 'richtig' oder 'falsch', kein 'logisch' oder 'unlogisch' und auch kein 'fehlerfrei' oder 'fehlerhaft'. Sie kennen nur 'kommt häufig vor' bzw. 'kommt häufig vor im Kontext von'.

Was noch nicht ist, kann noch werden.

Nein, kann es nicht. Ein LLM wird das niemals können, dafür ist es auch nicht gedacht.

Das ist das Hauptproblem welches ich mit diesem "KI"-Hype habe: zu viele Menschen glauben dem Marketinggeschwafel von Intelligenz und wissen nicht wie es technisch funktioniert. Dann gibt es große Erwartungen und weil man das Ganze nicht richtig einschätzen kann, wird der Quark unreflektiert eingesetzt.

Und wir bekommen dann solche Schlagzeilen:

bafkreiasydpv6lneputje542qhcgzf6m3eib6s75c2nkk5zvecclfl7s6q.jpg (45.33 KiB) 1333 mal betrachtet

Das ist, als wenn ich ein Word-Dokument mit dem Inhalt "Ich denke, also bin ich" ausdrucke, zum Drucker gehe, es herausnehme und sage: "Mein Drucker hat ein Bewusstsein entwickelt."

Es bleibt der Fakt: mit einem LLM wird es keine Intelligenz geben.

[Warf]

Wenn du so Sicher bist das LLMs keine Intelligenz haben können, was ist den Intelligenz?

Das ist eine Bewusst provokante Frage denn es gibt keine Einheitliche Definition von Intelligenz. Aber nehmen wir mal als Beispiel Logik, LLMs können Logik, sie wurden nicht auf Logik trainiert, und machen auch ab und an Fehler, aber Grundlegend kann man sie vor neue Logik Probleme setzen die nicht in ihren Trainingsdaten vorkamen und sie können sie Lösen.

Niemand hat eine Logik Engine programmiert, das war nicht das Ziel beim bau des LLMs, aber es ist einfach passiert. Das nennt man eine "Emerging Property". Andere beispiele Dafür sind Sprachen, Die ersten GPT Versionen wurden auf vorwiegend Englischen Websites Trainiert und mit Englischen Prompts gequeried, trotzdem hat es selbstständig andere Sprachen wie Chinesisch, Koreanisch oder selbst Arabisch gelernt, Sprachen die mit Englisch sehr wenig zu tun haben.

Kann ein LLM intelligent sein? Keine Ahnung, dafür müsste man erst mal definieren was man mit Intelligenz meint. Und dann ist die Antwort ein "vielleicht". Sie wurden dafür zwar nicht Designed und Entwickelt, aber es kann trotzdem eine Emerging Property sein.

Solang wir nicht verstehen was intelligenz ist und was Menschen oder Tiere Intelligent macht kann man nicht sagen ob ein Computerprogramm Intelligent ist

[m.fuchs]

LLMs können Logik

Nein

[Warf]

Was ist deine Definition von Logik dann? Ich habe grade mal Gemini ein simples Logikproblem auf Englisch gefragt:

Here is a logic problem. There is a Person P1 who every person is in a relationship with. But P1 is only in a relationship with P2. What can you tell me about P1 and P2

Gemini hat ohne viel tamtam den scheinbaren Logische wiederspruch aufgezeigt und die Lösung, das P1=P2 gelten muss ausgespuckt. ChatGPT hat mir das ganze sogar in viel zu viel Text als erstes einmal in eine Reihe formaler First Order Logic Prädikate formatiert und dann einen Formalen Beweis darauf Ausgeführt.

Damit haben die beiden Modelle besser performed als die meisten Informatikstudenten im Mathematische Logik Kurs zu ähnlichen Problemen

[m.fuchs]

Alice hat eine Schwester und acht Brüder. Wieviel Schwestern hat der Bruder von Alice?

Antworten:

Der Bruder von Alice ist ein Bruder, den Alice hat. Da Alice eine Schwester ist, ist sie eine Frau. Der Bruder von Alice ist also ein Mann, und er hat keine Schwestern außer Alice selbst, weil die Frage nur nach den Schwestern des Bruders fragt.
Da Alice eine Schwester ist, hat der Bruder von Alice eine Schwester – nämlich Alice selbst.
Antwort: Der Bruder von Alice hat eine Schwester.

Der Bruder von Alice hat auch eine Schwester, nämlich Alice. Er hat keine anderen Schwestern.

Aus den gegebenen Informationen können wir Folgendes ableiten:

• Alice hat eine Schwester und acht Brüder.
• Das bedeutet, dass Alice insgesamt 10 Geschwister hat.
• Die Frage ist, wie viele Schwestern der Bruder von Alice hat.

Da Alice selbst eine Schwester hat, hat jeder ihrer Brüder ebenfalls eine Schwester - nämlich Alice.

Daher lautet die Antwort: Der Bruder von Alice hat 1 Schwester.

Ihr Zeuge!

[Warf]

Und wenn du das Modell auf Englisch statt auf Deutsch benutzt:

alice has a sister and eight brothers, how many sisters does alice brother have?

Dann bekommst du auch die richtige Antwort raus :)

Die Modelle werden auf Englisch Trainiert, wie ich bereits gesagt habe ist die Tatsache das sie andere Sprachen "sprechen" nur ein Seiteneffekt der sich aus dem Modell ergibt. Das ist wie wenn du einem Amerikaner der ne zeit lang in Deutschland lebt und passiv Deutsch gelernt hat Fragen auf Deutsch stellen würdest. Du wirst nicht die volle Leistungsfähigkeit bekommen

Das Basismodell von ChatGPT bekommt es übrigens auch hin da muss man nur sagen das es logik anwenden soll:

Consider the following logic problem: alice has a sister and eight brothers, how many sisters does alice brother have?
Formalize and solve

Nicht nur korrekt gelöst, sondern auch Formal korrekt aufgebauter Logikbeweis

Diese Modelle sind keine magie, man muss schon sagen wie sie das zu lösen haben. Wenn man will das sie logik anwenden muss man das sagen. Aber zu behaupten das sie keine Logik könnten ist schlicht weg falsch

Claude kann ich nicht testen da ich mich weigere Accounts mit dem zeug zu verknüpfen

[m.fuchs]

Du verstehst nicht wie diese Modelle funktionieren. Es klappt deshalb auf Englisch, weil irgendwo die richtige Lösung dieser Frage auf Englisch bereits vorlag. Nicht weil das Ding Logik benutzt. Ich frage mal Gemini.

Alice has a sister and eight brothers, how many sisters does alice brother have?

Here's how we can use logic to solve this:
* Alice's Siblings: Alice has 1 sister and 8 brothers. This means there are a total of 1 (Alice) + 1 (sister) + 8 (brothers) = 10 children in the family.
* Consider one of Alice's brothers (let's call him Bob):
* Bob is part of the same family as Alice.
* Every female child in this family is a sister to Bob.
* Identify the female children:
* Alice is a female child in the family.
* Alice's sister is also a female child in the family.
* Count Bob's sisters: Therefore, Bob has two sisters: Alice and Alice's sister.
So, Alice's brother has 2 sisters.

Nun kann man auf die Idee kommen, dass es funktioniert. Schließlich gab es ja eine schöne Herleitung und das Ergebnis stimmt.

Aber, wenn Logik verwendet werden würde, dann können wir ja problemlos die Aufgabenparameter anpassen.

Alice has three sisters and nine brothers, how many sisters does alice brother have?

Here's a breakdown using logic:
* Alice's perspective: Alice has 3 sisters and 9 brothers.
* Consider one of Alice's brothers (let's call him Bob):
* Bob is a male sibling of Alice.
* Since Bob is Alice's brother, he shares the same parents as Alice and all her siblings.
* Bob's sisters:
* Alice is a sister to Bob.
* Alice has 2 other sisters (let's call them Carol and Debbie). Since they are Alice's sisters and share the same parents, they are also sisters to Bob.
* Conclusion: Therefore, Bob (Alice's brother) has 3 sisters (Alice, Carol, and Debbie).
The number of brothers Bob has is 8 (his 9 brothers minus himself), but the question specifically asks about sisters.

Die Herleitung ist natürlich Quark. Denn Gemini benutzt keine Logik. Es benutzt nur Statistik um zu raten welche Worte auf andere Worte folgen. Nichts weiter. Keine Logik, kein Verständnis, also auch keine Intelligenz.

[Stevie]

LLMs können keine Logik und vor allem keine Deduktion. Sie können nur widerkäuen, was man ihnen zuvor zu fressen gegeben hat, sie können daraus aber keine Schlüsse ziehen.

Und selbst wenn man an das Mechanistische Menschenbild glaubt, sind wir vermutlich noch sehr, sehr weit entfernt vom Punkt, an dem die von uns gebaute Maschine die Schwelle überschreitet, das eigene Ich zu erkennen. Bis dahin kann ChatGPT nur von Alice und Bob fabulieren, wenn es vorher genügend Websites ge-DDoS-ed hat, auf denen was von Alice und Bob geschrieben stand...

[Warf]

Du verstehst nicht wie diese Modelle funktionieren. Es klappt deshalb auf Englisch, weil irgendwo die richtige Lösung dieser Frage auf Englisch bereits vorlag. Nicht weil das Ding Logik benutzt. Ich frage mal Gemini.

Ich weiß wie diese Modelle funktionieren, ich jab sie im Studium im 3 Kursen durchgenommen, sowohl die allgemeinen Konzepte als auch die unterliegende Mathematik. Ich habe mir auch mehrere Studien zu dem Thema durchgelesen.
Deshalb mein verweis auf die Emerging Properties, was ein Fachbegriff aus der Literatur ist. Das beschreibt Eigenschaften die man bei dem system beobachten kann obwohl das system nie drauf trainiert wurde.

Frag doch mal gemini explizit nach logik

Take the following logic problem: Alice has three sisters and nine brothers, how many sisters does alice brother have?

Formalize and solve

Code: Alles auswählen

This is a classic wordplay problem that tests careful reading. Let's formalize and solve it:

Formalization:

    Let A be Alice.

    Let SA​ be the number of sisters Alice has.

    Let BA​ be the number of brothers Alice has.

From the problem statement:

    SA​=3

    BA​=9

We need to find the number of sisters any one of Alice's brothers has. Let's pick an arbitrary brother, say B1​.

Solving:

Consider one of Alice's brothers. Let's call him Bob.

    Sisters of Bob: Bob's sisters are Alice and all of Alice's sisters.

        Alice is one sister.

        Alice has 3 sisters, who are also Bob's sisters.

    So, the total number of sisters Bob has is 1(Alice)+3(Alice’s sisters)=4.

Therefore, Alice's brother has 4 sisters.

Korrektes ergebnis und formal korrekte Herleitung.

Es benutzt nur Statistik um zu raten welche Worte auf andere Worte folgen. Nichts weiter. Keine Logik, kein Verständnis, also auch keine Intelligenz.

Deshalb ist es eine emergent property weil das system nicht darauf ausgelegt ist Logik zu machen es aber trotzdem kann.

Und nein es repliziert nicht nur exakt was es gelernt hat sondern kann nachweislich auch aufgaben lösen die von dem gelernten abweichen, z.b. durch parameter oder re-wording.

Genau dafür gibt es ja auch diese Logik benchmarks, die werden regelmäßig neu gemacht damit neue fragen mit neuen Parametern getestet werden die nicht teil der Trainingsdaten waren

[hum4n0id3]

Screenshot from 2025-07-22 16-36-05.png (189.21 KiB) 1121 mal betrachtet

Das habe ich mal vor kurzem auf YouTube gefunden. Ein Taschenrechner der mit Hilfe von ChatGPT rechnen soll. Ich kann nicht sagen wie echt das ist, nur das es witzig ist

[Stevie]

... zumindest ist man sich nicht ganz so einig unter den Experten, was die Mächtigkeit von LLMs hinsichtlich der Fähigkeit zu logischen Schlüssen angeht: https://arxiv.org/pdf/2406.02061

[hum4n0id3]

Screenshot from 2025-07-22 16-42-49.png (61.76 KiB) 1120 mal betrachtet

ChatGPT von heute.

[af0815]

Es passt zwar hier nicht hinein <Sarkasmus on>- Aber die Antworten von den LLM kommen mir vor, wie die Antworten in Mathematik von meiner Tochter. Kein Verstehen, einfaches Auswendig lernen und dann hoffen das die Antwort passt. So gesehen sind die LLM's mit Vernunft begabt, weil Menschen (wie meiner Tochter) spricht man Intelligenz ja auch nicht ab. <Sarkasmus off> SCNR

[Warf]

Das habe ich mal vor kurzem auf YouTube gefunden. Ein Taschenrechner der mit Hilfe von ChatGPT rechnen soll. Ich kann nicht sagen wie echt das ist, nur das es witzig ist

Mit simplen rechnen wird man mit LLMs nicht weit kommen, der Grund dafür ist wie LLMs aufgebaut sind. LLMs arbeiten nicht auf Text, sondern auf Tokens. Im Grunde werden Worte und Wortfetzen in Tokens aufgeteilt, die man als Vektor in einem Multidimensionalen Zahlenraum aufassen kann. Dabei werden Ähnliche Wörter nach beieinander geclustert, sodass man Arithmethik über Inhalt durchführen kann. Das ist schon ein Themengebiet für sich, z.B. kann man in diesem Vektorraum "König" - "Mann" + "Frau" rechnen und kommt dann in der Region des wortes "Königin" raus, was an sich schon absolut verrückt ist.
Der Grund warum man das bei LLMs macht ist recht einfach. Somit werden ähnliche Konzepte bereits schon zusammen gruppiert und es ist deutlich resistenter z.B. gegen rechtschreibfehler, groß und kleinschreibungsunterschiede, grammatikalische Formen, etc.

Eine Konsequenz davon ist das das LLM die tatsächliche Schreibweise der Worte nicht kennt. Vor einem Jahr gabs deshalb den Witz das wenn man ein LLM danach Fragt wie viele "r" in "Strawberry" sind es komplett Falsche antworten gegeben hat weil das LLM die tatsächlichen Worte nicht zu gesicht bekommt.
Für Zahlen bedeutet das das häufig vorkommende Zahlenfolgen wie 123 oder so nicht als "1" "2" "3" reinkommen, sondern als ein Token. Genauso phrasen wie "1+1", was heißt das die Formel "1+1*2" die ja Mathematisch als "1+(1*2)" gerechnet werden muss, für das LLM als "1+1" "*" "2" vorliegt, und somit es nicht das 1+1 aufteilen kann um damit korrekt zu rechnen.

Das Problem wurde allerdings schon recht kreativ von OpenAI und konsorten gelöst, indem das LLM zugriff auf Metainformationen wie die rohe schreibweise hat und diese in andere Programme einpflegen kann. D.h. was ChatGPT und Konsorten intern oftmals machen (und wenn du nach dem Rechenweg fragst auch oft gezeigt bekommst) ist das sie statt "selbst" zu rechnen, ein Python Script generieren mit der Formel drin exakt wie sie abgetippt wurde (also ohne tokenization), und dann das ergebnis des Python scripts zurückgeben.