ChatGPT gut für einfache Sachen.

[Joh]

Dito...

[Sieben]

Ein kurzer Artikel darüber, wie LLMs schon an einfachen Denksportaufgaben scheitern:

https://overton-magazin.de/top-story/sc ... n-bringen/

Besonders bedrückend allerdings die dort zitierte 'Studie', in der 'Wissenschaftler' meinen, von einem 'Einbruch des Denkens' fabulieren zu dürfen...

[PascalDragon]

Beitrag von m.fuchs » 13/6/2024, 22:28

Könnte man diesen Beitrag bitte irgendwo auf der Startseite anpinnen?

[Soner]

Ein kurzer Artikel darüber, wie LLMs schon an einfachen Denksportaufgaben scheitern:

https://overton-magazin.de/top-story/sc ... n-bringen/

Besonders bedrückend allerdings die dort zitierte 'Studie', in der 'Wissenschaftler' meinen, von einem 'Einbruch des Denkens' fabulieren zu dürfen...

Ich habe die Frage aus dem Artikel an Operas Aria gestellt sie fand im dritten Anlauf antwort:

opera-aria.png

(389.8 KiB) Noch nie heruntergeladen

Ich finde Aria besser als ChatGPT, weil es aktuellere Daten hat. Ich stelle Fragen über Wirtschaft und Börse, sie gibt schnelle Übersicht.

[Mathias]

Ich habe die Frage aus dem Artikel an Operas Aria gestellt sie fand im dritten Anlauf antwort:

Und noch was, es der Fragesteller ein Mann oder eine Frau ?

Man muss eines bedenken, ChatGPT ist noch eine recht junge Sache, das wird sich sicher noch einiges ändern.

[TSchnuckenbock]

m.fuchs, vielen Dank für deinen ausführlichen und umfassenden Beitrag zu "KI".
Der Beitrag hat dich vielleicht viel Zeit gekostet, aber das war es wert.

[Swirl]

Besten Dank für Deinen Beitrag, Michael - stimme mit Dir im Großen Ganzen überein.
Manchmal lässt mich diese "KI" allerdings erstaunen. Auf boerse-online.de zu finden:

Nur ein kleines Experiment: Wie stapelt man ein Buch, neun Eier, einen Laptop, eine Flasche und
einen Nagel? Eine frühe Version der Sprachsoftware ChatGPT gab einen gewagten Rat: „Legen Sie die Eier auf den Nagel, und achten Sie darauf, dass sie im Gleichgewicht sind und nicht zur Seite kippen.“

Aber...

Die neuere Version präsentierte im Experiment des ehemaligen Princeton-Dozenten Sébastien Bubeck eine bemerkenswert realistische Lösung: „Legen Sie die neun Eier in einem Quadrat von drei mal drei auf das Buch. Lassen Sie etwas Platz zwischen den Eiern.“ Dann werde der Laptop auf die Eier gelegt, die Flasche auf den Laptop und zum Schluss der Nagel mit der flachen Seite nach unten auf die Flasche. Der Clou des Experiments: Die Lösung ist nicht mit einer schnellen Suche im Internet zu finden. Es erfordere „gesunden Menschenverstand“, betont Bubeck, der inzwischen in der Forschungsabteilung von Microsoft arbeitet.

Geht das nicht etwas über LLM hinaus?

Gruß,
Michael

[m.fuchs]

Ich habe die Frage aus dem Artikel an Operas Aria gestellt sie fand im dritten Anlauf antwort:

Gute Beispiel: weil du die Antwort wusstest konntest du mit zwei Nachfragen die richtige Antwort herausholen.

Aber das ist natürlich für den produktiven Einsatz nicht geeignet - eher ein netter Partygag.
So ähnlich wie das Erstaunen, wenn man den Akinator (https://de.akinator.com/) Personen erraten lässt.

Und natürlich darf dieses Versagen auch nicht überbewerten.
Viele erwarten heutzutage - angestachelt durch das Marketing - Dinge für die diese ChatBots nicht gemacht sind. Eben weil uns das eingeredet wird.

[m.fuchs]

Besten Dank für Deinen Beitrag, Michael - stimme mit Dir im Großen Ganzen überein.
Manchmal lässt mich diese "KI" allerdings erstaunen. Auf boerse-online.de zu finden:

Nur ein kleines Experiment: Wie stapelt man ein Buch, neun Eier, einen Laptop, eine Flasche und
einen Nagel? Eine frühe Version der Sprachsoftware ChatGPT gab einen gewagten Rat: „Legen Sie die Eier auf den Nagel, und achten Sie darauf, dass sie im Gleichgewicht sind und nicht zur Seite kippen.“

Aber...

Die neuere Version präsentierte im Experiment des ehemaligen Princeton-Dozenten Sébastien Bubeck eine bemerkenswert realistische Lösung: [...]

Geht das nicht etwas über LLM hinaus?

1. Ja, es könnte über ein LLM hinausgehen und das Filtersystem von ChatGPT sein. Bestimmte Fragestellungen werde erkennt und durch (manuell zur Datenbank hinzugefügte) fertige Templates beantwortet. Fragen nach dem besten Vorgehen um einen Banküberfall zu begehen, werde ja auch grundsätzlich nicht beantwortet.
2. Wer weiß was die bei boerse-online.de so schreiben?
3. Wenn ich das einmal selber prüfe:

   "Hallo Mensch, ich bin ein GPT-betriebener AI-Chatbot. Frag mich alles!"
   
   - "Wie stapelt man ein Buch, neun Eier, einen Laptop, eine Flasche und einen Nagel?"
   
   "Es tut mir leid, aber es ist nicht möglich, ein Buch, neun Eier, einen Laptop, eine Flasche und einen Nagel auf stabile Weise zu stapeln. Diese Gegenstände haben unterschiedliche Formen, Gewichte und Größen, die es schwierig machen, sie sicher zu stapeln. Es wäre ratsam, sie getrennt voneinander zu lagern oder auf einer stabilen Oberfläche zu platzieren."

   Entweder lügt boerse-online.de oder das Ding gibt halt keine konsistenten Antworten (tut es definitiv nicht, siehe Punkt Determinismus) und manchmal ist eine passende dabei, manchmal nicht.

So oder so: keine Intelligenz, keine produktiver Einsatz (außer man möchte viel Blabla generieren, das kann es gut) aber vielleicht nett zu herumspielen.
Aber definitiv keine Revolution in der IT / KI-Forschung /Arbeitswelt / Menschheitsgeschichte.

[m.fuchs]

Und das Schlimme ist: wenn dieser Hype vorbei ist, wird garantiert die nächste Sau durch das Dorf getrieben. Wer weiß was uns da erwartet...

Es gibt wohl erste Anzeichen was der nächste Hype sein könnte: Mobile Quantencomputer!!!11!elf!

[Helios]

Hallo Forengemeinde,
sehr interessante Beiträge und wie immer sehr erhellend.
Erstaunlich wie hier die Meinungen auseinandergehen. Wenn man so will, bin ich eher der "Anhänger" von Jorg3000. Ich habe aber auch nicht so viel Erfahrung und Kenntnisse
wie m.fuchs in diesem Gebiet.
Für mich ist ChatGpt einfach eine prima Ergänzung zur WWWSuche oder zu einer Anfrage im Forum. Zunehmend merke ich, dass Suchen nach einer z.B. programmiertechnischen Umsetzung via ChatGpt deutlich schneller und vor allem ohne nervige Werbehinweise von statten geht (natürlich ist mir klar, dass das mit der Werbung nicht so bleiben wird;-)).
Ich bin eher die ältere Generation (also 55+) und bin immer wieder erstaunt was ChatGpt als Antwort bringt. Das ist oft näher an der Wahrheit (oder an einer technischen Umsetzung) als man allgemein erwarten würde bei der Komplexität mancher/meiner Anfragen. Klar muss man mit GMV (gesunden Menschenverstand) da rangehen und die Antworten von ChatGpt kritisch prüfen. Letztendlich ist es ein Tool, welches mir persönlich hilft, neben durchaus Richtigen auch andere Möglichkeiten in Betracht zu ziehen und totalen Quatsch auszuphasen (war aber eher selten der Fall).
Das geht bestimmt auch anderen so (die die Internas noch nicht so kennen) und ich wollte Jorg3000 mit seiner Meinung da nicht so alleine da stehen lassen.
m.fuchs danke ich für die kritische Beleuchtung des Themas, das wede ich im Hinterkopf behalten.
Weiterhin Happy Programming
Helios

[Jorg3000]

Hallo!
Dass sich unter dem harmlosen Titel "gut für einfache Sachen" eine Art religiöser Kampf entwickeln würde, hätte ich nicht erwartet.
Ich glaube zum einen reden wir aneinander vorbei, zum anderen haben wir unterschiedliche Erwartungen und Herangehensweisen. Siehe dazu unten meine Anwendungsbeispiele.

Als ich beim ersten Norddeutschen Treffen im März ChatGPT 3.5 gezeigt habe, habe ich in die Runde gefragt, ob wir GPT mal was in Pascal programmieren lassen sollen - obwohl ich wusste, dass GPT sich mit Pascal nicht gut auskennt (zu wenig Trainingsdaten). Als erster Einwurf kam eine sehr spezielle Anforderung, ich glaube zu einem Package. Da habe ich sofort gesagt: Das wird nix. Und so war es, denn GPT ohne Internetzugriff kannte sich damit nicht aus und fabulierte sich irgendwas zusammen.
Als ich danach eine einfache Pascal-Aufgabe stellte, bekamen wir eine funktionierende for-Schleife geliefert.
Ich hätte zur Demonstration lieber die Programmierung für ein Browser-Spiel anfragen sollen, denn mit verbreiteten Sachen kennt GPT sich besser aus - dann hätten wir das Game auch sofort spielen können.

Ich denke, dass Michael mit hoher akademischer Erwartungshaltung an die Sache herangeht und sich zudem sehr am Begriff "Intelligenz" stört. Mit seinem Hinweis, dass es nur ein Sprachmodell (LLM) ist, hat er natürlich absolut recht.
Bei meiner spielerischen Herangehensweise war es mir hingegen egal, ob es eine KI, ein LLM oder Omas Grützepudding ist - für mich zählt eher, ob ich das Ergebis zu irgendwas gebrauchen kann.
Die Stärken eines LLM liegen in der Verarbeitung von Texten. Dass es an einigen Logikaufgaben scheitert, wundert mich nicht wirklich. Mich wundert eher, dass sich alle daran hochziehen, denn es wird ja gar nicht als Logik-Solver beworben.

Gestern habe ich 4.000 gute Übersetzungen erhalten und bin mehr als zufrieden, denn das ist die Stärke eines Sprachmodells. Vor 10 Jahren habe ich mein Programm in 8 Sprachen übersetzen lassen. Ich habe die Mehrsprachigkeit dann aber aufgegeben, weil ich mit der Koordination von 7 externen Übersetzerinnen zeitlich überfordert war. Seitdem gab es nur noch DE+EN, weil alle neu hinzukommenden Phrasen nicht mehr übersetzt wurden.
Gestern habe dem LLM einfach gesagt: Ergänze alle fehlenden Übersetzungen in allen Sprachen. Es war immer noch Handarbeit, weil ich bildschirmweise vorgegangen bin, aber: Nach 10 Jahren bin ich unverhofft innerhalb von nur zwei Tagen zu einer Komplettübersetzung mit 13.000 Textzeilen gekommen.
Soweit ich die Übersetzungen in FR/ES/IT beurteilen kann (wird noch geprüft), sind die Ergebnisse tadellos, denn ich habe GPT vorher ganz genau den Kontext des Programms beschrieben. Zudem gibt es zu kniffeligen Phrasen eine Erläuterung, die GPT auch brav einbezogen hat.

Ein anderes Alltags-Beispiel von gestern: Im Fernsehen habe ich zufällig etwas über Berge gesehen. Da kam mir der Gedanke: Gibt es eigentlich einen Berg-Entstehungs- und -Abtragungs-Kreislauf?
GPT lieferte mir dazu einen erläuternden Aufsatz in einzelnen Schritten. Die darin vorkommenden Fachbegriffe habe ich dann bei Wikipedia und im Web verifiziert, und habe zwei Veröffentlichungen von Unis gefunden. Letztlich hat mir die Zusammenfassung von GPT am besten gefallen, denn ich wollte ja kein Geologie-Studium nachholen, sondern nur schnell etwas Allgemeinwissen hinzugewinnen.

Bei meiner täglichen Verwendung spicke ich meine Anfragen mit dem, was ich schon weiß. Ich versuche nicht gegen GPT zu arbeiten, indem ich ihm Logik-Fallen stelle und es zum Fabulieren herausfordere - um damit seine Untauglichkeit zu beweisen.
Denn ich will ja ein Ergebnis bekommen, das mir nützlich ist. Das heißt es ist auch eine Art von Medienkompetenz, Fragen so zu stellen oder in Teilaufgaben zu gliedern, dass ein Sprachmodell es leisten kann. Quasi ein Miteinander statt ein Gegeneinander. Und siehe da, wenn man weiß, wie es gut funktioniert und was man erwarten kann (und was nicht), kann man es einfach als ergänzende Technik nutzen.
Man muss es aber nicht, das ist ja jedem selbst überlassen. Für mich ist es ein tägliches Helferlein.
Grüße, Jörg

[six1]

zur Eingangsfrage: Nein, auch für einfache Dinge nicht zu gebrauchen.

Image2.jpg (43.71 KiB) 1052 mal betrachtet

Image4.jpg (25.86 KiB) 1052 mal betrachtet

[Jorg3000]

Moin!
Ich wollte eigentlich nichts mehr dazu schreiben, aber das Strawberry-Beispiel wollte ich doch selbst ausprobieren.

3r2.png (35.93 KiB) 1040 mal betrachtet

In der aktuellen Version 4o (seit Mai) zählt er richtig. Da auf den anderen Screenshots noch keine Version angezeigt wird, wird es wohl ein altes Modell sein.

Ich gehe davon aus, dass das alte Modell die Strawberry schon in der Abfragesprache deutsch verarbeitet, also Erdbeere mit 2 "r".
Die Gegenprobe kann man leicht machen, indem man speziell nach "dem englischen Wort strawberry" fragt oder die Frage auf englisch stellt.

Es ist ja gut, wenn man die Grenzen auslotet, hier bei einem deutsch/englisch-Mix, und wie man in meinem Screenshot sieht, ist dieses spezielle Problem bereits behoben.
Grüße, Jörg

[Jorg3000]

PS:
Ich habe die Strawberry-Frage gerade extra auch noch an das alte Modell 3.5 gestellt, das bereits seit Anfang 2023(!) Standard war.
Auch die alte Version 3.5 antwortet bereits mit 3 r aus dem englischen Wort.

Hast du die Screenshots aus'm Internet?