Code lesen statt Code schreiben

[siro]

Moin zusammen, ich habe jetzt noch nicht so viel mit KI gemacht,
habe aber auch schon hilfreiche, aber auch völlig falsche Informationen erhalten.
Drum möchte ich euch diesen Chat einfach mal zeigen...
Das war "Copilot" also die Microsoft KI:

Irgendwann hab ich schon an mir selber gezweifelt....

KI_Berechnung_Falsch.pdf

(151.86 KiB) 31-mal heruntergeladen

[hum4n0id3]

Moin zusammen, ich habe jetzt noch nicht so viel mit KI gemacht,
habe aber auch schon hilfreiche, aber auch völlig falsche Informationen erhalten.
Drum möchte ich euch diesen Chat einfach mal zeigen...
Das war "Copilot" also die Microsoft KI:

Irgendwann hab ich schon an mir selber gezweifelt....
KI_Berechnung_Falsch.pdf

Ich habe ChatGPT Plus und kann das nicht nachvollziehen. Mein simples C-Programm gibt 24 aus und 2 verschiedene Versuche, deinen Fall nachzubilden, schlugen fehl. Mein ChatGPT erklärt das auch in C 24 rauskommt.

[siro]

Ich habe das eben nochmal probiert mit Copilot:
So ganz einig scheint sich die KI wohl nicht zu sein.
Angeblich kommt das Gleiche raus bei C und Pascal.....

KI_Berechnung_Falsch_2.pdf

(91.67 KiB) 14-mal heruntergeladen

[af0815]

Die beiden Beispiele von Siro sind schon gut. Vielleicht genau deswegen sind die LLM Modells so ein Renner (noch).

Der Artikel im Golem ist auch nicht schlecht https://www.golem.de/news/security-der- ... 08867.html und zeigt die Probleme von VibeCoding schön auf. Nur wenn man die Problematiken nicht begriffen hat, geht das Programmieren wirklich schnell. So schnell sind dann auch die bösen Buben, wenn nicht schneller.

Und vor allen was sollen die LLM Modelle noch lernen - Viele Artikel sind schon von LLM gemacht. Und da haben Untersuchungen ja bereits gezeigt, das LLM Artikel die LLM im Zuge des Lernens verblöden lassen.

Auch bereits die ersten Artikel, warum wir Menschen überhaupt noch Schreiben lernen sollen, wird ja eh schon alles per Spracheingabe, App oder Tatstatur gemacht. Diejenigen die das fordern, sind dann die ersten die bei einem Stromausfall die Panik bekommen. Aber generelle Verdummung wird ja auch noch gefördert. Anders kann man die allgemeine Lage nicht mehr sehen.

[siro]

Ich habe diese einfache Aufgabe mal mit chatgpt gelöst....(oder auch nicht )

KI_Berechnung_Falsch_3.pdf

(45.52 KiB) 17-mal heruntergeladen

Wenn diese "einfachen" Aufgaben schon nicht richtig funktionieren....
Schon der erste Satz ist falsch. Wer so programmieren lernen will, wird wohl scheitern.

[Warf]

Wenn man die Frage falsch stellt dann bekommt man ein falsches Ergebnis. Wenn man die Frage korrekt stellt bekommt man auch ein korrektes Ergebnis

Die Frage was 1 + 2 << 3 in pascal ist ist eine fangfrage, denn << gibt es (eigentlich) in pascal nicht (es gibt in FPC als C operator alias, das ist aber sehr unsauber und wird zurecht zu Tode geschwiegen)

[siro]

Die "richtige" Fragestellung ist natürlich ganz entscheidend, da stimme ich Dir voll und ganz zu.
Man merkt aber, dass durch eine kleine Abweichung in der Fragestellung ein evtl. undefiniertes/falsches Ergebnis zu Stande kommen kann.

Und wie gesagt, habe ich ja auch schon sehr positive Erfahrungen gemacht.
Bei statischer Codeanalyse hat die KI z.B. gleich eine Indexüberschreintung erkannt, die mir selbst noch garnicht aufgefallen war.

Code: Alles auswählen

if (remote_index < sizeof(remote_buffer)-1) remote_index++;  // !!!!!!!!!!! -1 

[hum4n0id3]

Wenn man die Frage falsch stellt dann bekommt man ein falsches Ergebnis.

Hätte ich auch gesagt. Es kann auch vom Prompt abhängen, was für ein Ergebnis man bekommt. Meine Prompts waren sicher auch nicht so zielführend.

Ich habe einen anderen Fall mit ChatGPT neuerdings erlebt. Ich habe einen privaten Server und wollte seit langem eine NextCloud installieren. Habe mir auch mal Videos angeschaut, aber Videos sind das eine, und letzte Woche mit Hilfe von ChatGPT auch eine NextCloud aufgesetzt. Erstmal zu Lernzwecken und es kommen momentan nichts kritisches drauf.

Auch Anweisungen gebeten, für Tipps und Hinweise wie man das absichert. Mir ist klar das nicht alles 100% erklärt wird, aber kann ja das fehlende Nachforschen. Und heute festgestellt das man alle User über HTTPS://URL/u/Username sehen kann. ChatGPT lacht und erklärt das es halt komisch an NextCloud ist... hahaha... Aber für mich ist es eine Katastrophe, weil ich denke jemand kommt auf die Liste, kann dann versuchen mit den Logins einfacher reinzukommen.

Erwarte ich eigentlich auch von ChatGPT das es sowas mit berücksichtigt, oder "bedenkt", aber da ist einfach nichts... Nur Daten und Algorithmen.

[af0815]

Jetzt sind wir bei Henne und Ei. Ich sitze vor dem Prompt und gebe meine Frage ein, zu einem Thema das ich nicht kenne. Ich bekomme also eine Antwort die auch falsch sein kann, weil ich das Prompt aufgrund fehlenden Wissens nicht richtig gestellt habe. Super, weil erwische bei 50/50 zu 100% immer die falschen 50 %

[hum4n0id3]

Du musst es positiv sehen. Du wirst immer noch gebraucht und darfst dir immer noch unbekanntes Wissen aneignen

[Warf]

Meiner Erfahrung nach sind LLMs nur wirklich Produktiv nutzbar wenn man sich gut genug mit der Materie auskennt um
1. Gute promts zu stellen, und
2. das Ergebnis zu prüfen
LLMs im Produktivbetrieb sind bei Programmierern die was drauf haben sehr gut. Die besten Entwickler die ich kenne sind auch die die mit AI am meisten was hinbekommen.

Das gesagt, wenns an experimentieren und lernen geht, ist es mMn. nicht so schlecht wenn man sie benutzt um sich code zu generieren. Klar ist da viel Schrott dabei, aber das merkt man spätestens beim debuggen und am ende muss man trotzdem noch lernen.
Das problem ist wenn man AI sachen fragt die man nicht verifizieren kann. Wenn AI falsch liegt, dann sehr selbstbewusst. Gleichzeitig erzählt sie dem Nutzer wie toll und genial der ist und widerspricht nie direkt. Da sind die Modelle super gefährlich. Wenn ich sage "Bau mir xyz" merke ich wenn es nicht funktioniert. Wenn ich frage "wie geht xyz" und es nicht selbst verifizieren kann hab ich keine Möglichkeit zu wissen ob das halluziniert wurde oder korrekt ist

[af0815]

Die LLMs haben öfters Informationen die nicht frei verfügbar sind. Ist mir im Bluetooth und Medizin Bereich aufgefallen. Besonders wenn es in manchen Protokollen um Feinheiten geht.

Oder man sich einmal nur das Protokoll erklären lassen will. Macht aber nur Sinn wenn man die Materie Grundsätzlich kennt.